不但能练出好兵，还有望从中选拔出一两个日后的名将之才。他乐观地估计，这样一支淮军将成为声望不减于湘军的劲旅。

按照自己的设想，曾国藩上疏朝廷，请求由两淮兵勇组成淮扬水师，以作为创建淮军的前奏和铺垫。曾国藩安排李鸿章帮助湘军水师将领黄翼升经办此事，不料两淮当时已成为太平天国的势力范围，李鸿章暂时无法前往。后来因为替李元度向曾国藩求情，李鸿章一怒之下离开了祁门大营，以淮勇办水师的事也就只能泡汤了。

经历两次失败后，再议创建淮军，曾国藩和李鸿章都把目光从两淮移向了皖中。皖中在经济文化程度上居于皖南和两淮之间，同时因其北面与两淮接壤，东面的巢湖又是盐枭出没之区，因而民风也较强悍。

相比两淮，皖中的士族力量较大，理学思想影响深。再者，皖中地区有的为太平军巩固的根据地（安庆），有的为拉锯战区（庐州一带），战斗激烈频繁，持续时间长，各县团练头目或有父兄被太平军所杀，或财产被毁，房屋被占，客观上也使他们丧失了妥协观望的余地。