追随他的那些人早已星散。眼看援沪事宜箭在弦上，重起炉灶已不可能，他便决定走捷径，对皖中的旧有团练进行罗致和改编。

想好办法之后，李鸿章没有返回故里，而是坐镇安庆，通过派人传达或通信的方式，与团练头目们进行联络。皖中一带早就已经形成了以李鸿章为群体中心的趋势，李鸿章奉命募勇的消息一出，张树声、潘鼎新、刘铭传、吴长庆四位头目马上闻风而动，率所部团勇前来安庆。当然也有例外，解先亮原先是个不识字的农民，不愿意离乡外出作战，正好吴长庆的手下兵勇不多，解先亮就把包括叶志超在内的部属交给了吴长庆。

经过两个多月的筹备，淮勇陆续抵达安庆北门城外并在城外进行驻扎。这批淮勇共有三千五百人，根据淮勇实力单薄的实际情况和李鸿章本人的请求，曾国藩从湘军中陆续拨出三千人归其统一节制。这三千人里面，有一千人是曾国藩的亲兵，一千人是曾国荃的旧部，均为湘军中最精锐的部队。

1862年3月4日，在李鸿章的陪同下，曾国藩对各营进行检阅，这标志着淮军的正式建成。

初建时的淮军，共计十三个营，其中只有张、潘、刘、吴四营是纯粹的淮勇，另外三个营虽然营官和弁勇也都是安徽人，但原先都是湘军旧部。除此之外，各营官兵皆为清一色的湖南人，且他们中的大多数人已跟随曾国藩多年。在军制上，淮军的营制、营规、饷章也都沿袭于湘军，没有变化。也就是说，这时候的淮军仍然只是湘军的一个分支，与过去胡林翼手下的鄂军相比，并无多大差异。

3月19日，上海会防局提供的八万军饷解至安庆。对于湘军而言，这是多年来少见的一笔巨款，既足证了上海的财力，又进一步显示出官绅们求援的诚意及其急迫心情。看到军饷，压在曾国藩心头的一块石头也落了地，他在日记中直言：“少荃（李鸿章）启行的军费有着落了，真是快慰之至。”