最早回籍办团练的吕贤基、李鸿章父子都来自于皖中的士族家庭。李鸿章自随吕贤基回籍，一直到他后来投奔曾国藩，皖中民团与太平军的对抗始终没有终止。通过实战锻炼，团练头目们提高了军事才能，增长了胆识，其中，庐州人张树声筑数十寨自卫，连太平军都不敢接近，是皖中势力最大的民团之一。曾国藩通过李鸿章得知张树声的事迹后，大加赞许：“独立江北，今之祖生（祖生即东晋名将祖逖）！”

虽然如此，这些民团却都难成气候，原因是他们喜欢互争雄长，快意恩仇，通常情况下都是太平军来攻了还能互为声援，太平军一走，彼此之间便打成一团。比如，庐州有一个以解先亮为首的团练，解先亮的部下叶志超身材魁梧，膂力过人，每次打仗都勇冠全军，很受解先亮的重用。叶志超有一天在路上看到一个长得很漂亮的姑娘，眼珠子顿时就不会转了。解先亮看在眼里，便对他说：“你下次作战要是能够再次取胜，我就把她送给你。”

叶志超依言打了胜仗，解先亮果然说到做到，把叶志超心仪的那位姑娘抢来送给了他。后来才知道，这位姑娘竟然是张树声的表妹。即便这样，解先亮、叶志超也没把张树声当回事，更没去向其赔礼道歉，只是相互之间从此不来往而已，反正一句话，大家都凭实力在江湖上生存，你能吃得了我就吃，吃不了就相互提防着。

由于团练头目们互不服气，无法自行团结成整体，因此就需要一个地位高、声望隆，各方非但对他没有私怨，还有好感的人来一体统摄。李氏为皖北望族，李家与团练头目们有着较深的渊源，有的论交情甚至可以追溯到上一代，李鸿章本人既是高官，又被大名鼎鼎的湘军统帅曾国藩所倚重，他自然而然就成为了团结众人的合适人选。事实上，在湘军攻下安庆后，头目们就不断与李鸿章联系，希冀着能够通过他与湘军挂上钩。

李鸿章从前曾随父亲在庐州办过团练，但