晚上8点，赵烈文听到龙膊子至钟山孝陵卫一带传来炮声，知道太平军正在组织突围。鉴于城池虽破，但“逆首”李秀成等人仍不知下落，他于是再度入帐去找曾国荃。

曾国荃已经睡着了，赵烈文把他从床上摇醒，告知详情并请求派骑兵进行堵截。曾国荃却不以为然，在床上躺了好长时间后，才爬起来，掌上灯，但并不是要派兵堵截，而是与赵烈文商量如何修改那份奏折。商量完了，他让人重新缮写新稿，然后又重新睡下了。

曾国荃及其部下的大意懈怠，给突围者带来了机会。赵烈文所听的炮声正是城中的突围信号，趁湘军正热衷于抢掠，太平军一部分缒城外逃，另一部分一千多名步骑兵，在李秀成的率领下，换穿官军服饰，保护小天王洪天贵福伺机冲出。

因为人数较多，李秀成这一部分人马突围起来要困难得多，几次要冲出去都没能找到机会，众人手足无措，唯知惊恐流泪。这样一直拖到凌晨1点过后，李秀成一马当先，率部向太平门城墙被炸塌的缺口处猛冲。湘军有四个营负责守卫缺口，但这四个营的精锐大半在城中未返，留在缺口处的皆为疲惫士卒，根本挡不住对方，太平军仅损失了数十人便得以出城。

冲出城之后，突围部队还要越过层层叠叠的湘军营寨及其所挖的深壕高垒。好在这一方向的萧孚泗等营与缺口守军的情况类似，看到了也不敢上前阻击，只能咋咋唬唬地胡乱放炮。

眼看太平军已经绝尘而去，各营忙派人向大帐进行报告。因为曾国荃还在睡梦之中，报信的人不敢随意惊动，便先行向赵烈文汇报。赵烈文稍加分析，马上断定李秀成等“逆首”就在这支突围部队之中。

赵烈文深知，曾国荃花两年时间才攻破天京，如果再让“逆首”逃脱，不但不能得到大功，反而还将招致朝廷的严厉谴责。他再回头一看，按照曾国荃要求重新缮写奏折的人还没有完工哩，此情此景令