辛苦，接近正午炮击停歇后，隋军的蚁附攻城就一直没有停歇过，隋军各营各校轮流上阵，抬着飞梯不断冲击窄短的冷泉关关墙，失去了立即打击能力的冷泉关守军根本无法有效压制隋军的冲锋势头，完全只能是靠着居高临下这一最后优势勉强抵挡隋军攻势，隋军将士每一次冲上关墙顶端，通常都能给冷泉关守军带去好几倍的死伤，张纶带着敢死队四处救火，杀得连刀都卷了刃，才激战到了下午申时刚过，李建成派来的督战队也是当场处死超过半百之数的太原军逃兵。

凿城的隋军士兵已经在夯土关墙上挖出了可以容人的深坑，隋军步兵也已经抢占了冷泉关东面的山峰高地，开始对着关内投石放箭，但冷泉关守军却还是在关墙上苦苦支撑，并非是出于忠诚，而是因为张纶亲口告诉守关士兵的李建成许诺，坚持到天黑就有生力军补充，坚持到第二天清晨就可以换防撤回大营休息，冷泉关守军也是靠着这点指望才有意志继续坚持下去，却全然不知道他们的主力军队已经在着手布置撤退，也绝无可能给他们派来援军。

太阳逐渐西斜的时候，攻势如潮的隋军将士已经成功抢占了一处关墙阵地，后续军队得以不断登关，张纶一边亲自率领敢死队与隋军将士逐尺逐寸的争夺关墙阵地，一边派出快马向李建成告急。然而张纶派出的亲兵带着满身满脸的汗水鲜血冲回介休东北面的太原军营地时，却愕然看到太原军主力已经在向着北面开拔，然后他本人也被李建成下令扣留，不让他把太原军主力已经开始撤退的消息带回冷泉关动摇军心。

也是到了天色微黑，太原军主力尽数离开营地向北急行时，李建成才派人去给张纶送去一道命令，让张纶放弃部众立即离开冷泉关，随自己北上返回太原城。而收到了这道命令后，张纶也终于明白李建成其实早已打算放弃冷泉关，大怒之下几乎就想率军向隋军投降，然而顾忌到被李家兄弟扣留在太原城里的妻子儿女，张纶还是含着眼