集贤关外有一座赤冈岭（据考证实际应为雉冈岭，但因湘军奏报中都写为赤冈岭，故得以沿用）。陈玉成在赤冈岭筑成了四座坚垒，他前往桐城后，赤冈岭由所部主力刘玱琳等率四千人据守，与关内十三垒互为掎角。

陈玉成前脚刚走，鲍超、成大吉及水师杨岳斌部即对赤冈岭发起攻击。这三支人马加起来超过万人，为太平军的三倍，鲍超的霆军更是湘军第一劲旅，可是结果不但没能攻下赤冈岭，还承受了极大损失，伤亡者竟至三千余人之多，为湘军建军以来所未见。

被打得这么惨其实也不冤，除了攻守态势不同外，还因为他们遭遇到的是当时太平军中首屈一指的精锐武装，按曾国藩的说法是“最悍之党”“第一悍党”。

陈玉成把他的基干力量都留在了赤冈岭，四千士兵个个都是参军多年的老兵，贾仁富、李四福、朱孔堂等诸将也都是自金田从军的老将，可以说兵是强兵，将是强将。统领留守部队的刘玱琳既是参加金田起义的元老，也是陈玉成麾下最为骁勇善战的将领，此人顽强敢拼，能打硬仗，每每在大战中充任先锋。作为对手，曾国藩对刘玱琳极为赞赏，私下甚至避开将太平军官兵称为“贼”的习惯，称其为“玱林先生”或“玱翁”。

刘玱琳部坚守四垒，血战到底，杀得湘军尸横遍野，赤冈岭之战也由此成为安庆战役中太平军打得最顽强的一次小战役。这一战役令湘军内部大受震动，其中最为失望的人莫过于曾国藩，他原以为派鲍超北渡即可解决问题，可没想到鲍超上去了，攻击兵力在数量上也前所未有地占有极大优势，最后竟然打成这个样子。

失望沮丧之余，曾国藩连一直坚守的心理防线都守不住了。他敦劝曾国荃考虑“退兵驰围”（即撤安庆之围），说：“若不弛围，而全军又没有后顾之忧，此为上策……若不弛围，但全军又不能免除后顾之忧，则不如弛围，尚可偷安旦夕。”