1863年4月，淮军和常胜军组成联合部队，开始重新对苏福省发起攻击。他们一口气夺回了一度失守的福山，又击破太平军对常熟的包围，显示出与日俱增的战斗力和攻坚能力。

淮军虽然通过引进西洋炮加强了自身火力，但炮位都还很小，所以攻城仍需依赖于常胜军，更确切一点说，是依赖于常胜军的开花炮队。经华尔、戈登等人的先后经营，常胜军建有六百人的整营炮队，拥有三十余门以上的大炮，这些大炮都是当时中国所没有的，其中“开花巨炮”（实际为加农炮和榴弹炮）等重炮就有一二十门。

5月，联合部队再攻太仓，在攻城战中起主要作用的，就是常胜军的开花炮队。戈登采取的战术是首先向城墙猛轰四个多小时，然后才组织步兵向被炸塌的城墙缺口冲锋，如此反复三次，终于攻破了太仓。自此以后，每当淮军遇到坚城难克的情况，都要调常胜军开花炮队强轰硬炸。

华尔也很重视火力组织，从这个角度来说，戈登并没有完全脱离前任的路数，但确实已更上一层楼，所以有人称戈登是个出色的战术家，在用兵上比华尔更精。

当然，戈登本人也许更愿意别人把他看成是第二个华尔，他甚至还模仿华尔的风格，作战时手里不握枪（在衬衣里藏一把左轮，但从来没用过），只拿一根小手杖，士兵们戏称为“胜利魔杖”。

1863年6月1日，联合部队围攻昆山。在北面的常熟、太仓均已失陷的情况下，昆山守军仅有一条退路和粮道可通往苏州。戈登经过侦察发现，可在昆山城西的正仪镇对此退路予以切断。

昆山周围河道纵横，湖泊甚多，和华尔一样，戈登认为汽船在江南三角洲地带是不可或缺的，“在这个国家里，我们的汽船具有绝对优势”。他率领常胜军和部分淮军，乘着汽船，在太平军占领区内迂回行进三十多公里，对正仪镇发动了突袭。

多数太平军