孔庆西带着船队来到了广州珠江口外海之后，便占据了外伶仃岛，将以前盘踞于此地的一帮百十号人的海贼全部收编了过来，开始在珠江口外海扎下根基。\ 。 \

孔庆西到了这里之后才现这里的海上简直堪称混乱之极，几乎外海能住人的岛上，都有各种海贼同行盘踞，大大小小的势力有几十个之多，大的势力有近千人的郑广一部和高登一部，小的势力几百人的有之，百十人的有之，几十人的也有之，简直是数不胜数，拥有舟船多的数十条，少的也有一两条，都盯着这里来往商船，雁过拔毛，想要捞上一笔。

孔庆西作为一个初来乍到的势力，立即引起了附近多股海贼的关注，自从他占据了外伶仃岛之后，便没有安生过，天天都有各色船只在他的岛的四周转悠，看到他船队实力不小，于是便不招惹他们，孔庆西本来没有想这么快就去收拾附近这些同行，想要先站住脚，在这里捞上一些之后，再考虑这个事情。

可他刚刚做了几票之后，便不得不面对众多同行的挤压，特别是那个郑广一伙，听说了他们这些北方的外来户之后，于是前来下书，让他们立即离开这里，孔庆西是什么人呀！跟着伏波军这么久之后，历来都是他们在欺负别人，岂容别人来欺负他们呢？于是立即一口回绝了那个郑广，决定先不搭理他。

可这个郑广听说了孔庆西拒绝离开这里之后，故意在海上盯着他们，让他们不好行动，闹了两次之后，孔庆西便和他们起了冲突。对于伏波军部众来说，对付他们的船只还不是手到擒来，结果郑广连连损失了几条船、上百人之后，现这帮新来的同行不好对付，于是便纠结了附近数股海贼势力，隐隐形成了一个小联盟，对孔庆西下了战书，邀他在小万山岛外面决战。败的一方退出零丁洋，另谋出路！

孔庆西闻听之后，知道此事已经不能善了，于是便答应了他们，并按约定率他的船队到了小万山岛附近，