这时候乌云如墨，却是马上要下雨了。此处离最近的小镇不远，他们九人正好几日没有进食，于是施展轻功飞奔进入最近小镇，找到客店歇了一宿。第二日，七子还在打坐恢复元气，李志常记着一月之期将近，便留了封书信给七子，自己悄悄赶往桃花岛。

李志常转行向东，不一日到了舟山后，欲雇一艘海船。李志常说出他要去往桃花岛，哪知海边之人畏桃花岛有如蛇蝎，相戒不敢近岛四十里以内，只要出桃花岛的名字，任凭出多少金钱，也无海船渔船敢去。

李志常无奈，找到一个船夫，让他画出海图，自行驾船前去。他虽然生在北方，水性却不差。大海茫茫寻常人若是乍见定然惊慌，他处之泰然。好在这一路风平浪静，不过一日到了岛前。

船将近岛，李志常已闻到海风中夹着扑鼻花香，远远望去，岛上郁郁葱葱，一团绿、一团红、一团黄、一团紫，端的是繁花似锦。

李志常叹道：“真是好去处，黄药师真是雅士。”李志常停下船只，上得岸来。他进入岛上花丛中东一转西一晃，只奔出十余丈远，立时就迷失了方向，只见东南西北都有小径，却不知走向哪一处好。他走了一阵，似觉又回到了原地，想到他却忘了黄药师精通星象颠倒之术，这桃花岛被他布置的阴阳开阖、乾坤倒置之妙，这一迷路，若是乱闯，定然只有越走越糟，于是他跃上树巅，四下眺望，南边是海，向西是光秃秃的岩石，东面北面都是花树，五色缤纷，不见尽头，只看得不甚真切。

李志常低笑道：“果然不是这么好破解，好在玄门术数他早就涉猎，他一步踏上‘泰’位，一个转身，右脚踏上‘蛊’位，所见豁然开朗。他循着路转过一座山冈，前面出现一大片草地，草地之北是一排竹林。

竹林内有座竹枝搭成的凉亭，亭上横额在月光下看得分明，是“积翠亭”三字，两旁悬着副对联，正是“桃花影里飞神剑，碧海潮生