张岱归返龙山，寓居快园著书立说，然而亲情并未更雍睦：

大儿走四方，仅可糊其口。

次儿名读书，清馋只好酒。

三儿惟嬉游，性命在朋友。

四儿好志气，大言不怩忸。

二穉更善啼，牵衣索菱藕。

老人筋力衰，知有来年否。

张岱又在陶渊明的诗文寻得共鸣。陶渊明那首《责子》诗是诗中逸品，“总不好纸笔”，陶渊明如是悲叹五个儿子不能痛改前非。陶渊明自道诸子懒惰至极，不成器，他只好多进杯中物了。

张岱的长子、次子虽游荡闲散，总不失为读书人。顺治十一年（1654），他们还打算到杭州参加乡试。张岱记述，曾为激战之处的江西，当地许多学子仍拒赴科考，以表达对清朝的敌视；然而，张岱显然不认为这样的抗拒有何意义，所以让儿子自己决定。儿子终究没考上，不过他们追求功名的企图把父亲带回魂牵梦系的杭州。张岱自崇祯十六年（1643）明亡之前一年，就不曾亲睹杭州西湖了。

这次游历却令人心碎。张岱二十几岁时夸言西湖教人乐而忘忧，教人思虑澄明，如戳身上疮或拔肉中刺。如今张岱五十八岁了，发觉西湖令人不堪回首。在晚年辑成的《西湖梦寻》序文中，张岱回想重访夙昔胜景时的震惊，百感交集。“余生不辰，阔别西湖二十八载，然西湖无日不入吾梦中，而梦中之西湖，实未尝一日别余也。前甲午丁酉，两至西湖，如涌金门商氏之楼外楼，祁氏之偶居，钱氏、余氏之别墅，及余家之寄园，一带湖庄，仅存瓦砾。则是余梦中所有者，反为西湖所无。及至断桥一望，凡昔日之弱柳夭桃，歌楼舞榭，如洪水淹没，百不存一矣。”

“余乃急急走避，谓余为西湖而来，今所见若此，反不如保我梦中之西湖尚得安全无恙也。因想余梦与李供奉（李白）异，供奉之梦天姥也，如神女名姝，