数年后，柳生三次踏上黄色大道。

虽然他依旧背着包袱，却已不是赴京赶考。自从数年前葬了小姐，柳生尽管依然赴京，可心中的功名渐渐四分五裂，消散而去。故而当又是榜上无名，柳生也全无愧色，十分平静地踏上了归途。

数年前，柳生落榜而归，再至安葬小姐的河边时，已经无法确认小姐的坟冢，河边蓦然多出了十数座坟冢，都是同样的荒凉。柳生伫立河边良久，始才觉得世上断肠人并非只他一人。如此一想倒也去掉了许多感伤。柳生将那些荒冢，一一除了草，又一一盖了新土。又凝视良久，仍无法确认小姐安睡之处，便叹息一声离去了。

柳生一路行乞回到家中时，那茅屋早无踪影。展现在眼前的只是一块空地，母亲的织机也不知去向。这情景尚在柳生离开时便已预料到了，所以他丝毫没有惊慌。他思忖的是如何活下去。在此后的许多时日里，柳生行乞度日。待世上的光景有所转机，他才投奔到一大户人家，为其看守坟场。柳生住在茅屋之中，只干些为坟冢除草添土的轻松活儿，余下的时间便是吟诗作画。虽然穷困，倒也过得风流。偶尔也会惦记起一些往事，小姐的音容笑貌便会栩栩如生一阵子。每临此刻，柳生总是神思恍惚起来，最终以声叹息了却。如此度日，一晃数年过去了。

这一年清明来到，主人家中大班人马前来祭扫祖坟。丫环婆子家人簇拥着数十个红男绿女，声势浩荡而来。满目琳琅的供品铺展开来，一时间坟前香烟缭绕，哭声四起。柳生置身其间，不觉泪流而下。柳生流泪倒不是为坟内之人，实在是触景生情。想到虽是清明时节，却不能去父母坟前祭扫一番，以尽孝意。随即又想起小姐的孤坟，更是一番感慨。心说父母尚能相伴安眠九泉，小姐独自一人岂不更为凄惨。

次日清晨，柳生不辞而别。他先去祭扫了父母的坟墓，而后踏上黄色大道，奔小姐安眠的河边而去。