奇迹并没发生，两个月后，父亲便去世了。从这时候起，胡林翼就像变了个人一样，再不敢狂，傲气亦大大收敛。因为他看到了一座叫作命运的大山，在这座大山面前，再高大的人都显得那么渺小。

接下来，绊马坑的效果却似乎有些矫枉过正了。胡林翼举家扶柩回乡，但即便在三年守孝期满后，他也并没有去京师销假，而是基本上闭门不出，在家里写写画画，聊以自娱。有朋友来了才相携出行，亦无非是看看附近的山水而已。

偶尔碰到天高气爽的季节，胡林翼也会带一个家仆出来散散步，或者跟庙里的和尚谈谈禅，或者与乡间的农民聊聊庄稼，看上去倒也闲适自在。

可是这一切都只是表象。他才三十多岁，正是精力充沛，可以做出一番事业的时候，难道就这样一天天闲荡下去，让曾经的期许一一落空吗？

胡林翼自己暗自嗟叹，为他感到惋惜的人也有不少。座师们纷纷来信促其复出，还有一位不是座师，但名气如雷贯耳，此人就是他岳父的同事兼好友、刚刚从新疆获释起用的林则徐。

除了父辈级的长者，本地乡绅故旧、族人朋友也都劝他，既然“才堪济世”，就不应荒废。见大家都期待着他重新振作起来，胡林翼遂下定决心，打点行装，走出家门。

如果不是遭到意外降级，作为红翰林的胡林翼本来仕途会一帆风顺，有可能飞得比曾国藩还高，但就因为这么一来，仕途又黯淡起来。重回京城，官是有得做的，是他降级后的职务，即内阁中书，一个负责抄抄写写的办事员。在内阁，这样的小京官多的是，有百余名，若要一步步升上去，还不知要熬到哪个年头。况且，清代内阁自军机处出现后，就开始变得无足轻重，别说小官，大官都没什么要紧的事可做，显然这与胡林翼做一番大事业的理想相去甚远，他不想重蹈父亲终生郁郁不得志的覆辙。

另外，父亲去世后