世人不同，桓荣却是一位醇儒，他属于龙亢桓氏的分支，家中贫困，常靠佣工养活自己，却求学不倦。桓谭很欣赏这位族侄，资助他去长安学《欧阳尚书》，桓谭在太学拜九江大儒朱普为师，一心向学，整整十五年没有回家探视，直到王莽代汉。

从那时候起，桓谭与桓荣的理念便有了分歧，桓谭对王莽施政心怀幻想，希望改变，桓荣却恪守忠汉之念，觉得过去一切都好，遂不顾桓谭挽留，决然离开长安，到九江隐居教书。

那几年，桓谭还担心族侄的生计，岂料等新莽灭亡，桓谭不幸为赤眉所俘，差点病死时，还是逃到淮南投奔桓荣，才捡回了一条命。这便是桓谭与淮南的渊源了，他在这里养好了恶疾，恰逢刘秀崛起江东，桓荣遂抱书投奔。

“吴王有高祖之天命，文景之仁，更兼有武宣之强，必可复兴大汉，成一代英主！”

桓谭依然记得，桓荣投靠刘秀后，曾激动地对自己描述其人，他甚至把桓谭也一起举荐了上去。只可惜桓谭早已心有所属，没在淮南待多久，便执意去长安找第五伦去了。

时隔两年，叔侄再见，却已是各为其主，而桓荣的眼中，更多了一层悲愤。

“君山大夫莫非是从下邳，经徐县而来？“

桓谭淡淡道：“正是。”

桓荣追问：“那可曾见到沿途残破了？”

桓谭道：“确实是城郭尽为丘墟，白骨露于荒野。”

“这都是魏军所为！”

桓荣指着北方道：“盖延带渔阳突骑袭淮泗口，一路上烧杀抢掠，无恶不作，甚至为灭口，将见其行踪的整村屠戮！”

“这便是君山大夫所效力的‘圣君之属’，心心念念要去投奔的‘王者之师’？”

想当初桓荣刚被刘秀折服时，桓谭不愿龙亢桓氏就此分裂，还曾对他说：“魏主之仁爱恢弘，不亚于吴王。”想劝桓荣一起归魏，