冀州刺史王芬以许攸为使，言废立之事，太祖怒而斥之。及攸走，太祖临星河而叹，左右或知其意，俱劝：“天子昏乱，遂令君侯不容于朝。今天下已叛，而兵不足自守，幽州乡里被君恩德，愿必从之。当安居广阳，率厉义徒，见有道而辅之，以济天下。”太祖大叹：“天子固昏，然关西之乱，傅南容何辜？王芬之悖，冀州百官何苦？兼两地黔首，固多牵累，当有所为。”左右遂止。

中平五年，冬，大将军何进以信与太祖，言失兵权，或碍诛宦事，太祖闻之，自引私兵轻骑至河内，洛中北军、西园多太祖旧部，纷纷来谒。洛中宦官闻之，乃语于灵帝，以诏付司隶校尉张温，使其诏太祖入洛。及至，太祖悬剑于辕门，张温见而叹之，竟羞惭而走。十月，灵帝阅兵平乐观，终不能胜，进乃重掌兵权。

十一月，凉州贼十万入三辅，直逼长安。进以贼悍，非名将不可胜，乃雪夜过河往请太祖。感其诚，许之。遂拜太祖为将，诏发三河五校，整军两万余西讨。闻太尉府兵曹掾贾诩善谋略，征为军司马，掌军律。五校阉宦子弟泰半，闻太祖为将，咸恐。至函谷关，有赵忠族弟赵延聚将不至，太祖持节立斩之。军中震动，遂使如臂指。至雍县，合皇甫嵩、董卓军，立营汧水。坚壁高垒，固守不出，唯多发斥候日探贼动向。

中平六年正月，太祖知贼挫于陈仓，月余不能下，粮尽思退，遂整军至陈仓东立营。时吕范急信至，言幽州乌桓、鲜卑作乱，隔断辽东，张举占管子城僭称天子，太祖默不外传。自与嵩、卓约贼首韩遂、马腾、王国等相会，定以明日交战。临别赠信于遂，行反间之计。初十，以徐荣统全军骑兵，吕布领白马义从为锋，一阵而破贼，斩首逾万。又先遣韩当率两千骑断敌之后，驱贼至渭河。贼蜂拥履冰渡河，冰破，陷死者数千。余众乃降，可三万余。侥幸走脱者不足万数。太祖以贼性恶而畏威，乃行十一抽杀之惩。锤杀贼首王国、李相如、成公英