望你们这里，就觉得景色特别优美，只可惜当时有公干在身，不能来玩。今天到你家，也算是实现了我的夙愿，谢谢你！临幸之后，还赐给张衡良田三十顷，宝马一匹，绢帛六百段。这样一来，张衡更是感动得无以复加。

既然皇帝如此看重自己，张衡就暗暗发誓，一定要为隋炀帝肝脑涂地。从此之后，给隋炀帝办事更加尽心竭力。

大业四年（608），隋炀帝游幸汾阳宫（故址在今山西宁武），嫌宫殿规模不够大，让张衡主持扩建，还赏赐张衡五百匹绢，这本来是张衡效力邀功的好机会。问题是，这几年之间，张衡眼看着隋炀帝大兴工役，到处建立离宫别馆，老百姓已经吃不消了。现在再扩建汾阳宫，岂不是太过铺张浪费！这样滥用民力、虚耗资材，不利于国家长治久安啊。

张衡觉得，自己既然是隋炀帝的亲信，一旦发现问题，就应该知无不言，言无不尽，这才是对皇帝负责。所以，就找了一个机会，劝谏隋炀帝说：“比年劳役繁多，百姓疲弊，伏愿留神，稍加抑损。”这几年总搞工程，老百姓已经很辛苦了，扩建汾阳宫的工作是不是可以先缓一缓，让老百姓稍微休息一下呢？

张衡本来是一番好意，是真把自己当成隋炀帝的心腹才这么说的。然而，隋炀帝可不领情。他觉得，张衡敢这样讲，无非是自以为有功，目无君长，非但没有听从张衡的建议，反倒对张衡心生嫌隙，指着张衡对身边的侍臣说：“张衡自谓由其计画，令我有天下也。”张衡还以为我是靠他的谋划才得的天下呢！这明显是对张衡不满了。

从此之后，张衡在他心中的形象也就直线走低，没过多久，隋炀帝就找了一个借口，把张衡贬为榆林太守，把他从身边赶走，省得再听他说那些讨厌的逆耳之言了。

过了一年，也就是大业五年（609），隋炀帝又一次临幸汾阳宫，当时，张衡正在监督老百姓修楼烦城。既然皇帝驾临，张衡