夫的时候，他手下的御史弹劾杨约对隋炀帝心存不满，杨约因此被赶出朝廷，很快就去世了。杨玄感和叔叔杨约感情深厚，所以，对张衡早就有意见。现在看到告状人递来的状子，杨玄感对张衡更添了一重坏印象。

可是，对这些事情，张衡本人不知道。他是人在江湖，心在朝廷，一看朝廷来人，张衡居然产生了他乡遇故知的亲切感，也没怎么寒暄，更没有谈自己的工作，而是劈头来了一句：“薛道衡真为枉死。”薛道衡这书呆子，死得可真冤枉。就这一句话，把张衡给葬送了。

听到张衡口出狂言，杨玄感新仇旧恨一起报，立刻弹劾张衡为罪臣说话，诽谤皇帝。这真让隋炀帝大失所望：你是我的亲信，凡事应该替我考虑。现在你居然带头败坏我的名声，是可忍，孰不可忍！马上下令把张衡拿下，锁到江都的集市上，当众处斩。那么，张衡的事情是不是就到此结束了呢？还没有。就在千钧一发的时刻，隋炀帝突然心软了，重新下令，把张衡革职为民，放归田里。

按道理讲，既然放归田里，就成了一个普通农民，跟政治再没有关系，也就没有了政治风险。但张衡的霉运还没有到头。他回到家乡之后，广置良田美妾，着实享受了几天快活日子。但是，小妾多了就会争宠，他又未能搞好平衡，把其中的一个小妾得罪了。这个小妾是个厉害角色，大业八年（612），她一纸诉状告到朝廷，诬告张衡怨恨皇帝，诽谤朝政。

大业八年（612），正是隋炀帝第一次征高句丽失败之际，隋炀帝心里正郁闷着，一听到张衡小妾的申诉，更加心头火起，哪管什么是非曲直，也不派人细细追究，干脆下令让张衡自尽。一代功臣就这样死于非命。

那么，应该怎么评价张衡之死呢？平心而论，张衡死得太冤枉了。虽然张衡和高颎等人都是因为讪谤朝廷的罪名被处死，但是，张衡和高颎又有极大的不同。高颎等三人都是隋文帝时代的老臣