就在仁寿二年（602），梁毗上书隋文帝，说：“臣闻臣无有作威福。臣之作威福，其害乎而家，凶乎而国。窃见左仆射、越国公素，幸遇愈重，权势日隆，搢绅之徒，属其视听。忤意者严霜夏零，阿旨者膏雨冬澍，荣枯由其唇吻，废兴候其指麾。所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图，四海稍虞，必为祸始。夫奸臣擅命，有渐而来。王莽资之于积年，桓玄基之于易世，而卒殄汉祀，终倾晋祚。季孙专鲁，田氏篡齐，皆载典诰，非臣臆说。陛下若以素为阿衡，臣恐其心未必伊尹也。伏愿揆鉴古今，量为外置，俾洪基永固，率土幸甚。轻犯天颜，伏听斧锧。”我听说，臣子是不允许作威作福的，如果一个国家允许臣子作威作福的话，那么必定天下大乱。现在我们国家有没有哪个大臣作威作福？当然有啊，这个作威作福的人就是越国公尚书左仆射杨素。他倚仗陛下的宠幸，权力已经大得没边了，所有的官员都要看他的脸色办事。我们整个官僚系统，其实都受他的指挥。这样下去，有一天他也会走上像王莽、桓玄那样奸臣、权臣的道路。希望陛下能够预先留心到这一点，鉴古知今，不要再给他这么大的权力，我知道我这话不中听，说出来也许您不喜欢，但是为了国家利益，我万死不辞。

当时杨素可是炙手可热的人物，首席宰相梁毗这样说，不是找死吗？果然，隋文帝大怒，马上把他抓了起来，亲自质问他，怎么可以如此诽谤大臣。

没想到，梁毗毫不畏惧，当面对隋文帝说：“素既擅权宠，作威作福，将领之处，杀戮无道。又太子及蜀王罪废之日，百僚无不震悚，惟素扬眉奋肘，喜见容色，利国家有事以为身幸。”我确确实实认为杨素是一个作威作福之人。我有充分的证据。陛下，请您想一想，当年您废掉太子杨勇和蜀王杨秀的时候，我们这些大臣，谁都觉得这是一件非常让人震惊、让人恐慌、让人难过的事，可唯独