很快裴蕴便指使白衣张行本参奏苏威：“威昔在高阳典选，滥授人官；畏怯突厥，请还京师。”
用一个白衣弹劾一个宰相，真是滑天下之大稽。
而且弹劾苏威滥用职权和畏惧突厥，更是无稽之谈。尤其是后一条，天子解围南下，突厥都要覆亡了，苏威请求天子返回长安，如何成畏怯突厥。
其实裴蕴不在乎过程，他要的就是一个罪名。而且有时候罪名和过程越是荒诞反而越好，天子让他放手施为。他用荒诞的手法拿下重臣，更能使人畏惧。
杨广也不爽苏威好久了，便让人审查验证，构成罪状。
杨广遂诏“威立性朋党，好为异端，怀挟诡道，徼幸名利，诋诃律令，谤讪台省。昔岁薄伐，奉述先志，凡预切问，各尽胸臆，而威不以开怀，遂无对命。启沃之道，其若是乎！资敬之义，何其甚薄！”
于是将苏威除名为民。
之后不久，有人又告发苏威与突厥勾结，阴谋举事，这更是捕风捉影的事情。苏威就是疯了，也不可能联合突厥造反。
但这只是一个理由，裴蕴不打算放过苏威，要弄死他。
苏威无法为自己申辩，只得说道“自己侍奉二朝三十多年，精诚所至不能让天子知道，各种错误接连不断，罪该万死。”
苏威自大隋建立就担任宰辅，四次为相，辅佐天子数十年，年过七十，最后其凄惨之状，令人怜悯。满朝文武，莫不唏嘘。
杨广也不忍心处死他，便以昏聩衰老而且多病，放过了苏威一马，只是将苏威子孙三世皆除名。
苏威时年已经七十多了，被免官之后，便搬出了洛阳，带着孙子搬到邙山居住。
