不过迁都之事一出，整个江都，立刻哗然起来。
人心动荡，军心紊乱。
朝野内外，议论纷纷，不少人更是扬言面谏天子。当然，大部分也只是说说，没人敢触这个眉头。
这时以赵才等为首的关陇一脉的天子嫡系，仍不罢休，还想尽最后一份力。于是众人商议，既然改变不了天子的决心，那就弹劾虞世基，使之自乱阵脚。
众人还对天子有最后一份信心，只要将虞世基的罪证摆在天子面前，天子会看明白的。
于是治书侍御史刘子翊上书弹劾道：“虞世基及御史大夫裴蕴职典枢要，维持内外，四方告变，不为奏闻。贼数实多，裁减言少，陛下既闻贼少，发兵不多，众寡悬殊，往皆不克，故使官军失利，贼党日滋。请付有司结正其罪。”
其实还是说虞世基蒙蔽天子，隔绝内外。众人准备了良久，最后又来了一个老生常谈的话。
不得不说，忠臣的手段往往比较少，你就是告虞世基一个造反也可以啊，先把水给搅和混了再说。说什么“蒙蔽天子”，那是天子不想醒啊。
于是都不用虞世基出手。
大理卿郑善果奏道：“刘子翊诋訾名臣，所言不实，非毁朝政，妄作威权。”直接给刘子翊扣了一个“诽谤、擅权”的大帽子。
人家虞世基有天子撑腰，不怕弹劾，这刘子翊就不成了。
于是虞世基一党群起而攻之，杨广也趁机将刘子翊贬出朝去，担任丹阳郡太守，去给天子修丹阳宫去了。
经此一役，以赵才为首的关陇系保皇党大败亏输，赵才也不得不称病不起。
而随之而来的，再无人敢对虞世基置喙了。
