杨广当了将近两年的太子后，仁寿二年（602）八月二十四日，独孤皇后病逝，时年五十岁。她被尊称为“文献皇后”。
杨广表现得万分悲痛，拜见父皇杨坚时哀恸气绝，泣不成声，无法站立，但回到东宫后，他的举止马上恢复自然，可见是装的。为了表示事母至孝，他还总是装出茶饭不思的样子。私下里，他却在衣袖里藏了多个竹管，管子里装着精制的猪鱼肉脯，管口用蜡封死。夜深人静的时候，或者没人的时候，他就赶紧抽出竹管吃上几口美食，吃完了继续哭丧。
当时，朝野上下并没有因为太子废立一事尘埃落定而安静下来，相反是暗流涌动、争斗不断。借着皇后的丧事，一些为杨勇抱不平的人纷纷上书，给杨勇争取权益。
先是文林郎杨孝政上书说：“皇太子为小人所误，宜加训诲，不宜废黜。”隋文帝杨坚读后很生气，动手打了杨孝政。接着贝州长史裴肃上表，请求仿照前朝的惯例，封废太子为王。这道上表对杨坚的触动很大，杨坚觉得天底下还有一帮人在维护杨勇，这出乎他的意料。他特地征召裴肃入朝，两人面谈了杨勇的问题。虽然杨坚最终没有封杨勇为王，但激起了朝中一批大臣相继发难，更多的人则把攻击的矛头对准了尚书左仆射杨素。这引起了杨坚的警觉。
仁寿元年（601）正月，杨素拜为尚书左仆射，日渐独断专行、打击异己，权势膨胀。杨素的很多宗族子弟平步青云，占据朝堂。杨素的所作所为招致了朝臣的不满，杨家势力的扩张也引起了杨坚的注意。皇帝在权力方面都是非常敏感的，不允许任何人威胁到至高无上的皇权。
同情废太子杨勇的大臣梁毗，上书揭露杨素擅权，说：“杨素所私皆非忠谠，所进咸是亲戚，子弟布列，兼州连县。天下无事，容息异图；四海稍虞，必为祸始。”杨坚开始还不相信，把梁毗打入监狱，亲自审问。这一审问，改变了杨坚的态度。梁毗说杨素在太子杨勇、蜀王杨秀获罪被废的时候，“扬眉奋肘，喜见容色，利国家有事以为身幸”。
梁毗的话，刺激了杨坚敏感的神经。他把杨素平时的言行在脑子里回想了一遍，判断杨素的确有专权揽政的嫌疑，于是果断决定“架空”杨素。一方面，杨坚对杨素很客气，礼遇有加，但就是不让他过问具体的政务。尚书省是负责贯彻落实政令的，但一直到杨坚驾崩之前，杨素都不再主持尚书省的政务。另一方面，杨坚剪除杨素的党羽，把和杨素关系亲密的人，比如杨约、薛道衡等人全部外放，不允许杨素扩张势力。
杨素的旁边，站着新太子杨广。两人早就结成了政治同盟，经过扳倒宰相高颎、推翻太子杨勇等战役后，杨广、杨素的同盟更加坚固，而且也为他人所知晓。而皇帝最看不得的，就是底下的人结党营私，可能威胁到皇权。杨坚要想从根子上遏制杨素、杨广这一派势力，就要树立一派新力量与之抗衡，毕竟双轮车要比单轮车稳定得多。
在隋文帝杨坚的支持下，以柳述、元岩为代表的权贵势力迅速崛起。柳述是当朝驸马，杨坚的女婿，娶了杨坚最宠爱的五女儿兰陵公主。之前，晋王杨广希望兰陵公主许配给小舅子、晋王妃的弟弟萧玚。杨坚开始答应了，后来又改了主意。因为这件事情，杨广很讨厌柳述。柳述崛起后，两人的关系更加恶化。
柳述担任吏部尚书的时候，仗着特殊的身份、地位，较为骄横。杨素权倾天下，其他大臣都很怕他，但是柳述就不把杨素放在眼里，好几次在杨坚面前揭露杨素的短处。还有几回，柳述的公务处理得不合杨素的心意，杨素派人通知柳述改正，但柳述对来人说：“回去告诉杨素，就说我柳述不改。”不用说，杨素也很讨厌柳述。
