杨坚提拔的另一个人是元岩，他被任命为黄门侍郎。黄门侍郎是皇帝的近侍官员，负责传递诏令，同时在隋朝又是门下省的副职，掌握中央决策的审批，是非常关键的职位。杨坚用柳述、元岩两个人，勉强可以和太子杨广、尚书左仆射杨素的势力相抗衡。在大臣之间保持力量均势，不让任何一方坐大，是中国古代典型的“帝王之术”。对此，杨广、杨素两个人十分不满，但也无可奈何。
此时的杨坚，在孤独皇后病逝后，压制了大半辈子的欲望和不满都宣泄了出来，开始纵情声色。他大规模扩充后宫的女眷，新设置了三名贵人，将嫔增加到九人，世妇增加到二十七人，御女增加到八十一人。此时的杨坚六十一岁了，年逾花甲，还整天阅尽美色。在众多的嫔妃中，杨坚最宠爱两个人，一个是陈氏，一个是蔡氏。杨坚封陈氏为“宣华夫人”，封蔡氏为“容华夫人”。容华夫人来自北方，风流娇媚，善解人意。宣华夫人则是陈朝的宫廷美女，肌肤润滑，温柔可人。在温柔乡中，杨坚每天都笑逐颜开，然而一旦出了后宫，他就表现得多疑暴戾，罢黜、外贬和杀戮了大批看不顺眼的官员。
杨坚越糊涂，对杨广就越信任。仁寿初年，杨坚命令太子杨广巡抚东南。杨坚去仁寿宫避暑的时候，都令杨广在大兴监国，代理朝政。
随着废立太子之事，宗室内部也不安稳。《隋书》认为杨勇在位日久，杨坚一朝废立太子，“开逆乱之源，长觊觎之望”。杨广取代大哥杨勇，当上了新太子，但是下面的几个弟弟心里就在想：“为什么我不能同样取代二哥，当上新太子呢？”
在隋文帝诸子中，三子秦王杨俊在开皇二十年（600）六月已经去世，年仅三十岁。杨广被立为太子后，能对他构成威胁的头号人物就是蜀王杨秀。杨秀为杨坚第四子，常年镇守四川地区。四川地势险要，加上杨秀经营多年，实力日渐壮大。他见大哥杨勇被废，二哥杨广当上了新太子，心中很不满。外人可能对杨勇、杨广两人不太了解，但是杨秀是他们的亲弟弟，他对两位哥哥的为人禀性是有大致准确的认识的。当杨广上位后，他便暗中招兵买马，有意要争夺太子之位。杨广察觉后，决定先下手为强，暗中勾结杨素，要栽赃陷害杨秀，置他于死地。
客观上，杨秀本身也劣迹斑斑。除了杨家兄弟“标配”的骄奢**逸外，杨秀还有许多问题。比如，杨秀建造浑天仪、司南车、记里鼓，穿戴皇帝的服饰，这些都属于僭越的行为；杨秀又和妃嫔出去打猎，以弹丸射人，还捉捕四川当地的居民，阉割后充当宦官。
杨素把这些问题报告给杨坚后，杨秀就没戏可唱了。仁寿二年（602）闰十月，杨秀被召回大兴。杨坚命令杨素等人审问杨秀。杨素和杨广一商量，杨秀的所作所为的确应该受罚，但离彻底打倒在地，在政治上难以翻身，还有一段距离。那怎么办呢？他们决定伪造证据，罗织罪名。
中国古代流行巫蛊厌胜之术，即利用人偶诅咒他人。杨广就偷偷做了一个木偶，上面写着隋文帝杨坚与汉王杨谅的名字，再缚手钉心，枷锁杻械，写上一段咒语：“请西岳慈父圣母神兵收杨坚、杨谅神魂，如此形状，勿令散**。”然后他暗中派人将木偶埋到华山脚下。接着杨素带人去把木偶挖出来，作为杨秀谋害杨坚和杨谅的证据。此外，杨广又以杨秀的名义伪造檄文，在文中称“逆臣贼子，专弄威柄，陛下唯守虚器，一无所知”。写好后，便模仿杨秀的笔迹抄写一遍，夹入从杨秀家里查抄出来的文集中。杨素根据这些证据，判定杨秀“谋逆”，报告给了隋文帝杨坚。杨坚既吃惊又失望：“天下竟有这样的不肖子！”当年十二月，杨坚废蜀王杨秀为庶人，幽禁于内侍省。
剩下来可能参与皇位竞争的，就只有皇五子——汉王杨谅了。开皇十七年（597）秋，汉王杨谅出任并州总管，杨坚亲自出宫饯送。南北朝以来，并州地位很重要，既是东西两方政权征战的主要地区，又是防御北方突厥人的前线，乃兵家要地。所以，隋朝在并州驻扎了重兵，赋予并州总管巨大权力。杨坚给杨谅划定的管辖范围，“自山以东，至于沧海，南拒黄河，五十二州尽隶焉”，而且“特许以便宜，不拘律令”。杨谅辖域之广，事权之重，势力在所有地方官中是最强的。但是，由于杨谅年纪尚小，出镇地方的时间也还短，所以没有和二哥杨广爆发冲突。杨谅只是借口防御突厥，修军整武，扩充兵马，意图进则争夺天下，退则割据一方。
这一切都表明，隋朝的政治局势并没有因为立杨广为新太子而平静，各种矛盾日趋复杂。
