杨坚的心理变化，不自觉地体现在了政治行为上。从开皇十一年（591）起，支持太子杨勇的政治势力开始受到打击。
开皇十二年（592），“卢恺朋党案”爆发。卢恺当时担任礼部尚书，兼理吏部尚书事，主管朝廷的人事选拔，是握有实权的大臣。卢恺是太子杨勇的支持者，他选拔的官员基本上也都是支持杨勇的。当年，隋文帝杨坚认定卢恺党同伐异，罢免了以尚书卢恺为首的一批吏部官员，贬斥到地方去。虽然此事并没有广为株连，在历史上的影响并不大，但透露出了一个明确的信号：杨坚对太子杨勇不满。
过了五年后，即开皇十七年（597），“刘居士案”爆发，更加明确地把太子杨勇牵连进去了。
刘居士是彭国公刘昶的儿子，属于“官二代”。他仗着家庭背景雄厚，在京师内外“聚徒任侠，不遵法度”，劣迹斑斑。一开始，杨坚看在刘昶的面子上没有追究。他觉得年轻人不懂事，只要不闹出大事来，就算了吧。
刘居士一看没人管自己，越来越肆无忌惮，纠集了一批官二代，形成了带有黑社会性质的小团伙。刘居士只要听说哪个公卿子弟膂力雄健，就闯到他家去，先用车轮套住他的脖子，再用棒子打他。如果对方宁死不屈，刘居士就称他为壮士，和他结拜相交。就这样，刘居士结党三百余人，把身手敏捷的编为“饿鹘队”，把身强力壮的编为“蓬转队”。这群世家公子殴打路人，抢夺财物，大兴城里无论贵贱，看到他们都远远躲开。甚至公卿王妃，都不敢惹他们。
刘居士日夜在外面乱搞，却是有官职的，算是朝廷命官。古代皇帝为了拉拢王公大臣、达官显贵，常常授予他们的儿子一些闲职和虚衔，作为一种安抚手段和政治待遇。而这些官二代年纪小，又没什么政治经验，比较适合安排给太子做侍从官员。刘居士的官职就是“太子千牛备身”，担任皇太子杨勇的侍从官员。他的狐朋狗友当中，相当一部分人也是杨勇的侍从官员。
然而刘居士一行人在大兴城里横行霸道，就常常亮着自己的官职，有意无意地打着太子杨勇的旗号，旁人的观感就是“太子身边的人横行不法”。
终于，刘居士与党徒的行为超过了杨坚的底线：他们游览汉代的长安城遗址，登上了汉代皇宫未央宫的殿基，但刘居士竟然南向而坐，党徒们前后列队，摆出了君臣朝会的架势。此外，又有人告发刘居士派人暗中勾结突厥，引诱突厥大军南侵。隋文帝杨坚接到举报后，认定刘居士等人阴谋造反和图谋叛国，迅速将包括刘居士父亲刘昶在内的一干人等全部逮捕入狱，并株连了很多人。最后，刘居士被斩首，刘昶被赐死。
“刘居士案”对太子杨勇的声望打击很大。应该说杨勇没有管教好身边官员，在此案中负有失察的责任。但是隋文帝杨坚看得并没有这么简单，他早已经在心里讨厌杨勇、倾向杨广了，经过此案后则加重了这种倾向，更加认为杨勇这个太子无法无天，骄横霸道。他反思自己，怎么能把辛辛苦苦创建的王朝事业交付给这样的人呢？
一次，杨坚突然问大臣韦鼎：“你看朕的几个儿子，谁适合接大位啊？”韦鼎吓出一身冷汗。皇太子都已经确立十多年了，皇帝怎么还会问这样的问题呢？韦鼎的脑子飞快地转了起来，最后他给了一个模糊的回答：“至尊、皇后所最爱者，即当与之，非臣敢预知也。”大家都知道皇帝怕皇后，杨坚对独孤伽罗言听计从，所以韦鼎言外之意是：“皇后娘娘最喜欢谁，万岁爷您就把皇位交给他吧。”杨坚听了，笑着对韦鼎说：“你这老狐狸。”
