杨坚不得不怀疑高颎的忠心了，下令囚禁高颎，严加审讯。司法部门很快又奏称有和尚术士对高颎说：“明年国家有大丧。皇上在开皇十七、十八年有大厄，最迟不会躲过开皇十九年。”这简直是在诅咒杨坚！杨坚十分愤怒，对着群臣咆哮说：“帝王之位岂可强求！高颎与儿子谈话，自比晋朝皇帝，安的是什么心啊？”皇帝都给高颎定性了，有关部门只好奏请处斩高颎。最后时刻，杨坚还是念了往日情分，说：“去年杀了虞庆则，今年又杀了王世积，如果再诛杀高颎，天下会怎么看我呢？”于是，高颎被免去了爵位，降为庶民。
早在高颎出任尚书左仆射的时候，他的老母亲就告诫他说：“儿子，你富贵已极，但要当心自己的脑袋，平日里要慎之又慎啊！”高颎也一直担心发生祸变，现在被贬为平民百姓了，反而表现得很高兴，如释重负，一点悔恨的样子都没有。
高颎被斥退后，接替其职位的人是杨素。
杨坚统治时期，隋朝的尚书左右仆射（高颍和杨素被尊称为丞相）人选相对固定。高颎长期担任尚书左仆射，开皇九年（589），苏威出任尚书右仆射，三年后因为用人不当而被罢免，由杨素接任。现在高颎被免职，苏威也宦海沉浮，杨素成了强势的尚书左仆射。
杨素的能力和功绩可能不逊于高颎，但个人品德、操守根本无法与高颎相比。杨素不仅对人严厉苛刻，而且是以权谋私、贪赃枉法的高手。调任要职后，他总是忙着捞钱，大兴城和其他大都会中到处都有杨家的客栈、磨坊、田宅。杨素还乐衷享受，看不起那些不会享受、只知道低头干活的同僚。他在家中蓄养了成百上千的妓女和侍妾，还有更多的奴仆维护着他那奢侈得像皇宫一样的府邸——不止规模样式仿照皇宫，内部装修也遵循皇家标准。
同时，杨素非常善于伪装，很会在杨坚面前装出艰苦朴素、勤勉为政、尽忠报国的样子。杨坚至死都认为杨素竭诚尽职，对杨素信任有加。
早在开皇十三年（593），杨坚想在岐州（今陕西凤翔）之北建造一座仁寿宫，作为皇家行宫，便命令杨素督造。为什么选择杨素呢？因为杨素“驭戎严整”，管理军队很有办法，而用管理军队的办法督工最有效。当时，著名的建筑专家宇文恺正在担任莱州刺史，也被抽调来负责具体技术。杨素领命后，广征百姓，“夷山堙谷以立宫殿，崇台累榭，宛转相属”，样样求全求好，对民工奴役颇深，管理苛刻，结果逼死和累死了许多百姓。百姓倒毙在工地上，杨素就下令把尸体推进坑里，盖上土石，筑成平地——等于把百姓的身体当作原料了。于是，几万百姓的尸骨筑成了一座仁寿宫。
仁寿宫落成后，高颎前往验收巡视，回来后报告杨坚说宫殿绮丽壮观，豪奢过度，而且害死了数万百姓。杨坚听了，就对杨素很不满意。他亲自跑到岐州去看仁寿宫，果然是琼楼玉宇，奢侈无度，于是勃然大怒，斥责杨素是“殚民力为离宫，为吾结怨天下”，既浪费了民力财力，又让他在天下人心中留下了坏印象。杨素一听，害怕了。他病急乱投医，拉住了二十五岁的土木监封德彝，请教避祸之道。封德彝是个温文尔雅的秀才，善于出谋划策，他对杨素说：“杨公勿忧，等皇后到了，必有恩诏。”杨素一听就明白了，封德彝是让自己去走“夫人路线”。杨素赶紧哭哭啼啼地找到独孤皇后，摆出了一大套理由：“帝王本来就应该有离宫别馆。现在天下太平，造一座宫殿又何必担心破费呢？”独孤皇后觉得很有道理。第二天，杨坚召杨素来痛斥，一旁的独孤皇后替杨素辩解说：“杨素知道我们夫妇老了，没有娱乐休闲的地方，这才盛饰仁寿宫。他难道不是一个忠孝之人？”杨坚听后，非但没有追究杨素的责任，还赏赐钱百万，锦绢三千段。他又一次去新宫游览观光，换了一种眼光去看，看得兴高采烈，直夸杨素是忠臣。
杨坚为什么会有这么大的转变呢？因为他在内心里接受了杨素的那一套思想观点。此时隋朝已建立多年，杨坚“如临深渊，如履薄冰”的谨慎勤政之心消失了，开始追求安逸奢侈的生活了。变成杨素的同路人之后，以节俭著称的杨坚夫妇开始挥金如土，荒于政务，对百姓的呼声也充耳不闻了。也许，他们觉得辛辛苦苦干了二十年，天下已经富足安康，享受的时刻到来了。
此后，仁寿宫成了杨坚和独孤皇后经常光临的地方。有的时候，夫妇俩一年来好几次，住下就不想走了，干脆命令把大兴城的政务奏章也转交仁寿宫。每次往返的时候，皇家车骑銮驾，扈从万千，光亮得很。而沿途百姓不仅要提供车驾沿途需要的食品、水、享受的物资，还要跪迎“二圣”。杨坚夫妻的享受变成了扰民的行为。
豪奢享受的时间长了，处理政务的时间就少了，杨坚晚年的统治开始黯淡下来。仁寿元年（600）四月，突厥的达头可汗侵犯边界。隋朝派出了大军分路反击，最后打赢了。杨素作为其中一路的统帅，功劳没有大将史万岁大。史万岁长期对突厥作战，威名在外，被突厥人视作战神，即使夜晚史万岁没有警备，突厥人也不敢偷袭。在突厥人看来，史万岁是不可战胜的。所以这一次突厥军闻其名而逃，不敢接战。史万岁不依不饶，乘势率少数骑兵追击，深入敌后数百里，斩首数千。战后论功行赏，史万岁是战果最大的，这就引起了杨素的嫉妒。除了少数几个人（杨坚、高颎等）外，杨素看不起其他人，容忍不了史万岁的功绩比自己高，就向杨坚谮毁史万岁：“突厥本已投降，这次只是来塞上放牧，根本不是入侵。史万岁为了立功，故意挑起战端，破坏我朝和突厥的关系，现在他又来邀功。”杨坚宠信杨素，就把史万岁和部下的功劳一笔抹杀了。史万岁多次上书申述，杨坚都不予理睬。
从此，杨素更加有恃无恐，凌辱众臣，但他唯独对封德彝有好感。封德彝替杨素解决难题后，被擢升为内史舍人，很快又升迁为侍郎。杨素常常和年轻的封德彝讨论朝廷大事——许多是封德彝那个级别的官员不应该知道的事情，终日不倦。一次，杨素谈到兴头，拍拍自己坐的榻子说：“封德彝日后肯定会坐我的位子。”
从重用明达世务的高颎转而信赖曲意逢迎的杨素，也可以看出杨坚晚年在统治上的识人不明。其实，这一切都根源于他敏感多疑的个性。多疑是古代皇帝的共性，只是强弱有别。但杨坚是重度患者，《隋书》评价杨坚“天性沉猜”。这样的性格在他执政初期，对国事尚未产生重大影响，而随着天下安定，他对权臣的猜忌便愈深，反而是那些善于逢迎、伪装的大臣更易得到信任。
在君主专制政体下，皇帝的性格影响巨大，甚至足以主宰王朝政治的发展。杨坚深深的不安全感、多疑猜忌的个性，直接影响了隋朝的权力交接，进而很大程度上决定了王朝的命运。
