杨坚晚年有些好大喜功，曾经发动对高句丽的战争。战前，高颎坚决反对出兵，但是杨坚非但不听，还任命小儿子汉王杨谅为主帅，高颎为监军，辅助杨谅。杨坚知道杨谅年轻，没有经验，事先赋予了高颎“专委军事”的大权。这次战争进展得非常不顺利：陆军刚走出临渝关（今山海关）就爆发了传染病；水军出海不远又遭遇了大风，损失了多数战舰。结果，隋朝大败而归，回来的士兵只有原来的十分之一二。
对于此次战争的失利，杨坚雷霆大怒。独孤皇后乘机诋毁高颎说：“高颎本来就不愿打仗，陛下派遣他出征，他肯定不会卖力。我一开始就知道会出师无功！”而在征战过程中，高颎认为杨坚授予了他征战大权，便事事出头做主，对名义上的主帅杨谅的意见很不尊重，通常予以否决。他总觉得杨谅年轻，考虑不周，却忘记了谨慎为臣的道理，“无自疑之意”。杨谅原本对指手画脚的高颎就非常不满，后来打了败仗，闹得灰头土脸的，就由不满转为怨恨了。回到京城后，杨谅就向父皇和母后哭诉：“儿子我幸亏没被高颎杀掉，才能侥幸回来见到双亲。”杨坚和独孤皇后自然偏信小儿子的话，对高颎更加不满了。
第二件事情是开皇十九年（599）的“王世积案”。王世积是从北周进入隋朝的老臣，立下了不少军功，官拜隋朝的凉州总管。和当时许多跨越了两个朝代的大臣一样，王世积在杨坚篡位之前，很难调适自己的心理。王世积头脑比较简单，他知道高颎是新崛起的掌权人物，就偷偷问高颎：“吾辈俱周之臣子，社稷沦灭，其若之何？”他内心的纠结、不安，都体现在这句话里了。高颎闻言，并未作出回答，只在心里暗自感慨王世积思想简单，口无遮拦。当然，作为一个厚道人，他也没有举报王世积“心怀旧主”。
事情过了二十年，王世积的一个亲信皇甫孝谐犯罪。官府四处捉捕他，皇甫孝谐投奔王世积，恳求收留。王世积不愿多事，闭门不纳。皇甫孝谐最终被捕，发配桂州。他心中怀恨王世积，就告发王世积“谋反”，说王世积在凉州暗中训练精兵，图谋不轨。这是子虚乌有的诬告，本来是打不倒王世积的。但是，杨广、杨素等人翻出了王世积和高颎的老账，罗织罪名，指使亲信大臣上奏说王世积对本朝不满，囤积兵马，准备谋反，同时指认高颎与王世积交往联系，发泄不满。高颎还接受了王世积赠送的河西宝马。他们把真真假假的信息都混合在一起，利用杨坚的多疑猜忌，让杨坚相信了诬告。最终，王世积遇害。
杨坚对高颎的不满，此时都发泄了出来，他认定高颎有罪。大将贺若弼、兵部尚书柳述等众多官员纷纷出面申辩，为高颎开脱。大家认为高颎即使有罪，也为国家立下了大功，应该赦免。杨坚更加恼怒，认为高颎平日结交朝野官员，结党营私，下令敢为高颎辩解者一律罢贬。很快，朝野再也没有人敢为高颎说话了。当年八月，杨坚免去高颎尚书左仆射的职务，保留齐国公爵位，让其赋闲回家。
高颎毕竟和杨坚搭档二十多年了，感情很深。当时，与高颎对立的晋王杨广、杨素等人为了不让高颎有任何重起的机会，便暗自谋划了一个计策。没过多久，高颎的部属就上书揭发说：“高颎的儿子高表仁曾经对高颎说：‘司马懿当初托疾不朝，赋闲居家，最后不也利用政变夺取了天下吗？父亲今天遭遇挫折，焉知非福！’”外人不知道高表仁有没有这样宽慰父亲高颎，如果高表仁真的将高颎和篡位夺权的奸臣、西晋缔造者司马懿相提并论，无疑是将落难的父亲向地狱门口推了一把。
