后又任命他为荆南节度使，没有上任，改任为尚书右丞。代宗从陕州回到长安，颜真卿请先拜谒陵庙而后还宫，宰相元载对此有所非议。颜真卿气愤地说：“用舍在相公耳，言者何罪，然朝廷之事，岂堪相公再破除邪！”元载因此对他深加怀恨。没多久颜真卿改任检校刑部尚书知省事，封为鲁郡公。当时元载援引私党，害怕朝臣论奏他的过失。就请百官凡是要论事先告诉长官，长官再告知宰相，然后上奏皇帝。颜真卿就此上书给代宗，指出：“今陛下欲自屏其耳，使不聪明，则天下何望焉？”认为：“今天下疮痏未平，干戈日滋，陛下岂得不博闻谠言，以广视听，而塞绝忠谏乎？今宰相宣进止，御史台作条目，不得直进，从此人不奏事矣。陛下闻见，止于数人耳目，天下之士，方钳口结舌，陛下便谓无事可论，岂知惧而不敢进，即林甫、国忠复起矣。臣谓今日之事，旷古未有，虽林甫、国忠犹不敢公为之。陛下不早觉悟，渐成孤立，后悔无及矣。”言词非常激切，于是中人抄写内本，传播于朝廷内外。后来颜真卿掌管太庙时，指出祭器不整齐，元载认为是诽谤。大历元年（766）被贬为峡州别驾，继而改任吉州司马，后又提升为抚、湖二州刺史。
元载被处死后，在杨绾的推荐下，代宗召回颜真卿，任他为刑部尚书。
代宗去世时，被任命为礼仪使。德宗即位后，杨炎为宰相，因颜真卿耿直而厌恨他，改任为太子少傅，仍为礼仪使，表面上给予尊宠，实际上是夺取了他的实权。
“忠至灭身”，三军痛哭卢杞专权时，忌恨他的耿直，改任他为太子太师，免去了礼仪使之职，并想把他排挤出朝廷，安排到方镇。颜真卿对卢杞说：“真卿以褊性为小人所憎，窜逐非一。今已羸老，幸相公庇之。相公先中丞（卢杞之父）传首至平原，面上血真卿不敢衣拭，以舌舐之，相公忍不相容乎？”卢杞惶恐四顾，起身下拜，但对颜真卿更加怀恨在心。
建中四年（783），淮西节度使李希烈反叛后，攻占了汝州。德宗向卢杞问计。卢杞回答说：“希烈年少骁将，恃功骄慢，将佐莫敢进止，诚得儒雅重臣，奉宣圣泽，为陈逆顺祸福，希烈必革心悔过，可不劳军旅而服。颜真卿三朝旧臣，忠直刚决，名重海内，人所信服，真其人也。”①德宗表示赞同，于是命令颜真卿到许州安抚李希烈，诏令下达后，整个朝廷都大为震惊。李勉听说后，认为失去一位元老会给朝廷带来耻辱，秘密上表，请求留下颜真卿，又派人拦路截留他，没有来得及。颜真卿乘驿车来到东都洛阳，河南尹郑叔则认为此去难免一死，劝他稍作停留，等待朝廷后发的命令，颜真卿认为君命不能回避，毅然前往。
刚到许州时，颜真卿要宣布诏旨，李希烈指使养子一千人环绕着他谩骂。并拔出刀剑对着他，作出要分割他、吞食他的恣态。颜真卿纹丝不动，面色不变。李希烈急忙上前用自己的身体遮挡住颜真卿，喝令众人退下。把颜真卿安排在馆舍中以礼相待，但逼迫他上表朝廷，洗刷自己的罪过，颜真卿没有听从。
