李林甫以年老多病、力有不逮为由，上表请求解除朔方节度使之职，皇帝立刻就准了。不过李林甫举荐接替自己的朔方留后李元纮皇帝却没有受纳。批复是：李元纮失胡心，致李献忠叛逃，难辞其咎，不宜领朔方节度，以免诸胡愤怨。
李林甫自那日与子李岫游园，心中郁结有所纾解，病情倒渐渐好转，歇了几日，能出来行走了。见皇帝驳回了他的表请，急忙又重拟了一份表书，举荐河西节度使安思顺兼领朔方。
安思顺河西节度使之职曾险些被高仙芝取代，他让下属诸胡割耳血谏才保住自己职位。李林甫当时曾帮他说过两句话，因而安思顺感怀在心。
皇帝驳回李元纮，一时拿不定主意，这朔方到底是给东边的安禄山，还是给西边的哥舒翰。哥舒翰与安禄山素来不协，他二人一东一西，中间隔着朔方，本也相安无事。一旦朔方被其中一人得到，这种势力的平衡就会被打破。但不给他们吧，又想不到合适的人选。朔方这样的地方，北面是突厥的诸胡部落，混乱复杂，东西各有安禄山和哥舒翰两个藩镇大吏。处理得好，四方平和，以一制全；处理得不好，就一团乱糟。也只有李林甫这老狐狸能摆得平，他一退下，还有谁能顶上？
李林甫也不愿意这两人中任何一个取得朔方。安禄山表面对李林甫是恭恭敬敬，但是他兵力强盛，野心勃勃，李林甫对他也有所忌惮，所以先前一直笼络北方诸胡加以牵制；而哥舒翰原是王忠嗣的部下，王忠嗣被贬，李林甫是罪魁祸首，哥舒翰对他颇有微词，而且最近听说哥舒翰和杨昭陈希烈二人往来密切，李林甫是决计不能让他再坐大的。
安思顺此人比起哥舒翰、高仙芝、安禄山等，将兵之才明显要低一等，但他不失为调谐哥舒翰、安禄山的一个很好的缓冲。安思顺与哥舒翰有隙，也曾进言安禄山有反心而使安禄山对其生恨，让他夹在中间，两不相帮，也不失为缓和之计。而且安思顺曾担任过朔方节度，对朔方也比较熟悉。皇帝思量一阵，便准了。
李林甫深感自己抱病这段时日朝局越来越脱离他的掌控，杨陈二人得志更让他倍感危机重重。好不容易能下床走动了，就坚持要上朝。谁知轿子走到宫门口被高力士挡了回来，说陛下念在右相年迈体弱，大病初愈，特恩准一月内不必上朝，好生歇息将养。
不久罢免李林甫、任命安思顺的制书下来，李林甫借口进宫谢恩，请求再见皇帝。这次皇帝又未准许，高力士还不冷不热地刺了他几句。这样一拖再拖，皇帝总也不肯见他，李林甫竟接连两月多不曾见到皇帝的面了。
李林甫越想越不对劲。以往他抱病在床，皇帝三天两头赏赐他各种珍贵药材补品，不绝于路，还曾特许太医前来为他诊治；如今他病有好转，却一反以往宠遇，连见他一面都不肯。于是使人查探，才知道又是杨昭搞的鬼。王鉷一案已经了解，他却仍然追究不休，又逢李献忠叛逃，便密奏右相李林甫与王鉷兄弟、李献忠都有私交，哥舒翰陈希烈从而证之。皇帝虽然不信李林甫和这些人有私交就会有什么逆思，但是也不由地对李林甫疏远了。又有术士进谗言，说李林甫年纪与皇帝相若，身染恶疾，皇帝见他会沾染晦气，因此连面也不许李林甫见了。
李林甫听到这个消息，心中憋了一口气，病情又有所恶化。原本皇帝只让他在家休息一月，一月之后他却下不了病榻，还是没法见皇帝。
而另一边，杨昭正值春风得意，如日中天。皇帝疏远李林甫，李林甫自己的身体又不争气，杨昭虽不是宰相，权势却胜过左相陈希烈，再加上内有贵妃相助，上有皇帝隆宠，可谓贵震天下。杨昭与右相不协，朝臣早有察觉，到李献忠一事才确认他二人真是为仇为敌了。李林甫原有亲党无数，这时候看情势不妙，也纷纷见风转舵脱离李林甫，有些自命中立，有些索性直接投奔杨昭去了。
