李隆基起事诛灭韦氏之时，王毛仲忽然不见了踪影，事成之后方才返回。李隆基未曾责怪他，依然宠之信之。然这件事儿实为李隆基心中难以挥去的阴影，其口中不提，心中却记忆犹新，今日恼怒之时，顿时脱口而出。
高力士眼见激起了皇帝的怒火，心中不免得意，继续添言道：“陛下，北门奴官皆为王毛仲的亲信，若不早图，必起大患。”
高力士的这句话实为画蛇添足之言，李隆基闻言先是瞧了高力士一眼，继而缓缓坐下。李隆基深明统制禁军的御术，王毛仲现在正用得顺手，他不过有些志得意满而已，离图谋不轨甚远，岂能因一句话就废之？
李隆基知道禁军与宦官的情况，风言风语听说过王毛仲及其将领欺凌宦官之事。然禁军与宦官相比，还是禁军最为重要，遂向高力士说道：“高将军，朕知道了，此事到此为止。”
高力士乖觉得很，看到皇帝不回应自己说的话，心中正隐隐后悔自己说话有些太急，遂点到为止，不再说此话题。
其实高力士不知，他的这番话还是警醒了李隆基，心中开始起意换掉王毛仲。然此非一朝一夕的事儿，须万分珍重，譬如谁来接手王毛仲？如此位置须寻来一个既对皇帝忠心，又能统御禁军的人儿，且应以王毛仲为鉴，其性情不能飞扬跋扈。若想寻来这样一个相对完美之人，恐非一日之功啊。
源乾曜越来越发现李林甫可堪造就，李林甫这日晚间入府拜望，源乾曜衷心赞道：“哥奴，你很好呀。我见崔隐甫与宇文融接连上奏再弹劾张说，生怕你也随同。呵呵，你未盲目跟从，殊为可嘉呀。”
李林甫道：“晚辈当初随他们弹劾张说，那是基于所职本分和正义。张说如今不过在酒宴上说过几句狂话，其出狱后一时激动，殊为难免，也就不必认真了。”
源乾曜赞许道：“孺子可教。哥奴呀，张说此次被罢中书令，然其他官秩犹存，可见皇恩浩**啊。他们二人如此死缠烂打，明显想将张说置于死地，如此做就有些太过了，他们不是以张说为敌，明显想让圣上难堪嘛。嘿嘿，圣上从此不许张说上朝，然我知每遇大事时，圣上还会派人前去问询张说意见，哥奴，圣上圣明无比，他心中的主意实在明白得很呐。”
源乾曜平时慎言少语，绝不会轻易坦露心迹。其与张说共事多年，心中肯定有不满之处，然无一字一句对张说的怨言，由此可见其隐忍之功。他近来与李林甫说话颇多，缘于他认可李林甫可堪造就。如此的话儿，他万万不与崔隐甫和宇文融表露的。
李林甫此前已洞悉事情的幽微之处，所以再也不与崔隐甫联手上奏。现在源乾曜难得细说详细，李林甫心中固有主意，面容上犹作恍然大悟之态恭维道：“晚辈此次未曾盲从，不料将事情做对了。今日闻源公之言，晚辈犹如醍醐灌顶，则今后每遇事儿，定先来请源公示教。”
源乾曜微微一笑道：“哥奴不必太谦！以睿智而言，同龄之人中，难有人能居于你其上。”
李林甫今日来见源乾曜，并非仅仅闲谈。他又谦逊了几句，继而问道：“源公，听说张九龄受张说之累，即日要出为外任了？”
张九龄昔日为张说最为亲近之人，如今张说罢相，源乾曜作为主要宰相，断不会继续让张九龄任枢机房主事。此位置职务虽微，然可以有与皇帝接触的机会，又总理各衙事务的联络，则十分重要。源乾曜此前已说通李隆基，欲使张九龄为外任。
源乾曜答道：“圣上向来重视内外官交流，张九龄居京多年，早该出外历练一番，怎能说他受了张说之累呢？”
李林甫顿悔自己失言，急忙向源乾曜认错。
源乾曜目视李林甫，心想此子果然心思灵通，张九龄的授书尚未发表，他闻此讯息即前来问询，看来属意此职。
李林甫遇此良机，当然要把握机会，其直言说道：“源公，若张九龄去职，则此位空悬，不知晚辈能够充任吗？”
