于是张浚赶快去找高宗，将自己的想法告诉他；两个人稍为讨论了一下就决定，淮西军还是一支独立的部队，将统制王德升任都统制，由都督府直接统领。
总之，一切都没变，只是五大军事力量之中，淮西军一支的大帅由刘光世变成张浚。
对于岳飞来说，从一开始就没有覬覦刘光世的部队，甚至连朝廷想罢黜他都不知道；是高宗与张浚主动告诉他要把淮西军併入岳家军，等到岳飞的雄心壮志受到激发，热情高昂后又浇他一盆冷水，当然会有被耍的感觉。
因此，岳飞于邵兴七年三月怀着极端灰心失望的情绪离开建康，溯江西上回到庐山东林寺旁他的居第中去。岳飞实在按捺不下心中的不平，便写了一道奏章给朝廷，只说因为与宰相张浚议事不合，请求解除兵权，留在庐山，为他的母亲补满守孝的时间。
高宗收到岳飞的奏章，一方面马上退回不准，希望他復出治事，一方面又接受张浚的建议，委派兵部侍郎张宗元前往鄂州去担任宣辅判官，暂时接替岳飞掌理军务。
张宗元是张浚的亲信，张浚安排他充任这个职位，既可就近观察岳飞是否有与部属连络？还可监视他们的反应与行动。万一岳飞与高宗真正闹翻，他更可直接接收岳飞的部队。
高宗连续下了三次命令给岳飞要他復出，岳飞都坚持不理之后，高宗只好故技重施，用三省枢密院的名义下了一道《省札》给鄂州宣抚使司的参议官李若虚和统制王贵，命他们一起前往庐山敦请岳飞回到鄂州管理军务。如果岳飞违抗此令不予遵行，李若虚与王贵等都要接受军法处置。
李若虚与王贵，一文一武，等于是岳飞的左膀右臂；他们马上啟程往庐山东林寺去见了岳飞，说明朝廷的恳切敦请之意。想不到岳飞还是坚执不肯接受。
李若虚眼看好话说尽都没有用，只好以严厉的口气说道：「岳帅是一个军人，如此坚执不听从朝廷的旨意绝对不是好事。而且一而再，再而三，难道不怕朝廷上有人產生疑虑，怀疑岳帅是否想干什么？」
李若虚又说：「岳帅原本只是河北的一个农夫，受到皇上这样的信任，如今担任一军统帅，难道您以为可以和朝廷相抗吗？您这次若仍坚持不肯回鄂州军营，我们这些手下势将受刑而死，我们究竟有哪里对不起岳帅，您又何忍把我们置之死地呢？如果真的走到这步田地，难道您对我们都没有一点愧悔之心吗？」
类似这样的谈判持续了五天，当天夜里岳飞实在睡不着，起来坐在凉亭上一个人想了很久。
自己与高宗的击掌立誓，旁边只有一个马屁精韩诚，这次自己被耍的来龙去脉顶多又多一个老狐狸张浚知道，当初他们俩人主动说要把淮西军给我的时候，千叮嚀万嘱咐要我绝对不能把这件事告诉任何人，所以现在全天下人大概都认为一定是岳飞仗着战功彪炳要夺淮西军权，因为没有得手才老羞成怒，耍小孩脾气。甚至连自己的部下，应该也都是这么想的吧。
王贵这傢伙，跟上辈子王英比起来武功虽然长进不少，但是胆小怕事，眼光短浅，唯利是图的毛病却一点没变，从来不会站在别人的立场思考，有这种反应十分正常；李若虚在自己营中算是很有见地的人，平常对自己也很敬重，这次连他都会说出这种重话，可见自己应该是因为北伐的美梦破碎，一时太过恼恨，没有完全想清楚就鑽进了牛角尖。
赵构你这傢伙，竟敢负我！难道不怕老天有眼？对了，他那时不是有立誓吗？他赵构若负我岳飞，老天就让他──绝后！如今他会这样做，是否代表说：「反正我已经确定绝后，负不负你岳飞又如何？」妈的，你赵构真不是人！
岳飞含着眼泪，仰天大笑。
第二天他就收拾行囊，跟着部下回返军营。
