李若虚委婉劝道：“相公忠勇过人，素有大志。不知相公想过没有，即便相公官至太尉，权重两路，对于朝廷仍不过爪牙。爪牙者，知其所为，不知其所以为。”
岳飞明白李若虚的意思，一颗心渐渐冷了下去，半晌才愤愤道：“既如此，贪恋其位还有什么意义？”
李若虚不语了，那一刻，他也觉得心灰意冷。
当晚，岳飞一行启程返回鄂州。途中，岳飞亲自起草了一份辞职奏，用快递发往建康。在这份很简短的辞职奏里，岳飞没有讲述其他缘由，只说他与丞相议事不合，请求解除军职。
船到江州，岳飞的眼病忽又犯了，只得暂在江州停留。江州府衙为岳飞请来了最好的医官，然而无济于事。医官说是怒火攻心所致，需要安心将息。岳飞决定暂不回鄂州了，去东林寺养病。东林寺主持慧海听说岳飞要来，十分高兴，赶紧派人收拾客寮，置备一应生活用品。
安顿下来后，李若虚代岳飞又起草了一份奏疏，大意是上奏辞职，未获主上应允，但眼疾复发，只得暂留江州为母守墓。切盼朝廷速派大员前往鄂州，军中事务暂由参谋军事薛弼、中军统制王贵、前军统制张宪共同主持云云。随后，李若虚、于鹏等人返回鄂州，岳飞身边仅留贴身亲将呼延龙与岳云二人。
就在岳飞发出第二道奏疏时，第一道辞职奏已经到了赵构手中。阅过岳飞辞职的札子，赵构的脸立刻阴下来了，不就是没让并统左护军吗？不让并统左护军便上章请辞这不是要挟吗？自苗刘兵变后，赵构对武将的要挟十分敏感。当下，赵构便气呼呼地命张去为急召宰执大臣进宫议事。
岳飞辞职自然大出宰执大臣们的意外，望着官家满脸愤然，一个个不知所措。还是赵构先说话，问张浚道：“委卿与岳飞计议，为何结局如此？”
张浚略一思忖，道：“岳飞立志北伐，意在增兵。后见两军并统取消，自然大为沮丧。”
赵构厉声道：“为将者必须依令而行！岂能不尊朝廷，妄自为大？”
这话已经很重了，宰执大臣们垂首不语。
赵构依然声色俱厉：“兵乃朝廷之兵，将乃朝廷之将。如何调兵，如何遣将，一切皆出之于朝廷！”
张浚的心胸算不上宽阔，但与岳飞志向一致，强迫自己原谅了岳飞的冲撞。另外，完颜昌的一句许诺还很遥远，两手准备仍然不能放弃，无论是御敌于国门之外或是北伐中原，还得依靠岳飞、韩世忠、杨沂中、刘锜这些将领，于是赶紧补救道：“陛下，臣略知岳飞的禀性，自幼未读诗书，少知礼仪，且又不懂圆通。但岳飞勇猛善战，忠于朝廷，人所共知，是我朝不可多得之良将。”
张守虽然不明白官家为什么突然取消了岳飞兼统行营左护军的命令，但对于岳飞仍抱有好感，于是也附道：“陛下圣明，取消两军并统。至于后护军，仍由岳飞执掌。”
陈与义和沈与求也不明就里，但对岳飞的处置都表示了与张守同样的意见。
实际上，赵构对于罢与不罢岳飞也很矛盾。在赵构所依赖的几员大将中，岳飞和吴玠不属于昔日“兵马大元帅”府的旧人。吴玠远在川陕，而岳飞则手握十万大军坐镇鄂州。鄂州为江南上流门户，从鄂州乘战船旬日之间就可以抵达建康。从某种意义上说，令岳飞镇守京西与湖北两路，那是万分倚重，否则就不会生出将淮西一军交由岳飞并统的念头。然而，就因为一份辞职奏，使赵构对岳飞的倚重产生了动摇。他想罢又不舍，心底在罢与不罢之间摇摆。现在，经张浚、张守、陈与义、沈与求一番言说，不罢的念头逐渐占了上风。
赵构见秦桧低头不语，便问：“秦卿是枢相，所持何议？”
秦桧一直在猜测赵构的心思。前次并统淮西大军，自己未能将官家的心思摸透，贸然提出祖制问题，引来官家驳斥，幸而稍后褒奖了岳飞，才迎合了圣意。这一次如何作答，必须慎之又慎。
秦桧判断，这一次与并统淮西大军不同，并统淮西大军是官家欲灭伪齐，需要倚重岳飞，目今伪齐将废，河南、陕西不日就会归还。何况岳飞愤然弃军离职，圣上极为不喜。
