「皇上说你岳家军属于指标性部队，又打着绝对不抢掠扰民的口号，所以将你的后勤补给特别交给我最优先办理，就算其他单位都缺粮，独独不准缺你的粮。所以只要碰到短缺时期，你都不知道我置办得多么辛苦？尤其这几年你人数快速增加到超过十万，不管是鄂州还是襄阳府都在上游，东西备齐还需筹船隻逆流而上，所以有时候稍慢一点还请多多包涵。」
岳飞对于补给不足只好放弃北伐之事，本来想大发一顿牢骚，这时也只好忍住，依例叩头谢恩。
临别之前，高宗突然冒出一句话说：
「刘光世掌管的二十万淮西军，朕想把他收回来，只是还没决定交给谁，如果交给你，你觉得如何？你先研究一下，以后再作决定。」
刘光世自己知道待不下去，便向朝廷送上奏章，自请解除淮西军兵权。高宗收到奏章之后，跟左右的人说道：
「刘光世对于军队的训练，远远不如韩世忠、张俊等人，更别说与岳飞相比了。他这支部队的素质，本来是全国数一数二的精锐之师，极为驍勇善战，可惜主将过于怠惰，每个月耗费了那样多的银钱米粮全是民脂民膏，却由于缺乏训练、无法奋战建功，实在太可惜了!总之，将帅绝对不可骄惰，更不可沉迷酒色。」
三月十四日，岳飞收到两份公文。
第一份是诸路军事都督府张浚发来的，其中依次列举了淮西军所有将领的名字，以及各人帐下官兵与马匹的数量，希望岳飞看了之后隐密收藏，而且暂时不要跟属下说起这件事。」
第二份是，高宗写给淮西军的部将王德等人的一道《御札》，要他们在今后听受岳飞的节制，希望经由岳飞转交给王德等人。
从这些公文看来，高宗与张浚似乎已经商量好，要把刘光世所统领的人马全部併入岳家军。
岳飞一生最大的愿望就是实现宗则的遗志，率军北伐，驱逐胡虏，收復所有的失土。之前三次北伐，几乎都只有岳飞带领几万人孤军深入，前面的箭头部队要攻城制胜难免会有死伤，一路上又要分兵留守，人马根本不够分配；如果真的能够合併淮西军，他们人数多，素质又不差，只要稍加训练，加强一下军纪，马上就可以上战场。
若真的拥兵三十万，依据以前宗帅所订三路北伐之计，不但是恢復中原，就是进攻燕、云，直捣黄龙也都不再是空幻的梦想了。
岳飞越想越兴奋，一心盼望着正式的公文早日发布。
高宗与岳飞两人，当初一个是毫无实权的空心小王爷，一个是默默无闻的习武年轻人，在半开玩笑的情况下，一个说如果当上皇帝，另一个也说万一当上他的大将军，谁知老天爷特别眷顾，今日居然一切成真，而且似乎还超出当时的梦想！所以高宗一时兴起想玩得更大一些，加上一直期待北伐的张浚在旁敲边鼓，所以随口说出将淮西军併入岳家军的事来。
其实在岳飞离开之后，韩诚马上表达了反对之意。
南宋的财政状况一直没有踏上轨道，只能不断挖东墙补西墙。岳飞的部队军纪好，除了他治军严明，谨守原则之外，更大的原因是高宗交代，无论多么困难都以岳家军后勤补给为优先，所以才能对百姓们秋毫无犯。
如果将淮西军拨归岳飞，人数突然暴增三倍，韩诚直言绝对供应不上，尤其是马上发动这三十万人，分兵北上去跟偽齐、金人作战，保证撑不了两个月补给线就会出事。
被北伐胜利冲昏头的张浚，稍微冷静下来分析一下当前的军事力量佈署，发现在长江中下游有韩世忠、张俊与刘光世等三人各据要塞，再来是长江中上游有岳飞与吴玠两人，兵力虽然较少但是与将帅关係密切，战斗力也比较高。虽说要稳定时局不得不倚重军人，但是由五大军事力量划分各自的战区，终究是宋朝立国以来最不想看到的局面。
刘光世不适任必须罢黜，这一点毋庸置疑；但是有必要将淮西军併入其他四人之中任何一军吗？以目前情况看来，不管加入谁的部队，都将使那个人实力爆增，凌越他人甚多，形成尾大不掉的局面，从根本上完全违反祖宗传下来的规矩。
