绍兴六年九月，刘光世因为怯战勾结赵鼑欺骗朝廷，将军队从庐州前线撤退到长江沿岸的当涂，若不是张浚明察秋毫，即时出面力挽狂澜，差一点就把淮右一带断送给偽齐，甚至威胁到朝廷的安危。
这个事件受到朝野人士越来越严厉的指责，首当其衝的赵鼑、折彦直等人都被逼相继离开朝廷，出任地方官去了。至于当事人刘光世，大家都说他临阵退缩，几乎酿成大祸，后来虽然还是打了胜仗，似乎可以补过，但是这种心态却绝对不适合继续担任大将，掌握重兵。
有一批专门喜欢落井下石的人，纷纷说他的军队一向军纪很差，将校士兵都蛮横不讲理，不容易指挥节制。身负全国最高军事统帅「都督诸路军马」的张浚，自淮西归来之后，也说刘光世沉溺酒色，不关心国事，所以必须马上解除他的兵权，藉以警惕其他的将领。
在这层层声浪的压力下，高宗当然也很想罢黜刘光世，只是接替的人选还未决定。所以他命三省枢密院一再以《省札》传达旨意，要岳飞前来行在所奏事，表示岳飞至少应该是他考虑中最合适的人选之一。
岳飞一直到绍兴七年三月才在建康晋见高宗。这次见面地点还是在御书房。
高宗正在书房练习书法，当了皇帝之后他就不再练武，所以除了女人之外，这就是他最大的兴趣；除非像逃难时不得已，否则他每天都要练练字。
行过君臣拜见之礼后，高宗让岳飞看他所写的，原来只是「李马泥马」四个字而已。
「朕一生中最自豪的几件事，像是博闻强记、可挽强弓，结果都输给你；幸好还有一项书法胜过你，聊表欣慰。」高宗笑着说：「不过朕还有一项专长，很少让人知道；朕很会相马，好马坏马，只要让我听一听牠的马啼声，即使隔着一面墙看不到，朕也可以分辨出来。」
高宗又问岳飞：「对你们武将来说，一定要拥有一匹好马，打起仗来才能得心应手啊！是吗？」
岳飞说：「臣曾有两匹马，很难伺候，每天要吃几斗的饲料，喝十斗的泉水，而且必须挑精美乾净的才吃；若是披上鞍辔奔跑，起初没有很快，等跑了一百里才开始快速奔跑，从中午到黄昏，还可以再跑二百里，卸下鞍辔之后，不喘气也不流汗，好像没事的样子。不幸这两匹马接续死了。我现在所骑的马就简单多了，每天吃的不多也不挑食，喝水从不选择泉水，繮绳还没拉好，就跳起来急速奔跑，才跑一百里，就用尽了力气而流汗喘气，几乎快要死的样子。」
高宗点了点头说：「你现在所骑的就是标准的劣马，牠好驾驭，又吃得少，容易满足，跃跃欲试爱表现，可是很容易力气衰尽无法持久，偏偏一般人却喜欢这种才能低下的劣马。至于你以前那两匹，表面上看起来爆烈难驯，不好驾驭，而且十分挑食很难满足，可是只要让牠顺服就是一匹持久耐劳的好马啊。」
「皇上是在教臣下如何用人吧。」岳飞笑着说：「臣岳飞瑾受教诲。」
「彼此彼此，朕也正在慢慢琢磨体会。」君臣两人相视一眼，不约而同哈哈大笑。
笑了一阵子之后，高宗问岳飞说：「说正经的，你对朕的一切都清楚不过，你认为朕这个皇帝当得如何？」
「当年你一个刚满二十岁的小伙子，突然遭逢国破家亡，整个天下大任全部落到你的肩上。你只能号召四散的文臣武将来维持国家的运作，刚开始几年还要不断逃避金人的追杀；经过十年拥有这个局面，我打从心里佩服你，我以你这个朋友的成就为荣。」
岳飞慢慢地说，前尘往事一幕幕迅速地掠过高宗眼前，累积多年的心酸霎时笼罩了他的心头，眼泪不禁夺眶而出。
「所以你绝对有资格说，如果没有岳飞，没有李马，就没有今天的朕；但是我也可以说，如果没有朕，就没有今天的岳飞──至少没有今天的岳太尉。」
高宗招了招手，韩诚就不知从哪里搬来一大叠帐册，随意抽取一本翻开，上面记录着某年某月某日，发给岳家军军器、粮草、军费、布匹等各若干细目等等。
