获胜总是令人兴奋的，何况杨炎还是自己未来的驸马，赵月如见了这般情景，也十分高兴，原本对杨炎向少许不满也淡了许多。
因为这几路大军加起来有近十余万人马，而后勤保障全由隆兴府来供应，赵倩如也正忙得不可开交，因为是赵月如所询问，赵倩如到也并没有放在心上，只是简单解释了一下，建议就让赵月如自己到严州去找杨炎，让杨炎亲自对赵月如说清。
赵月如正要赶到严州去的时候，忽然又传来朝廷的诏书，朝廷下旨除杨炎江南东路招抚使、江南西路安抚使，以及广南东、西路制置使的职务，只保留清远军节度使的头街，实际也就是罢免了杨炎的一切实际职务，只保留虚街，并由签书枢密院事张说接替杨炎，出任江南东路招抚使、江南西路安抚使的职务。
原来赵惇派王之望和林粟为议和使臣，到了临安之后，金国由左丞相仆散忠义出面，接待两人，并与两人商谈议和的事情。
虽然这时杨炎率军大举反攻，连夺数州。但这一点完颜长之早就像皇帝完颜雍做了解释，而且王之望和林粟也一再保证，他们回到潭州之后，一定让皇帝制止杨炎的行为，并连写了两封信，派人送回天临府。因此虽然孛撒为代表的部份金国大臣表示过强烈不满，但也没有影响议和的进程。
但等到杨炎放回来的二百多名俘虏一个个赤身**，被割去耳鼻回到临安府之后，顿时引起了轩然大波。大金建国以有五六十年了，平辽灭宋，军威赫赫，虽然也有打了败仗的时候，但还从来没有被人这么羞辱过，既使是当年岳飞，最多也就是将俘虏斩而己。因此金国的军方先被激怒，大部份中级将领都纷纷要求停止与南宋议和，并向皇帝请战，与杨炎决一死战。
由其是陈亮帮杨炎写给完颜雍的那一封信，写得骈四俪六，文辞华美，端得是一篇好文章。但完颜雍深受汉化，张鹄也是饱学之士，投降金人的几名宋朝官员那一个都是经过十年寒窗的，那会看不出这篇文篇的意思来，实际上就是拐弯抹角，引经据典将完颜雍骂了一顿，不仅是完颜雍，就连历代的大金皇帝，全都给骂了个狗血淋头。
完颜雍见了，那还能不火，不过完颜雍总算没有被怒火冲昏头脑，知道现在准备不足，还不是决战的时候，只是立刻下令，如法炮制，将宋朝使臣的正使王之望斩，副使林粟及从人耳鼻割去，赶出临安。然后令全军准备,只等补济物资一到，就要与宋军决一死战。
而林粟被割去耳鼻之后，狼狈的逃回了天临府，一见赵惇，立刻哭述将事情经过哭述一遍，自然将所有责任都推到杨炎身上。史浩、龙大渊等人趁机又在赵惇添油醋攻击杨炎，终于使赵惇下定决心，不等赵月如回来，就免除杨炎的职务。
见王之望被斩、林粟这么狼狈的逃回来，陈俊卿、韩彦直、刘珙、胡铨等主战大臣虽然觉得杨炎做得过头了一点，其实心里都在幸灾乐祸。一见赵惇又要免除杨炎的职务，自然又反对。但这一次赵惇己下定了决心，甚至暗示如果中书省反对，不惜罢免宰相，也要免除杨炎的职务。
陈俊卿对杨炎本无特别的好感，之前所以极力维护杨炎很大程度是因为史浩、龙大渊一伙人要罢免杨炎。敌人的敌人，自然就是自己的盟友。但见皇帝这坚决，陈俊卿也只得屈从。韩彦直到是真心维护杨炎，无奈他只是枢密使，这时也使不上力量，只看眼睁睁看着免除杨炎的职务被通过。同时史浩又推荐张说接替杨炎的职务，也被赵惇采纳。
赵月如和赵倩如接到这个消息，也都大吃一惊，没想到朝廷竟会这么快下旨，就将杨炎免职。就连在隆兴府留守的官员陈亮、赖文政、董原、周信、魏昌等人也都大为意外。正在众人不知所措的时候，忽然府衙门外一阵宣闹，仿佛开了锅一样，岳珂勿勿从外面进来，道：“公主，现在外面有一些百姓以经知道朝廷要罢免杨帅，都十分愤怒，他们围住府衙，要求面见传诏的官员，一定要请朝廷收回成命。”
