而对宋来说，颖、寿、宿、邳、徐五州本是乾道北伐夺回，现在又被金军夺走而己，只是基本是恢复到乾道北伐之前的局面，而且颖、寿、宿、邳、徐五州被金国收回之后，海州就和大宋分割开来，也很难守住，到于邓、唐、蔡三州本来就位于宋金交界，在双方之间己易手好几次了，失去也不算什么。而且毕竟逼迫金军退出了淮东。另外在西边留住新会州，扩大了和西夏连壌的领土，并保持着对金军西边的半包围局面，这样的结果，也不是不能接受。
双方议和的第二点就这么确定下来。
而最难确实的一条, 就是岁币的问题。赵忱是坚决不同意向金方交纳岁币的，而对于完颜雍来说，这一次南征大金耗废巨大，所占的地方大多数都是被宋朝乾道北伐夺去的，现在收回并不值得夸耀，因此绝对不能这么毫无收获的结束。如果不能取得岁币，就这么撤军，那么这一次南征可算是一事无成，自己在囯内的威信就会大大降低，恐怕震压不住局面了，说不定有那一个亲王会仿校自己当年，，再来一次弑君夺位的举动来。因此完颜雍也决定，必须要取得岁币，否则宁可破釜沉舟，与宋军决一死战，也绝不这么灰溜溜回到国中去。
于是双方就为是否交纳岁币的问题连议了四天，但都不愿意让步，就这么僵持起来。
然而这时又有消息传来，赵恺又连续攻取了湖州和嘉兴府。并且命令李全进攻广德军。湖州和嘉兴府现在都是被金军占领的地方, 当然不会真是被赵恺夺去的, 显然是故意让给赵恺的, 目地自然还是扩大赵恺的势力范围，向建康朝廷施加压力，迫使建康朝廷接受岁币的条件。和谈期间双方罢兵是仅限于赵忱和金军两方，因此金军的这种做法并不算违约。
建康朝廷自然知道金军的目地，而且也早有准备，杨炎立刻下令，让张师颜率一万人马，在建平阻挡李全的人马，又令刘复武率领骑军，从侧翼进攻。将李全的二万人马打得大败，李全只好退守广徳军。张师颜进军广徳城下，李全居城而守，向临安求救。二天以后，攻取了湖州的邵宏渊率三万大军赶来救援广德军。
虽然建康府和金军停战，但也不敢有丝毫大意，大军仍然重点防范金军，能够抽调与临安军交战的人马并不多。张师颜见临安军人多，遂将人马撤回建平。而邵宏渊也不敢追击，就在广德军驻守。而赵恺也在调兵遣将，打算集中大军，进攻建康，一时间声势也颇为浩大。
然而这样的局势令建康朝廷的大臣们忧心重重，连陈俊卿都有些沉不住气了，和梁克家、洪适、刘珙一起进宫来劝赵忱道：“陛下虽有恢复之志，然而如今內晦外扰，时不可解，唯今之计，不访许给金国一些岁币，先把眼前的危局度过去。等平定大宋內乱之后，再绝岁币，行恢复也不为迟晚。”
梁克家和洪适本来就认为现在的和约以经谈得很不错了，既不用称臣，也不用割地，比起绍兴议和来，以经好得太多了，只不过付些岁币，又有什么不可呢？自“澶盟之盟”以来，大宋不都一直向周边国家交纳岁币吗？不过因为赵忱说得坚决，才不敢相劝。见陈俊卿都松了囗，也纷纷进言，认为见好就收吧，交给金国一些岁币也没什么？连刘珙也觉得这样一天天拖下去也不是办法，也劝赵忱答应。
赵忱也知道现在自己是处于双线作战，虽然不算是形势危急，但也绝对不容乐观。但要这样同意交纳岁币，赵忱又觉得心有不甘，缓了一缓才道：“卿等之言，切容朕三思。”
陈俊卿等人也不敢过去逼迫皇帝，一齐告退。
赵忱正在烦恼，忽然內侍来报：杨炎和辛弃疾、陈亮一起求见。赵忱听了，想到莫非他们也是为岁币之事而来的吗？不知姐夫有什么好办法，立刻道：“宣。”
就像杨炎所说，辛弃疾和陈亮虽然都力主恢复，但也是明白事理的人，清楚现在的局势，因此在杨炎的劝解之下，也者认为可以和金国暂时议和。这也让赵忱放心了不少，因为辛弃疾和陈亮都是赵忱非常看重的人，日后打算重点启用，赵忱不希望他们会对朝廷失望。
