对于岳飞提出的借粮和借兵的要求，刘光世嗤之以鼻。
皇帝小儿都指挥我不动，更何况是你这个没大没小的毛头小孩。
只不过，刘光世老于世故，对于岳飞的要求，他用了另外一种方式来回应：
刘光世的做法是，从九月三日到九月十五日，接连给高宗皇帝上了三道奏折，内容是说自己派出的部队在长江北岸杀了许多的金兵，却没能看见岳飞有任何的部队出兵，云云。
这三道奏章无一属实，后来全部收录于《鄜（音会）王刘公家传》中。对此，岳珂在《鄂国金佗粹编》卷二五《承楚辨》中还专门做出驳斥。
刘光世的厚颜无耻，已经到了登峰造极的地步。
西南面岳家军的出现，给了完颜昌莫大的压力。他一方面分兵南下，责令诸将无论如何也不能让这支队伍靠近楚州城；另一方面加快对楚州城的进攻。
九月中旬，完颜昌调动来了大批的攻城器械，诸如投石机云梯车偏桥攻城车等等，千梯并举，万军奋进，从东城大举进攻楚州。
金兵经过多次的侵宋战争之后，对攻城器械的使用越来越有研究了。
特别是在汴梁城沦陷以后，金兵拆卸强抢了大量的军事器械，经过一番模仿和改良，金兵的攻城器械越来越精良，对宋朝城池的威胁也越来越大了。
这一次，金人就在城下摆列出一百多座抛石机，威力最大的七梢炮可以抛掷五六十斤的巨石。而撒星炮则可以一次性发射石块数十枚。金人以号角为令。同时发射。飞石如下雨一般洒落入楚州城内。
如同往常一般，赵立率兵在城上抵御，用松枝油焚烧架在城墙上的金兵云梯，阻挡金兵爬上城头。
这一招以前对付金兵非常好使，但是这一次有意外情况发生了。
九月的楚州城突然转刮西风，风向转变的结果就是“火辄反向”，金兵的云梯无法燃烧，大量的金兵往城头涌上来
赵立叹道：“岂天未助顺乎。”话音未落。突然有石炮从前面飞来，正中其头部，赵立大叫一声，翻身倒地。左右赶紧上前将他救回
赵立的口鼻严重变形，眼珠突出，七窍流血，面目可怖，仍艰难地喃喃自语道：“我再也不能为国杀敌了！”未几，气绝，年仅三十七。
这一天。是建炎四年九月十六日。
虽然这次金兵的攻势最后还是被瓦解掉，但是赵立一死。楚州没了主心骨，再加上楚州城内各种条件已经到了绝处，九月二十九日，楚州城破。
是的，金兵冲进楚州城。但楚州军民按照赵立生前的部署，每个巷口都设立砖垒，扶伤巷战，使敌军付出了伤亡几千人的代价。
一时间，楚州城中烈火烛天，有的妇女甚至拉住金兵，一起沉溺河中。一些号称“千人敌”的民兵首领，如万五石琦蔚亨等，则奋勇突围而出。
最终的结果，金兵虽然占领了楚州城，但也付出了几千人的沉重代价。
事后，高宗皇帝提笔评道：“立坚守孤城，虽古名将无以逾之。”
自金兵南侵宋朝以来，大部份城市都是不攻而克，不战而降，或者稍经战头，金兵的损折也不大，只有少数城市是例外。
在这少数的例外中，靖康年间，则首推太原，建炎年间，则东有楚州，西有陕州，先后进行了最英勇最悲壮的保卫战。
这些州府的牺牲者，无一不是“贯精忠于日月，塞英气于乾坤，虽云壮志之莫成，固已荣名之不朽”，表现出宁死不屈的民族气节。
楚州沦陷的消息很快就传开了，岳飞心知再向楚州挺进已经没有任何意义，于是指挥部队往泰州的方向退却。
完颜昌对岳飞恨之入骨，那肯就此放过，于是纠集了长江北岸的所有金兵，号称二十万大军，先歼灭了北神镇的李彦先部，再把张荣的水军驱逐出鼍潭湖，最后召齐人马，往泰州找岳飞算账去了。
朝廷收到金兵要攻取泰州的消息，赶紧传令给刘光世，让他发兵前去支援，同时下诏书通知岳飞：“泰州可战即战，可守即守；如其不可，且于近便沙洲保护百姓，伺便掩击。”
刘光世继续沿用自己的处事方式，装聋作哑，拒不行动。
