这正像在朝鲜战场上，美军海军陆战队第一师的师长史密斯将军为了保留自己部队的颜面，在向记者描述海军陆战一师从长津湖地区被中国志愿军部队一路追着屁股逃向元山港的行为时候说的话，“我们是在向另一个方向前进。”
这个时候，对于长沙城下的日军第三和第六两个师团来说，能否攻下长沙已不重要了，还是保命要紧。所以，一接到阿南将军下达的撤退命令，两个师团的日军便准备开溜。一些被缠住的无法脱身的日军，则是想尽办法脱离战场。担任掩护撤退任务的日军此时只能恨自己倒霉，落得了这么一个坏差事。至1月5日7时左右，围城的日军已经全部撤走。长沙城四郊，战声尽息，一片寂寥。
日军第3、第6师团从长沙城下仓惶撤退时，首先遇到的就是第9战区的主力军、曾以“铁军”著称的第4军的堵击。不过，该军围歼的重点是日军第3师团。
日军第3师团非作战部队于4日日落后开始集结，准备向东山军用桥退却。师团长丰岛房太郎中将率第3师团战斗指挥所先行撤退。第68联队跟着撤退。可是，当其退到雨花亭北侧时即被第59师包围。的野宪三郎联队长拔刀保护军旗，命令第2大队从后面冲上来担任前卫，才杀出一条生路。5日2时，其独立山炮兵第52大队在澜泥冲也被第59师包围，后由第1大队救出。至5日晨，该联队才跌跌撞撞地到达东山镇。第18联队最后撤退。当其退到妹子山、阿弥岭时即受到第102师与第3师的夹击，继而又在东山附近遭到第79军第98师第293团的阻击。日军第3师团在这一夜之间的撤退路上就丢下了1000多具尸体。
5日凌晨，好不容易到达浏阳河畔东山镇的第3师团，却又遭到对岸第98师两个团猛烈的炮火袭击，而河上的桥梁早已被毁，第4军正由背后追来。丰岛房太郎见此处已无法渡河，只好命令部队沿浏阳河南岸从磨盘洲附近徒涉。
可是，当其18联队先头部队刚到达磨盘洲附近，对岸第98师第292团便枪炮齐发，一阵猛打。一些正在渡河的日军掉头就往回跑，跑得慢的当场被击毙；有部分胆大的不顾死活仍往前冲，倒还真是过去了一部分人。
而此时后面追击的第4军也已逐渐逼了过来，丰岛房太郎师团长赶紧把身边仅有的一些参谋、勤杂人员组织起来进行阻击。幸亏其后继部队第68联队及时赶到，才救了丰岛房太郎一命。
丰岛房太郎见磨盘洲对岸也已有所准备，大部队无法从这里渡河，便留下一部在此强渡，其他人员向朗梨市转进。因为他已得知，第6师团已于上午从朗梨市渡过了浏阳河，此时正在对岸休整。原来，在长沙城东北一线的日军第6师团，趁着第3师团在长沙东南部与第4军激战突围时，撤到了朗梨市一带，并在朗梨市边的浏阳河上架好了渡河的军用便桥。
丰岛房太郎为了保命，丢下大部队，自己带着几个侍从利用堤坎的掩护，徒步跑到了高桥。
后来，第3师团的大部队在第6师团的接应下，从朗梨市军桥撤过了浏阳河。
而在磨盘洲附近的日军战至黄昏后，已无力再战，又与主力失去了联络，手足失措之余，乃集结残众，竖起了白旗，示意投降。不料，第292团官兵战兴正酣，且暮色苍苍，仓促中没有理解这是日军投降的信号，还以为日军在耍什么花样，于是不管三七二十一，又对其进行了一番猛烈扫射。此股日军最后乘夜暗向东山、谷塘、永安等方向逃窜。
第二天，第292团清扫战场时，仅在磨盘洲一带鏖战过的地方，即发现日军尸体300余具，师长王甲本集尸葬之，并立碑“倭寇万人冢”以志。
1月6日，日军第3、第6师团离开朗梨市，向北退去。由欧军长率领的第4军和由萧军长率领的第26军紧追不放。丰岛房太郎和神田正种此时都不敢恋战，两个师团排成长长的并列队形，继续向枫林港一带撤退。
