在得到武昌城已被贼军攻破，整个湖北已经多半沦陷的 消息后，湘军几大统领立刻就萌生了退意。然而曾国藩却清楚地知道，现在大军已经出动，断然没有再掉头撤回的道理，否则士气尽失，那跟崇纶之流有何差别？更何况，现在贼军已经摆明了下一步就是进攻湖南，反正迟早避免不了与敌一战，现在撤退又有什么意义？现在的曾国藩也只能带着湘军硬着头皮往前顶了，他沉声对左右下令道：“传令下去，敢有轻言撤兵惑乱军心者，军法处置！”
二月中旬，湘军前锋水师部队与贼兵如期相遇。尽管湘军人数处于劣势，但是经过一年的严格苦训，湘军将士的战斗力却要远远高于长毛贼兵，因此哪怕敌众我寡，但是湘军依然能够力战不退。就这样两军在岳阳洞庭湖一带激战了半个月后仍然不分胜。
三月初，贼兵的援军眼见自己的前锋部队在岳阳一带迟迟拿不下湘军，于是他们绕过岳阳，另择道路向湖南腹地扑去。仅仅不到十天时间，绕过湘军扑向湖南的那股贼军就连下湘北数县，兵锋直指长沙、湘潭。
本就兵力不占优势的曾国藩，无奈又只能派负责在自己后方压阵的塔奇布、彭玉麟带领一部分紧急驰援长沙、湘潭。塔奇布、彭玉麟两部一走，曾国藩手里的可用之兵就更加捉襟见肘了。再加上，湘军将士绝大多数都是长沙、湘潭两地人士。为了惑乱湘军将士的士气军心，贼兵匪首派人大肆宣扬长沙、湘潭马上就要失守的消息。在这诸般不利情况下，在岳阳苦战的湘军从原来的勉强坚守，瞬间就支撑不住，开始节节败退。眼见如此情况，曾国藩为了保住手下湘军将士的有生力量，当机立断，下令弃守岳阳，回防长沙、湘潭。到时候说不定还能凭借湘军对地形更加熟悉的优势扳回一局。
正所谓兵败如山倒，曾国藩撤退的命令刚刚发出，他手下的一部分湘军瞬间就做鸟兽散，丢盔弃甲的调头往南疾逃。
看到这一幕，曾国藩是又气又羞，气的是那帮人胆小怕死枉顾军律，羞的是亏自己以前还一向认为自己训练的湘军纪律严明呢！曾国藩随手从自己身边的亲卫腰间拔出牛尾战刀，气急败坏的快步走到不远处，一名把鞋子都跑掉了的湘军哨长身边，刚要举刀砍杀了此人以儆效尤时，听得此人求饶忽才猛然发现，此人竟是自己三弟曾国华的小舅子。
因为这层关系在，曾国藩瞬间就下不去手了，只是怒其不争的喝问道：“你姐夫呢？”
曾国华小舅子被吓破了胆，支支吾吾道：“不知道，我也不知道啊。不过肯定没有战死，刚刚我还看见他了呢。”
放眼看去，整个湘军阵营军纪最差最乱的就是曾国华的手下。
曾国藩冷哼一声：“他还真不如战死了的好呢！”
唯一令曾国藩比较欣慰的是，在混乱中还有三股人马严格执行湘军纪律条令在进行有序撤退。一股是水军统领褚汝航所率的水师，一股是自己九弟曾国荃所率领的“吉字营”，还有一股是鲍超所率领的“霆字营”。
因为湘军对湖南地区的地形十分熟悉，所以在撤退的过程中他们很快就把身后的长毛军追兵给远远甩开。着急忙慌的往南撤了三百多里后，眼看还有一百多里就能赶到长沙府，这时前方斥候又来禀报说前方靖港镇发现一小股贼兵的后勤部队，更重要的是在靖港镇一带还发现了大量物资，据判断这股贼兵应该是负责往长沙方向押运粮草的。
水师统领褚汝航听到这个消息后，立刻兴奋起来，赶紧问那名斥候：“靖港镇的贼兵有多少人？”
斥候十分笃定的答道：“三千五百人左右。”
听到对方只有三千多人，现在不光是褚汝航了，就连曾国荃和鲍超也同时把目光投向了曾国藩。
褚汝航跃跃欲试的对曾国藩请战道：“大帅，后方的追兵至少还得一天时间，才能赶到这里，一天时间足够我们去消灭靖港镇那三千多贼兵了。”
之前在岳阳洞庭一带，湘军虽然战败，但是由于撤退及时，人数并没有损失多少，再除去把塔奇布、彭玉麟两股人马约七千人调去驰援长沙、湘潭外。现在曾国藩手头上还有八千可用之兵，八千对三千五，拥有绝对的优势。再加上曾国藩也想一雪岳阳兵败之耻，于是果断下令攻打靖港镇。
然而令曾国藩怎么也没有想到的是，靖港镇所谓的三千五贼兵，只是长毛贼首故意布的疑兵，在暗地里还有一万多名贼兵悄悄潜伏在靖港镇周边，就等着曾国藩钻进靖港镇这个口袋阵呢！毫无意外的，湘军再次战败，而且是一场彻彻底底的惨败！曾国藩气急晕倒，等他醒来后，才发现自己手里的八千人马最后只有区区不到两千人挤在湘军仅剩的几艘战船上才堪堪逃了出来。曾国藩挣扎着站起身来，一时气血上头，竟然毫无防备的脱挣下人搀扶，一头扎进了湘江里，意欲寻死自裁。
