樟树镇败后，湘军一支由塔齐布的旧部毕金科率领。毕骁勇异常，率部与太平军作战，凶悍无比。但毕军粮饷奇缺，军队常饿着肚子打仗。咸丰五年(1855)底，地方官得到江西巡抚文俊的授意，竟以军饷做诱饵，逼迫毕金科进攻景德镇。景德镇是赣、皖、浙三省交通枢纽，太平军有重兵把守，堡垒坚固。毕金科只有千余湘军，又饥又疲，但是为了得到饷粮，不得不冒险进攻。结果，反复苦斗，直至全军覆没，毕金科也丧命于景德镇城下。曾国藩对此事耿耿于怀，直到四年以后，曾国藩率部攻陷景德镇，在毕金科战死之处立碑纪念，亲自为他撰写碑文，痛悼当年死去的六员大将，同时揭露扛西官员对湘军的排挤、嫉恨，碑文十分凄婉动人。其中有：“内畏媚嫉，外逼强寇，进退靡依，忍尤丛诟”之句，说出了曾国藩在江西几年的困难处境。值此困难处境，曾国藩想：这到底是为什么?自己以一个回籍的文官，冲破重重阻碍创办湘军，在两湖、江西苦苦地战斗着，打赢了仗是别人的功劳，打败了仗“几乎通国不能相容。”自己为国苦战，要权无权，要粮无粮，处处受到排挤、打击，好几次被逼自杀。思前想后，“遂致浩然不欲复问世事。”由于好友刘蓉等人的百般劝说，他才勉强坚持着。 祁门附近的羊栈岭失守以后，一场新的危机又逼近曾国藩和湘军祁门大营。 太平军本来就已占据徽州，此时，黄文金部二万多名将士攻破建德，切断了祁门大营与皖北安庆等地的联系。而李世贤和刘官芳两部太平军正分别从东、北两个方向对祁门大营发动进攻。至1860年11月，曾国藩天天生活在四面楚歌之中，有时是一日数惊，有时是整夜不得一眠，真是度日如年。他在给曾国潢的家信中写道：自十一月以来，奇险万状，风波迭起，文报不通者五日，饷道不通者二十余日。此一月之惊恐危急，实较之八月徽州、宁国失守时更险难数倍。
幸好有部将鲍超等人的拼死救援，曾国藩才得以度过险难。1861年4月，他移驻休宁。在这里，他又组织了八九千名湘军官兵对徽州城发动攻击，以期再占该城，疏通皖南至浙江的粮道。出乎曾国藩意料的是，湘军几次接战，又都均告失败。
在4月14日的日记中，他这样描述自己此时的心情：本日各营进徽州，寸心悬系之至，频登楼看天色。至午刻，忽下大雨，心绪焚灼不安。傍夕接信，各部因雨致败，尤其忧愤。盖此举关系最大，能克徽州，则祁门、休宁和黟县三县皆有米粮接济，不能克徽州，则三县均不能保，足以忧灼特甚。夜，竟夕不能成寐，口枯舌燥，心如火炙，殆不知生之可乐，死之可悲。
并且，当曾国藩看到湘军对徽州的进攻久久不得战果，心中益发着急，而完全忘记了湘军多年来攻城作战的教训，一味盲目地下令官兵攻扑城墙时，被太平军瞧准时机，暗开城门，派出一队精兵出城劫营。把湘军打得大败，22营中竟有8营完全溃散。
曾国藩带着残兵败将，狼狈地退回祁门。想着太平军一定会跟踪而至，祁门此次定难保全，他一生的功名，或许也就到此为止，他悲观到了极点，吩咐身边的人为自己的后事预做料理。将湘军分兵于安庆和祁门；除了稳定军心的考虑，曾国藩还有战略上的考虑。除了要表示信守他向朝廷所做的许诺，克尽他作为两江总督的职守外，还有非常重要的一点是，他认为这也是湘军安庆会战自身的需要。他多次表示，自己驻守皖南，是为了吸引太平军的一部分兵力，以减轻湘军在皖北方面的压力。1860年底，在给咸丰皇帝的奏折中，他就自己驻守皖南与安庆会战的关系做了这样的预测：若皖南再坚持两三个月，则皖北、安庆有必克之理，大局有必转之机。
