李世贤知道李元度不是一个沉稳的人，于是想方设法激怒李元度，引诱他出城决战。李世贤每天派100名士兵去城下骂“平江勇是缩头乌龟”。
到了第三天，李元度果然上当，违背了当初曾国藩给他制定的战略方针，主动出城作战，结果刚一交战，就被李世贤的伏兵攻击，大败而归。徽州城很快落入了太平军之手。
李元度在乱军之中仓皇逃出徽州，他这个人书生意气，比较重面子，打了大败仗的他拉不下脸前往祁门找曾国藩，于是四处晃悠。
曾国藩得知徽州失守后非常着急，因为徽州是祁门的东大门，徽州失陷，意味着祁门将直接面对太平军的攻击。曾国藩又为老友李元度的安危担忧，他一旦有事，曾国藩都感觉不好跟李元度八十多岁的老母亲交代。
曾国藩也没时间多想，徽州失守，祁门变成了前线。此时祁门的兵力，仅张运兰的老湘营一部分及康福的亲兵营，合起来不足三千，情形十分危急。曾国藩一面布置张运兰、康福率兵扼守距老营十里外的榉根岭、羊栈岭，这是由东北方向进入祁门的两道关口。一面派出两队人。一队向南通报驻扎在浮梁、景德镇一带的左宗棠，务必保护好祁门通往江西的大道，徽州失后，这便是祁门粮饷、文书的唯一通道了一队向宁国方向奔去，沿途寻找鲍超，要他火速来祁门救援。
李元度在外边晃悠了二十多天后才回到祁门。
“男子汉大丈夫，从哪里跌倒就从哪里爬起来！打败仗怕什么？被人打倒了，重新站起来就是了！你逃避责任这算什么呢？”曾国藩见到李元度，不顾朋友之情，当众将他痛骂了一顿。
李元度哪里受得了这样的痛骂，一气之下就擅自离开祁门回湖南老家去了。
李元度是立了军令状的，他违抗了曾国藩让他坚守徽州的命令，为了严肃军纪，曾国藩找来李鸿章，让他起草弹劾李元度的奏章。
李鸿章擅长处理公文，曾国藩这一时期的奏疏，基本上都是李鸿章代笔。
当初，曾国藩命令李元度率部防守徽州的时候，李鸿章就坚决反对。这时，曾国藩命他起草弹劾李元度的奏折，李鸿章拒绝了，对曾国藩说：“徽州之败，不是次青的过错。李世贤有十万精兵，而次青只有三千兵，失败是必然的。恩师以信义和恩德号召天下，次青是老师的救命恩人，恩师应该再给他一次机会，鸿章不敢拟稿。”
“你们这都一个个自以为是了！”一听李鸿章这话，曾国藩更气了，他一把推开李鸿章，拿起笔墨纸砚，厉声对李鸿章说道：“你不写，我亲自写！”
一向在曾国藩面前毕恭毕敬的李鸿章，这时的倔驴脾气也上来了，他对曾国藩说：“恩师执意要这么做的话，那么学生也不想再侍奉老师了。”
曾国藩摆摆手，不耐烦地说：“随你的便。”
“难以理喻。”李鸿章就这么负气离开了曾国藩幕府，跑去江西他哥哥李瀚章那里诉苦。
这一下，曾国藩对李鸿章的出走特别生气，觉得李鸿章不可以共患难，没有立即找人把他找回来。
。
