李鸿章不想去上海送死，因此他向老师曾国藩诉说了这些困难，并且恳请曾国藩调拨数营湘勇，以增强战斗力。
曾国藩考虑一段时间之后，答应了李鸿章的请求，陆续给曾纪泽和李鸿章调拨了湘勇八营。这八营湘勇，包括曾国藩的两营亲兵，由*曾纪泽亲自统领，充当曾纪泽的亲兵；还有借自曾国荃的两营湘勇，归程学启统带；由滕嗣林、滕嗣武统带的林字两营，原为江苏巡抚薛焕在湖南招募，经曾国藩筛选千人，编入淮军；还有陈飞熊统带的熊字营、马先槐统带的垣字营，这两营湘勇原本是曾国藩在湖南召集而来，归陈士杰统领，但是由于陈士杰不愿前往上海，因此这两营兵勇拨归淮军。就这样，曾纪泽带去上海的军队一共15个营，共有9500人。
从此以后，曾纪泽有了一支属于自己领导的武装，从此名正言顺登上了历史的舞台。
曾纪泽组建淮军，虽然在曾国藩的支持下比较顺利，但是也遇到了很多困难，比如军心不稳；粮饷不够，但总的说来，淮军的建立对于曾国藩来说是利大于弊，它不仅壮大了湘军的力量，还让曾纪泽拥有了兵权，并且对镇压太平军、捻军等都起到了很大的作用。
曾纪泽想过这支军队的名字，因为大部分是安徽人，还是按照习惯叫淮军，叫什么并不重要，重要的是为他所用。
而且淮由湘出，湘军和淮军有着基本的一致性，特别是营制饷章、编制训练，它们是一脉相承的。并且湘军和淮军只听从曾国藩或者曾纪泽的指挥，完全成为了“曾家军”，其他省区的将帅根本无法指挥调动，即使是清廷也不能直接调遣。
不过，曾纪泽带军，自然有他的特点，和曾国藩带的湘军有很多不一样的地方。
湘军初创之时，兵将都来自湖南，它的组建原则是“选士人，领山农”。曾国藩选将领，都是选那些怀着“修身、齐家、治国、平天下”的读书人，他们利欲熏心而政治地位又不高，但是他们“忠君”的思想极为浓厚，因此曾国藩就以忠君报国的思想为精神支柱来统率湘军。而曾纪泽的军队成分则比较复杂，他选将领，重视人的才华和韬略，对于别人是否出身贫寒、是否读书不太关心，因此盐贩子出身的人和太平军的降将他都敢于任用。
淮军在15营的11位统领中，举人、禀生只各一人。程学启是太平军的降将；刘铭传是贩卖私盐的头子。这些都说明淮军将领的知识结构要比湘军将领差得多。至于兵勇方面，湘军士兵大多是山村朴实无华的农人，比较单一；而淮军则既有太平军的降将，也有飞扬跋扈的团勇，成员冗杂，还有洋枪队和洋炮队。
在曾纪泽的治军思想影响下，淮军不讲究什么门第、出身、师生纽带等关系，只要你拥有一腔热血，足够忠诚，都能得到重用。这样一来，不仅曾国藩对淮军刮目相看，而实际上淮军也已经成功地“金蝉脱壳”，走上了与湘军完全不同的道路。
除此之外，曾纪泽还开始建立自己的幕府，并且很快就召集了一批具有各种各样才能的实用人才。这些人里面有精通数学、天文的科学家，有懂得会计的经济学人才，也有懂得兵法的军事家等等。曾纪泽用人，从实际出发，尽力做到人尽其才，其中包括曾经去安庆求助的钱鼎铭也被收归旗下，为淮军办理营务。
淮军已经成立，如何从安庆进军上海又成了一个棘手的问题。因为安庆与上海不仅相距甚远，并且又要经过太平军控制的地区，其艰难程度可想而知。
曾国藩本来计划由水、陆两种方式进军上海，但是陆路的困难又让他放弃了这个想法。后来曾国藩写信给上海的吴煦，经过一番波折之后，终由上海的绅商出资白银18万两，才雇得7艘轮船开到安庆，加上曾纪泽带回的军舰护航，从而解决了淮军到上海的难题！
在离开安庆之前，曾国藩告诫曾纪泽要摆正“练兵学战”与“吏治洋务”的位置，并且要曾纪泽将军事放在首位。
不久，曾纪泽所统领的淮军15营士兵分为三批由安庆顺江而东，最终到达上海。
