扩建造船厂的奏请得到朝廷批准后，张之洞又着手组建军队，组建一支属于广东和自己的军队——广胜军。
在山西巡抚任上，张之洞就奏请朝廷从各省调集精兵强马到山西训练，朝廷派署理陕西延榆绥镇的记名总兵李先义和副将吴元恺到山西操练新军。没过多久，张之洞就离开了山西，而李先义和吴元恺却成了他的心腹将领。升任两广总督不久，他就把李先义和吴元恺调到广东，在自己的帐下听用。
光绪十一年（1885年）六月，张之洞命令李先义和吴元恺在广东招募2500名士兵，编成广胜军。
广胜军也称广安水师，是广东的第一支水师队伍。对于这支水师的建设和训练，张之洞有一套全新的设想：在武器装备上，完全摒弃旧式冷兵器，一律配置德国制造的行军炮和后膛快炮。在训练内容上，不再重视擒拿格斗和十八般兵器，而是着重训练士兵的射击打炮能力、安放火雷能力、修筑炮台工事能力、野外作战能力和情报侦察能力。
通过广胜军的武器装备和训练内容，我们可以看出，这是一支具备炮兵、工程兵、野战兵和侦察兵特点的近代化军队。尽管它无法和强大的西方列强军队相提并论，但其战斗力会远远超过旧式冷兵器军队。
张之洞十分重视这支军队的武装和训练，他每月都要亲自检阅，他就是要把这支军队练成一支劲旅，从而抵御列强，保卫祖国南疆。后来的事实证明，他做到了。而后来他编练的江南自强军和湖北新军的骨干力量，也来自这支军队。
构建水师
编练广胜军后，张之洞又对广东水师乃至全国水师队伍的建设，有了一个更大的设想。
光绪十一年（1885年）九月，他给朝廷上了一道《筹议大治水师事宜折》，大胆奏请朝廷建立北洋（天津）、南洋（浙江）、闽洋（福建）、粤洋（广东）四支水师舰队。
除了粤洋水师在萌芽阶段外，其余三支水师队伍已经营多年，或具备一定的规模。于是，张之洞向朝廷表达这样的决心：“粤洋水师舰队由我亲自督建，五年建成。届时，我要让这支舰队具备威慑西方列强、保家卫国的能力！”
张之洞之所以提出这样的设想，表达这样的决心，是因为他对朝廷和李鸿章非常失望。
李鸿章经营北洋水师多年，北洋水师应该具备一定的规模和战斗力，而李鸿章也应该在国家陷入危难时刻率领北洋水师挺身而上，可在刚刚经历的那场中法战争中，李鸿章却拥兵不前，安居一隅，先是拒绝出兵救福建，后又拒绝出兵救台湾。最终导致福建水师全军覆灭、台湾多处防塞要地被攻占的局面。
“李鸿章太自私了！北洋水师是朝廷的，也不是他自己的，他凭什么把北洋水师据为己有？我张之洞要是拥有一支水师队伍，肯定能在国家陷入危难时刻，征战四方，**平列强！李鸿章位高权重，是因为他拥有北洋水师，谁也不敢把他怎么样。我要是也拥有一支强大的水师队伍，那么我也可以和他并驾齐驱！于公于私，我都要建立一支水师队伍……”
海军衙门
张之洞的这个想法是很现实的，也是很可行的。因为在光绪十一年（1885年）九月初六，朝廷就下旨：“海防善后事宜关系重大，著派醇亲王奕譞总理海军事务，所有沿海水师，悉归节制调遣，并派庆郡王奕劻、直隶总督李鸿章会同办理。正红旗汉军统领善庆、兵部右侍郎曾纪泽帮同办理。现当北洋练军伊始，即责成李鸿章专司其事……”
也就是说从这时起，清朝设立了总理海军事务衙门，简称“海军衙门”，它是清政府管理全国海军的权力机构。清朝的海军诞生于第二次鸦片战争之后，因为两次鸦片战争均从海上打来，从19世纪60年代起，清政府就开始编练海军和筹建海防。
光绪元年（1875年），总理衙门批准筹建北洋、南洋、福建海军。截至光绪十年（1884年），北洋水师拥有军舰15艘，南洋水师拥有军舰17艘，福建水师拥有军舰11艘（被法军歼灭于马尾港）。
