湖南地区的农民起义军荡平之后，南宋朝廷就可以全心全意对抗北方的金国与偽齐，不必再害怕有人扯后腿。而且因为过程平和，所以没有对民生经济造成破坏，从此整个长江水域完全畅通，有助工商农业的发展，朝廷也逐渐稳定下来，政令通达，赋税充足。
岳家军除了加入荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部约一万多人之外，再加上江南西路安抚司统制祁超、统领高道等部约八千五百多人，后续又增拨统领丘贇所部的一千五百人；还有将原来担任张浚都督府左军统制的杜湛改任为岳飞统辖的黄州武将知州，所带来的几千蔡州兵。杨幺军的壮丁五万人也大都编入岳家军，因此岳飞麾下人马总计大概达到了十万人。
北伐之前，岳家军的编制，大致是十位将领，每人带领三千馀人，总数不过三万多人；歷经北伐与剿灭杨么两次大战，人马一路迅速扩充，至今大约膨胀了三倍，也就是扩增至三十位将领，每人旗下人马还是维持三千馀人，总人数约十万人。在此之后总人数只有微调，不再出现大幅变动。
整个岳家军分为前军、中军、后军、左军、右军、背蒐军、踏白军、游奕军、选锋军、胜捷军、选锋军、水军等十二军，每军各设置统制一至三名。
其中的背蒐军是岳家军最精锐的部队，也是韩世忠与岳飞军中特有的编制。韩世忠与岳飞在军中发掘特别勇建者，让他们担任亲随，称为背蒐军。一进入背蒐军，其他各军除了统制之外，人人见到他们都要对他行礼，而且犒赏特别多，所以战斗力特别强；若碰到强敌，只要派出背蒐军就必胜无疑。
岳飞的背蒐军由他的长子岳云带领。岳云从小力气就很大，特别喜欢重兵器，所以便送他到霹靂火秦明那里学艺，学成之后还带了三位师兄弟一起回来。
四个人的武器正好都是锤，分别是岳云的擂鼓瓮金锤、何元庆的梅花亮银锤、傅天亮的倭瓜青铜锤与狄雷的鑌铁压油锤，背蒐军的兄弟们将他们四个合称为「金银铜铁四大锤」。
南宋成立未满十年，武将出身的将领，除了吴玠吴璘兄弟独守川陕，与大家没有利益衝突之外，大致以刘光世、韩世忠、张俊等三人掌握了最高的军权；他们互不相服，一直勾心斗角，猜忌记仇，有时甚至需要高宗或宰相介入安抚协调，否则说不定早就酿成武装衝突了。
而且他们三人的想法都一样，一方面想避开湖南杨么这个烫手山芋，一方面想跟皇帝亲近一点，所以都把驻地尽量往长江下游移动。大家挤在一个小空间里，衝突当然更容易发生。不过三人心里都有数，万一有两个人闹翻一定是两败俱伤，岂不是便宜了第三人？因此大都会互相收敛，维持着恐怖的平衡。
想不到岳飞连续打了几个重大的胜仗，不但解决了大家的烫手山芋杨么，居然连金人南侵都不敢捋其虎鬚。因此他职位虽然还没与三大将平起平坐，但是在声名方面却一再升腾，比起三位前辈甚至有过之而无不及。
韩世忠知道岳飞与高宗的关係，也大致意会到高宗是刻意栽培岳飞，而且他本身也受过水滸的恩惠，所以一向把岳飞当成子侄辈看待，对于岳飞的成功基本上是乐见其成。
刘光世从头到尾都集中精神在经营淮西军，跟岳飞几乎没有任何的利益纠葛与关连。
只有张俊，他回想六年前苗刘兵变时岳飞人都不知道在哪里，又想到两三年前岳飞只不过是他手下一个统制，还整天被他指挥着到处去东征西讨，实在很难接受他如今居然也是拥有十万人马的大将这个事实。
岳飞当然也感受到「人怕出名猪怕肥」的压力，所以在平定湖南起义军之后，从眾多战利品中拣选了两条车船，附带着船上原有的作战人员和攻守用具，分别赠送给韩世忠和张俊。韩世忠收到之后，感到十分高兴；张俊却认为岳飞是故意跟他炫耀战功，心中反而更增添仇怨之情。
绍兴五年十二月，南宋朝廷再度进行全国范围的军队整编，分为「三衙军」和五大部「行营护军」。
