南方当这时候，却产生出一种新势力来。晋朝从东渡以后，长江上流的形势，迄较下流为强，以致内外相持，坐视北方的丧乱而不能乘。当淝水战前六年，谢玄镇广陵，今江苏江都县。才创立一枝北府兵，精锐无匹，而刘牢之为这一枚军队的领袖。淝水之战，就是倚以制胜的。下流的形势，至此实已较上流为强。
东晋孝武帝是一个昏愦胡涂的人。始而信任琅邪王道子，后来又猜忌他，使王恭镇京口（今江苏镇江），殷仲堪镇江陵以防之。慕容垂死的一年，孝武帝也死了，子安帝立。398年，王恭、殷仲堪同时举兵。道子嗜酒昏愚，而其世子元显，年少有些才气。使人勾结刘牢之倒戈，王恭被杀。而上流之兵已逼，牢之不肯再战。殷仲堪并不会用兵，军事都是委任南郡相杨佺期的（南郡，治江陵）。而桓温的小儿子桓玄在荆州，仍有势力，此时亦在军中。晋朝乃以杨佺期刺雍州，桓玄刺江州，各给了一个地盘，上流之兵才退。后来殷仲堪和杨佺期，都给桓玄所并。
402年，元显乘荆州饥馑，举兵伐玄，刘牢之又倒戈，桓玄入京城，元显和道子都被杀。桓玄是个狂妄的人。得志之后，夺掉了刘牢之的兵权，牢之谋反抗，而手下的人不满他的屡次倒戈，不肯服从，牢之自缢而死。桓玄以为天下无事了，就废安帝自立。然刘牢之虽死，北府兵中人物尚多。404年，刘裕等起兵讨玄，玄遂败死。安帝复位。刘裕入居中央，掌握政权，一时的功臣，都分布州郡，南方的形势一变。
409年，刘裕出兵灭南燕。想要停镇下邳，经营河、洛，而后方又有变故。先是399年，孙恩起兵会稽（今浙江绍兴），剽掠沿海。后为刘牢之及刘裕所破，入海岛而死。其党卢循袭据广州。桓玄不能讨，用为刺史。卢循又以其妹夫徐道覆为始兴相（今广东曲江县）。
刘裕北伐时，卢循、徐道覆乘机北出，沿江而下，直逼京城。此时情势确甚危急。刘裕速回兵，以疲敝之众，守住京城。卢循、徐道覆不能克，退回上流，为裕所袭败。裕又遣兵从海道袭据广州，把他们打平。刘裕于是剪除异己。
至417年，复大举以灭后秦。此时后魏正值中衰；涼州一隅，目前秦亡后，复四分五裂，然其中并无强大之国（氐酋吕光，为苻坚将，定西域。苻坚败后，据姑臧自立，是为后凉。后匈奴酋沮渠蒙逊据张掖叛之，为北凉。汉族李暠据敦煌，为西凉。鲜卑秃发乌孤据乐都为南凉。后凉之地遂分裂。又有鲜卑乞伏国仁，据陇右，为西秦。后凉为后秦所灭。西凉为北凉所灭。南凉为西秦所灭。西秦为夏所灭。北凉为后魏所灭。姑臧，今甘肃武威县。张掖，敦煌，今县皆同名。乐都，今碾伯县。西秦初居勇士川，在今甘肃金县后徙苑川，在今甘肃靖远县）；夏虽有剽悍之气，究系偏隅小国；倘使刘裕能在关中驻扎几年，扩清扫**之效，是可以预期的，则当南北朝分立之初，海内即可有统一之望，以后170年的分裂之祸，可以免除了。然旧时的英雄，大抵未尝学问。个人权势意气之争，重于为国为民之念。以致同时并起，资望相等的人物，往往不能相容，而要互相翦灭，这个实在使人才受到一个很大的损失。
刘裕亦是如此，到灭秦时，同起义兵诸人，都已被翦除尽了。手下虽有几个勇将，资格都是相等的，谁亦不能统率谁。而刘裕后方的机要事务，全是交给一个心腹刘穆之的，这时候，刘穆之忽然死了，刘裕放心不下，只得弃关中而归，留一个小儿子义真，以镇守长安。诸将心力不齐，长安遂为夏所陷。刘裕登城北望，流涕而已。内部的矛盾，影响到对外，真可谓深刻极了。
420年，刘裕篡晋，是为宋武帝。三年而崩。子少帝立，为宰相徐羡之等所废，迎立其弟文帝。文帝亦是个中主，然无武略，而功臣宿将，亦垂垂向尽。自北府兵创立至此，不足50年，南方新兴的一种中心势力，复见衰颓。北魏拓跋珪自立，是为道武帝。道武帝末年，势颇不振。子明元帝，亦仅谨守河北。明元帝死，子太武帝立，复强。公元431年，灭夏。436年，灭燕。凉州之地，亦皆为其所吞并。天下遂分为南北朝。
