刘庄当皇帝时，南匈奴再次归顺汉朝。刘庄安排南匈奴人在汉朝境内住下来，并设置中郎将监护他们。南匈奴人成为汉朝臣民。黄巾军起义时，南匈奴人还帮助镇压过。董卓之乱时，南匈奴人开始不安分，趁机抢掠了太原河东一带。曹操统一北方后，意识到南匈奴人是潜在威胁，便将南匈奴人分为五部，分别任命刘姓人为统帅，让五部匈奴人居住在汾水和涧水一带。其中，刘豹为左部帅。
刘豹死后，刘渊继任。刘渊严明刑法，爱好施舍，与他人相交推诚相待，在五部匈奴中赢得了声望。八王之乱后，刘渊叔父左贤王刘宣等人密谋趁乱复兴匈奴，独立建国，册立刘渊为大单于。一起谋划好后，刘宣派呼延攸去报告刘渊。刘渊让呼延攸回去告诉五部匈奴诸将，起兵响应司马颖，其他的相机而动。
公元304年，刘渊出任屯骑校尉。没多久，司马颖遭到司马腾和王浚联合攻击，形势比较严峻。刘渊趁机向司马颖请求回去率领五部匈奴人前来助战。司马颖答应了。趁此机会，刘渊脱离司马颖，回到左国城称大单于。刘宣等人拥护刘渊在晋朝诸位王爷混战之机复国，建国号汉。刘渊祭天称汉王，追尊刘禅为孝怀皇帝，以表明他们是汉朝之后。他们此举的目的，是打着恢复汉朝的旗帜反晋朝，增强自身的号召力。
刘渊以恢复汉朝为号召独立建国，遭到司马腾武力镇压。不过，匈奴人压抑几百年的战斗力爆发出来了，要比晋朝混战后的军队强得多。刘渊率领汉军不断攻城略地，不断获得胜利。刘渊实力越来越大，所到之处，州县纷纷投降。上郡四部鲜卑陆逐延的军队，东莱人王弥以及石勒起义的军队，都纷纷归顺刘渊。刘渊接纳他们，对其首领一一授予官职。公元308年，汉王刘渊称帝，迁都平阳，命令刘聪等人率军进攻洛阳。刘聪等人率军在洛阳与晋军作战失利。
刘渊有心想趁机复兴匈奴，但没想到寿命不长。公元310年，刘渊死，刘和继位。刘和没多久就被刘聪杀了。
刘聪当皇帝后，派刘曜、王弥、刘粲等人率军攻打洛阳。在石勒的支援下，刘曜占领洛阳周边各州县，还攻下洛阳，俘虏晋怀帝司马炽。他率军包围长安，久久不离开。晋愍帝司马邺在爆发饥荒两个月后献城投降。刘曜率军进入长安。西晋灭亡。
消灭晋朝后，刘聪就将国事委托给刘粲处理，自己尽情享乐去。他册立3个皇后，信任重用奸佞，打击忠良，闹得朝野对其极为不满。好在刘聪寿命也不长，于公元318年病死了。刘粲继位。
刘粲才能出众，文武双全，也建立过不少功勋，但他继位后，跟刘聪几乎一模一样。他沉湎酒色游乐，诛杀辅政大臣，处死晋愍帝司马邺，让靳准全权处理朝政。靳准发起叛乱，历数刘粲罪行，将其处死，并将刘家诸王杀尽。当年归顺刘渊的石勒见刘家数代皇帝一个比一个昏庸，没有成大事的希望，便有自立的想法。刘曜趁机杀死靳准称帝，改国号为赵，史称前赵，石勒也建国称赵，史称后赵。
刘渊率先起兵反晋，建立汉国，最终也消灭晋朝，但不久刘渊死了，其继任者一个比一个昏庸，根本无法取代晋朝统一天下，从而揭开中原近三百年混乱的序幕。其他少数民族先后效仿刘渊起兵，纷纷建立本族政权，也都因自身不足等，无力一统天下，最终不可避免地陷入长期征战中。这是北朝的主要特征，也是历史的不幸。
