南越主要生活于今广东、广西地区。秦朝时，在南越诸地设置了桂林、南海、象郡以管辖其居民。据《史记·南越列传》记载：“秦时已并天下，略定南越，置桂林、南海、象郡，以谪徙民，与越杂处。”当时徙往“中县之民”的人口达50万。赵佗以秦吏为南海郡龙川（今广州）令。陈胜、吴广起兵反秦时，南海尉任嚣病死。死前委赵佗，行南海尉事。赵佗移檄关邑，“绝道聚兵自守”，并以法诛秦所置长吏，击并桂林、象郡，自立为南越武王。赵佗本为秦人，祖居真定（今河北正定）。西汉初年，汉高祖刘邦“遣陆贾因立佗为南越王，与剖符通使，和集百越”[29]。吕后时，下令“毋予蛮夷外粤金铁田器；马牛羊即予，予牡，毋与牝”[30]，给南越经济造成了一定的困难。赵佗对此不满，宣布独立。汉文帝为避免对南越用兵，再遣陆贾出使南越，赵佗取消帝号，恢复与汉的藩属关系。史载赵佗治国有方，能顺应南越之俗，“甚有文理”，对于制止南越内乱、促进越族经济文化的发展起了积极作用。汉武帝时，派兵平定南越，并以南越、西瓯及相邻之地立为儋耳、珠崖、南海、苍梧、郁林、合浦、交趾、九真、日南等九郡。
骆越或作雒越，也称西瓯，主要分布于今广西南部和越南北部。秦时以其地置象郡。秦灭后，赵佗并其地，成为南越的一部分。其习俗既不同于东越，也不同于南越。据《后汉书·南蛮西南夷列传》记载：“凡交趾所统，虽置郡县，而言语各异，重译乃通。……项髻徒跣，以布贯头而著之。”随着与汉族和其他民族往来的增多，该地文化也有了较大的发展。
（二）蛮族
秦汉时期，在我国南方地区还居住着一个重要的民族，这就是蛮族。蛮族分布于各地，有不同的称谓。西汉时期，在洞庭湖以西的山岭中，居住着以龙为图腾的盘瓠蛮，又称武陵蛮。据《后汉书·南蛮西南夷列传》记载：“秦昭王使白起伐楚，略取蛮夷。始置黔中郡，汉兴，改为武陵。”汉代的武陵郡在今湖南西部和贵州东部，是苗族居住的中心地带。武陵蛮以农耕为主，“田作贾贩、无关梁、筹传、租税之赋。有邑君长，皆赐印绶，冠用獭皮，名渠帅曰‘精夫’，相呼为‘姎徒’”。
除武陵蛮外，还有莫徭蛮，与武陵蛮相错而居。据《梁书·张缵传》记载：“湘州零陵、衡阳等郡，有莫徭蛮者，依山险为居，历政不宾，因此向化”，很可能是瑶族的祖先。又有廪君蛮，居于今湖北西部、四川东部，以虎为图腾。据《后汉书·南蛮传》记载：“巴郡南郡蛮，本有五姓：巴氏、樊氏、瞫氏、相氏、郑氏，皆出于武落钟离山。”后来，巴氏子务相被立为君，是为廪君，“廪君于是君乎夷城，四姓皆臣之。……及秦惠王并巴中，以巴氏为蛮夷君长，世尚秦女。”秦汉政权一直向廪君蛮的君长和平民征收赋税。在四川嘉陵江边，生活着板楯蛮。在秦代，秦政权与板楯蛮尚不存在隶属关系。西汉初年，汉中央政府开始管辖其地，并向其民征收赋税。板楯蛮“俗喜歌舞，高祖观之曰：‘此武王伐纣之歌也’，乃命乐人习之，所谓巴渝舞也，遂世世服从。”[31]从当地出土的两汉时期的墓葬看，其文化已明显受中原文化的影响。
（三）西南夷
