历史文献中，常常谈到溪族人的语音不正的问题。如《初学记·奴婢门》载宋乔道元与天公：“小婢从成，南方之奚，形如惊■，言语嵝厉，声音骇人，唯堪驱鸡。”又如《南史·胡谐之传》：“齐武帝为江州，以谐之为别驾，委以事任。建元二年，为给事中、骁骑将军。上方欲奖以贵族盛姻，以谐之家人语傒音不正，乃遣宫内四五人往谐之家教子女语。”此两处都提到溪人语不正。溪语音不正，似正好说明溪人之汉化。如溪人纯说溪语，汉人将完全不懂。语音不正，盖正在汉化，说汉语又杂有溪语，故成不正。晋末宋初，溪人还是强悍善斗的。卢循起兵北上时，殷阐对何无忌说：“（卢）循所将之众，皆三吴旧贼，始兴溪子，拳捷善斗，未易轻也。”（《资治通鉴》卷一一五）所谓“始兴溪子”即溪族人。
俚族居住的地区，主要是湘、广西州，即今湖南、广东。汉族势力向广州一线发展，与俚人的接触渐多。如《宋书·羊玄保传附希传》载：“泰始①参看陈寅恪《魏书司马睿传江东民族条释证及推论》一文，收入上海古籍出版社出版的《金明馆丛稿初编》。
②参看周一良《南朝境内之各族人及政府对待之政策》一文，收入中华书局出版的《魏晋南北朝史论集》。三年，出为宁朔将军、广州刺史。希以沛郡刘思道行晋康太守（今广东德庆）领军伐俚。”又《宋书·良吏传·徐豁传》载：“元嘉初，为始兴太守（今广东韶关）。三年，遣大使巡行四方，并使郡县各言损益。豁因此表陈三事。其一曰：（郡）既接蛮俚，去就益易其三曰：中宿县俚民课银，一子丁输南称半两。”
僚，主要居住地区是长江上游的蜀，即今四川境。《华阳国·志李寿志》称，“晋康帝建元二年（344），蜀土无僚，至是始从山出。自巴至犍为、梓潼，布满山谷，大为民患。”《魏书·僚传》称：“僚者，盖南蛮之别种，自汉中达于邛笮川洞之间，所在多有。种类甚多，散居山谷，略无氏族之别。建国中，李势在蜀，诸僚始出巴西、渠川、广汉、阳安、资中，攻破郡县，为益州大患。势内外受敌，所以亡也。自桓温破蜀之后，力不能制。又蜀人东流，山险之地多空僚遂挟山傍谷。与夏人参居者，颇输租赋；在深山者，仍不为编户。”由此可见，僚的活动地区主要在蜀，自巴西、犍为一线逐渐向外扩展。
自东晋至陈，南朝常与“僚’族有战争。据《南齐书·州郡志》所载：南齐时益州有东宕渠僚郡、越嶲僚郡、沈黎僚郡、甘松僚郡、始平僚郡、齐开僚郡、齐通僚郡，大约都是以降附和征服的僚民建立的。
户籍整理和反却籍斗争南渡的北方劳动人民，江南汉人和各少数族人民共同开发了江南广大土地，发展了江南经济，但江南统治者剥削惨重却使得人民无法生活下去，反抗斗争遂不断发生。
南朝的租税制度，大体是延续魏晋的制度下来的。人民的负担，主要有租、户调和徭役。此外又有市税、商税、盐税、酒税、鱼池税、丁塘税、口赋、赀赋等杂税。人民的负担是沉重的。宋齐时期，一般农民生活的困苦情况，在齐武帝永明六年（488）顾宪之对武帝的启中所谈山阴一县的情况，可见一斑。他的启写道：“山阴一县，课户上万；其民赀不满三千者，殆将居半；刻又刻之，犹且三分余一。凡有赀者，多是士人，复除。其贫极者，悉皆露户。役民三五属官，盖惟分定：百端输调，又则常然。比众局检校，首尾寻续，横相质累者，亦复不少。一人被摄，十人相追：一绪才萌，千孽互起。蚕事弛而农业废，贱取庸而资华贵。应公赡私，日不暇给。欲无为非，岂可得乎？”（《南齐书·陆慧晓传附顾宪之传》）
