那么是什么因素使得本来种族比例悬殊的营州变成了以杂胡著称的地方呢?要而言之有三。首先，是武周后期营州寄理渔阳及其辖下诸羁縻州的内迁。万岁通天二年(697)柳城陷于契丹，营州在此后二十余年间寄理渔阳，其下辖的慎、玄等十二州迁往青齐，并在神龙以后转隶幽州。这使得“唐朝多年经营起来的东北边疆防线被打破”②,“东北防务只好完全倚仗幽州”③,以往远处柳城的诸蕃降户逐渐迁往幽州一带生活，其郡望、籍贯、居住地均发生了变化，成为一批有新的特点的胡人。我们今天所熟知的营州胡，早期主要出生或生长于武周后期至玄宗朝初年。在这段时期内，史籍中常见的“营州柳城人”、“营州城傍”一类说法往往实指渔阳及其周边地区蕃部。例如，李光弼为“营州柳城人”,其父李楷洛武周归唐后即于当地统领蕃部，直至延和元年(712)仍作为副将随幽州节度使孙侄出征突厥④,知光弼当于708年生于渔阳一带。又如，王思礼为“营州城傍高丽人”,曾在王忠嗣麾下与哥舒翰“对为押衙”⑤,后者生于700年，揆以常情，若思礼与翰年岁相仿，则他实际也出生于渔阳。最为显著的案例是安史降将李宝臣，他在《新唐书·宰相世系表》中被称为“柳城李氏”,实际上营州在他出生的开元六年(718)之际并未完全迁回柳城旧址，因此他在当时更为人所熟知的身份是“范阳城旁奚族”①。
其次，在于玄宗一朝诸蕃部族的迁入，包括开元前期营州还治柳城后多民族的融入，以及天宝初年第二突厥汗国覆灭后其旧部的迁入。“开元五年，奚、契丹各款塞归附”,为复置营州提供了难得的历史机遇。唐廷遂命宋庆礼等“更于柳城筑营州城”,“追拔幽州及渔阳、淄青等户，并招辑商胡”,尽管此后一度又迁往幽州境内，但终于开元九年(721)还治柳城，史称数年后“居人渐殷”。②外迁蕃户的追回及粟特等民族的融入，使得营州辖下诸色胡人进一步融合，以致开元中期又增置了以突厥降户为主的宁夷等羁縻州。③天宝元年(742),第二突厥汗国覆亡，辖下诸蕃部族陆续归附唐朝，其中相当部分进入了幽、营二州，《新唐书·地理志》便明载“降胡州一。凛州，天宝初置，侨治范阳境”④,据森部丰推测，凛州居民既有从宁夷州迁入的突厥人，也不乏自突厥汗国新近归唐的粟特降户⑤。从玄宗朝开始，当地胡人墓志中才明确出现了以营州为籍或说“本贯”的案例⑥,其中有世居柳城者，如卒于开元九年(721)的何数的墓志称其为“柳城人”①,卒于开元二十二年(734)的翟选的墓志称其为“辽西柳城人”②;也有后来迁入者，如永泰元年(765)撰写的《康阿义屈达干碑》也称其为“柳城人”③,而碑主在天宝元年(742)方随突厥归唐。终玄宗一朝，营州辖下的民族随着新附蕃部的迁入而不断趋于复杂。
最后，安史之乱的爆发使营州胡作为一种特有族群身份而被唐人认识。玄宗朝以来出现的营州籍只是一部分胡人的自称，还有相当部分迁入的胡人对其籍贯语焉不详，这主要是由于营州并非传统意义上的郡望之地。以敦煌文书S.2052《新集天下姓望氏族谱》记载的冀州二十八姓为例④,唐代内附营州诸族除高丽降户多攀附渤海高氏外⑤,其余契丹、奚、突厥、粟特等族均没有现成的姓氏可供攀附。因此史籍中的所谓“营州杂种胡”其实是时人对这批来自营州的胡人的指称，而这一称谓的形成与安史之乱的爆发有直接关系。玄宗朝后期，蕃将势力普遍崛起，河陇、朔方、河东等边镇皆是蕃胡聚集之处，但时人并不目之为胡化之区，也不见有“灵州胡”、“并州胡”一类称谓。及至安禄山起兵后，营州胡人作为一个叛乱的异族群体进入时人视野，“羯胡乱常”、“逆胡猖狂”等说法一时纷纷涌现。这批胡人经“禄山之乱，一切驱之为寇，遂扰中原。至德之后，入据河朔，其部落之名无存者”①,安禄山的裨将李宝臣、李怀仙、王武俊等在战后成为河北藩镇的节度使或高级军将，这些来自安史叛军巢穴的蕃部将领给时人以深刻印象，使他们进一步将降户众多的营州柳城与胡人联系起来。《旧唐书》编者将安史之乱斥为“柳城一胡，敢窥佐伯”②,而欧阳修在罗列藩镇出身的宰相时，也将李光弼、李宝臣径称为“柳城李氏”,以至“营州王氏”之王思礼、“安东王氏”之王镕、“高丽李氏”之李正己，皆是此例③。
