张辽在大年初五这天离开了马城，走的时候身边只有两百骑，此时除了张郃之外，谁也不会想到日后等他再回马城时，却成了名动天下的人物，身后跟着数万铁骑。
跟在张辽身后的两百骑，是副将慕容平从骁骑卫中为越骑卫挑选出来的军官种子，虽然只有两百人，却也军容严重，杀气腾腾，让道路两旁的行人不敢直视。
两百骑兵虽少，却也要看跟谁相比。据说当初侯成有马十五匹，被后槽人盗了去，准备献给刘备。侯成察觉此时后，追杀了后槽人，并将马夺回。为了此事，诸将还与侯成作贺，侯成为了招待大家，便冒着吕布的禁酒令在家中私自酿酒五、六斛，差点被吕布砍了头。丢了五十匹马找回来都要进行庆贺，两百百战精骑岂不是要大宴宾客三日？
张辽一行从马城出发，首先到了集宁都尉城，这里地处大青山以西，雁门郡以北，距离张辽的老家马邑四百多里路程，骑马三四日间便可抵达。
张辽本是聂壹的后人，其家族为了避怨而改张姓，散居在马邑一带。那么，张辽的家族为什么要避怨呢？此事却要从汉武帝时期的“马邑之谋”说起。张辽的祖上聂壹，是汉武帝时期的豪商，也是当时有名额马邑之谋的重要参与者。
据《史记》的记载，汉武帝时匈奴请求与汉朝和亲结盟，当时汉廷大臣为此争持不下，韩安国等人支持和亲，王恢却认为应该绝其所求，以兵击之。结果韩安国一方得到较多朝臣支持，于是武帝决定与匈奴和亲。
雁门马邑一带的豪商聂壹出于对匈奴的熟悉和对西汉王朝边患不息的焦虑，透过王恢向武帝建议，和亲之后汉朝已经取信于匈奴。只要诱之以利，必定能将之击溃。于是聂壹奉命以自身作饵，亲到匈奴阵营，向当时的军臣单于诈降，更称自己能斩杀马邑县令，迫使马邑举城投降，然后可尽得该城财物。单于信其言，又贪其利，便立刻策划起兵。聂壹回汉后，以一名罪犯的首级讹称为马邑长吏之头。以示时机已至，引诱匈奴军深入重地。
计划本来顺利进行，岂料单于在行军之际，发现城野之间只见牲畜，不见一人，于是起了疑心。他派兵攻下一个兵堡，俘虏了一名尉史。这个尉史交待了早已有三十多万汉军埋伏在马邑附近的真相，识破阴谋的单于大惊退军，汉军设伏全无用武之地。王恢判断形势后。认为已经错过了袭击匈奴军辎重的最佳时机，于是决定收兵回师，“马邑之谋”遂以失败告终。
因为马邑之谋被匈奴人识破，聂壹和他的族人自然为匈奴人所怨恨。为了避免匈奴人的报复，聂壹的后人便改姓为张，继续在马邑一带生活。
张辽年少时便闻名乡里，被举为雁门郡吏员。后来并州刺史丁原见张辽武力过人，便召其张辽为从事，命他带兵往前往洛阳。张辽到了洛阳之后。大将军何进又派遣张辽前往河北募兵，共得千余人。可是当张辽募兵还未返回洛阳时，京城中的何进已因剿宦失败而死，丁原也被吕布所杀，因此张辽招募回来的士兵尽归董卓所有。董卓死后，张辽统兵归属于吕布，担任了骑都尉。
从张辽的出身来看，其实他与吕布的关系并非像侯成、宋宪那些人，当初他在丁原手下时职务是从事，而吕布是主簿，两人其实属于同僚，而非上下级。等到丁原死后，董卓把持兵权时，吕布和张辽依然不是上下级的关系，而是同为董卓的属下，只不过吕布的地位比张辽要高一些。董卓死后，张辽作为并州人，不可能跑去投奔李傕和郭汜，只能跟随了老乡吕布，但在吕布阵营内的地位却并不高。
正因为张辽与吕布的关系属于合伙人性质，而非家主与部曲之间的依附关系，所以吕布在白门楼被曹操赐死时，高顺一声不吭，而张辽却愿意投效曹操。不是张辽的忠诚度低，而是因为他没有义务死忠于吕布。
那么，问题又来了。张辽既然不是吕布的部曲，也就用不着委屈自己随吕娘蓉一起陪嫁到邺城，要知道只有家将才能像货物嫁妆一样被人送来送去，而张辽的身份完全可以离开吕布，自寻新的东家。
