汉武帝非常了解主父偃这个建议的深远意义，果断地批准这一建议，在河套地区设置了朔方郡，并且命令苏建征集十万人建造朔方城，然后修复了秦始皇时蒙恬沿黄河所筑的长城要塞。这是两项极为艰巨的国防工程，耗费了无数的资金，国库因此而变得空虚，劳动人民付出了血汗的代价。
但这两项工程的完成，解除了匈奴骑兵对长安的直接威胁，建立起了进一步反击匈奴的前方基地。此仗汉军全甲兵而还，卫青立了大功，被封为长平侯，食邑3800 户。苏建、张次公以校尉从卫将军有功，封平陵侯、岸头侯。从此，黄河以南防务巩固，京城长安确保无虞，奠定了汉朝主动出击匈奴的基础，汉朝从被动转入主动。
元朔三年（前126 年）冬，匈奴军臣单于病死。军臣单于一死，匈奴内部发生了激烈的争夺。军臣单于的太子理应继承王位，可军臣单于的弟弟左谷蠡王伊稚斜垂涎单于多年，倚仗自己强大的军事力量，自立为单于。
太子於单不等叔叔夺去王位，便与其展开了斗争。可因力量薄弱，被伊稚斜打得逃往中原，投降了汉朝，汉武帝封他为涉安侯。可是於单不习惯中原的生活，几个月之后便郁闷而亡了。于是，伊稚斜便正式做了匈奴的单于。
在这期间，汉朝发生了重大的变化。汉武帝的母亲王太后去世，汉武帝对他的母亲十分敬重，因此出于孝礼，他决定在两年之内不动用军队。这样，汉与匈奴之间的战争就停了下来，从此进入一个相持和平时期。为了报复河南的战败，匈奴对汉朝边郡攻掠更加频繁。
元朔四年（前125 年），匈奴又使各三万骑攻入代郡、定襄、上郡。
元朔五年春，朝廷命令车骑将军卫青率领三万骑兵，从高阙出兵。命令卫尉苏建做游击将军，左内史李沮当强弩将军，太仆公孙贺当骑将军，代国之相李蔡当轻车将军，他们都隶属车骑将军卫青，一同从朔方出兵。
朝廷又命令太行李息、岸头侯张次公为将军，从右北平出兵，他们全都去攻打匈奴。匈奴右贤王正对着卫青等人的大军，以为汉朝军队不能到达这里，便喝起酒来。
晚上，汉军到了，包围了右贤王；右贤王大惊不已，连夜同他的一个爱妾和几百个精壮的骑兵，急驰突围，向北而去。轻骑校尉郭成等追赶了几百里，没有追上。汉军俘虏右贤王的小王十余人，男女一万五千余人，牲畜无数。
卫青功高，拜为大将军，加封食邑8700 户，所有将领归他指挥。卫青的三个儿子被汉武帝封为列侯。长子卫伉为宜春侯，次子卫无疑为阴安侯，幼子卫登为发干侯，均食邑1300 户。
卫青谦让着说：“出师大胜，都是诸将的功劳。”于是，汉武帝遍封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等将士。
正当汉朝君臣为获得大胜而兴高采烈的时候，匈奴统治者却跌入了失败的深渊中。他们不仅没有从汉朝捞到便宜，反而被汉军打得一败涂地，连牛羊都被汉军顺手夺去了。他们检点损失，越想越忍不下这口气，于是向汉朝发动了猛烈的进攻。这年秋天，意图报复的匈奴人又入侵汉朝边界，在代郡杀死都尉朱英，俘虏汉人一千多人。
元朔六年（前123 年）春、夏，汉武帝命卫青为大将军先后两次率领十万骑兵出击匈奴，结果歼灭匈奴军过万。二月，以公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为强弩将军，分领六路大军，统归大将军卫青指挥，浩浩****，从定襄出发，北进数百里。
战后全军返回定襄休整，一个月后再次出塞，斩获匈奴军一万多人。但汉军损失了三千余骑，翕侯赵信兵败投降匈奴。赵信本是降汉的匈奴小王，降匈奴后，被封为自次王，为伊稚斜单于出谋划策。伊稚斜采用赵信计策将王庭迁到漠北，引汉军深入，以逸待劳。
