夏侯渊北归之后，诸葛亮调徐晃接管了自己的兵马，然后回到河南，向出巡到嵩山附近的刘协进行了工作汇报。
君相二人除了讨论与魏国的地盘交接之外，也详细讨论了南匈奴的问题。
一开始，诸葛亮提议拉拢匈奴贵族，从中挑选有德行者，给他们封官封爵，以匈奴人治理匈奴人，这样朝廷就可以不费吹灰之力治理好匈奴了。
这个刘协没同意，而是要坚持把匈奴纳入帝国统一的治理体系中。
诸葛亮的想法也很正常。汉朝虽然不是世袭分封制，但却是“流官分封制”。朝廷派出去的刺史和太守，对辖境内的事务有完全的决策权，司法、赋税、行政、徭役……甚至于兵权，全是他一个人说了算，和后来明、清那种成熟的流官制度还是有明显区别的。
建安二十八年下半年，诸葛亮重返并州，按照刘协的旨意整顿并州事务，核心工作就是处理南匈奴问题。
诸葛亮从汉军中选了三万精锐，带领他们深入匈奴人的领地，以军事实力为保障，强势推进南匈奴改革。
南匈奴改革的指导核心就是：
一、去武装化：解散南匈奴五部侯手里的兵马，兵器、铠甲全部没收。将来在南匈奴征兵时参照汉人的政策，所征士兵与汉人混编，不搞特殊化。
二、文化融合：给匈奴人分派姓氏，取汉名，推广汉话，鼓励匈奴人与汉人通婚。
事实上，诸葛亮去到并州之后，给了五部匈奴两个选择：接受汉文化，成为汉朝子民；如果不同意，请收拾行李，礼送出塞，回到漠南放羊去。
结果，没有一个部落愿意回去，全部愿意接受汉文化。内迁的游牧民族，如果不是为了保命，历来就没有主动返回草原的。
三、行政改革，推行汉制。这一个，才是最核心、最难的。
