第二，改革地方行政区划制度。自东汉末年起，由于战乱影响，地方行政制度进入混乱时期，先是州刺史和郡太守职权相继扩张，成为州、郡、县三级的地方行政区划。南北朝之后，又在州上设置都督或总管，统辖诸州军事，兼管地方军民事务。南朝自梁、陈以后，北朝自北魏后期，州郡县的区域被分割缩小，州郡县的数量却在大规模增加。南朝、北朝两方又各自分设侨州郡县，使得地方行政区域的混乱程度更甚。所谓“一郡分为四五，一县割成两三”，“百室之邑，便立州名，三户之民，空张郡目”。[6]这种混乱状态，早在北朝后期曾有所改革。北齐天保七年（556）下令裁并州郡，大概“并省三州，一百五十三郡，五百八十九县”[7]。但北周疆域内，州郡县的混乱依然如故。
隋朝建立之后，必须要对这种地方行政区划的格局进行改革，削减中央与地方的冗员与额外开支。时度支尚书杨尚希也指出：“当今郡县，倍多于古。或地无百里，数县并置，或户不满千，二郡分领。具僚以众，资费日多，吏卒又倍，租调岁减。清干良才，百分无一，动须数万，如何右觅。所谓民少官多，十羊九牧。”需要进行的改革是“存要去闲，并小为大，国家则不亏粟帛，选举则易得贤才”[8]。隋文帝遂于开皇三年（583）十一月下令，“罢天下诸郡”[9]，取消郡一级地方行政区划，以州统县，将东汉末年以来的州郡县三级制改为州县两级制，这一过程中增加了54个州、53个县，但废除的郡则有500多个。开皇九年（589）灭陈，将这一改革措施推行到江南各地，合计全国共有300州，统辖1000余县。隋炀帝大业三年（607），又改州为郡，变州县两级制为郡县两级制，同时又进行了一次郡级政区的省并，全国共计郡级政区190个，县级政区1235个。
地方行政区划制度由州郡县三级制向州县二级制改革的同时，隋文帝又部分沿袭了北朝旧制，在沿边或较大的州境设置大总管，统辖数州甚至数十州的军事，还在各道置行台，长官为行台尚书令、行台左右仆射、行台兵部尚书和行台度支尚书，主管每一大行政区的军政事宜。如此一来，与行政层级的减少同时，中央对地方的控制，相比于地方行政区划制度改革之前，大大加强了。
第三，废除九品中正制，创设科举制。与官制相辅相成的，是选官制度，隋以前实行最久、影响最深远的是九品中正制，魏晋南北朝时期，世家大族利用九品中正制，基本把持了官僚选举用人之权，形成门第森严的等级制度，这与隋初中央集权的趋势无疑是相违背的。早在北朝后期，已经有不少明智之士对九品中正制提出批判，西魏时期苏绰曾批出：“门资者，乃先世之爵禄，无妨子孙之愚瞽……若门资之中而得愚瞽，是则土牛木马，形似而用非，不可以涉道也。”[10]隋文帝开皇三年（583），正式下诏停止了九品中正制体系中“操人主之威福，夺天朝之权势”[11]的州郡中正行使选举品第的权力，改称其为“乡官”，成为闲职。到开皇十五年（595），将“乡官”之名也一并裁撤，作为世家大族的政治工具，存续了300余年（219—595）的九品中正制正式被废除。
隋文帝在废除九品中正制的同时，于开皇七年（587）下令诸州岁贡三人；乡官裁撤之后的开皇十八年（598），又下令京官五品以上及总管、刺史等官员，“并以志行修谨、清平干济二科举人”[12]，选官制度的改革进入正轨。至隋炀帝初年（605），“始建进士科”[13]，科举制开始作为主要的选官制度，影响了之后1000余年的中国社会。
