随着社会经济、文化的发展，自南北朝后期起，门阀制度走向衰落。最主要标志便是：士族在官吏选拔与任用上所享有的特权逐渐削弱，寒人或庶人比重在各级政权之品官中进一步增加。其结果首先是官吏铨选上的士庶界限难以坚持，长期存在的清浊之分逐渐淡化以至消失。随后，门品失去了意义，至隋，九品中正制亦被废除。最后，在唐代，由原来士族演变而成的郡望、氏族，特别是一些旧有的高门，社会地位虽高，选官特权和免役特权则已丧失，剩下在婚姻上的高自标置，与人际关系上对非旧有高门、士族的歧视，因为已失去经济和政治基础，成为无本之未，延续至唐末，终于在社会上基本消失。门阀制度也就完全退出历史舞台。
下面对以上观点略加申述。
南朝后期在南朝后期，如前所述，梁武帝在位期间信用一批原来的低级士族进入秘书咨询机构，以至宰相机构。梁武帝的主要着眼点在于这批低级士族儒学修养、文化素质和统治经验已经或正在超过原来的高级士族，必须越来越多地依靠他们巩固统治。因此，他虽然没有象宋、齐君主那样信用寒人掌机要，但其政策精神从一开始可以说就在鼓励寒微士人和寒人提高儒学修养、文化素质，并把达到标准的吸收入各级政权。试看下例。
《隋书·百官志上》：天监四年，梁武帝置五经博士各一人，开馆招生。“旧国子学生，限以贵贱，帝欲招来后进，五馆生皆引寒门俊才，不限人数”。《梁书·武帝纪》天监八年诏：凡五馆生，“其有能通一经，始末无倦者，策实之后，选可量加叙录。虽复牛监羊肆，寒品后门，并随才试吏，勿有遗隔”。
这里有两层意思。
第一，五馆生皆引“寒门俊才”，主要当指招纳寒微士人子弟。按西晋国子学生只收官品五品以上子弟。至南齐，已经下降到官品六、七品的子弟。据《南齐书·礼志上》，齐高帝时规定入国子学的资格，自“王公已下”，最低包括太子舍人、领军与护军诸府的司马和咨议参军等官（均七品）子弟。如今梁武帝将这一“限以贵贱”的条件再降低，则“寒门俊才”自一般当属门地不登二品，即门地三品以下的寒微士人子弟。不过从“牛监羊肆，寒品后门”句推测，似乎寒人子弟也可入学。按“寒品后门”，自指寒微士人子弟①，与“寒门俊才”涵义相近。而“牛监羊肆”则不同。它与“寒品后门”并举，疑是当时熟语。《周礼·夏官小子》“掌祭祀羞羊肆、羊肴、肉豆”。对此“羊肆”，前郑、后郑训诂有异，我们可以不管，总之与陈奉羊牲进行祭祀有关。梁武帝之“羊肆”当指掌管这类事物之官吏。又《唐六典》卷十七、《通典·职官七》均记魏晋以下太仆属官有掌管马牛羊畜牧之事者，叫①《梁书·武帝纪上》齐代“甲族以二十登仕，后门以过立试吏”。“后门”虽比不上甲族，但毕竟三十岁起便可出仕，与庶人服徭役不同。又“寒品”，也是在中正官那里有“品”，“寒”，当指门地三品以下，而庶人、寒人、役门是没有中正之“品”的。
“牧师令”、“牧监”。疑“牛监”与之类似。这一类“牛监”、“羊肆”，南朝多用寒人。如掌陈奉牛羊等牺牲之事的廪牺令，齐梁用三品勋位，见《唐六典》卷十四。又如掌管皇帝车、马，地位应略高于“牛监”、“羊肆”的乘黄令，梁亦用三品勋位，见《唐六典》卷十七。由此可见，说“牛监羊肆”指一些由寒人充任的官吏（这里包括指他们的子弟），是很有可能的。
