严氏父子因其贪赃枉法早就被正直之士所痛恨，不断有人站出来弹劾他们。但是，因为明世宗的偏听偏信、严嵩的奸猾狡诈，这些弹劾不但都没有奏效，那些上章弹劾他们父子的人反而往往备受打击，丢官不说，有的还搭上了身家性命。
沈炼，曾作锦衣卫经历。嘉靖三十一年(1551)，上疏弹劾严嵩“贪婪愚鄙”，历数其“受将帅之贿，边防弛备”、“受诸王馈赠，干预宗室事务”、“揽御史之权，败坏政纪”、“嫉贤妒能”等罪状。世宗不但未将严嵩治罪，还认为这是沈炼诋毁大臣，下诏将沈炼廷杖、谪官。严氏父子并不罢休，几年后，指使党羽寻机陷害，沈炼被斩，他的三个儿子，两个被打死，一个被发配到边疆。
被誉为明代第一直谏之臣的杨继盛也是因弹劾严嵩而获罪。嘉靖三十二年(1553)，时任兵部员外郎的杨继盛上《请诛贼臣疏》，弹劾严嵩“坏祖宗之成法”、“窃皇上之大权”、“误军国之机”等十大罪状、五大奸宄(gui)，揭露严嵩祸国殃民的真实面目。在奏章的最后，杨继盛恳求皇帝“听臣之言，察嵩之奸”。疏中所奏严嵩的罪状，严嵩无法抵赖，但严嵩毕竟老谋深算，他抓住杨继盛疏中“或问二王(裕王、景王)，令其面陈嵩恶”这句话，诬陷杨继盛与二王串通。刚愎自用的世宗最忌讳大臣们越过他和自己的儿子们结交，生怕因此而产生逼宫，遂不问疏中揭发严嵩的罪状是否属实，就降旨将杨继盛逮捕入狱。在下狱两年多后，杨继盛于嘉靖三十四年(1555)被处决。行刑前，杨继盛从容赋诗：浩气还太虚，丹心照万古。
生前未了事，留与后人补。严氏父子再次侥幸逃脱，但是他们身边早已危机四伏了。
世宗的荒诞、自大、残忍和喜欢玩弄权术，使得他的行事无法用正常的逻辑来解释。严嵩的仕途生涯与世宗紧紧相连，他的荣辱兴衰都决定在皇帝一个人的手里。严嵩入阁二十一年，任首辅十五年，除了杨士奇，有明一代，无人能及。严氏父子奸险误国，早就成为众矢之的，但是世宗却无动于衷。那么，严嵩究竟是怎么垮台的呢?原来，世宗下决心除去严氏父子，还是阴谋和权术共同作用所产生的结果。
嘉靖四十年(1561)，严嵩的妻子欧阳氏去世，严世蕃按旧时礼制应回乡守制三年，虽然皇帝应严嵩的奏请，准许严世蕃留京，但他在居丧期间已不能代父入值票拟。严嵩此时已有八十余岁，老朽昏聩，他所作的票拟往往言语不清，前后矛盾，他所进献的青词也都是别人代写，这些多不称世宗的心意，遂对严嵩渐渐心生不满，后来又听说严世蕃贪虐淫纵，对其父子更感厌恶。
这时，严嵩可谓是祸不单行，自己不得皇帝的欢心不说，还与时任次辅的徐阶发生了渐趋白热化的斗争。徐阶是一个聪明而又有权略的人，他感觉到世宗对严嵩态度的微妙转变，就买通了世宗很信任的一个名叫蓝道行的道士。蓝道行在扶乩的时候，显现出“分宜父子，奸险弄权”的字样，世宗问：“上天为何不诛杀他呢?”蓝道行诡称：“留待皇帝正法。”世宗心有所动。就在这一年，皇帝居住的万寿宫发生一场大火，皇帝不知以后怎么办，向大臣询问，严嵩竟建议皇帝搬到南宫去住。南宫是旧时英宗被幽锢之所，这对喜欢祥瑞的世宗来讲，真是犯了大忌讳。徐阶迎合皇帝心意，主张重建万寿宫，没多久，新宫拔地而起，比先前更巍峨漂亮。这样，徐阶在世宗心目中的地位渐有取代严嵩之势。这件事成了严嵩晚年命运的转折点。
严嵩失宠，御史邹应龙闻风而动，上疏弹劾严嵩。嘉靖四十一年(1562)，在徐阶的怂恿下，皇帝夺去严嵩一切官职，勒令回乡，严世蕃谪戍雷州卫。严世蕃在谪戍雷州中途跑回江西老家，本性难移，继续作恶多端。嘉靖四十三年(1564)，他又被御史弹劾。世宗大怒，将严世蕃逮捕下狱。第二年案结，世蕃被斩，严嵩被削籍为民，家产尽抄。严嵩只得在祖坟旁搭一茅屋，寄食其中，晚景非常凄凉。嘉靖四十五年(1566)四月，一代奸臣严嵩就这样，在孤独和贫病交加中去世。
