徐阶回到家里后，他的儿子徐番迷惑不解地问：“你受了严家父子那么多年的气，现在总算到了出气的时候了，你怎么这样对待他们？”徐佯装生气骂徐番说：“没有严家就没有我的今天，现在严家有难，我恩将仇报，会被人耻笑的!”严嵩派人探听到这一情况，信以为真，严世蕃也说：“徐老对我们没有坏心。”
其实，徐阶这样做是因为他看出皇上对严嵩还存有眷恋，而皇上又是个反复无常的人，严嵩的爪牙还在四处活动，时机还不成熟。
后来，嘉靖帝果然后悔，想重新召回严嵩，在徐阶的力劝下，才打消了这个念头。
徐阶继任首辅之后，大力革除严嵩弊政，十分注重选拔，他先后举荐高拱?张居正等人进入内阁。
他十分爱惜人才，大力营救因上疏指责皇帝过失而被定死罪的户部主事海瑞。
他还十分勤政，凡是皇上交给的任务，即使一夜不睡，也要准时完成，因此他更得嘉靖的赏识。
同时，他还经常劝说皇帝停止动辄捕杀边镇大臣的做法，缇骑因此省减，诏狱渐少。
后来因为指挥明军抵挡蒙古骑兵南下有功，升为建极殿大学士。
嘉靖帝朱厚?兴篮螅?旖灼鸩菀炮???罄褚橹幸蚍炊约尉傅鄱?褡锏拇蟪既?科椒矗?嬲哒杏茫?勒哂判簟Ｚ?榘洳嫉哪翘欤?矶啻蟪几屑ぬ榱恪Ｐ旖字凑?诩洌?辜跚岚傩崭旱＃?謇硌嗡啊＞巴跛篮螅??献嘟?巴醢哉嫉内樘锸?蚯旮?税傩眨?估习傩栈缎拦奈瑁?甲呦喔妗Ｋ?狗铣??械男矶嗬朔严钅浚?绕涫腔实坌欧畹澜痰目?АＫ?淖龇ǎ?玫匠?猩舷碌挠祷ぃ?嗣浅扑??懊?唷薄?p>由于穆宗行为荒诞不经，徐阶经常劝阻他，所以穆宗十分讨厌他。
徐阶也很失望，于是上疏请求退休。
正好给事中张齐因为私人恩怨弹劾他。
于是穆宗乘机允许他退休回家。
朝中百官纷纷上奏章请求留下徐阶，但是穆宗说什么也不同意。
徐阶退休回家后，纵容自己的子弟横行乡里，大量购置田产，徐家占地多达二十四万亩，加上他的子弟、家奴为非作歹，致使告他的状纸堆积如山。
应天巡抚海瑞、兵宪蔡国熙秉公办案，惩治了他的家人，于是徐阶用三万两黄金贿赂给事戴凤翔，又通过张居正命令给事陈三谟罢免了海瑞和蔡国熙，可谓一手遮天。
所以当时人称他：“家居之罢相，能逐朝廷之风宪”，有人因此把他称为“权奸”。
万历十年(1583年)，徐阶80岁高龄，皇帝专程派人前去慰问，并赐玺书、金币。
第二年，徐阶病死。
赠太师，谥文贞，著有《世经堂集》。
