徐阶嘉靖二年以探花及第,授翰林院编修。后因忤张孚敬,被斥为延平府推官,受此挫折,从此谨事上官。后又进礼部尚书,兼文渊阁大学士,参与朝廷机要大事。徐阶曾密疏揭发咸宁侯仇鸾的罪行,且擅写青词为嘉靖帝所信任。和严嵩一起在朝十多年,谨慎以待;又善于迎合帝意,故能久安于位。嘉靖四十一年,得知嘉靖帝对严嵩父子的不法行为已有所闻,于是就命御史邹应龙参劾,终于使严嵩罢官,其子严世蕃谪戍。徐阶则取代严嵩而为首辅。累官至少师兼太子太师、吏部尚书、建极殿大学士。明穆宗时致仕归家。
嘉靖帝认为徐阶为官勤勉,又擅长写青词,于是召值无逸殿,与大学士张治、李本一起赏赐飞鱼服及上方珍馔、上尊无虚日。众官推荐徐阶担任吏部尚书,嘉靖帝希望他留在身边而拒绝了,加太子太保。
当时严嵩专权,徐阶起初不肯依附严嵩。于是严嵩经常在皇帝面前说他的坏话。徐阶的处境一度十分危险,这使他认识到不能以卵击石,于是他改变策略,事事顺着严嵩,从不与他争执。
为了得到他的信任,还把自己的孙女嫁给严嵩的孙子,表面上十分恭顺。严嵩的儿子严世蕃十分霸道,多次对他无礼,他也忍气吞声。同时,徐阶向嘉靖帝靠拢,专门挑皇帝喜欢的话说,终于讨得嘉靖帝的喜欢,不久,加徐阶少保头衔,接着兼任文渊阁大学士,进入内阁,参预机务。
后来他密奏咸宁侯仇鸾罪状,使嘉靖帝杀掉仇鸾,得到皇上的信任,加太子太师头衔,地位进一步提高,仅次于严嵩。后来嘉靖帝居住的永寿宫发生火灾,暂时住到了玉熙殿,但是这里地方太小,于是嘉靖想营建新宫殿。他问严嵩,严嵩请求他回到大内住,嘉靖帝很不乐意。然后问徐阶,徐阶猜透了嘉靖的心思,于是建议用被烧毁宫殿的剩余材料,营建新的宫殿,他的建议得到嘉靖帝的赞同。后来由他主持建造成万寿宫,嘉靖搬了进去。徐阶因此加封少师,兼支尚书俸,而严嵩渐渐被皇帝冷落。
一年(1562年),邹应龙告发严嵩父子,皇帝下令逮捕严世蕃,勒令严嵩退休,徐阶则取代严嵩为首辅。
严嵩被勒令退休后,徐阶亲自到严嵩家去安慰。他的行为使严嵩十分感动,甚至叩头致谢。严世蕃也乞求徐阶替他们在皇上面前说情,徐阶满口答应。徐阶回到家里后,他的儿子徐番迷惑不解地问:"你受了严家父子那么多年的气,现在总算到了出气的时候了,你怎么这样对待他们?"
徐佯装生气骂徐番说:"没有严家就没有我的今天,现在严家有难,我恩将仇报,会被人耻笑的。"
严嵩派人探听到这一情况,信以为真,严世蕃也说:"徐老对我们没有坏心。"其实,徐阶这样做是因为他看出皇上对严嵩还存有眷恋,而皇上又是个反复无常的人,严嵩的爪牙还在四处活动,时机还不成熟。后来,嘉靖帝果然后悔,想重新召回严嵩,在徐阶的力劝下,才打消了这个念头。
嘉靖四十一年(1562年),徐阶继任首辅之后,大力革除严嵩弊政,十分注重选拔,他先后举荐高拱、张居正等人进入内阁。他十分爱惜人才,大力营救因上疏指责皇帝过失而被定死罪的户部主事海瑞。他还十分勤政,凡是皇上交给的任务,即使一夜不睡,也要准时完成,因此他更得嘉靖的赏识。同时,他还经常劝说皇帝停止动辄捕杀边镇大臣的做法,缇骑因此省减,诏狱渐少。后来因为指挥明军抵挡蒙古骑兵南下有功,升为建极殿大学士。
嘉靖帝朱厚熜死后,徐阶起草遗诏,将大礼议中因反对嘉靖帝而获罪的大臣全部平反,存者招用,死者优恤。诏书颁布的那天,许多大臣感激涕零。徐阶执政期间,还减轻百姓负担,清理盐税。景王死后,他上奏将景王霸占的陂田数万顷给了百姓,使老百姓欢欣鼓舞、奔走相告。他还废除朝中的许多浪费项目,尤其是皇帝信奉道教的开支。他的做法,得到朝中上下的拥护,人们称他为"名相"。
由于穆宗隆庆皇帝朱载垕行为荒诞不经,徐阶经常劝阻他,穆宗十分厌烦。徐阶很失望,于是上疏请求退休。正好给事中张齐因为私人恩怨弹劾他。于是穆宗乘机允许他退休回家。
徐阶退休回家后,自己的子弟横行乡里,大量购置田产,徐家占地多达二十四万亩,加上他的子弟、家奴为非作歹,致使告他的状纸堆积如山。徐阶用三万两黄金贿赂给事戴凤翔,又通过张居正命令给事陈三谟罢免了海瑞和蔡国熙,不过最终还是落得家破人亡。所以当时人称他为"权奸"。
不过,徐阶的历史功绩也不能随意抹去。一是借机命御史参劾,终使严嵩罢官,其子严世蕃谪戍。二是在任首辅期间,慧眼识珠,一眼相中张居正并提拔次辅,将来再次挽救大明王朝。