金银财宝纵然是好，也是人见人爱。如果是你辛辛苦苦通过自己的劳动所得，别人也是很羡慕你的，如果你的钱财来路不明，那别人就会有意见了;如果是抢来的，靠贪污受贿所得的，那么你就会引起公愤的。严嵩当宰相二十余年，窃权弄柄，排斥、诛杀异己，富甲王室，威福莫比，最后引起天下公愤，其在劫难逃，就在情理之中了。
严嵩父子及其党羽的胡作非为，激起朝中正直官员的愤慨和反对，纷纷上疏揭露他们的罪行。先后上疏的朝中大员和地方官有：谢瑜、叶经、童汉臣、赵锦、王宗茂、何维柏、厉汝进、沈练、徐学诗、杨继盛、周铁、吴时来等多人。但这些人没有一个有好下场，轻则被贬，重则被杀，其中以沈练和杨继盛的后果最有代表性。
锦衣卫经历沈练，是个为人刚直，又嫉恶如仇的人，他十分痛恨严嵩的滥用职权。他于公元1 5 5 1年上疏，开列了严嵩有纳将帅之贿、揽吏部之权、阴制谏官、妒贤忌能、纵子受财、擅宠害政等十条大罪，要求罢黜以谢天下。结果严嵩以诬陷大臣罪把沈练贬于保安(今陕西志丹县)。到保安后，沈练继续痛骂严嵩，在百姓中历数严嵩的罪行，同时还扎了个草人以代严嵩，让人作为靶子练习射箭。严嵩知道后气得咬牙切齿，发誓报复，就以谋反罪把沈练抓入北京处死，同时还杖杀了沈练的两个儿子。
继沈练之后，兵部员外郎杨继盛也于1553年呈上《早诛奸险巧佞贼臣疏》，也列出严嵩十大罪状，言辞较之沈练更激烈，在社会上引起很大的反响。严嵩向嘉靖帝进言，说杨继盛是变着法儿骂皇帝。嘉靖帝大怒，抓杨继盛下狱，刑杖一百，三年后被处死。杀了沈、杨二人后，不仅未平息人们对严嵩的攻击，反而谴责之声更高，严嵩父子成了众矢之的，日子不好过了。
同时，随着时光的流逝，嘉靖帝对严嵩的宠信也日益淡薄。此时的严嵩已是八旬老叟，精力衰退，头昏目花，而嘉靖帝又经常写上一些小纸条要他回答，严嵩答不出，只好找严世蕃，严世蕃正在与女人鬼混，顾不上。嘉靖帝立等回音久不见复，因而对严嵩日见不满，于是各种有关严嵩的谗言诋语就接踵而至。1 5 6 2年5月的一天，嘉靖帝问道士蓝道行：“今天下何以不治?”蓝道行立即回答：“只因贤未进，不屑未退之故。”嘉靖帝道：“谁是不屑?”蓝道行日：“严嵩!”对道士的话，嘉靖帝是深信不疑的，就叹了口气，不做声了。
御史邹应龙从太监那里得到消息后，在大臣徐蚧的支持下，参了严嵩一本，说他“溺爱恶子，召赂市权，专利无厌，应斩世蕃首悬之于市，以为人臣凶恶不忠之戒”。嘉靖帝乃传下谕旨：罢严嵩官，严世蕃贬雷州半岛。
可严世蕃没有到雷州，在半路上就逃回分宜老家继续作恶。于是御史林润再参严世蕃“诣不轨状”，说他不老实，态度恶劣。嘉靖帝遂下诏：严世蕃斩首，严嵩削去官籍，家产查抄。时间是嘉靖四十三年(1 5 64年)。
此时的严嵩没有了官籍，又是身无分文，最后变成了老百姓，只得回分宜老家，请人在他祖父的坟墓边搭上个草棚子以安身。两年后，严嵩凄凉地死去，死时八十七岁。
这真的是生前聚财无限多，聚到多时全没了。