二、平定内乱在武帝确定的五个顾命大臣中，上官桀资望最为后进。武帝生前仅仅为了一件小事，却对他信任有加。
当初，上官桀由羽林期门郎，迁官未央厩令，负责饲养宫中马匹。他见武帝很喜欢骏马，经常入厩巡视，就格外留意，勤加喂养，将马匹养得非常肥壮，受到武帝夸赞。既而武帝患病，好几天没有到马厩中来，他便开始偷懒。没想到武帝病体稍有好转，便来看马。他一见厩马瘦多肥少，不由勃然大怒，斥责上官桀说：“你以为我再也见不到马了吗？”上官桀连忙跪倒于地，巧言辩解道：“臣闻圣体不安，日夕忧惧，所以无心喂马，乞陛下恕罪！”武帝听后，还以为他真的忠诚可靠，不但免罪，还把他擢升为骑都尉。此事虽小，也可见此人品性低下，为人很不地道。这样的人教养出来的儿子，品性自然也不会好到哪儿去。
这次，上官桀父子为丁外人封侯一事遭到拒绝，自然对霍光怀恨在心。盖长公主听到丁外人枕旁告状，见情夫无由贵显，也埋怨霍光。霍光却身正不怕影斜，依然一板一眼，照章办事，毫不设防。有一天，他忽闻昭帝下诏，加封上官安为桑乐侯，食邑五千户，想到皇后之父得受侯封，也还算是本朝常例，并非特别破格，所以也就没有谏阻。
这上官安却小人得志，更加妄自尊大。他有时入宫侍宴，饮罢归来，就向门下客人夸耀说：“今日与我婿饮酒，很是快乐。我婿服饰华丽，可惜我家器物，很难相配。”说着，就要把家中旧器具，尽付一炬，再换整套新的，好与他天子丈人的身份相配。经家人阻止，才得保存。他那骄横之心，却依然如烈火燃烧，终于烧向了老丈人霍光。
近日，太医监充国因无故入殿，被拘下狱。这监充国为上官安的外祖所宠爱，其外祖遂赶来求告。上官桀就向霍光求情，霍光仍然不许。经廷尉定谳，监充国应处死刑。上官桀赶忙去求盖长公主，公主替监充国献了二十匹马，才得赎罪减死。上官桀父子为此更感念公主的恩惠，更憎恨霍光的无情。他想自己从前的职位并不亚于霍光，现在父子并为将军，女孙又是皇后，声势煊赫，谁不艳羡？偏偏事事都要受霍光的限制，心里很不服气。就想着能联合一些人，扳倒霍光。他想到那燕王不得为帝，必然仇恨霍光。桑弘羊因榷酤官被撤去，子弟多致失职，肯定怨恨霍光。于是，他就近联络桑弘羊，遣使勾通燕王，再找到盖长公主作为内援，端的是上下呼应，只等着霍光就范。
刚好碰到霍光到广明校阅羽林军，上官桀就与桑弘羊密商，准备乘机发难，但急切之间又无从下手。想来想去，想到还不如假借燕王名义上书，劾奏霍光过恶，以便定罪。主意已定，便由桑弘羊代拟上书，以便马上呈入。不料，霍光很快就回到长安，他们只好把手中的奏牍先搁置下来。好容易等到霍光回家休沐去了，当即拜本进去，就静等结果。
这年为元凤元年（前80），昭帝年已十四，接到奏牍，见是燕王刘旦署名，书中说到霍光在出都校阅路上“僭拟乘舆”，擅自升自己的长史杨敞为搜粟都尉，又擅调益幕府校尉，“专权自恣，疑有非常”。昭帝看了又看，想了又想，竟将来书搁置，并不颁发。上官桀等候了半天，还不见有什么动静，实在按捺不住，就入宫探问，昭帝但微笑不答。翌日，霍光入朝，听说燕王有书弹劾他，心里也不免恐惧。但老实人着急处，也有出奇处。他就坐在殿西画室中，看着墙上悬挂的《周公负戾图》出神。他坐在这里，就是表明自己受诏辅政，一切光明正大。一会儿，昭帝临朝，环顾左右，唯独不见霍光，便问大将军何在。上官桀意按捺回答道：“大将军被燕王弹劾，所以不敢进来。”昭帝就命左右宣召，霍光来到昭帝御座前跪伏，免冠谢罪。只听到昭帝面谕道：“将军尽可戴冠，朕知将军无罪！”霍光又惊又喜，抬头问道：“陛下何以知臣无罪？”昭帝道：“将军到广明校阅，往返不到十日，燕王远在蓟地，怎能知晓？且将军如有异谋，何必需用校尉？这明是有人谋害将军，伪作此书。朕虽年少，还不至受愚若此？”霍光听到弹劾，一开始只感到委屈，并没有细想。这会儿听到昭帝的分析，心情不禁豁然开朗，佩服得五体投地。一班文武官员，也没有料到昭帝这样年轻，竟能察出其中情弊。细细一想上书的时间和内容，也都感觉到可疑。老谋深算的上官桀与桑弘羊，被年幼的昭帝指出破绽，既后悔，又惊慌，既恨自己考虑不周，又怕露出马脚。退朝时，昭帝又命拿究上书人。上书人就是上官桀与桑弘羊派遣的，他们听到昭帝下令，就赶忙把他藏匿到家中，满以为昭帝年幼，说说就没事了。偏昭帝连日催索，必须捕获归案。上官桀按捺不住，又入宫劝阻昭帝，说这是小事一桩，不必穷究。昭帝不仅不从，仍然严诏追拿，而且从上官桀两次跳出来，觉察出他与这件事肯定有关系，从此疏远了他，更亲信霍光。
上官桀聪明反被聪明误，露出狐狸的尾巴，却还不死心，暗中让内侍揭发霍光的罪行。昭帝发怒道：“大将军是当今忠臣，先帝使他辅佐朕。如再敢妄说是非，便当处罪！”
内侍碰了钉子，不敢再说什么，只好回复上官桀。上官桀与其子商量了半天，索性一不做二不休，打算先杀掉霍光，废去昭帝，再诱令燕王入京，借机刺死他，自己当皇帝。他将这一打算转告盖长公主，只说到杀霍光，废昭帝，迎燕王，公主却也依从。他便请公主陈设酒席，邀霍光饮酒，以便伏兵行刺。又遣人通报燕王，请他做好准备，等待入都。
燕王得报，大喜过望，便派使者复书，要上官桀相机行事，事成后封他为王，同享富贵。燕王在燕地摩拳擦掌，静等佳音，没想到燕地天象一再告警，不几天又从长安传来急报，说是上官桀父子逆谋败露，燕使也被拘系，顿时被吓出一身冷汗。
原来，盖长公主按照上官桀的安排，准备邀请霍光饮酒，借机将他刺死。没想到公主有一个燕姓舍人，知道了这一消息，告诉了他父亲稻田使者燕苍，燕苍告诉了大将军长史杨敞，杨敞告诉了谏议大夫杜延年，杜延年赶紧报告了霍光。霍光一听此信，赶紧报告昭帝。昭帝与霍光商定，密令丞相田千秋速捕逆党，毋得稽延。田千秋接到密令，先使丞相征事任宫假意邀请上官桀，引入府门，传诏斩首。又使丞相少史王寿如法炮制，处死上官安。然后派遣相府吏役，拿住桑弘羊，一刀处死。盖长公主闻变，与丁外人相抱大哭，含泪自杀，丁外人随即伏诛。所有谋变党羽，一并捕获。燕使也被追缉，拘系狱中。昭帝特派使臣持了玺书，交付燕王，指责他“有悖逆之心，无忠爱之义”，令其自图。燕王阅毕，将玺书交付近臣，自悲自叹道：“死了！死了！”遂用绶带自缢。
朝使即日回报，昭帝宽大为怀，赦免了燕王、盖长公主之子，只将他们废为庶人。上官皇后未曾通谋，因得免议。封平乱有功人员杜延年、燕苍、任宫、王寿为列侯。另拜张安世为右将军，杜延年为太仆，王为御史大夫，仍由霍光秉政如初。
昭帝时的这一场政变，就其规模和时间而言，与高祖时无论哪一个异姓诸侯王的叛变，与景帝时吴、楚七国的叛乱，都不可同日而语；但是，汉帝国这时与那时也不可同日而语。在英雄时代已经过去之后，它再也经不起折腾了。这场未遂的政变，被平息在襁褓之中，使当时正处于过渡、调整时期的政局避免了新的动荡。汉家幸甚！历史幸甚！

三、废立情事元凤四年（前77），昭帝年已十八，即位也已十年，遂提前举行冠礼。在霍光的主持下，十年来节财省事，国库渐趋丰盈。元凤七年（前74）元日，改元元平，又定议减征，诏减口赋十分之三，宽养民力。汉帝国终于渡过困难，进入平稳过渡时期。
这年四月间，年仅二十一岁的昭帝，偏生绝症，医治无效，在未央宫中告崩。上官皇后年仅十五，自然没有生育。其他两三个妃嫔，也没有产下一男。霍光等人，都为继立无人而大费踌躇。有人提出，昭帝无子，只好再立武帝遗胤。眼下只有广陵王刘胥为武帝亲子，可以继立。霍光却认为广陵王所为无道，所以武帝才不让他承统。武帝驾崩时，两个皇后一个被废，一个自尽，曾将李夫人配飨。有人提出，李夫人的亲孙昌邑王刘贺，与昭帝有叔侄之谊，正好作为继子，入承大统。由于别无选择，霍光也就来不及细想，也未经考察，就用上官皇后的命令，特派少府史乐成、宗正刘德、光禄大夫丙吉、中郎将利汉等，前往迎接昌邑王刘贺，回长安主持昭帝丧事。昌邑王刘贺废立始末，《汉书》除卷六十八《霍光传》外，于卷六十三《武五子传》中亦详加记载。
这昌邑王刘贺，五岁时继承王位，已有十多年，却狂纵无度，专喜骑马游猎，半天能奔驰三百里。这天，史乐成等由长安半夜时来到王宫，因事情紧急，便连夜叫醒刘贺，拜阅皇后来谕书。刘贺睡意未醒，不知是吉是凶，揉揉眼睛，才阅数行，便手舞足蹈，喜气洋洋。一班厨夫走卒，听说长安使者召王赴京即位，也都拥到王宫中贺喜，请他随带入京，他一一答应。
第二天正午，刘贺随同朝使及随行人员正要出发，中尉王吉连忙缮成一书，劝他到京后谅喑少言，国政尽归大将军处决，不要轻举妄动。他略略一瞧，就扔到地上。遂施展平生绝技，扬鞭催马，一口气跑出一百三十五里，把朝使和从行诸人，都远远抛在后边。没奈何入驿等候，直到傍晚，朝使等人才随后赶到，随行三百多人，有人把马都累死了。驿站中准备的马匹不够第二天使用，遂将一半从人饬回了昌邑。刘贺一行走到弘农，离长安只有百余里。他望见途中多美妇人，不胜艳羡。便暗中嘱咐手下官奴头目物色佳丽，送入驿舍中淫戏取乐。朝使史乐成等很不满意，使人将官奴头目就地正法，趁势搜出妇女，送回原家。
走到霸上，距长安不过数里，早有大鸿胪出郊远迎，请刘贺下马改乘法驾。行近广明东都门，随行人员提醒他，按照礼仪规定，诸侯入都奔丧，望见都门，就应该举哀。他却借口咽喉痛，不能哭泣。再前进至城门之前，他又推说城门与郭门相同，待到未央宫东阙前，再举哀不迟。然而，直到进入城内，走到未央宫前，已望见坐帐的帐棚，他脸上还满是喜色。随行人员连忙提醒他赶紧下车，向阙俯伏，哭泣尽哀。他才不得不欠身下了乘舆，走到帐棚前，俯在地上，痛哭如仪。哭毕入宫，由上官皇后下谕，立刘贺为皇太子，选择吉日登基。
应该说，入宫以后，刘贺总算没有越礼之处，霍光也就让他及时即了位。他尊上官皇后为皇太后，数日后，又将昭帝奉葬平陵。想不到即位后，他就原形毕露，拜昌邑故相安乐为长乐卫尉，将随来的吏属，都引作内臣，整日里与这些人尽情游狎。见有美貌宫女，便召来侑酒侍寝。又令人取出乐府中的乐器，鼓吹不休。有的随来吏属看不过眼，也很担心，就找到长乐卫尉安乐，提醒他说：“我王立为天子，却在国丧期内，日益骄淫，每日里与近臣饮酒作乐。倘有内变，我等免不了要受戮了。”他们请安乐赶紧劝谏刘贺，千万不要再拖延。安乐听后也很担心，但看刘贺毕竟是天子，也正在兴头上，说也白说，说不定还要引来祸端，也就袖手旁观，得过且过。
霍光对刘贺的这种作为，听在耳里，看在眼里，急在心里，也后悔自己过去太轻率了，便与大司农田延年商量善后办法。田延年的主张倒很明确，说：“将军为国家柱石，既然嗣主不配为君，何不报告太后，另选贤能？”霍光问：“古来是否曾有先例？”延年道：“殷商时伊尹为相，见太甲无道，就把他流放到桐宫，以安宗庙，后世称为圣人。今将军能行此事，也是本朝的伊尹哩！“霍光有了主意，就引田延年为给事中，迁张安世为车骑将军，三人密议废立情事，再没有第四个人知道。田延年、张安世参与议立事，《汉书》卷九十《酷吏传·田延年传》、卷五十九《张安世传》仅大略提及，详载于《霍光传》中。
那刘贺依然戏游如故。一日，他又要出门游逛，光禄大夫夏侯胜进谏道：“上天久阴不雨，臣下必有异谋。陛下还要到何处去呢？”刘贺闻言大怒，斥责他妖言惑众，当即命左右将他缚住，交有司究办。听了有司转告，霍光暗想夏侯胜所说，恐怕话出有因，不会是空穴来风，或许是张安世泄露了隐情。当即召来责问，张安世确实没有泄露，所以一再呼冤，并愿意当面对证。霍光就亲自提审，夏侯胜却从容应对道：“《尚书·洪范传》有言，皇极不守，现象常阴，下人且谋代上位。臣不便明言，所以只说到臣下有谋。”霍光听了大惊，张安世也暗暗称奇，就赦免了夏侯胜，恢复了他的原官。《汉书》卷七十五《夏侯胜传》。
夏侯胜劝谏刘贺，尽管只是引经据典，并没有什么实证，却几乎把霍光三人正在商量的废立密谋道破了。看来，事不宜迟。霍光就让田延年去找杨敞商量。这杨敞曾经当过大将军长史，上官桀等人借燕王名义上诬告书时，还把霍光提升他当搜粟都尉作为证据。他现在当了丞相，却没有胆识。听了田延年所说之事，唯唯连声，并不表态，尽管时当盛夏，身上却已吓出了冷汗。其夫人是之女，颇有才能，两人谈话时，她已在东厢听了很久。田延年起座更衣，她就走出来对丈夫说：“大将军已有成议，不过是让九卿来给你打个招呼而已。你若不答应，大祸就在眼前！”她见杨敞还迟疑未决，田延年已更衣回来，就索性坦然相对，代表丈夫表态，愿奉大将军教令。田延年还报，霍光就让他与张安世两人，共同缮定奏牍。《汉书》卷六十六《杨敞传》。
翌日，霍光在未央宫传召丞相、御史、列侯，及二千石、大夫博士，一同入议。百僚多不知何事，只听霍光说道：“昌邑王行迹淫昏，恐危社稷，如何是好？”大众听了，面面相觑，没有谁敢说话。只见田延年起座按剑，走前一步，愤然道：“先帝以将军忠贤，将幼孤托付将军。今群下鼎沸，社稷将倾，将军若不早立大计，坐令汉家绝祀，有何面目见先帝于地下？为今日计，当议定良谋。有应声落后者，请奋剑加诛，绝不容情！”大众才知霍光将有大变，志在必行。若不相从，白白送掉性命。也就一齐离座，叩首表态：“汉室社稷，系在将军。唯大将军令，无不遵教！”
霍光就令群臣起来，从袖中取出奏议，遍示群臣，使丞相杨敞领衔，依次署名。然后领着群臣来到长乐宫，入白太后。霍光见太后完全听从所奏，就请太后驾临未央宫，御承明殿，传诏昌邑群臣，不得擅入。刘贺闻太后驾到，便入殿朝谒。朝毕趋退，回到殿北温室中。霍光随后进入，指令门吏将温室大门关上，不准让昌邑群臣进入。刘贺很吃惊，问：“何故闭门？”霍光跪地答道：“皇太后有诏，毋纳昌邑群臣。”刘贺似乎还没有看出形势的严重，很不以为然地说：“这也不妨从缓，何必这般惊人？”霍光也不与他多言，反身退出，使车骑将军张安世指挥羽林军，将昌邑群臣二百多人赶到金马门外，一齐拿下，送交廷尉究治。又传昭帝旧日侍臣，监守刘贺，不要让他自杀，以免留下杀主的恶名。刘贺见了新来侍臣，很惊奇地问：“昌邑群臣究竟犯了何罪，被大将军全部捉拿了呢？”侍臣推说不知道。一会儿，传来太后诏令，召问刘贺。他这才感到了害怕，问诏使：“我究竟犯了何罪，偏劳太后召我？”没有得到确切回答，他自知不免，只好随着诏使来到承明殿，只见上官太后身穿珠襦，端坐在武帐中，两旁侍卫森列。他也不知道有什么大事，便战战兢兢地趋至殿前，跪听诏命。只听尚书令宣读奏牍，先读了丞相、大司马、大将军等上书者的名字，再列举他即位前后所犯罪行，只听上官太后打断尚书令，高声责问他：“为人臣子，可如此悖乱么！”刘贺又惭又惧，退膝数步，依然跪伏。奏牍下文历数了他即位二十七天以来，滥赏昌邑官奴之事，最后建议将他废黜。
尚书令读毕，刘贺还没有缓过神来，就听上官太后说一“可”字，霍光就令他起拜受诏，又走到他跟前，代解玺绶，奉与太后，又使左右扶着刘贺下殿，走出金马门，群臣送至阙外。刘贺自知绝望，西向望阙再拜道：“臣戆不能任事！”说罢，自己走向乘舆副车，霍光送他到昌邑邸中，告辞道：“王所行自绝于天，臣宁负王，不敢负社稷，愿王自爱！臣此后不得再侍奉左右了。”随即涕泣而去。
刘贺被废后，群臣根据古者将废放之人屏于远方，不及以政的惯例，建议把他迁徙到汉中，霍光认为处置太重，奏请太后削去他的王号，仍回昌邑去，另给食邑二千户。昌邑旧臣除王吉、龚遂等曾有谏章，得免死刑，髡为城旦外，其余众人陷王于不义，一体骈诛。
汉廷又一时无主，不得不议立新君。霍光为此费尽了脑筋。光禄大夫丙吉，在给霍光的上书中说到：“窃闻外间私议，所有宗室王侯，多无德望，唯武帝曾孙病己，受养掖庭外家，现约十八九岁，通经术，美才具。愿将军周谘众议，参及蓍龟，先令入侍太后，使天下昭然共知，然后决定大计，天下幸甚！”霍光这回变得谨慎了，就此事遍问群臣，太仆杜延年也知病己有德，劝他迎立，别的人也无异议。霍光就会同丞相杨敞等，上奏太后。太后当下准如所请，即命宗正刘德备车，往迎皇曾孙。
这皇曾孙刘病己，就是卫太子刘据的孙子。刘据曾纳史良娣，生子刘进，号史皇孙。史皇孙纳王夫人，生子刘病己，号皇曾孙。刘据起兵败死，病己因还在襁褓中，免于一死，坐系狱中。廷尉监丙吉奉诏典狱，垂怜这个呱呱婴儿，就在女犯中选择了赵、胡二妇，轮流乳养他。而且每日亲自查验，不让他受到虐待。后来武帝在五柞宫养病，听术士说长安狱中有天子气，就诏令长安各狱，无论长幼，一律处死。丙吉对诏使郭穰说：“天子以好生为大德，他人无辜，都不能随意杀掉，何况狱中有皇曾孙呢？”武帝得报，倒也释然，说：“这真是天命所在了！”但是，刘病己待在狱中，毕竟不是长久之计。后来，丙吉打听到史良娣的母亲、兄弟还住在故乡，就将他送到外曾祖母家。《汉书》卷七十四《丙吉传》。
武帝驾崩时，在遗诏中命将曾孙收养掖庭，于是，刘病己又回到长安，归掖庭令张贺看管。张贺以前曾服侍过卫太子，追念旧日恩情，对太子的孙子自是特别精心，送他入塾读书。病己也发愤好学，渐渐长大成人。只是遍体生毛，起居处屡有光耀。旁人视为奇事，他也因此自豪。后来，张贺又自出私财，为他聘娶了暴室啬夫许广汉之女。病己多了一个岳家，与许女两情缱绻，鱼水谐欢。他平日里学习《诗经》，闲暇时出游三辅各地，留心民情风俗，了解吏治得失。《汉书》卷九十七上《外戚传·孝宣许皇后传》。
传说昭帝元凤三年（前78）正月间，长安上林苑中有一棵大柳树，死而重生，柳叶上虫食成文，约略辨认，乃是“公孙病己立”五个字。一时传说将有匹夫起为天子。元平元年（前74）孟秋，果然由宗正刘德，从民间迎来了皇曾孙刘病己，即了皇帝之位，就是汉朝昭、宣中兴的另一个主角。
刘病己被宗正刘德引入未央宫，谒见太后。霍光认为，他虽然是武帝嫡派曾孙，但已经削籍为民，不便直接即位。特奏请太后，先封他为阳武侯，再由群臣奉上玺绶，即了皇帝位。然后由霍光骖乘同行，陪着他去谒见高庙。谁知宣帝坐在乘舆中，见霍光陪行在旁，也可能是他看到霍光面有骄倨之色，也可能他来自民间，有心理障碍，背上好像生了芒刺一般，很不自在。等到礼毕归来，车骑将军张安世代替霍光骖乘，他才安心，怡然入宫。
当时，上官太后还住在未央宫。宣帝为其孙辈，尊为太皇太后。由于皇后还未确定，群臣提议立霍光小女为皇后，上官太后也有此意。宣帝听说后，特下诏访求故剑，借以含蓄地表示不弃糟糠。群臣这才明白，就请立许氏为皇后。宣帝先册许氏为婕妤，随即令正后位。又援引先朝旧例，想要封皇后之父许广汉为侯。霍光却说广汉已受宫刑，不应再加侯封。宣帝拗不过他，只好暂时不议。一年以后，才封广汉为昌成君。霍光见宣帝遇事谦退，持躬谨慎，料他没有意外举动，就请上官太后还居长乐宫，为了防止意外，就派兵屯卫，严加戒备。
已而腊尽春来，宣帝依例改元，号为本始元年（前73）。又下诏增封大将军霍光食邑万七千户，车骑将军张安世食邑万户。此外，列侯加封食邑者共计十人，封侯者共计五人，赐爵关内侯者计八人。霍光见诸事已了，也就稽首请求归政，但宣帝不许，令朝中大小事务，先报告霍光，然后奏闻。霍光不知出于哪方面的考虑，也就没有再坚持。
其实，霍光错了！尽管有武帝临终托孤之诏，他一人却废了一个天子，立了两个天子，这在汉代是绝无仅有的。当时就有人说三道四了。宣帝即位，从骖乘之事对他已露猜忌之意。此时，霍光最正确的选择，就是急流勇退，从政坛淡出，他却不仅没有退，而且权势日隆。于是，他的家人也就想入非非，灭族之祸也就在他身后接踵而至了

四、霍氏灭族 　　荀子曾告诫李斯，“物禁大盛”，因为盛极必衰。《史记》卷八十七《李斯列传》。看来，这不但是自然万物发展的规律，而且也是人际权势演变的趋势。历代权倾一时的重臣，本人或者后代的下场都不是太妙。其原因是多方面的，或者如李斯，在与新贵的权力斗争中身败名裂；或者如及周勃父子，因位高权重，有震主之威而受到猜忌；或者身后子弟仗势胡作非为，同归于尽，霍光就属于此类。
宣帝即位时，不仅霍光受封，其子霍禹及亡兄霍去病的孙子霍云、霍山，也都封官。他的女婿外孙也被陆续引进，盘踞朝廷。宣帝鉴于当时的形势，不得不虚己以听，唯言是从，但已经心怀猜忌了。
当时，这些拥立派已经开始受人攻击了。在霍光陪着宣帝谒拜高庙时，侍御史严延年就劾奏霍光擅行废立，无人臣礼。宣帝不便批答，搁置不提。《汉书》卷九十《酷吏传·田延年传》。大司农田延年由于首倡废立大事，晋封阳城侯，因而趾高气扬，自鸣得意，遂惹得怨声四起。有人揭发他在办理昭帝大丧时，谎报雇车价值，侵吞公款达三千万钱。当由丞相蔡义据事纠弹，应该下狱讯办。田延年素性负气，当然不肯就狱，愤然说道：“我位至列侯，还能受辱入狱么？这不叫人唾到我背上才怪哩！”俄而，严延年又弹劾他手持兵器，侵犯属车。他更恨上加恨，决绝地说道：“这无非是教我速死，我死便罢，何必多加逼迫？”说着，便拔剑自杀。谁想到，严延年后来又受到御史中丞田广明的弹劾，说他明知田延年有罪，却纵令犯法，也应当连坐，严延年吓得弃官而去。《汉书》卷九十《酷吏传·严延年传》。
田、严两延年一死一逃，显然是因为得意忘形，人所难容。霍光确实不是这样的人，他一向处事谨慎，不事张扬。只是辅政时间过久，事务过多，新皇帝又很年轻，他有时就免不了独断。宣帝令校尉常惠出使乌孙国，常惠说龟兹国以前曾杀掉汉使，应该顺道往攻。宣帝恐他多事，不肯照准，霍光却许他便宜行事。常惠果然矫命乌孙发兵，联合西域诸国，进攻龟兹。龟兹新国王大惊，遂将当时主张杀汉使的大臣姑翼缚送军前，常惠当即喝令斩首。回国后，宣帝本来要责他擅杀，听说是霍光暗中指示，也只得作罢，却并不加赏常惠，明显是开始对霍光稍示颜色了。《汉书》卷七十《常惠传》。
时过不久，霍光的妻子霍显，就背着他干出一件伤天害理的事。霍光的元配早死，所生一女嫁与上官安为妻。这霍显原是他家的婢女，纳为妾媵后生了几个子女，便升作继室。他们的小女成君，尚未许人。宣帝即位后，霍显一心希望将小女儿纳入宫中，做个现成的皇后，偏偏宣帝令故妻许氏正位中宫。她由失望变为仇恨，日思夜想，寻找机会，一心想把许后除掉。
机会还真的给她找到了。本始三年（前71）正月，许皇后即将分娩，却身体不适，寝食难安。宣帝遍召御医诊治，又采募女医入宫，日夕侍奉。女医中有一人是掖庭护卫淳于赏的妻子，与霍显熟识。两个女人便做了一笔交易：淳于妻毒死许皇后，霍显活动升她丈夫为安池监。许皇后生子后，随即不明不白地死去，宣帝悲悼不已，亲自视殓。有人递入奏章，说到皇后暴崩，女医侍疾无状，应该从严拿究，宣帝当即准奏。有司讯问女医，淳于妻宁死不肯供认，其他女医并无情弊，同声呼冤，先一齐囚系在狱中。《汉书》卷九十七《后戚传·孝宣许皇后传》。
霍显这下子慌了，只好将事情原原本本告诉了霍光。霍光听了，也不禁咋舌，怒骂这个混账妻子，却已经于事无补。他想到如果淳于妻说出真情，免不了牵累全家。如果直接去自首，虽得保住全家，妻子可得脑袋落地。想了再想，就入宫面见宣帝，先表示慰问，再说到许后病死想是命数注定，人死不可再生。再说这些女医也没有这般大胆，敢毒害皇后。宣帝也以为然，就传诏赦出女医。对许皇后依礼治丧，奉葬杜南。
过了一段时间，风声也就过去了。霍显见障碍已经除去，就照原计划请霍光将女儿纳入后宫。霍光入宫一说，想不到宣帝竟然允许，就将女儿装束停当，送入宫中。宣帝优礼相待，逐渐宠幸。一年后，就册为继后。霍皇后到东宫侍奉上官太后时，却有点尴尬。那上官太后本是霍光的外孙女，论起辈分，比霍后还低了一辈。所以霍后去进谒时，上官太后往往站起来，立在一旁，特别敬礼。宣帝对这位名门千金也倍加燕好，备极绸缪。
地节二年（前68）春三月，霍光老病缠身，渐至不起。宣帝亲自前去慰问，见霍光已到弥留之际，想到武帝驾崩二十年来，朝政多事，人事纠纷，他毕竟忠心耿耿，稳定了大局，也不禁泫然流涕。几天后，霍光病逝。宣帝与上官太后都亲往吊奠，又使曾任大将军长史的中大夫任宣持节护丧，中二千石以下官员监制坟茔，特赐御用衣衾棺椁。出葬礼仪，也尽如天子制度。墓前特置园邑三百家，派兵看守。
宣帝在霍光生前，已不无猜忌之意。霍光死后，就应该对其子弟加以限制，这对国家对霍氏都有好处。他不知道出于哪种考虑，却故示放纵。本来，霍光临死前在谢恩书中已表示，愿分国邑三千户，移封其兄霍去病的孙子霍山，以奉兄遗祀。宣帝当即将原书发出，交丞相、御史大夫酌议，即日拜霍光之子霍禹为右将军。霍光卒后，丞相等请依照霍光谢恩书，分邑于霍山。宣帝却不予分置，令霍禹嗣爵博陵侯，食邑如旧。又封霍山为乐平侯，守奉车都尉领尚书事。地节三年（前67），宣帝立许后所生子刘为太子，进封许后父许广汉为平恩侯。又推恩霍氏，封霍光孙子中郎将霍云为冠阳侯。至此，霍氏一门三侯，荣宠无比。
宣帝故示放纵，霍氏后人却不知大树已倒，骄纵之态顿生。那霍显自儿子袭爵，居然做了太夫人，便骄奢不法，令人在霍光生前所筑茔制三面起阙，中筑神道，盛建祠宇辇阁，通接永巷。将所有老年婢妾驱至巷中，看守祠墓。又大治宅第，特制的彩辇以黄金为饰，锦绣为茵。使侍婢作为车夫，用五彩丝绞绾住辇毂挽车游行取乐。晚间则与家奴冯子都相偎相抱，颠倒鸳鸯。她视太后、皇后两宫如自己家，自由出入，不拘礼节。子侄辈的霍禹、霍山骄纵淫逸，自不必说。孙子辈的霍云虽是少年，也整日里飞鹰逐兔。在例当入朝时，他居然派家奴驰入朝堂，称病请假，宣帝默不作声。朝臣知道他欺主，不敢言而敢怒，都等着看他的下场。霍禹姊妹仗着母家势力，任意出入太后、皇后两宫。
霍氏家族的这种放浪行为，早已引起公愤。御史大夫魏相就愤然上书，指斥霍氏子弟的“骄奢放纵”，请宣帝“损夺其权”，以“固万世之基，全功臣之世”。宣帝接到上书，看到时机成熟，也就开始准备对霍氏家族下手了。汉廷旧例，民吏必须提供正、副二封，先由领尚书事将副封展阅一周，所言不合，便把正封搁置，不复上奏。当时霍山正领尚书事，魏相同时进言，除去吏民副封，以免壅蔽。霍显得知此事，心知来者不善，霍禹、霍山、霍云还不以为然。霍家奴与御史家奴争道，霍家奴竟然捣入御史府中，经魏相出来赔礼，令家奴叩头谢罪，才得息争。没想到魏相既而升为丞相，由曾保护宣帝的光禄大夫丙吉担任御史大夫。霍显暗暗吃惊，唯恐遭到报复。《汉书》卷七十四《魏相传》。
当初宣帝立太子时，霍显就恨恨不平，担心自己女儿虽为皇后，生男只能外出为王。为了巩固霍氏势力，就悄悄入见霍后，叫她寻找机会毒死太子。霍后依着母命，屡召太子赐食，拟乘间下毒。偏宣帝早已提防着，太子每与霍后进食，必由保姆先尝后进，使她无从下手。宣帝已经感觉到霍后不喜欢太子，心下开始怀疑从前许后之死，是霍氏使人下毒。对此，宫廷内外渐渐也开始有所传言。宣帝便与魏相密商，对霍氏开始采取一种釜底抽薪的办法。《汉书》卷九十七上《后戚传·孝宣霍皇后传》。
鉴于当时朝内要害部门统由霍光女婿入掌兵权，宣帝便先徙迁其女婿，调未央卫尉范明友为光禄卿，长乐卫尉邓广汉为少府，羽林监任胜为安定太守，撤回光禄大夫散骑都尉赵平的骑都尉印绶；再调霍光姊夫给事中张朔为蜀郡太守，霍光孙婿中郎将王汉为武威太守；又收还霍禹的右将军印，表面尊为大司马，与乃父同一官衔。收回兵权后，特命张安世为卫将军，一并节制两宫卫尉、城门屯兵、北军八校尉。令使许、史两家子弟，代为军将。
霍禹因兵权被夺，亲戚调徙，心情郁愤，便托疾不朝。中大夫任宣曾为霍氏长史，并奉诏护丧，念及旧情，前去探问。霍禹在言谈间直呼宣帝为县官，大发牢骚道：“不是我家将军，县官怎得至此？今将军坟土未干，就将我家疏斥，反而重用许、史子弟！”任宣当然不能迎合，只说许、史为天子近亲，应该贵显，请他不要介意。说完，便告辞而去。
霍氏得势时不知收敛，已受人讥弹，现今日趋失势，纠劾者四起，甚至连毒死许皇后之事，都有人开始议论了。霍山等莫明其妙，问起此事，霍显将众人引至内室，将实情告诉了他们。众人听罢，都知道事情的严重性，唯恐宣帝一旦查究起来，必然大祸临头，一时都吓得没了主意。霍禹年龄较大，胆气较粗，心想一不做二不休，索性将宣帝废去。正商量间，霍云的舅父李竟的好友张赦，进来出了一个主意，请霍显报告上官太后，诛除丞相魏相与平恩侯许广汉，天子势孤，霍氏自然免患。
谁知隔墙有耳，霍家的一个马夫听到了张赦所出的主意，在底下私议时，被长安亭长张章听到，就上书告发。宣帝披览后交廷尉查办，廷尉使执金吾往捕，已而又饬令止捕。霍氏诸人还以为是宣帝顾着太后，一时没有动手，但自己所犯之事必然有发作的时候，于是就加紧活动，让各婿家一同举事。但是，就在他们还没有来得及动手时，霍云的舅父李竟，因与诸侯王私相往来，被拘捕。此案与霍氏相连，诏令霍云、霍山免官就第。只有霍禹还能入朝，百官对他都很冷淡，宣帝当面责问他的事，件件打中要害，直说得他冷汗淋漓，只能免冠谢罪。回家一说，胆小的吓得要死，胆大的还想破釜沉舟。
地节四年（前66）春月，霍氏还想着请上官太后召宴魏相、许广汉，趁机杀掉，废去宣帝，立霍禹为天子。计划还没有来得及实施，宣帝诏令已下，出霍云为玄菟太守，任宣为代郡太守。接着，霍山擅写密书之事被人告发，霍显愿意献出城西宅第，一千匹马，为霍山赎罪，上书后，却无下文。
那个长安亭长张章，又探得霍禹的逆谋，当即告发。宣帝立即派吏四出，凡霍氏家族亲戚，一律拿办。霍婿范明友得到消息，先去给霍山、霍云报告祸事，两人吓破了胆，有家奴来报，霍显宅第已经被围，三人相继服毒。待等捕役到门，已经毒发毙命。霍显、霍禹事先没有得到消息，被拘捕到狱中，严刑讯出实情，霍显被诛，霍禹腰斩。所有霍氏诸女及女婿、孙婿，全部处死。甚至近亲疏戚，辗转连坐者不下千家。霍光、霍显联手送入中宫的霍皇后，也坐此被废，宣帝当即封王婕妤为皇后。霍皇后先是徙居到昭台宫，后来又迁徙云林馆，自杀。那些告密、告逆的大小人等，都得到加封。连那个小小的长安亭长张章，也居然受封为博成侯。
值得玩味的是，当霍氏权倾一时，日益奢侈时，茂陵人徐生曾诣阙上书，请宣帝裁抑霍氏，“无使至亡”。书至三上，宣帝却只批答了“阅知”二字。霍氏族灭，唯独没有封赏徐生。有人代为上书，宣帝还不以为然，只给他赏赐了十匹帛。
这就说明，霍氏灭族，错在霍光治家不严，偏袒霍显，放纵子弟；罪在霍氏子弟横行不法，骄奢无度，直到最后当兵权被夺，亲戚被徙时，还不知道引退，还想着篡逆，只能是自取灭亡。但是，这与宣帝的姑息养奸，甚至有意激发促成，他好一网打尽，也大有关系。从茂陵人徐生上书前后所受冷遇之事，不就可以看出其中的蛛丝马迹么！
应该说，忠心耿耿的霍光不但有大功于汉，而且有大恩于宣帝。宣帝号称中兴之主，他对霍光本人倒还说得过去，但对霍氏家族诱之以罪以至灭族，则未免残刻过甚。百年之后，宣帝没有到五陵原上陪伴他的祖先去，而是安息在长安城南的杜陵，许皇后则陪伴在少陵，同为名胜之地。只是那霍皇后的幽灵，还不知在哪儿飘荡哩！
还是说得对：“凡人心险于山川，难于知天。天犹有春秋冬夏旦暮之期，人者厚貌深情。”《庄子·列御寇》。
权势诱人，权势害人。欲求平安者，还是远离它！