上文说到，霍光去世后，霍氏家族不仅没有收敛，反而骄奢淫逸，甚至图谋反叛，在这种背景下，汉宣帝开始布局反击，提拔自己心腹之人，架空霍氏，最后一举击败霍氏家族，霍氏覆灭，汉宣帝收回大权。
提拔张安世、魏相
大将军霍光去世后没多久，御史大夫魏相便呈上一道秘密奏章说：“国家新近失去了大将军，应提拔贤明的功臣，用来镇抚诸侯国，不要使大将军官位空置，以免引起朝臣争权夺利。可以任用车骑将军张安世为大将军，但别让他兼管光禄勋事宜，任命他的儿子张延寿为光禄勋。”汉宣帝此时也想任用张安世。夏季，四月戊申，任命张安世为大司马、车骑将军，领尚书事。
不久后，魏相又通过昌成君许广汉上奏言事，说：“《春秋》讥讽世卿世禄的制度，憎恶宋三代人都做大夫，到鲁季孙的专权当道，都曾使国家处于危难祸乱。从武帝后元年间以来，王室子弟能得到俸禄，但国家的政事却要由冢宰霍光来决定。现在霍光死了，他的儿子又做了大将军，他哥哥的儿子做尚书，掌握政要，他家族的兄弟女婿们掌有兵权，很有权势。霍光的夫人显和他们家的女眷都在长信宫有名籍，可以自由出入，有的甚至夜间从禁门出入，骄横奢侈，放纵不羁，恐怕将来会慢慢的无法驾驭控制了。应该想办法削弱他们的权势，打消他们的阴谋，来强固大汉万世的基业，也使功臣霍光的声名得以保全。”
按过去的规定，凡上书给皇帝的人都要把奏书写成二份，其中一份为副本，掌领尚书省事务的官员先开阅副本，如果奏书的内容不当，就搁置起来不上报宣帝。魏相又通过许伯抽去了副本，以免被霍氏的人阻挡下来。
汉宣帝未登基生长在民间时，就听说霍氏一家因地位尊贵显盛日久，而不能约束自己。如今已经亲临执政，便命御史大夫魏相为给事中。一切都听从他的意见。
收掌兵权 架空霍氏
不久魏相又出任朝廷丞相，多次被汉宣帝私底下召见，谈论国事，平恩侯许广汉与侍中金安上等人也可以直接出入宫廷。当时霍山担任领尚书事的职务，汉宣帝命令官吏百姓可以直接呈递秘密奏章，不须经过尚书，群臣也可以直接单独晋见皇上，霍氏非常厌恶这些做法。
没多久，汉宣帝也多次听说关于霍氏毒杀许皇后的事情，只是一直隐忍没有调查，于是将霍光的女婿度辽将军、未央卫尉、平陵侯范明友调任为光禄勋，又调霍光的二女婿担任诸吏、中郎将、羽林监等职务的任胜为安定太守。过了几个月，又将霍光的姐夫、给事中、光禄大夫张朔调任为蜀郡太守，将霍光的孙女婿中郎将王汉调为武威太守。不久，又调霍光的大女婿长乐卫尉邓广汉为少府。
戊戌日，改张安世担当卫将军，未央、长乐两宫的卫尉、各城门的警卫部队、北军都由他管。任命霍禹为大司马，但只戴小官帽，而不按惯例戴大官帽，也不颁发印信、绶带。撤销他统领的屯戍部队和官属的职权，只让他的官名与霍光的大司马相同，实际权力少了很多。
又收回了范明友度辽将军的印信和绶带，只任光禄勋一职；霍光的另一女婿赵平原来担任散骑都尉、光禄大夫职务，统领城防部队，业将赵平骑都尉的印信、绶带收回。凡是由霍氏统领的胡人与越人的骑兵和羽林军，以及未央、长乐两宫的禁卫军将领，全都被汉宣帝所亲信的许家和史家子弟替代。
霍氏覆灭
霍云的舅父李竟有一位好友，名叫张赦，教唆霍氏谋反，后被长安一名叫张章的男子告发，不过汉宣帝并没有过分追究，恰在这时，李竟因犯了与诸侯王结交的罪而被指控，在供词中牵涉到霍氏家族，汉宣帝下诏：“霍云、霍山不适合在宫中做事，应当免去一切职务回家。”
没多久，霍禹、霍山等人的家中多次出现妖异现象，霍氏家族都感到忧愁。
霍山说：“丞相魏相擅自削减祭祀宗庙的羊羔、兔、蛙等祭品，可以此向他问罪。”于是谋划让上官太后设宴置酒招待汉宣帝外祖母博平君，召丞相魏相、平恩侯许广汉及其下属同来，然后命令范明友、邓广汉承太后的旨意将他们斩杀，再趁机废掉汉宣帝改立霍禹。
霍氏一族的密谋已定，但还未动手，霍云就被任命为玄菟太守，太中大夫任宣被任命为代郡太守。同时，霍氏谋反被发觉，秋季七月，霍云、霍山与范明友自杀，霍显、霍禹、邓广汉等被捕。随后霍禹被判处腰斩，霍显和她的女儿兄弟们都被处以死刑，因受霍氏家族牵连而被杀的有数十家。
太仆杜延年与霍家为老友，也受牵连而免官。八月己酉，霍皇后被废，囚禁在昭台宫。废后诏书曰：皇后荧惑失道，怀不德，挟毒与母博陆宣成侯夫人显谋欲危太子，无人母之恩，不宜奉宗庙衣服，不可以承天命。”
乙丑，汉宣帝下诏，封告发霍氏反叛的男子张章、期门董忠、左曹杨恽、侍中金安上、史高为列侯。其中杨恽是前丞相杨敞的儿子。金安上是前车骑将军金日弟弟的儿子。史高是史良娣哥哥的儿子。
当初，汉宣帝刚即帝位时，前去祭拜汉高祖庙，大将军霍光同车陪乘，汉宣帝内心非常害怕，就像芒刺刺在背上。后来车骑将军张安世代替霍光陪乘，汉宣帝才觉得从容舒坦，感到安全也不紧张。等到霍光死了而宗族遭受诛杀，因此民间传说霍氏的灾祸，早在霍光陪乘时就萌生了祸根。经过十二年后，霍皇后又被移到云林馆，自杀身亡。
后世评论：
班固曰：霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭立宣，虽周公、阿衡何以加此。然光不学无术，暗于大理，阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！
司马光曰：霍光之辅汉室，可谓忠矣，然卒不能庇其宗，何也？夫威福者，人君之器也。人臣执之，久而不归，鲜不及矣。以孝昭之明，十四而知上官桀之诈，固可以亲政矣。况孝宣十九即位，聪明刚毅，知民疾苦，而光久专大柄，不知避去，多置亲党，充塞朝廷，使人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发，其得免于身幸矣，况子孙以骄侈趣之哉。虽然，曏使孝宣专以禄秩、赏赐富其子孙，使之食大县，奉朝请，亦足以报盛德矣。乃复任之以政，授之以兵，及事丛衅积，更加裁夺，遂至怨惧以生邪谋。岂徒霍氏之自祸哉，亦孝宣酝酿以成之也。昔斗椒作乱于楚，庄王灭其族而赦箴尹克黄，以为子文无后，何以劝善。夫以显、禹、云、山之罪，虽应夷灭，而光之忠勋不可不祀。遂使家无噍类，孝宣亦少恩哉！