上文说到，霍光拥立刘询（刘病已）登基，是为汉宣帝。宣帝登基后，对霍光以及霍氏家族百般忍耐、安抚。但霍氏一族却日益嚣张跋扈，霍光妻子甚至派人毒死了汉宣帝的皇后许平君，出于各方面的考虑，汉宣帝只能一再忍让，甚至娶了霍光的小女儿为后。
霍光在时，虽然独霸朝纲，但还能约束家人，霍氏一族在霍光的庇护下，没有灭族的危险，所以他们也不会谋反，但霍光一死，汉宣帝开始着手收揽大权，与霍氏一族产生激烈的矛盾，霍氏一族骄奢淫逸，已经到了非除去不可的地步了。
霍光去世
地节二年（前68年）春季，霍光病得很重，汉宣帝亲自去他家里慰问，并为他流泪。霍光上书谢恩，想将自己的封地分出三千户，给其兄长霍去病的孙子奉车都尉霍山并封他为列侯，以奉祀兄长霍去病的香火。当天，汉宣帝便任命霍光的儿子霍禹为右将军。
三月庚午（初八日），霍光去世，汉宣帝与皇太后亲自到霍光灵堂祭悼，命令中二千石的官员给霍光治丧，赏赐给他梓木葬具，一切都按御用制度办理，赐谥号为宣成侯。征发三河地区的差役为其修建坟墓，设置园邑户三百家负责管理陵园，设置长、丞负责守护。下诏免除霍光后世子孙的赋税徭役，让他们承袭霍光的爵位和食邑，世世代代不变。
御史大夫魏相呈上一道秘密奏章说：“国家新近失去了大将军，应提拔贤明的功臣，用来镇抚诸侯国，不要使大将军官位空置，以免引起朝臣争权夺利。可以任用车骑将军张安世为大将军，但别让他兼管光禄勋事宜，任命他的儿子张延寿为光禄勋。”皇上也想任用张安世。夏季，四月戊申，任命张安世为大司马、车骑将军，领尚书事。
谋害太子
汉宣帝对霍光以及霍氏一族可谓仁至义尽，汉宣帝因为想要报答大将军霍光拥立自己做皇帝的恩德，便封霍光的兄长霍去病的孙子霍山为乐平侯，让他以奉车都尉主管尚书事。
汉宣帝的恩宠并没有让霍氏家族有所收敛，反而加剧了他们的傲慢。汉宣帝地节三年（前67年），夏季，四月戊申（二十二日），汉宣帝立儿子刘奭为皇太子，任命丙吉为太傅，太中大夫疏广为少傅，封太子刘奭的外祖父许广汉为平恩侯，又封霍光的侄孙中郎将霍云为冠阳侯用以安抚。
没想到，霍显听说刘奭被立为太子，居然既愤怒怨恨，甚至竟然吃不下饭，还吐了血，说：“刘奭是皇上在民间时生的儿子，怎么能被立为太子！如果以后皇后生了儿子，反倒成了诸侯王吗？”于是他多次教皇后霍成君投毒杀害太子。皇后几次召太子来，给他食物吃，但太子的保姆、乳母都先亲口尝一尝再让太子吃，因此皇后准备了毒药，却找不到机会投放。
骄奢淫逸
除了谋害太子外，霍氏一家还十分骄横奢侈。太夫人霍显兴建了很多府第居室，制作豪华轿舆和辇车，以彩画装饰，用锦绣做褥垫，以黄金涂车身，用皮革和丝绵包裹车轮，侍女用五彩丝绸拉着霍显在府第中游玩娱乐。
霍显还与家奴总管冯子都淫乱，霍禹和霍山也都修缮扩建府邸宅院，骑马在平乐馆中驰骋。霍云应当朝会应拜见皇帝，但多次称病私自外出游玩，带着大量宾客到黄山苑囿中围猎，竟派苍头奴上朝谒见皇上，没人敢指责他。霍显和她的女儿们不分昼夜随意出入上官太后所居住的长信宫，时间次数都没有限度。
图谋反叛
汉宣帝地节四年（前66年）。霍显和霍禹、霍山、霍云等人眼见霍家的势力权位日益被削夺，多次聚在一起相对哭泣哀怨。
霍山说：“如今丞相魏相当权，朝廷又特别信任他，尽数改变了大将军时定下的法令，夸大发扬大将军的过失。再有，那些个儒生大多是贫家出身，他们远离家乡来到长安，饥寒交迫，却喜欢口出狂言，爱说大话，毫不避讳顾忌，大将军以前非常痛恨他们。如今皇上愿意和这些儒生谈论朝政事情，人人都可上书奏事，多数是说我们家的坏话。还有人上书说我家兄弟骄横放纵，言词极为恶毒，被我扣压下来，没有上奏。后来上书的人越来越狡猾，他们竟全改为密封上奏，直接由中书令取走，根本不通过尚书来转呈，越来越不相信我了。又听民间传闻说‘霍氏毒死了许皇后’，这是真的吗？”
霍显听后非常害怕，便把毒杀许皇后的实情告诉了霍禹、霍山、霍云。他们听了震惊地说：“原来真是这样，为什么不早告诉我们呢！皇上将霍家的女婿全都调离放逐，就是因为这个缘故。这是大事，如果被揭发了，惩罚不会轻的，这该怎么办呢？”于是霍氏便谋反的邪念了。
霍云的舅父李竟有一位叫张赦的好友，看到霍云一家整天惶恐不安，居然李竟说：“如今是丞相与平恩侯当权，可以让霍太夫人告诉上官太后，先杀了这两个人。再废掉当今的皇上，改立新帝，能不能成就看太后了。”后被长安一名叫张章的男子告发了次事，此案交给廷尉与执金吾审理，张赦等人被逮捕。
后来汉宣帝下诏，停止收捕，但霍山等人愈加惶恐不安，商议说：“这是朝廷看重太后，所以不追究我们了。然而，要迫害我们的苗头已经显露出来，时间久了还会爆发。一旦爆发就要灭族，不如我们先动手。”于是命令霍家的女儿各自回家通知自己的丈夫做好准备，他们都说：“灾躲不过去了！”