上文说到，霍光经过和朝臣的商议，立了毫无根基、生在监狱、长在民间的刘询（刘病已）为帝，刘询登基后，面对一家独大的霍氏家族，只能选择隐忍。史书记载，汉宣帝刚即帝位时，前去祭拜汉高祖庙，大将军霍光同车陪乘，汉宣帝内心非常害怕，就像芒刺刺在背上，霍光的权势滔天，可见一斑。
隐忍不发
不同于汉废帝刘贺的“非暴力不合作”“摆烂”从而对霍光进行抗议，汉宣帝登基后，选择了对霍氏家族进行安抚。
汉宣帝本始元年（前73年），春季，汉宣帝登基之初，便下令有关部门议定对安定宗庙的有功之臣给予奖赏。大将军霍光加封食邑一万七千户，加上原来所封的食邑达到了二万户。从车骑将军富平侯张安世以下的十位功臣也加封了食邑，封侯的有五人，赐爵位为关内侯的共有八人。
汉宣帝登基后，大将军霍光在殿上叩头请求归政于皇上，汉宣帝谦让不肯接受，朝中诸项事务还是都先向霍光禀报，然后再上奏皇上。自从昭帝时起，霍光的儿子霍禹和他哥哥的孙子霍云都担任中郎将，霍云的弟弟霍山为奉车都尉、侍中，统领胡人、越人归附部队，霍光的两个女婿分别为东、西宫卫尉，他的兄弟、女婿、外孙子全都参加朝会，担任诸曹、大夫、骑都尉、给事中等职，霍氏亲党连为一体，盘根错节于朝廷。到昌邑王被废黜之后，霍光权力更加威重，每次朝见，汉宣帝都谦虚恭敬地对待他，礼仪甚至有些过于谦卑。
暗中蓄势
不过，汉宣帝刘询也并不是一味忍让退缩，在立后一事上，汉宣帝便表现出来高超的驭下技术。
刘询登基之前，许广汉的女儿嫁给还是皇曾孙自己，一年后，生下一个儿子，名叫刘奭。过了几个月，刘询被立为皇帝，许氏封为倢伃。当时霍光大将军有一个小女儿，与太皇太后有亲戚关系，因此公卿大臣在商议立皇后时，心中都认为该立霍光大将军的女儿，但都没明说。
汉宣帝下诏寻求他在微贱时用的一把宝剑，大臣才明白汉宣帝的意思（不忘旧恩），于是奏请立许倢伃为皇后。汉昭帝元平元年（前74年）十一月，壬子（十九日），汉宣帝确立许氏为皇后，但霍光认为许氏的父亲许广汉是曾经受过刑的人，不宜封国，一年多之后，才封许广汉为昌成君。
除了汉宣帝暗中蓄势外，也有不少大臣看出来事态的变化，站出来替汉宣帝说话。侍御史严延年就曾经上奏弹劾大将军霍光说：“大将军霍光擅自废立国主，失去人臣之礼，大逆不道。”奏章虽然被压了下来，但朝廷群臣对严延年肃然起敬，又十分畏惧。
发妻被害
汉宣帝决意立许平君为后，引起了霍光夫人的不满和觊觎。汉宣帝本始三年（前71年），春季，正月癸亥（十三日），恭哀许皇后被下毒去世。
当时霍光的夫人显想让她跟霍光的小女儿霍成君成为皇后，只是没有机会。恰在这时许皇后怀孕，身体有些不适，有位女医生名叫淳于衍，受到霍氏的宠爱，曾入宫为许皇后看病。淳于衍的丈夫曾担任掖庭户卫，对淳于衍说“你先去拜见霍夫人，为我请求调任安池监一职”。
淳于衍依照丈夫的话，如实地向霍夫人显说了，于是霍夫人显生了异心，屏退左右的人，称呼淳于衍的字号说：“少夫你帮我做一件事，我也尽力做好你的事，可以吗？”
淳于衍说：“夫人所说，有什么事不可以做的呢！”
霍夫人显说：“霍将军素日就疼爱他的小女儿成君，希望她尊贵无比，我想将此事托付少夫成全。”
淳于衍说：“这话何意？”
霍夫人显说：“妇人生孩子是件大事，十死一生。如今皇后快临产，你可以趁机投毒药将她除去，成君就可以成为皇后。如果承蒙您办成，我将与少夫共同享受富贵。”
淳于衍说：“皇后吃的药都很多人共同配制的，由人先尝之后才服用，这怎么能行呢？”
霍夫人显说：“这全在少夫了。霍将军统领天下，谁敢说什么！即使有急事发生，也可以保护你，只怕少夫无意帮忙罢了。”
淳于衍思考了许久说：“我愿尽力。”
于是淳于衍将附子捣碎，带入长定宫。皇后生产后，淳于衍取出附子与太医制作的药丸掺和一起让皇后吃下，过一会，许皇后说：“我头昏闷胀疼痛，药中难道有毒？”
淳于衍回答说：“没有。”
许皇后更加烦闷难受，终于死去。
淳于衍出来见到霍夫人显，相互安慰道贺一番，但霍夫人也没敢重谢淳于衍。
后来有人上书状告各御医对皇后未竭尽全力诊治，汉宣帝下诏将他们以大逆不道罪收捕下狱。霍夫人十分着急害怕，立即将实际情况告诉了霍光，并说：“既然我做错了这件事，不要命令法官去逼问淳于衍了。”霍光非常吃惊，想自己揭发检举，又于心不忍，犹豫不定。这时正好有奏书呈上，霍光在奏书上签字，称此事与淳于衍无关，应免于追究。霍夫人显又极力劝霍光趁机将女儿送进宫内。
汉宣帝本始四年（前70年），春季，三月乙卯（十一日），汉宣帝立霍光的女儿霍成君为皇后。其用的车驾、侍从官非常多，对官属的赏赐以千万计，与许皇后封后时有天壤之别。