上文说道，刘贺被拥立为帝后，立即开始提拔自己亲近的大臣为官，原昌邑国的属官都被征调到长安，很多人被破格提拔，比如原昌邑国的丞相安乐被擢升为长乐卫尉。
此举遭到了霍光的强烈反抗。霍光本想将刘贺作为傀儡控制，刘贺私下也想除掉霍光，最终霍光先发制人，联合大司农田延年、车骑将军张安世、自己的外孙女上官太后废黜了刘贺帝位。
霍、田谋议废帝
在看到刘贺提拔自己亲信以及所谓的一系列不符合礼制的行为，大将军霍光感到心中忧愁烦闷，独自去问自己之前的亲信，现在做大司农的田延年如何应对。
田延年说：“将军您是国家的柱石，审看此人不是做皇帝的料，为什么不向太后禀告，改立有贤能的人为新君呢？”
霍光说：“我现在正想这样去做，古代有过这样的事吗？”
田延年说：“当初伊尹是商朝的相，为安定国家，废除了太甲，后世反而称颂他的忠诚。将军若能这样去做，也能成为汉朝的伊尹。”于是霍光任命田延年为给事中，与车骑将军张安世密谋废黜刘贺。
此时，刘贺还在外出巡游，光禄大夫鲁国人夏侯胜挡住御驾劝谏说：“现在天阴很久但不下雨，肯定是有臣下在图谋皇上。陛下此时外出，想做什么？”刘贺非常生气，认为夏侯胜口出妖言，下令将他捆绑起来交司法官。
司法官向霍光报告，霍光没依法处罚他。霍光责备张安世，认为他泄露了秘密。其实张安世实际上并没有没有泄露，于是便召来夏侯胜询问。夏侯胜回答说：“《鸿范传》里说‘君王一再有过失，会遭上天的惩罚，天气常阴沉而不下雨，这时会有臣下将要谋害君上’。皇上厌恶明言，因此我只说是‘臣下有图谋’。”霍光、张安世听后大吃一惊，因此更加重视精通经学的儒士。侍中傅嘉多次规劝刘贺，刘贺也将他关进监狱。
霍光、张安世做好决定，便派田延年报告丞相杨敞。杨敞很惊惧，不知说什么好，吓得汗流浃背，只是唯唯诺诺而已。田延年起身去更换衣服，杨敞夫人急匆匆从东厢房走出对杨敞说：“这是国家大事，现在大将军已经商议定了下来，派九卿来告诉你，你不快响应，表示与大将军同心，还在犹豫不决，是先要被诛杀的！”田延年更衣后回来，杨敞与夫人向田延年表示，一切都听从大将军的命令。
霍光胁迫群臣
癸巳日，霍光召集丞相、御史、将军、列侯、中二千石、大夫、博士等大臣在未央宫开会。
霍光说：“昌邑王德行昏乱，恐怕会危害社稷，怎么办呢？”
群臣们全都大惊失色，不敢发言，只是唯唯诺诺而已。
田延年离开席位，走上前去，手按着剑柄说：“先帝把年幼的婴孩托付给大将军，并把天下的安危也委托于大将军，是因将军忠诚贤能，能安定刘氏的天下。如今群小鼎沸，国家处于危险的境地，汉朝的皇帝都用‘孝’字为谥号，为的是长久有天下，宗庙祭祀不断。如果汉家的祭祀断绝了，将军即使死去，有何脸面见九泉下的先帝呢！今天大家所议论的，必须立即作出决断，群臣中最后响应的，我当场用剑将他斩首！”
霍光道歉说：“九卿您对我的责备是对的。天下动荡不安，我应当先受处罚。”
于是参加会议的人都叩头请求说：“天下百姓的性命都系于大将军，我们都听大将军的命令。”
刘贺亲信被执
霍光于是立即与群臣一起去晋见太后，向太后详细讲述昌邑王刘贺不可以继承皇位的状况。皇太后于是乘车前往未央宫承明殿，下诏命令各宫门的守卫，不许昌邑王群臣入内。
刘贺朝见太后返回，准备乘辇车回温室殿，中黄门的宦官各把持门扇，当刘贺一进去，门立即关闭，昌邑王的群臣不能进入。
刘贺问道：“为什么要关门？”
大将军霍光跪在地上回答说：“皇太后有诏，不许昌邑王的群臣进宫。”
刘贺说：“慢慢说就是了，为什么如此吓人！”
霍光于是派人将昌邑王的群臣都赶到金马门的外面。车骑将军张安世率领羽林骑兵逮捕被赶出来的昌邑王群臣二百多人，全部押送廷尉的监狱，令曾在昭帝时担任过侍中的宦官看守刘贺，霍光叮嘱身边的人：“一定谨慎小心地守护，如果他突然间出了意外或是自杀了，让我对不起天下人，背负杀害君主的罪名。”这时刘贺还不知道自己将被废黜，问左右的人说：“我原来的群臣、侍从们有什么罪，为何大将军把他们逮捕关押起来呢？”
霍光废帝
没多久，皇太后下诏召见刘贺。刘贺诏令，感到恐慌，便说：“我犯了什么罪？太后要召见我？”
皇太后身披用珠宝串成的短衣，盛装打扮，端坐在特设的武帐中，数百名侍卫全都手持兵器，与持戟的期门武士排列在殿下的两侧，群臣依官阶的大小循序走上殿来，命令昌邑王前来伏在地上听候诏书。
霍光与群臣联名上奏劾昌邑王，由尚书令宣读奏章说：“丞相杨敞等冒死上奏皇太后陛下：孝昭皇帝早弃天下，遣使征昌邑王典丧，服斩衰，无悲哀之心，废礼谊，居道上不素食，使从官略女子载衣车，内所居传舍[2]。始至谒见，立为皇太子，常私买鸡豚以食。受皇帝信玺、行玺大行前，就次，发玺不封。从官更持节引内昌邑从官、驺宰、官奴二百余人，常与居禁闼内敖戏[3]。为书曰：‘皇帝问侍中君卿：使中御府令高昌奉黄金千斤，赐君卿取十妻。’大行在前殿，发乐府乐器，引内昌邑乐人击鼓，歌吹，作俳倡；召内泰壹、宗庙乐人，悉奏众乐[4]。驾法驾，驱驰北宫、桂宫，弄彘，斗虎[5]。召皇太后御小马车，使官奴骑乘，游戏掖庭中。与孝昭皇帝宫人蒙等淫乱，诏掖庭令：‘敢泄言，要斩！’”
皇太后说：“好了别说了！为人臣子，该这样悖逆昏乱吗？”
刘贺离开座席伏地请罪，尚书令又继续宣读说：“取诸侯王、列侯、二千石绶及墨绶、黄绶以并佩昌邑郎官者免奴。发御府金钱、刀剑、玉器、采缯，赏赐所与游戏者。与从官、官奴夜饮，湛沔于酒。独夜设九宾温室，延见姊夫昌邑关内侯。祖宗庙祠未举，为玺书，使使者持节，以三太牢祠昌邑哀王园庙，称‘嗣子皇帝’。受玺以来二十七日，使者旁午，持节诏诸官署征发凡一千一百二十七事。荒淫迷惑，失帝王礼谊，乱汉制度。臣敞等数进谏，不变更，日以益甚。恐危社稷，天下不安。臣敞等谨与博士议，皆曰：今陛下嗣孝昭皇帝后，行淫辟不轨。‘五辟之属，莫大不孝。’周襄王不能事母，《春秋》曰‘天王出居于郑’，由不孝出之，绝之于天下也。宗庙重于君，陛下不可以承天序，奉祖宗庙，子万姓，当废！臣请有司以一太牢具告祠高庙。”
皇太后下诏说：“好。”
霍光命刘贺起身，拜受皇太后的诏书。
刘贺说：“我听说‘天子只要有耿直敢言的臣子七人在左右，即使无道也不会失天下’。”
霍光说：“皇太后已经下诏将您废黜了，您怎还敢自称天子！”
于是上前抓住刘贺的手，解下他身上佩戴的御玺绶带，奉给皇太后。
然后让刘贺走下大殿，出金马门，群臣随后送行。
刘贺面向西叩拜说：“我愚笨刚直，不能胜任汉家的大事，担任皇帝。”然后起身登上皇上的副车，大将军霍光护送到昌邑王的官邸。霍光告辞说：“大王的行为自绝于天下，臣宁可对不起您，也不敢对不起国家。希望大王自爱，臣不能长久侍奉在您的身边了。”
霍光挥着泪离去。
霍光斩草除根
群臣上奏说：“古代被废黜的人，要放逐到远方，让他不能干预朝政。请把昌邑王刘贺迁移到汉中郡房陵县去。”
太后下诏，让刘贺仍回到昌邑去，赐给他二千户汤沐邑，原来昌邑王家产都归还给刘贺，昌邑哀王的四个女儿，各赐一千户作为汤沐邑。撤销昌邑国，改为山阳郡。
原昌邑国的群臣，因在封国时不举报昌邑王的罪过，使朝廷不知道他的真实情况，又不能给予辅佐，使昌邑王陷入罪恶之中，把他们全都关入监狱，诛杀了二百多人。只有中尉王吉、郎中令龚遂，忠诚耿直多次规劝谏正昌邑王，得以免除死罪，剃去头发，判处他们夜筑长城，白天站岗的劳役。
刘贺的老师王式也被逮捕入狱，本该处以死罪，法官责问王式说：“作为昌邑王的老师为什么不上书规劝？”
王式回答说：“我每天早晚都在给他讲《诗经》中的三百零五篇，讲到忠臣、孝子的篇章，反复为他朗诵、讲解。讲到关于无道的国君，使国家遭受危亡的篇章，都是流着泪向他详细地陈述。我以三百零五篇的《诗经》规劝他，所以没有专门上书规劝。”法官将王式的这番话上报朝廷，也被免除死罪。