汉武帝晚年，慢慢从一代圣主变成了猜忌、自负的暴君，其中最具代表性的事件就是巫蛊之祸。
霍、卫去世
刘据（前128年—前91年），西汉宗室，汉武帝刘彻嫡长子，汉宣帝刘询祖父，母为皇后卫子夫。元狩元年 （前122年）立为皇太子，时年七岁。
当初，汉武帝二十九岁时才有戾太子，十分喜爱他。戾太子长大后，性情仁义宽恕，温顺谨慎，汉武帝嫌他没有什么才能，不像自己精明能干，平日宠爱的王夫人生了儿子刘闳，李姬生了儿子刘旦、刘胥，李夫人生了儿子刘髆。皇后、太子因汉武帝对他们的宠爱日益减少，常常心有不安的感觉。
武帝感觉到此事后，对刘据的舅舅大司马大将军卫青说：“我朝有很多事都还处于草创阶段，再加上周围的外族对我国的侵扰不断，朕如不变更制度，后代就将失去准则依据；如不出师征伐，天下就不能安定，因此不能不使百姓们受些劳苦。但倘若后代也像朕这样去做，就等于重蹈了秦朝灭亡的覆辙。太子性格稳重好静，肯定能安定天下，不会让朕忧虑。要找一个能够以文治国的君主，还能有谁比太子更强呢！听说皇后和太子有不安的感觉，难道真是如此吗？你可以把朕的意思转告他们。”
卫青听完后叩头感谢，并转告卫皇后。皇后特意摘掉首饰向武帝请罪。后来每当太子劝阻征伐四方时，汉武帝就笑着说：“由我来担当艰苦重任，而将安逸的事情留给你，不也挺好吗?”
卫青为其舅父，霍去病为其表兄弟，所以在卫青霍去病在世时，刘据的地位比较稳固卫、霍舅甥二人关系又比较融洽（汉武帝有意分化二人，但从之后霍去病杀李敢一事，能看出霍去病对其舅舅十分尊敬），二人掌控了大汉的精锐兵力，因此，没人敢对刘据有所图谋，但二人先后去世。
太子失宠
汉武帝喜欢出游，每次出外巡游的时候，常常朝政之事交付给皇太子，宫内的事托付给皇后。太子有需判断处理的，汉武帝回来后，将其中最重要的向皇上报告，汉武帝没有什么不同意见，有时直接不过问。
汉武帝用法严厉，多任用尖酸刻薄的官吏；而太子为人宽厚，经常平反一些错事，这样做虽然很得百姓之心，但一些执法大臣都不高兴。皇后担心这样久了会获罪，经常告诫太子：“应该留心皇上的心思，不应该擅自有所纵容宽赦。”汉武帝听说后，认为太子对的，而皇后是错的。
因此，群臣中宽厚的长者、官员都依附太子，而严刑峻法的官员都诋毁太子。奸邪的权臣多结成党羽，因此毁坏诽谤太子的多，赞誉的少。卫青去世后，那些臣子认为太子没有了外戚作为靠山，争相设计陷害太子。
汉武帝与诸皇子疏远不亲近，与卫皇后也很少见面。太子曾进宫拜见皇后，过了半天才从宫中出来。黄门苏文禀告汉武帝说：“太子在宫中与宫女一起嬉戏。”汉武帝便为太子增加宫女到二百人，太子后来才知道这件事，心里怨恨苏文。
苏文与小黄门常融、王弼等常常在暗中观察太子的过错，总是夸大其词地向武帝报告。皇后也非常愤恨这些人，让太子去向皇上说明情况，将苏文等人杀了。太子说：“只要我没什么过失，何必害怕苏文这些人呢？皇上圣明，必定不相信邪恶谗言，不必忧虑。”
皇上曾有一次有点小病，，派常融去召太子进宫，常融汇报说：“太子面带喜色”，皇上沉默无语。等太子来了，皇上察看他的神色，发现脸上有泪痕，强装有说有笑，汉武帝觉得很奇怪；进一步查问，知道了事情真相，于是杀了常融。皇后也十分小心，提防闲话，努力避嫌，虽然很久不受宠爱，但仍能受到皇上的以礼相待。
宠爱幼子
汉武帝太始三年（前94年）。皇子刘弗陵出生。刘弗陵的生母是河间人，姓赵，封为倢伃，住在钩弋宫，怀孕十四个月后才生刘弗陵，汉武帝说：“听说当年唐尧是十四个月生的，如今倢伃生这个孩子也是如此。”于是命令将钩弋宫宫门改称为尧母门。
史臣司马光评论说：为人君者，动静举措不可不慎。发于中必形于外，天下无不知之。当是时也，皇后、太子皆无恙，而命钩弋之门曰尧母，非名也。是以奸臣逆探上意，知其奇爱少子，欲以为嗣，遂有危皇后、太子之心，卒成巫蛊之祸，悲夫！