汉武帝平时非常喜欢听乐师演奏，当时李延年就是一位能歌善舞的奇才，李延年所亲自编写的一些歌曲深得汉武帝的喜爱，所以汉武帝非常看重李延年。一次李延年的《佳人曲》“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国，宁不知倾城与倾国，佳人难再得”打动了汉武帝。汉武帝听完后叹息曰：“善！世岂有此人乎？”平阳公主说：“延年有女弟”，“上乃召见之，实妙丽善舞。”其妹因此歌得幸，后来被武帝纳为夫人，就是著名的李夫人。
李夫人生了一个儿子就是昌邑王刘髆，但李夫人在怀孕生产之后突发急病，而后就一直卧榻不起，不久就因病离世。
作为外戚，李广利也受到了卫青、霍去病那样的重用。汉武帝让他多次带兵出征，李广利的前期确实很不错，攻破大宛、威震西域、会战匈奴，最后因功被封为大将军。这个贰师将军的名号就是因为其于太初元年（前104年）被汉武帝派到大宛国的贰师城那边去夺良马而来的。可见开始的时候汉武帝对李广利还是不错的。
巫蛊之祸之后，太子刘据被杀，汉武帝也没立太子，皇储之位一直空悬，李广利就开始动了心思。在征和三年（前90年）匈奴侵五原、酒泉。汉武帝命李广利率七万军从五原出击，御史大夫商丘率三万人兵出西河，重合侯马通率四万兵出酒泉。
李广利离开长安城的时候，巫蛊之祸里与太子刘据对战的刘屈氂，也就是李广利的儿女亲家，汉武帝的侄子，当时的丞相为李广利送行。“广利曰：‘愿君侯早请昌邑王为太子。如立为帝，君侯长何忧乎？’屈氂许诺。”
出征之后，李广利开始也是取得了一系列胜利匈奴败退，死伤者数百人。汉军乘胜追击至范夫人城，匈奴四散奔逃，不敢与汉军对抗。六月，内者令郭穰密告丞相刘屈氂的妻子因为刘屈氂曾多次遭汉武帝责备，便对汉武帝不满，因而请巫祈祷神灵，祝诅武帝早死。同时密告刘屈氂与李广利共同向神祝祷，希望昌邑哀王刘髆将来作皇帝。汉武帝一听大怒，就将刘屈氂一家人都杀死了，同时牵连到李广利的妻儿。
汉武帝这一举措让李广利手足无措，掾吏胡亚夫建议他投降匈奴。但是理光率考虑到如果投降匈奴，老婆孩子都会没命，不如放手一搏，弄出些成绩将功折罪。
长史和决眭都尉煇渠侯认为这种方式会损兵折将，便打算将李广利扣押，阻止其这一举措。但是这个计划被李广利知悉，李广利立刻将长史斩杀了，然后进攻匈奴。不了这一战果然大败，七万汉军全部覆灭，李广利就像李陵那样，也投降了匈奴，匈奴单于把女儿嫁给了李广利，汉武帝听到李广利投降了，就将李广利夷族了。
依照汉律，将军兵败者有罪，主将战败者当斩。李广利作为主将，战败合当问斩。再加上之前的那些事情，汉武帝不灭他的族才怪呢。
李广利投降匈奴虽换来一时的富贵，也好景不长。有一个匈奴人卫律投降汉朝之后和李延年兄弟较好，后来李延年因李季之事伏法，卫律怕被株连，便投降匈奴。李广利投降是在卫律之后，而且卫律本来就是匈奴人，结果自己的地位却不如李广利，于是心生嫉妒。
李广利投降一年后单于的母亲生病了，卫律买通了巫师，说是老单于发怒了，因为老单于之前率匈奴攻汉的时候，说过要活捉了贰师将军李广利祭神，现在李广利不刚好在嘛，单于就听了巫师的话，拿李广利来祭神了。“贰师曰：‘我死必灭匈奴！’遂屠贰师以祠。会连雨雪数月，畜产死，人民疫病，谷稼不孰，单于恐，为贰师立祠室。”