上文说到，汉昭帝时期，匈奴想要和亲，但又不甘心，因此汉朝与匈奴之间一直打打停停。汉昭帝元凤三年（前78年），春季正月，汉朝大败匈奴犁污王，自此，匈奴不敢再入侵张掖郡。匈奴衰落的趋势难以挽回，之前臣服于匈奴的其他部族，也逐渐叛离。
汉宣帝本始三年（前71年），汉宣帝派遣五路大军攻打匈奴，同一时期，丁令人乘匈奴虚弱进攻他的北面，乌桓从其东面进攻，乌孙攻打其西面。匈奴的力量更为虚弱，原来臣服于他的许多小国都背叛，不断对其进行骚扰和攻击。
乌桓做大 汉击乌桓
汉元凤三年(公元前78年)冬，当初，匈奴冒顿单于攻破东胡，东胡的残余人众分别退居到乌桓山和鲜卑山，形成两个部族，世世代代役属于匈奴。汉武帝击破匈奴的左地后，便将乌桓迁徙到上谷、渔阳、右北平、辽东等郡的塞外地区，让他们为汉朝侦察匈奴的动静，设置护乌桓校尉官对他们进行监督领导，让他们不得与匈奴有来往。到汉宣帝时，乌桓部众的势力逐渐强大，于是反叛。
起先，匈奴派遣三千多名骑兵侵入五原郡，杀死掠夺数千人。之后又派数万骑兵南下，沿着汉朝边塞地区狩猎，同事攻打汉朝塞外的亭障城堡，掳掠边塞的官员和百姓离去。这时，汉朝北部边郡的烽火报警设施十分紧凑，匈奴多次骚扰寇边都没什么收获，因此，就很少再来侵犯边塞。
后来，汉朝又获得归降的匈奴人，他们说乌桓人曾经挖掘先单于的坟墓，匈奴非常怨恨他们，正要派二万骑兵去攻打乌桓。霍光想派军队去截击匈奴，征求护军都尉赵充国的意见。赵充国说：“乌桓近来多次侵扰边塞，如今匈奴去攻打他们，对汉朝有利。现在匈奴很少前来掠夺，北部边境平安无事，蛮夷之间相互攻击，我们却调兵进行截击匈奴，招蛮寇前来生出事端，不是好计谋。”
霍光又询问中郎将范明友的意见，范明友说可以攻打。于是任命范明友为度辽将军，率领二万骑兵出辽东。匈奴听说汉兵要来，便撤兵而去。当初，霍光曾告诫范明友说：“大军不得空出武功。假如没赶上匈奴，便对乌桓实施进攻。”当时乌桓刚刚受到匈奴军队攻击，范明友没能赶上匈奴，于是便趁机攻击乌桓，击杀六千多人，获取乌桓三个王的首级。匈奴从此更加恐惧，不能再发兵进攻汉朝。
五路大军 讨伐匈奴
当初，汉昭帝刘弗陵时，下嫁乌孙国的汉朝解忧公主上书说：“匈奴与车师共同入侵乌孙，希望请求天子来救援。”于是汉朝便调集军士、驯养马匹，准备出击匈奴。恰好赶上汉昭帝驾崩，汉宣帝派光禄大夫常惠出使乌孙，解忧公主和乌孙王昆弥都派使臣上书说：“匈奴多次出动大军，袭击乌孙。还派使臣对乌孙说：‘赶快将汉朝公主交出来！’打算隔绝乌孙与汉朝。乌孙王愿意派出国内五万精骑，全力抗击匈奴，请求天子出兵来救公主和昆弥。”以前，匈奴多次侵扰汉朝边境，汉朝也想出兵进行讨伐。
汉宣帝本始二年（前72年）。秋季，汉朝大举发兵，派遣御史大夫田广明为祁连将军，率领四万多骑兵出西河；度辽将军范明友率领三万多骑兵出张掖；前将军韩增率三万多骑兵从云中出发；后将军赵充国为蒲类将军，率三万多骑兵从酒泉郡出发；云中太守田顺为虎牙将军，率领三万多骑兵从五原郡出发；约定各路军马出塞二千余里。以常惠为校尉，携带汉朝符节监护乌孙部队，共同攻击匈奴。
汉宣帝本始三年（前71年），春季，正月戊辰，五位将军从长安出发，匈奴听说汉朝大举派军前来征讨，老弱妇孺惊慌奔走，驱赶着牲畜家产逃向远方，因此，五位将军没有获得大的成果。夏季五月，五路军队撤军而归。度辽将军范明友出塞一千二百余里，到达蒲离候水，斩首、俘获匈奴共计七百多人。前将军韩增出塞一千二百余里，到达乌员，斩首、俘获匈奴一百多人。蒲类将军赵充国出塞一千八百余里，到达西面的候山，斩首、俘获匈奴单于使臣蒲阴王及以下三百多人。这三位将军听说匈奴已经撤退，所以均未达到预定的目标就率军而回。汉宣帝觉得他们过失不大，从宽处理不治罪。
祁连将军田广明出塞一千六百里，到达了鸡秩山，斩杀、俘获匈奴十九人。恰好碰到了奉命出使匈奴的汉朝使臣冉弘等人，冉弘等人说：“鸡秩山以西地区有匈奴军队。”但田广明立刻告诫冉弘，要他们说没看到匈奴的踪迹，准备撤兵。御史属官公孙益寿劝谏田广明，认为不可撤军，田广明不听劝阻，率兵而还。虎牙将军田顺出塞八百余里，到达丹余吾水边，便停止不前，斩杀、俘虏共计一千九百多人，率军而回。汉宣帝认为虎牙将军田顺没到预定的目标就撤军而归，多报战果，祁连将军田广明知道前面有匈奴兵，却停止不前，下令将二人下狱，二人自杀，汉宣帝擢升公孙益寿为侍御史。
三面围攻 匈奴日衰
在西边，乌孙王昆弥亲自率领五万骑兵，与校尉常惠一同从西方向匈奴出击，一直攻到右谷蠡王的王庭，俘获单于的父辈及嫂子、公主、名王、犁污都尉、千长、骑将及以下共计四万人，缴获的马、牛、羊、驴、骆驼共计七十余万头。乌孙人将他们所俘获的人及牲畜全部留下自己用。
汉宣帝认为五位将军都没取得什么功劳，只有常惠奉命出使乌孙，获得克敌制胜的战果，因此封常惠为长罗侯。然而匈奴受此打击之后，伤亡极为惨重，牲畜在长途迁移中死亡的不可胜数。从此之后，匈奴的国力也衰落下去，因此怨恨乌孙。
汉宣帝本始二年（前72年）冬季，匈奴单于亲自率领数万名骑兵袭击乌孙，俘获了许多乌孙国老弱百姓。没曾想，在准备撤军时，遇上天下大雪，一天之内雪深达一丈多厚，匈奴的百姓、牲畜被大量冻死，生还者还不到十分之一。于是，丁零人乘匈奴虚弱进攻匈奴的北面，乌桓从其东面进攻，乌孙攻打其西面。三国共击杀匈奴数万人，马数万匹及无数的牛羊。加上饿死的，匈奴人死亡了十分之三，牲畜损失了十分之五。从此匈奴的力量更为虚弱，原来臣服于他的许多小国都背叛，不断对其进行骚扰和攻击。后来，汉朝派出三千多骑兵，分为三路，同时攻入匈奴，俘获数千人，然后撤军。匈奴始终不敢再来报复，越加盼望与汉朝和亲，汉朝边境的战事大为减少。