上文说到，匈奴经历了一场大的分裂，最多时出现了五单于并立的局面，后来，屠耆连败车犁、乌藉。乌藉、呼揭去单于号，共辅车犁单于。呼韩邪西袭屠耆，屠耆兵败自杀，车犁降呼韩邪，五单于并立终结。
虽然上一轮大分裂，呼韩邪最终笑到了最后，但匈奴分裂的局面，仍未结束，呼韩邪的亲哥哥，呼屠吾斯崛起，并成为呼韩邪接下来最大的对手，草原上出现了兄弟反目成仇，互相攻击的状况。
匈奴再次分裂
汉宣帝五凤二年（前56年），秋季八月，匈奴呼韩邪单于派他的弟弟右谷蠡王等人向西袭击屠耆单于，杀掠士兵一万多人。屠耆单于得到消息后，便亲自率领六万骑兵袭击呼韩邪单于，结果战败，自杀，车犁单于也向东去投降呼韩邪单于，五单于争立一事，以呼韩邪单于再次成为霸主终结。
冬季十一月，呼韩邪单于的左大将乌厉屈和他的父亲呼遫累乌厉温敦见到匈奴陷于内乱之中，便率其部众数万人归降汉朝，汉宣帝封乌厉屈为新城侯，封乌厉温敦为义阳侯。这时李陵的儿子又立乌藉都尉为单于，呼韩邪单于将他捕杀后又重新定都在单于王庭，但身边的部众仅有几万人。屠耆单于的堂弟休旬王在西部地区自立为闰振单于；呼韩邪单于的哥哥左贤王呼屠吾斯在东部地区也自立为郅支骨都侯单于。草原上再次出现三足鼎立的局面。
兄弟反目成仇
要说起，郅支单于和呼韩邪单于这对兄弟，其实一开始两人的关系应该很不错，两人的父亲是虚闾权渠单于，虚闾权渠单于去世后，握衍朐鞮篡位，呼韩邪单于逃到到了岳父那里受到贵族拥立，哥哥是流落民间多年后被弟弟找到，封为左谷蠡王，但后来不知道什么原因，双方反目成仇，互相攻击，势同水火，至于反目的原因，史书上并未记载，也许在权力面前，再至亲的骨肉，也会被权力迷住双眼。
汉宣帝五凤四年（前54年），夏季四月，匈奴闰振单于率领部队向东袭击了郅支单于。郅支单于率军与其交战，杀死了闰振单于，兼并了他的军队，然后又进攻呼韩邪单于，呼韩邪单于再次战败退走，郅支单于占据了单于王庭。
呼韩邪降汉
汉宣帝甘露元年（前53年）。匈奴呼韩邪单于被郅支单于打败之后，左伊秩訾王为呼韩邪单于出谋划策，劝他向汉朝称臣，朝见汉朝天子，寻求汉朝的帮助，认为只有这样，匈奴才能安定。
呼韩邪单于征求匈奴各个大臣的意见，他们都说：“不行的。我们匈奴人的习俗，以崇尚勇力为本，鄙视屈服别人，以马上征战建立了国家，因此威名于天下，震慑百族。战斗而死，是壮士的本分。如今匈奴内部兄弟争国，不是哥哥取胜，就是弟弟取胜，即使战死，也留有威名，子孙后代永远称雄于各国。现在汉朝虽然强大，但不能吞并我们匈奴，为何要搅乱毁坏先祖的制度，臣服于汉朝，鄙视侮辱我们的祖先单于，被诸国所耻笑。即使这样能得到安宁，又将如何去统率百族呢！”
左伊秩訾说：“不对。国家的强与弱随时都在变化。现在汉朝正处在强盛时期，乌孙等所有城邦各国都向汉朝称臣。匈奴自且鞮侯单于以来，势力日渐削弱，不能取得再恢复的机会，尽管勉强维持至今，却一天未曾安宁过。如今若臣服于汉朝，便可以安定生存，不臣服则要陷入危亡境地，这是最好的策略了。”
各位大臣不断向左伊秩訾王提出疑难问题，但最后呼韩邪单于还是采纳了左伊秩訾王的建议，率领部众向南靠近边塞，派遣儿子右贤王铢娄渠堂到汉朝做人质。
汉宣帝甘露二年（前52年），冬季，十二月，匈奴呼韩邪单于到达五原塞，表示归降，并愿意将匈奴的珍宝献出，于三年正月到长安朝见汉宣帝。汉宣帝下诏命有关部门议定朝见的仪式。太子太傅萧望之认为：“匈奴单于并不是汉朝正统属国，所以称为敌国，不应用对待臣子的礼仪对待，其位置应在诸侯王之上。外夷向我国低头称藩，我们谦让，而不视他们为臣子，为的是笼络他们，谦虚可以享受福分。《尚书》上说‘戎狄很难驯服’，说他们来去归附反复无常。能让匈奴的后世子孙像鸟飞鼠伏，不来朝贡，也不属于我国的叛臣，这是一项万世久安的策略。”
汉宣帝采纳了萧望之的建议，下诏说：“匈奴单于自愿称为北方藩臣，表示明年正月初一前来朝见。朕的恩德不够，不能受此重礼。应该以国宾的礼节接待他们，使匈奴单于的位置在诸侯王之上，拜见时称臣，而不称名。”
西域宾服
汉宣帝甘露三年（前51年），春季，正月，匈奴呼韩邪单于前来朝见汉宣帝，拜见时只称藩臣而不称名字。汉宣帝赏赐他很多东西。朝见的礼仪结束后，汉宣帝派使臣带领单于先到长平阪住宿休息，自己从甘泉宫前往池阳宫住宿。汉宣帝登上长平阪准备在渭桥会见呼韩邪单于，下诏令单于不必下拜，允许单于左右的随行官员都列队观看，各蛮夷君长、王、侯数万人，全都聚集在渭桥下夹道欢迎。
汉宣帝登上渭桥，众人都高呼万岁，后来单于又到长安居住，汉宣帝在建章宫设酒宴款待单于，让他观赏中原的珍宝。二月，朝廷派人送单于归国，呼韩邪单于主动请求“希望能留居在沙漠之南的光禄要塞之下，有紧急情况时，便到汉朝的受降城自保”。汉宣帝派长乐卫尉高昌侯董忠、车骑都尉韩昌率领一万六千骑兵，又征发边疆各郡数以千计的士兵、马匹，护送单于出朔方郡鸡鹿塞。命令董忠等人留下护卫单于，帮助诛杀不顺服其统治的匈奴人。又转运边疆的谷米干粮，前后共有三万四千斛，供给匈奴食用。起初，从乌孙以西至安息与匈奴邻近的西域各国，都畏惧匈奴而轻视汉朝，自呼韩邪单于朝见汉朝之后，都转而敬畏汉朝了。
汉宣帝认为四方戎狄已经臣服，想起那些辅佐大臣们的功劳，便决定将这些功臣画在未央宫的麒麟阁上，不仅要画出他们的形体外貌，还要注明他们的官爵与姓名；只有霍光不注名字，只写“大司马、大将军、博陆侯，姓霍氏”。其余依次是张安世、韩增、赵充国、魏相、丙吉、杜延年、刘德、梁丘贺、萧望之、苏武共计十一人，都是功勋卓著，德高望重，知名于当世的功臣，所以要表彰他们，表明他们是中兴汉室的有功之臣，可以同古代的方叔、召虎、仲山甫相媲美。