上文说到，漠北之战后，汉击溃了匈奴在漠南的主力，匈奴逐渐向西北迁徙，十几年内再无南下之力。从汉武帝元狩四年（前119年）到汉武帝太初二年（前103年），15.6年的时间内，汉朝与匈奴大致保持了和平。
不过，从汉武帝太初二年（前103年）开始，汉匈之间又重燃战火。这期间，发生了一件让后世津津乐道的故事——苏武牧羊。
战事再起
元封六年（前105年）。匈奴乌维单于去世，他的儿子乌师庐即位，年纪幼少，号称儿单于。
汉武帝太初元年（前104年）。匈奴儿单于喜好杀戮讨伐，国内人心都感到不安，又闹天灾，牲畜多数因此而死。左大都尉派人偷偷告诉汉朝说：“我想杀了单于投降汉朝，但汉朝离我们太远，如果派军队来接应我，我就立即发动。”汉武帝便派因杅将军公孙敖在塞外修筑受降城来接应他。
汉武帝太初二年（前103年）。汉武帝认为受降城与匈奴离得太远，就派浚稽将军赵破奴率领二万多骑兵从朔方郡出塞，向西北推进两千多里，约定到浚稽山接应左大都尉后返回。浞野侯赵破奴如期而至，匈奴左大都尉准备发动政变被察觉了，单于将他杀了，又派左方的军队攻击浞野侯。浞野侯一路捕杀俘获匈奴数千人。在返回途中，距离受降城四百里的地方，被匈奴八万骑兵所包围。浞野侯夜间亲自出来寻找水源，被匈奴侦察兵俘虏，匈奴趁机攻击汉军。汉军吏们害怕主将丧失回去后被杀，相互间没人劝告突围后逃回，于是全军覆没。儿单于非常高兴，又派出奇兵去攻打受降城，没攻下来，便侵入边塞掳掠后离去。
数次和、战
汉武帝太初三年（前102年），春季，正月，匈奴儿单于去世，他的儿子年幼，匈奴立儿单于的叔父右贤王呴犁湖为单于。
汉武帝派光禄勋徐自为自五原郡出塞数百里，最远达一千多里建筑城堡、要塞、瞭望所，从西北一直到卢朐山，并派游击将军韩说、长平侯卫伉率军驻扎在附近；又派强弩都尉路博德在居延泽上筑城防守。太初三年（前102年），秋季，匈奴骑兵大举侵入定襄郡和云中郡，诛杀掳掠数千人，打败了数名二千石官员离去，并且沿途破坏光禄勋徐自为所修筑的城堡要塞、瞭望所。又派右贤王侵入酒泉郡、张掖郡，掳掠数千人。这时，恰好军正任文率军前来救援汉人，匈奴失去全部掳掠所得的财物逃走。
汉武帝太初四年（前101年），冬季，匈奴呴犁湖单于去世，他的弟弟左大都尉且鞮侯立为单于。汉武帝打算趁伐大宛国胜利后的军威围困匈奴，于是下诏书说：“高皇帝给朕留下平城之围的忧患，高后时，匈奴单于送来的书信违天悖理。当年齐襄公报九代的仇恨，《春秋》大为赞赏。”且鞮侯单于刚刚即位，害怕汉朝来袭击他，便说：“我为儿子辈，怎敢和汉朝的天子相比。汉朝的天子，是我的长辈。”于是放回被扣留在匈奴的汉使臣路充国等人，又派使者前来进贡。
苏武出使
汉武帝天汉元年（前100年），三月，汉武帝嘉奖匈奴单于的义举，也派中郎将苏武送回留在汉朝的匈奴使臣，送给单于丰厚的礼物，报答他的善意。
苏武与副中郎将张胜及假吏常惠等一同前往，到了匈奴，将礼物送给了单于。发现单于更加傲慢，并不是汉朝所希望的样子。
恰在这时，缑王与长水人虞常，以及卫律所率领投降匈奴的原汉朝人，暗中商议准备劫持单于的母亲阏氏回归汉朝。卫律的父亲是原居住在长水的匈奴人，卫律与汉朝协律都尉李延年关系要好，经李延年推荐卫律出使匈奴，卫律回来之后，听说李延年全家被捕杀，便逃到匈奴投降了。
单于非常喜欢他，与他共商国事，封他为丁灵王。虞常在汉朝时与副使张胜关系一直密切，私下去拜访张胜说：“听说汉朝的天子非常怨恨卫律，我可以派伏兵用弓弩射杀他。我母亲和弟弟都在汉朝，希望他们能得到赏赐。”张胜答应了虞常的要求，并给他一些财物。一个多月之后，单于出外打猎，只有他母亲阏氏和单于的子弟们留在王庭，虞常等七十多人准备发动叛乱，其中有一人夜里逃跑，告发了这件事。
单于的子弟们调兵与虞常等人作战，缑王等人都被诛杀，虞常被生擒。单于派卫律处理此事。张胜听说后，担心以前与虞常约定的事被泄露出去，便告诉了苏武。
苏武说：“事到如此，必然会涉及到我，等到像罪犯一样被处死，会更加辜负国家。”苏武准备自杀，张胜、常惠都阻止他。后来虞常果然供出张胜。单于非常生气，召集许多贵族商议，准备将汉朝使者杀掉。
左伊秋訾说：“既已谋杀到单于，又该如何加重处罚！应该让他们都投降。”单于派卫律召苏武来接受审问，苏武对常惠等人说：“屈节辱命，虽然活着，那还有什么脸面再回到汉朝呢！”说完拔出佩刀刺向自己。
卫律大吃一惊，亲自抱起苏武，赶忙把医生叫来，在地上挖一个坑，燃起炭火，将苏武放在上面，用脚踩他的后背使淤血流出来。苏武昏死过去，半天才苏醒过来。常惠等人都痛哭不止，用车把他送回营地。单于非常佩服苏武的气节，早晚都派人问候，而逮捕了张胜。
持节不降
苏武的伤势逐渐好起来，单于派人去劝告苏武，想要他投降匈奴。正在这时，虞常已被定为死罪，打算趁机迫使苏武归降，卫律用剑砍下虞常的头之后，说：“汉朝使臣张胜谋杀单于的近臣，应当死罪；单于招募归降的人，赦免罪刑。”他举剑想要砍杀张胜，张胜请求投降。
卫律对苏武说：“副使有罪，正使应当连坐治罪。”
苏武说：“我没参与预谋，与张胜也没亲属关系，为什么要连坐？”又举剑威胁苏武，苏武一动不动。
卫律说：“苏君，卫律以前背弃汉朝投归匈奴，有幸蒙受单于的大恩，赐号称王，拥有部众数万，马匹牲畜满山，富贵如此。苏君今日投降，明日会和我一样。不然，就白白横尸荒野，有谁会知道你呢？”苏武默不回应。
卫律说：“苏君听我的话投降，我与君为兄弟；今天不听我的劝告，以后即使想见我，还有可能吗？”苏武大骂卫律说：“你身为汉朝的臣子，却不顾恩义，背叛国君，背离亲人，投降蛮夷，我为什么还要见你！况且单于相信你，使你有决定他人死活的权力，你不平心持正，反倒使两国的君主争斗下去，坐观两国的灾祸成败。南越杀了汉朝的使者，被汉灭掉后成为九个郡；大宛国王杀了汉使，其人头悬挂在长安的北门；朝鲜杀了汉朝的使者，很快被消灭；现在只有匈奴还没杀汉使。你知道我不会投降，却想借机挑起两国的相互攻击，匈奴的灾祸将从我开始了。”
卫律知道苏武终究不会受他的威胁，只得禀告单于。单于愈加想让他投降，便把苏武囚禁在大地窖中，断绝他的饮食。当时天下大雪，苏武躺在雪地上，吞吃羊毛和雪片，过了几天也没死。匈奴认为他是神，便把他放逐到无人烟的北海上，让他放一群公羊，并对他说：“等公羊产子后你才能回来。”与常惠随行的官属不肯投降，也分别被扣留，安置在其他地方。