苏武牧羊是在西汉汉武帝时期。

公元前100年匈奴且鞮侯单于即位，即位后因忌惮汉朝，于是向汉武帝表达了善意，并释放了一些之前扣押的时节。于是汉武帝也表达了善意，让苏武出使匈奴。

苏武带领着100余人前往匈奴，并赠送了财物给且鞮侯单于。在苏武返回汉朝的路上，遇到了匈奴部族的缑王与虞常等人。这些人在匈奴谋反，暗中策划绑架单于的母亲、阏氏投奔汉朝。

虞常与苏武一行一里的副中郎将张胜有旧时。虞常表示自己打算去杀了汉朝皇帝憎恨的卫律，而自己的母亲弟弟都在汉朝，希望张胜能帮着在汉武帝面前美言几句，赏赐自己的亲人。张胜一口答应，并赠送了一些财物给虞常他们。

虞常后来准备攻打且鞮侯单于皇宫前被人揭发，最终缑王等战死，虞常被活捉。虞常在刑讯逼供后供出了张胜。单于大怒，召集贵族商议，想杀汉使。

单于派卫律召唤苏武来受审讯。苏武对常惠说：“屈节辱命，即使活着，有什么面目归汉！”说著拔刀自刺，卫律大惊，抱住苏武，派人骑快马找医生，所幸苏武没死成。

后来单于变打算招降苏武，但是苏武宁死不屈。越是如此，单于越发想使他投降，就囚禁苏武，置于大地窖内，不供给吃喝。碰到下雪天，苏武卧着嚼雪，同毡毛一起吞下，几日不死。匈奴人以为他是神人，就将苏武迁至北海（今贝加尔湖），让他放羊，说等公羊生小羊才可归汉。但是单于给他的却全是公羊。

这一等就是19年。后元二年（前87年），汉昭帝刘弗陵即位。几年后，匈奴和汉朝达成和议。苏武才被释放。匈奴单于召集苏武的部下，除了以前已经投降和死亡的，总共跟随苏武回来的有九人。始元六年（前81年）春，苏武回到长安。