几乎所有的将领都认为应当立即撤兵，他们并不知道乌维已经准备好西迁，认为如果再打败仗就很难有足够的兵力控制其它各部落，到时候回到漠北的日子就更加困难了。而乌维想的是如何树立自己的威信，他已经决定按赵信临终遗言西迁，可这话现在还不敢和手下的人说，怕他们不愿离开故土。乌维现在想打一场胜仗，以巩固自己的地位，多少能够猜出他一点心思的，只有他的三弟左大都尉且提候，因为乌维让他偷偷的探查西去的道路、水源等情况。
由于乌维自身的原因，再加上部分将领有存侥幸，匈奴人争吵了两天还没有定下来撤退的时间和路线。直到李息率部绕道狼居胥山的消息传来，乌维才下定决心吃掉李息，然后再撤回漠北，并赶在冬季来临之前进入西域一带，争取在今年冬天在西域一带休整，明年开春再继续西迁。
虽然赵佳义和赵能几乎全军覆没，可匈奴人依然有十四万大军，而且全是骑兵，战马的数量更多，超过二十五万匹，足够他们快速追赶李息大军的。乌维让自己的儿子左贤王乌师庐率军三万为右，自己的二弟右贤王句黎湖率军三万为左，且提候领军三万为先锋，自己则率五军大军居中接应。他的意图很明显，就是要以泰山压顶之势，在汉军没有反应过来之前吃掉李息所部。
于是，漠南战场上出现奇怪的一幕，双方原来设想的长城大战没有打成，现在李息率军两万向北，匈奴人的十四万大军紧跟其后，刘据率领汉军骑军主力十万又跟在匈奴人的后面，刘据的后面，还有三万步卒和十万民夫组成的辎重部队，真正留在长城一线防范的只有苏建、荀彘的五万步卒和两万各骑兵营的留守人员。
决定匈奴人生死存亡的决战终于拉开了序幕。
当匈奴人出发的时候，李息已经带人走了五天，刘据则刚刚带人离开五原大营，三支部队拼的都是时间，尤其是刘据，当他们到达匈奴人原来的营地时，发现了一天前生火的痕迹，也就是说他们离开也只有一天。于是他命令部下加快行军速度，他知道匈奴人已经尾随李息北上，李息随时有全军覆没的危险。
乌维认为自己的部队战马充足，足够他们在汉军离开狼居胥山之前包围他们，但他不知道汉军已开始给战马钉了马掌，李息的部队利用追击羌人的机会给所有的战马钉了马掌。而刘据带去的三个骑兵营也基本都给战马安了马掌，加上这些骑兵营多余的马匹，他也有能力和匈奴人来一场拼速度和耐力的比赛。
李息的部队先出发了五天，可因为要绕道，他并没能把匈奴人甩得太远。乌维在出发后的第三天就发现了李息部队的踪迹，于是催促部队加速追赶，可一连追了四天也没追上，李息也发现了匈奴人追了上来，本来他以为那是匈奴人的一支偏师，可后来发现是匈奴的主力，他自己也紧张了起来。
李息把手下几个主要将领都找了来，商讨了一下当前的情况。
李息直截了当地告诉手下众将：“匈奴人追来了，可是不是我预想的那样，他们人数超过十万，很明显是冲着我们来的。”
几个人已经知道了问题的严重性，所以没有一个人说话，继续说着李息往下说：“明天我们就要渡过余吾水，后天一早就能到达姑衍山。”余吾水发源于狼居胥山，安侯河的支流，一直注入北海。姑衍山在狼居胥山西侧，曾是匈奴王庭，霍去病曾在狼居胥山祭天，在姑衍山祭地。
“将军，我们下面怎么办？”有人问李息，现在他们深入大漠近两千里，所有的人都把李息当作自己的主心骨。
李息默默的扫视了一下所有的人，然后从嘴里挤出两个字：“拼了！”