汉武帝从马邑事件中看到,原有的一些将领老成持重有余,主动进攻不足,魄力不够,很难适应战争的需要。他认为“有非常之功,必待非常之人”,要想取得胜利,必须提拔后起之秀。武帝元光六年(前129年),武帝毅然决定,拜卫青为车骑将军。从此年轻将领卫青走上了战争舞台。
这年冬天,为了打击匈奴的不断进犯,汉武帝决定分兵四路出击。车骑将军卫青从上谷(今河北怀来县)进军,轻车将军公孙贺从云中(今内蒙古托克托县)出师,骑将军公孙敖从代郡出兵,骁骑将军李广从雁门出军。
四路将领各领一万骑兵。这次进击匈奴,卫青是首次出征。但他在战斗中,勇略非凡,领兵打出长城,深入匈奴境内,直至龙城(匈奴单于祭天和聚会首领的地方),斩敌七百人,取得初战胜利。其余三路,公孙敖损失了七千人马,李广战败被匈奴俘获后于半路逃归,公孙贺则是无功而返。战争结束后,李广和公孙敖都被交付执法官吏审判,按当时的军法应该处死,好在当时允许出钱出谷,赎罪免死,李广和公孙敖被削去官职,降为平民。公孙贺根本没遇到匈奴骑兵,自然无功无过。唯有年轻将领卫青,首战获胜,被汉武帝封为关内侯。
经过这次战争,匈奴的进犯更加猖狂了。第二年,正当秋高马肥时,匈奴骑兵再度大举南下,先攻破辽西(治所在今辽宁义县西),杀死了辽西太守,杀掠两千多人。紧接着又打到渔阳,驻守渔阳的汉将韩安国,被杀得大败。匈奴骑兵乘胜西进,势如破竹,锐不可当,很快便突入雁门。西汉整个北部边郡形势紧张,京师长安一片惊慌,各地告急的文书雪片般地飞奏朝廷。
在这危难之际,汉武帝又重新起用李广,派他到右北平(治所在今辽宁凌源西南)担任太守,这时匈奴骑兵有意避开飞将军李广,不向右北平进攻,而向西北各郡进犯。为此,卫青再次受命出征,迎战匈奴。与此同时,汉武帝还指令李息从代郡出兵,袭扰匈奴后路,同卫青一路遥相策应。卫青在分析了敌我双方的情况后认为,匈奴虽奔袭千里,斩将夺城,但是士卒疲惫,汉军则是养精蓄锐,士气高昂。因此,利在速战,他得到出战的命令以后,马上率领三万多精骑,挥师北上,风驰电掣般赶到前线。卫青一马当先,冲杀在前。校尉士卒见主将亲冒矢石,也勇气倍增,人人争先,拼死杀敌,两军展开了一场惊心动魄的激战。匈奴被汉军打得七零八落,丢下数千具尸体,狼狈逃窜。