汉高祖刘邦在位时期的一大军事事件，就是公元前200年的白登之围，此事后，西汉王朝与匈奴媾和。公元前198年，汉帝国以刘敬为使节，与匈奴正式缔结了和平条约，约定汉朝以公主嫁匈奴，并附赠大量米粮财宝。同时约法三章：一、汉朝每年要送给匈奴大量礼品；二、双方在边关开设互市；三、两家以长城为界，互不侵犯。这个和平协议就是历史上赫赫有名的和亲之约。
按照史书普遍的说法，汉匈双方维持了六十年的和平。但事实上，就在汉匈双方和亲的第二年，即公元前197年冬，匈奴就再次发难。趁着代地守将陈豨造反的机会，匈奴人趁火打劫，攻掠河北、山西等地，逼得重病中的刘邦再次以老迈之躯御驾亲征。为了防止白登之围一幕重演，汉帝国不得不忍气吞声，在出征前派使节至匈奴，送上大量财物，请匈奴在大汉的平叛战中保持中立，得了好处的匈奴也就见好就收了。
西汉与匈奴之间的关系，以公元前197年冬的和亲协议为分水岭。之前匈奴主要是军事掠夺，此后一直到汉武帝反击匈奴前，匈奴的主要政策就是讹诈，即通过武力骚扰与外交勒索相结合的方式，不断向西汉狮子大开口。辅助的手段就是挑拨西汉诸侯王叛乱，牵制西汉的军事力量。在韩王信叛变投靠匈奴后，公元前195年，燕王卢绾又造反，率领部下数千人投降匈奴，被匈奴封为东胡卢王。之后他主动担任向导，引匈奴骑兵攻掠州县，做了“铁杆汉奸”。汉王朝曾多次出使匈奴，送上金银财宝，想请匈奴“引渡”卢绾，匈奴每次都是钱收了，不办事，最多就是承诺会约束卢绾的行为。在汉初，匈奴对西汉边境的骚扰几乎没有停止过。但毕竟垂涎于和亲的巨大财富，匈奴大多数都是小打小闹，通常是几十、几百骑兵在边境打劫后，再对汉朝说是“误会”，大规模的战争并未爆发。
汉武帝反击匈奴前，匈奴对西汉的政策也因其内部单于的变更而改变。固有的定律是：每一个新单于上任后，总会想方设法制造事端，挑起汉匈冲突，冲突过后又改弦更张，对汉朝重新转为和亲通好。汉文帝在位初期，匈奴的老上单于也即位不久，他不但多次发动军事进攻，而且在外交上也颇多挑衅，比如匈奴和汉帝国的往来文书在尺寸上都更大，以示压倒汉帝国之意。而汉景帝在位初期，匈奴在位的军臣单于就曾与西汉诸侯吴王密谋，企图趁机南下夺取汉地。虽然权衡利弊后军臣单于没有贸然行动，只是派重兵屯于汉朝边境以做牵制，但西汉的北部精锐骑兵也因此被牵制在北方边境，无法参加平叛战争，导致“七国之乱”持续数月。如此情景，汉文帝在一次遣使至匈奴的外交辞令中就有说明：“汉朝自和亲以来，始终以友好相处为愿望，反而是匈奴不止一次破坏和亲的协议。”
汉朝反击匈奴最大的困难就是战马数量不足。为了扩大骑兵规模，西汉从开国后就厉行马政，鼓励养马。但是中原马种远远不及匈奴，为汉朝解决这个问题的，就是汉匈和亲六十年里那些游走于汉匈之间的商旅们。《汉武故事》中就有记录：多年以来，正是这些商人以各种方式进入匈奴地界，借贩运货物的机会把匈奴的马种贩运入内地。汉朝设在边地的各军马场就以此为基础，为汉军培养出优良战马。这些商人们同时还担负着为汉朝刺探匈奴军情，甚至配合各类军事行动的任务。汉朝反击匈奴的大业背后，是他们这些无名英雄一直在奉献。他们之中有一位代表人物，也在历史上留下了自己的一笔——策动汉武帝马邑诱敌战的聂壹。
西汉在军事上对匈奴最头疼的问题就是机动性不足。尽管汉军守城有优势，但是在运动战中却始终处于劣势，面对匈奴高机动性的用兵方式，更是办法不多。第一个为西汉找到在运动战中对付匈奴办法的，就是汉文帝时期的云中太守魏尚。魏尚防御匈奴主要有两法，一是实行纵深防御，并不单纯地依托长城进行死守，而是加深防御纵深，在堡垒后面布置足够的机动性二线兵力。通常采取诱匈奴进入，再以重兵合围的方略。二是在前线常年部署足够多的侦查骑兵，在第一时间掌握匈奴活动的动向，并及时做出应对部署。西汉军队第一次在野战中击败匈奴，就是汉文帝年间魏尚指挥的云中之战。但得胜后的魏尚不但没有获得封赏，反而因为报错了斩首的数目，被汉文帝罚做苦役。后来经大臣冯唐进谏，汉文帝才悔悟，派遣冯唐持符节至云中，宣布魏尚官复原职。消息传来后，云中地区军心大振。这以后的魏尚，在任期间爱抚兵卒，甚至把自己的俸禄拿出来抚恤死难士兵，并加紧训练骑兵，靠近匈奴要冲的云中郡从此成为令匈奴胆寒的铁壁。而汉文帝再次起用魏尚的这段佳话，也成为后来苏轼词作中的名句：“持节云中，何日遣冯唐？”