作为李渊父子的发迹之地，竟然旦夕之间陷落，李渊禁不住惊呼：“晋阳强兵数万，食支十年，兴王之基，一旦弃之。”
十月，宋金刚攻陷晋州后，李渊方寸大乱，发出了放弃河东之地，坚守关中平原的战略。
秦王李世民和李靖、房玄龄、杜如晦等人商量后，觉得这样不妥，于是劝谏李世民上书李渊，坚决出兵，收复失地。
李世民于是上表说：“太原，王业所基，国之根本；河东殷实，京邑所资，若举而弃之，臣窃愤恨。愿假臣精兵三万，必冀平殄武周，克复汾、晋。”
李渊同意了李世民的建议，命他再次出征，并且亲自送行到长春宫。
十一月，正是隆冬季节，天寒地冻，黄河上结了厚厚的一层冰，足有一尺厚，人马可以在冰上渡河。于是，李世民帅军在龙门渡河，扎营于柏壁（今山西新绛西南），并同固守绛州的唐军形成犄角之势，进逼宋金刚军。
当时黄河以东的州县遭抢劫后，没有粮仓，老百姓惧怕侵扰，纷纷聚居在城堡中，大军征集不到东西，军队缺粮。
李世民发布公告晓谕百姓，百姓听说李世民率军前来，纷纷前来归顺，由近及远，络绎不绝。随着归附的老百姓越来越多，唐军逐渐也能征集到粮食了，军粮因此充足。
李世民和李靖商量之后，仍然决定坚守不出，于是休兵喂马，不时派出小股骑兵四处袭扰宋金刚大军的后勤运输队伍，大军则深沟壁垒，养精蓄锐，坚壁不战。
曾经有一次，李世民亲自带轻骑兵去侦察敌情，随从的骑兵四下分散，李世民只和一名穿铠甲的士卒登上山丘，他们见四下里没有人，李世民感到有些瞌睡，于是就躺在草地上睡觉。
不久，宋金刚的士卒就发现了李世民这支小股部队，于是就派骑兵从四下里包围了二人，开始两人毫无知觉，继续鼾声如雷。
恰好此时一条蛇追捕老鼠，碰到了李世民卫士的脸，卫士惊醒后，一看周围的情况，立即喊醒了李世民。
二人飞身上马，才走了百余步，就被宋金刚的骑兵追上，李世民不慌不忙，他本来就是个射箭高手，臂力惊人，使用是特制的三百斤的硬弓，威力很大。
李世民在马上张弓搭箭，特制的大羽箭嗖的一声射出，对方领头的一员骁将应声落马，李世民箭不虚发，对方的骑兵一看对手如此厉害，只好退去。
十二月，为了配合李世民军作战，李渊又命令永安王李孝基攻打夏县的吕崇茂。吕崇茂不敌，只好向宋金刚求援。
宋金刚于是派出自己的猛将尉迟恭、寻相率兵潜往夏县，接应吕崇茂。
面对尉迟恭这样的猛将，唐军哪里是他的对手，尉迟恭与吕崇茂里应外合，夹击唐军，唐军大败，李孝基、独孤怀恩、于筠、唐俭及行军总管刘世让全部被尉迟恭生擒。
消息传来，李渊大惊，为救回被俘的诸将，李渊特意派遣使者到夏州招降了吕崇茂，拜为夏州刺史。同时还让吕崇茂暗中除掉尉迟恭，尉迟恭闻讯后，将吕崇茂杀死。
在此说一说牛人尉迟恭。
尉迟恭，字敬德，朔州善阳人，年少时以打铁为业。隋炀帝大业末年，在高阳（今河北高阳）参加了朝廷的军队，随之讨伐各地的农民起义军，作战以勇猛闻名。
他武艺高强，力大无比，擅长使用马槊，有万夫不当之勇，是一个可以于万马军中取上将首级的人物，因为军功，他被隋炀帝一直提拔到朝散大夫。朝散大夫是从五品下的官位，相当于现在的副厅级干部。
大业十三年（617年）三月，马邑鹰扬府校尉刘武周杀太守王仁恭，起兵反隋，并遣使归附突厥。刘武周听说尉迟恭作战勇猛，便将他网罗到自己麾下，担任偏将，属于刘武周手下最重要的将领之一。
杀死吕崇茂之后，尉迟敬德和寻相就领兵回浍州，秦王李世民得到消息，就召集众人商量。
李靖建议可以趁机偷袭尉迟敬德，他们得胜之后，志得意满，肯定不加防备，此时偷袭，出其不意，肯定能大获全胜。
于是李世民派兵部尚书殷开山、总管秦琼等人帅军在美良川（今山西闻喜县南）截击，大败尉迟敬德，斩杀二千多人。
此战秦琼立功最多，不知道秦琼和尉迟敬德这两个超级杀手当年在战场上交没交过手，战绩如何。如果二人在战场上较量一番，这就是真正的高手对决了，但历史上没有他们两人决斗的记载。
战报传到长安，李渊大喜，立即下旨赐给秦琼金瓶，并让使者传圣旨慰劳秦琼说：“你不顾妻儿远道而来投奔我，如今又立下这样的大功，我的肉都可以割下来给你吃，更何况是赏赐一些仆婢和财帛呢。”于是拜秦琼为秦王府右三统军。后来平定宋金刚后，又赏赐秦琼黄金百斤、杂彩六千段，加封上柱国。
唐代的勋级分十二等，最高等级是“上柱国”，其次是“柱国”，从士兵到将领都可以获得各种勋级，只看你在战斗中的表现和贡献。荣获“上柱国”勋级的人，不论官职多大，都可以享受正二品的待遇。生活待遇相当于现在的副国级领导人。
尉迟敬德和寻相逃走后，不久又秘密率精骑前往蒲坂，准备救援王行本。
李世民得到情报后，就亲自率步骑三千连夜从小路赶到安邑，截击尉迟恭、寻相军。
尉迟恭这次败得更惨，除自己与寻相只身脱逃外，部下全部被唐军生擒。
唐将独孤怀恩也乘机逃走。
独孤怀恩是隋文帝文献皇后、唐世祖元贞皇后侄。从血缘关系上，他是李渊的表弟。
他自小生活在隋宫中，后仕为鄠县令。李渊入长安后，拜为长安令，后来官至工部尚书。
当时独孤怀恩本欲反唐自立，唐俭闻讯后，恐独孤怀恩反唐，便说服了尉迟恭允许他派人给李渊报信。
李渊得到情报后，遂将独孤怀恩诛杀。由此可看出尉迟恭此时已有归唐之心。
李世民又帅军回到柏壁。
接连获胜，唐军士气正旺，大多数将领纷纷请求与宋金刚决战。
李世民和李靖商量之后，李靖认为目前仍然要坚壁清野，决战的时机还没有到来，继续耐心等待。
李世民同意他的意见，于是就对众将说：“宋金刚孤军深入，麾下集中了精兵猛将，刘武周占据太原，依仗宋金刚为屏障。宋金刚的军队没有储备，靠掠夺补充军需，利于速战。我们坚守不出，养精蓄锐，可以挫败他的锐气；再分兵攻汾州、隰州，骚扰他的要害之地，他们一旦粮尽，军心动摇，自然会不战而退。我们应当耐心等待这个时机，目前不宜速战。”
武德三年(620年)正月，唐将秦武通击降王行本。二、三月，唐将王行敏、李仲文分别在潞州、浩州击退刘武周军的进攻。唐将张德政袭斩护运粮饷的刘武周部将黄子英，占领张难堡，切断了汾水东侧的宋金刚军粮道。
四月十四日，与唐军相持约五个月的宋金刚军终因粮秣断绝，被迫以寻相部为后卫，向北撤退。
情报汇总到李世民的指挥部，李世民召集大家商议，李靖建议，机不可失，全军立即投入进攻。
于是，李世民和李靖亲自率领两千骑兵作为先锋，日夜兼程跟踪追击，大部队随后掩杀，追到吕州（今山西霍州）终于追上了寻相，大败其军，并乘胜追击逃敌，一昼夜走了二百多里，打了几十仗。
到高壁岭（今山西灵石县南），总管刘弘基抓住李世民的马缰绳规劝道：“大王打败敌人，追击逃敌到了这里，功劳也足够了，不断深入，就不爱惜自己吗？况且士兵们饥饿疲惫，应当在此停留扎营，等到兵马粮草都齐备了，然后再进击也不晚。”
李世民说：“宋金刚无计可施才逃跑，此时他军心涣散。功劳难立，失败却很容易；机会难得，失去却很容易。一定要趁此机会一鼓作气消灭他。如果我们滞留不前，让他有时间考虑对策加强防备，就不可能轻易打败他了。我尽心竭力效忠国家，怎么能只顾惜自己的身体呢？”
于是打马追击，将士们也不敢再提饥饿。个个奋勇争先。
唐军在雀鼠谷（今山西介休西南）又追上了宋金刚大军，双方一天交锋八次，唐军最后都取得了胜利。宋金刚大军兵败如山倒，已经丧失了抵抗能力，又被唐军杀死、俘虏了几万人。
当夜，唐军在雀鼠谷西原宿营，李世民已经两天没有吃东西，三天没有脱下盔甲了。
李靖也是一样，此时此刻，他累得从马上刚一下来，立即就躺倒了。身体虽然极度疲惫，已经达到生理上的极限，但心内里李靖却感到前所未有的痛快，这一仗才真正是痛快淋漓，几十年了，他李靖等待的就是这样的战场。老天终于给了他这样的机会。他可以在李世民面前，把自己的才华和对战场深刻的洞察力，贡献出来，为全军取得最后的胜利，做出自己独特的贡献。
躺在草地上，仰望着漫天的繁星，李靖感到前所未有的成就感，他想起舅舅的预言“可与论孙、吴之术者，惟斯人矣”。
李靖在心里默默地祈祷说：“舅舅，感谢你当年那么高看我，给了我莫大的精神鼓励，使我过去的几十年，虽然郁郁不得志，但是我从来没有否定过自己，我不信自己没有表演的舞台，我只是默默地准备着，从来没有放弃过读书、思考，一刻也没有荒废自己宝贵的时光，现在老天开眼，我李靖终于有了用武之地，大丈夫能够驰骋疆场，为国家效力，即使马革裹尸，也是死得其所，此生无憾矣。”
当天晚上，全军只有一只羊，李世民与将士们分吃了这一只羊。
四月二十三日，唐陕州总管于筠从宋金刚手下脱身逃回唐军中。告诉李世民，宋金刚大军已经胆寒，军心即将崩溃。
李世民和李靖商量后，李靖建议，兵贵神速，立即进攻介休。大军追击到介休城下，宋金刚此时还有二万人，他看到唐军到来，只好放手一搏，于是帅军出西门，背对城墙排列战阵，南北长达七里。
李世民派李勣、程咬金、秦叔宝当其北，翟长孙、秦武通当其南，李勣出战不利，稍稍退却，宋金刚乘机反扑，李世民和李靖带领三千精骑从宋金刚背后袭击，宋金刚大败，唐军斩杀对付三千人。
宋金刚见大势已去，只好打马逃走，李世民帅军追出几十里，来到张难堡（山西平遥西南）。
唐浩州行军总管樊伯通、张德政占据堡垒自卫，李世民摘下头盔示意堡内，堡中守军见后欢呼雀跃，高兴得流下眼泪。
随从立即告诉守军秦王还没有吃饭，守军于是献上浊酒、粗米饭，给秦王食用。
尉迟敬德收拾剩下的残兵败将正在坚守介休，李世民判断他有投降的意思，于是就派任城王李道宗、宇文士及前去劝降，尉迟敬德于是和寻相以介休、永安二县降唐。
李世民对尉迟敬德这员猛将仰慕已久，现在看尉迟敬德果然来降，高兴不已，亲自带领众将到辕门外迎接，立即任命尉迟敬德为右一府统军，并让他仍然统领自己的八千旧部，和各营相杂在一起。
屈突通担心尉迟敬德会反复，屡次向李世民提醒，但李世民不听，对尉迟敬德信任有加。
刘武周听说宋金刚大败，惊慌失措，于是立即决定放弃并州，率五百骑向北逃窜，自乾烛谷逃亡突厥。
而宋金刚却还想收拢溃散的军马来抵抗，最终因无人响应，只得带百余骑也逃往突厥。
李世民随后进军并州，尽收故地。
过了一段时间，宋金刚背弃突厥想要逃回上谷，被追赶的骑兵擒获后腰斩。
公元620年(唐武德三年)，刘武周图谋逃回马邑，事情泄露后也被突厥杀死。
当初，刘武周决定南下犯唐的时候，他的内史令苑君璋劝谏说：“唐主以一个州的兵力，直取长安，所向无敌，这是上天有助，不是人力。晋阳以南，道路狭窄险要，孤军深入，后无援军，假如进军攻战不利，怎么回军？不如北面联合突厥，南面与唐结交，在此一方称王称霸，才是良策。”
刘武周不听，留苑君璋守卫朔州。
等到大军失败后，他流着泪对苑君璋说：“我后悔没有采纳您的意见，以至于到了现在这种地步。”随即共同逃往突厥。
突厥杀死刘武周后，就任命苑君璋为大行台，统领刘武周的余部，仍然令郁射设督兵协助镇守。