西晋灭亡，北人南渡，东晋建立前后，收复故国的声音一直在晋国爱国志士中回**，一次次北伐，都因东晋朝廷内部的种种原因而失败。但在收复故国报仇雪耻的呼声中，却涌现出了一个个鲜活的形象。
最先开始北伐，并取得相当成就的是我国历史上杰出的爱国志士祖逖。祖逖，字士稚，范阳遒县人。其父祖武，任过上谷太守。父祖去世时，祖逖还小，他的生活皆由几个兄长照料。祖逖生性活泼、开朗，好动不喜静，都十四五岁了，也读不进书去。但祖逖为人讲义气，好打抱不平，有时还常常以兄长的名义，把家里的谷米、布匹捐给当时受灾的贫苦百姓，尽管他的兄长们并不是很愿意。
在十八九岁的时候，祖逖突然一反常态，开始发愤读书，只四五年，就能将所读融会贯通，博览古今。从此，人们也开始对他刮目相看。祖逖24岁时，任司州主簿。这时他结识了汉朝宗室中山靖王刘胜的后代刘琨。
两人的官职都不大，年龄又相仿，因为意气相投，就成了好朋友。他们经常一起谈论时事，希望将来能够建功立业，报效国家。他们时常谈至半夜，最后索性同床抵足而卧。后来两人相约，每到鸡叫时，天还没亮，就一同起床在院子里练习武艺，以为将来做准备，这也就是后来“闻鸡起舞”的典故。
不久，八王之乱爆发。公元311年，汉国大将王弥、刘曜攻陷洛阳，晋怀帝被俘，晋太子铨及官吏、百姓三万多人被杀，并纵兵抢掠，焚烧宫室、庙宇，挖掘陵墓，洛阳之地成为废墟。而此时的祖逖正带领亲族、邻里总共几百家人向南方逃避。一路上，祖逖将自家的粮食、衣服、药物都拿出作为公用，并让老人和病人坐到自家的马上，自己则步行前进。路途中遇到散兵游勇或土匪的骚扰，他就带人去将他们打退。时间一久，他就自然地成了这支逃难队伍的“总指挥”。最后一行人几经辗转，才到达了淮泗。
司马睿在建康称帝后，闻知祖逖已流亡到泗口，便任命他为徐州刺史，不久，又任命他为军谘祭酒，调驻京口。晋元帝司马睿的政权之所以能够建立，全得力于王导家族的支持。琅邪王家的势力在江南，所以并不支持司马睿北伐，司马睿也没有能力控制整个朝廷，为了稳固自己的地位，面对北方中原地区大部已被汉国占领的情况，他只能采取偏安一隅的策略。这可以说是东晋朝廷内部的悲哀。而就在此时，一心想收复失地，已是知命之年的祖逖向晋元帝进谏，要求收复中原。他说：“中原大乱，两京颠覆，都是因为藩王争权夺利，自相残杀，遂使戎狄有机可乘。现在中原百姓遭受异族掳掠，心怀激愤。大王如果能委派战将北上，一定能得到中原百姓的响应，那时不仅失土可复，国耻可雪，大晋朝也能转危为安。请大王考虑。”
当年司马睿登上帝位时，曾有一个收复故土、报仇雪耻的附加条件。
所以司马睿表面上接受了祖逖的建议，任命他为奋威将军，豫州刺史，并象征性地支给他1000人的粮食和3000匹布，但却不发给他铠甲，并要他自己去招募兵士。但对祖逖来说，有了司马睿的任命就足够了，这样他就师出有名了。他只带了跟随他逃难而来的一百来个人，租了几只大船，就渡长江北上。船行至中流，祖逖站在船头，眼望滔滔江水，不禁感慨万千。
一晃五十年风雨过去，中原地区先是藩王混战，后是游牧民族起义，一片大好河山变得残破不堪。现在虽然司马睿同意了他的北伐，但豫州刺史是一纸空文，3000兵士也是空头承诺，他所真正拥有的就是眼前这三四十个青壮、一百来老少而已。一腔热血，志不可灭啊。想到这里，祖逖拔出佩剑，敲着船桨，发誓说道：“我祖逖如不能廓清中原，今生绝不返渡！”
言辞壮烈，同行者都深受感动。
渡江后，祖逖先带人驻留在淮阴。他在这里铸造兵器铠甲，招募兵士。很快就招募到2000人。祖逖不仅善于谋略、行兵打仗，还严于律己。
他赏罚分明，任何人只要有功，立即奖赏，绝不等到明天。在驻防地区，他不仅督促、帮助百姓恢复农业生产，还督促自己的子弟参加生产劳动，而且自己打柴烧。面对久经战乱、在中原大地上无主的尸骨，祖逖还派人收葬，进行祭奠。祖逖的这些行为让他深深赢得了中原百姓的爱戴。有一位年过花甲的老人流着眼泪对祖逖说：“我本来以为再也见不到国家安宁了，现在看到祖将军，知道有希望了。”这也就是祖逖为什么只凭借2000人的队伍，就能北进成功的原因。
祖逖首先占领了谯城。此时，原本依附汉刘曜的石勒已经在公元319年自立为赵王，在襄国建国。祖逖连续攻破了石勒军支持的堡、坞等割据势力，并击败了石勒的援军，派部将韩潜进驻封丘，自己则进驻雍丘。这样，黄河以南的广大地区得到了收复。而就在祖逖积谷练兵，准备进军河北的时候，东晋朝廷内部又出现了变化。晋元帝司马睿与王敦的矛盾开始激化。司马睿为保住自己的地位，开始设法阻挠北伐。他任命力主偏安的戴若思为豫州都督。这样，祖逖的下一步战略计划就受到了牵制。祖逖也听说了大将军王敦与镇北将军刘隗矛盾的加深。他深知，此时如果内乱，北伐的全部成果都将成为泡影。为此祖逖忧心如焚，终于积劳成疾。公元321年9月，祖逖病逝，享年56岁。第二年，晋元帝司马睿驾崩，同年，大将军王敦发动了叛乱。