在东晋的历史上有一支影响东晋兴衰的重要军事力量，这就是北府兵。北府兵为郗鉴南渡后所创，本是驻守在徐、兖，护卫建康的重要军事力量。当时王敦、苏峻相继叛乱，由于建康没有强大的军事力量护卫，上游叛乱者动辄下都，直接威胁到了东晋朝廷的存在。在这种历史背景下，郗鉴组织广陵、京口及其左近定居的北方流民，建北府重镇。此后北府兵伴随着东晋内外政治的变化，也经历了不同的发展阶段，其间曾被撤销，而后又重建。
从咸和三年（329年）到太和四年（369年）这40年的时间里，北府一直被郗鉴及其后人控制。这一时期的北府兵是一支门阀世族部队，虽偶尔也被用于对外战争，但主要的作用是维持几家当权世族力量的平衡，支持建康朝廷的门阀政治，消除已形成的和潜在的军事叛乱，从而稳定东晋政局。但北府兵的这一作用于桓温反叛时，逼走郗愔后而告结束。
桓温叛乱平息后，谢氏辅政，又重建北府。北府兵的发展进入了新的阶段。谢氏重建北府兵后，在淝水之战前，北府兵参与淮南、淮北的战争，由谢玄指挥。淝水之战中，谢石受其兄谢安之遣，以将军、假节、征讨大都督，统率兄子谢玄、谢琰以及豫州刺史桓伊等军应战，从而大破前秦。淝水之战后，谢安开始组织北伐，谢玄为前锋都督。淝水之战后不及两年，谢安为躲避皇帝和宗室的压力，离京师外驻广陵，亲自指挥北伐。
在这一阶段，约十年的时间里，北府兵驰骋疆场，纵横南北，其中最重要的将领是出身谢氏豫州军府的刘牢之，而指挥权则在谢氏家族手中。此时北府兵的作用主要是从事外战。但同时，北府兵也起着支持建康政权，维持政局稳定的作用。
谢安离京后三年，谢玄又退居会稽，以疾病为借口卸北府之任，让出北府兵权。就这样，谢氏面对晋室与宗王的压力，在毫不反抗的情况下放弃了相权和兵权。谢氏这种做法的本意是为了在保全自己家族利益的同时，平衡各门阀世族与晋室以及宗王之间的关系，避免发生内乱。但谢氏离开中枢的结果是相权完全归于宗室司马道子之手，而北府兵逐渐解体。
自谢玄卸北府之任后，北府将帅分散于淮北、淮南各州郡及其他军府，不再自成系统，更不能合力应战。
太元十二年（387年）正月，谢玄自彭城南返会稽，让出了兵权。此后，皇室与宗室都想掌握北府。但在谢玄北伐的过程中，北府兵将也随之北上，而谢玄南返后，北府兵将却多滞留在北方。这样无论是皇室还是宗室，想要真正掌握远镇在外的北府兵都很难，只是空有形式，并无实质而已。朝廷先是派宿将朱序监兖青二州军事、二州刺史，接替谢玄。而朱序虽为桓温旧部，将门出身，资望甚深，但与北府却没有多少历史关系，难以节度指挥留驻淮南、淮北的谢氏旧部。
结果只在任四五个月，朱序就于太元十三年四月转赴雍州，戍洛阳。
兖、青二州，朝廷则改派谯王司马恬继任。司马恬是宗室勋望，才能兼备，为孝武帝亲信。孝武帝用司马恬，除防备荆州外，也有削减司马道子力量的用意。
谯王司马恬也起不了实际控制远在北方的北府诸将的作用，所以改镇京口，打算在京口重新配置力量，以护卫建康。司马道子知谯王恬据守京口，为维护他自己的势力，他于第二年七月用自己的亲信、太原王忱出刺荆州镇江陵，取得了上游。可不久，谯王司马恬病死，孝武帝又乘机以皇后兄、太原王恭接替了司马恬的位置。王恭与孝武帝关系之密切，远胜于谯王恬。这样，孝武帝就牢牢地控制住了京口。
孝武帝被张贵妃突然杀害，这使形势为之大变。司马道子独揽朝政，而被孝武帝派往京口的王恭一下子失去了稳固的政治实力。为了保存自己，对抗司马道子，王恭只好以其独有的身份倚重北府。为了筹划讨伐王国宝，王恭以北府宿将刘牢之为府司马，引他还驻京口以为援助。与刘牢之同还京口的北府将，还有晋陵人孙无终等，而刘裕当时正是孙无终军中的司马。于是长期被置于边裔的北府将纷纷率部南返，分投京口与建康，参与到了东晋末年的江左内争之中。
京口由于有了还驻的北府兵，又恢复了对建康举足轻重的地位。不过，刘牢之虽引所部北府兵归于王恭麾下，但王恭并无徐州刺史之名，也未授平北将军一类军号，所以他在名义上并不能直接指挥北府，只有倚靠刘牢之才能自存，才具有震慑作用。此时刘牢之所统率的北府兵也仍然是一支为门阀政治所用的军队而已。但不久，情况又有了变化。司马元显收买了刘牢之，答应由刘牢之取代王恭的地位。刘牢之遂投靠司马元显，导致王恭兵败被杀。事后刘牢之果然取代了王恭的地位，由王恭府司马上升为都督数州诸军事。刘牢之身份的改变，表明在这场角逐中，北府兵摆脱了世族控制而成为一支独立的力量，这是北府兵一次具有历史性的转变。
居位后的刘牢之也并不能自如地运用其北府统帅的权力。《刘牢之传》中说：“牢之本自小将，一朝据恭位，众情不悦，乃树用腹心徐谦之等以自强。”因此，刘牢之想要控制北府还要有一个过程。此时的北府兵虽在军事上取得了独立性，但其政治方向并不明确，行动无准则。刘牢之为维持自己的地位，在门阀政治的斗争中投机，朝秦暮楚，时而投靠司马氏，时而倒向桓玄。最后，刘牢之完全失败，穷途自缢，其所率北府的高级将领，皆被桓玄斩杀。
刘牢之的失败并不是北府的终结。桓玄行篡位之事时，刘裕利用京口的条件，于公元404年重兴北府之师。此时的北府已非刘牢之时之北府。
除刘裕本人确曾为北府孙无终司马、刘牢之参军外，其他与刘裕共义的刘毅、何无忌、魏咏之、檀凭之、孟昶、诸葛长民等人并不是那些当年有疆场功勋的北府将领，他们与昔日的北府没有直接关系。此时的北府兵已完全是一支次等世族的武装。刘裕统率这支武装摧毁了以桓玄篡晋形式出现的门阀世族统治，铲平了由另一些次等世族领导西晋·甘露元年青瓷熊灯的农民反抗斗争，又在取得了多次的外战胜利后，终于代晋自立。至此，北府之师转化为刘宋的皇权，中国历史上的门阀政治也基本上宣告结束。在其后的南朝时期，门阀世族虽仍然存在，并起着一定的政治作用，但已不是起决定性的政治力量了。