在東晉的曆史上有一支影響東晉興衰的重要軍事力量，這就是北府兵。北府兵為郗鑒南渡後所創，本是駐守在徐、兗，護衛建康的重要軍事力量。當時王敦、蘇峻相繼叛亂，由於建康沒有強大的軍事力量護衛，上遊叛亂者動輒下都，直接威脅到了東晉朝廷的存在。在這種曆史背景下，郗鑒組織廣陵、京口及其左近定居的北方流民，建北府重鎮。此後北府兵伴隨著東晉內外政治的變化，也經曆了不同的發展階段，其間曾被撤銷，而後又重建。
從鹹和三年（329年）到太和四年（369年）這40年的時間裏，北府一直被郗鑒及其後人控製。這一時期的北府兵是一支門閥世族部隊，雖偶爾也被用於對外戰爭，但主要的作用是維持幾家當權世族力量的平衡，支持建康朝廷的門閥政治，消除已形成的和潛在的軍事叛亂，從而穩定東晉政局。但北府兵的這一作用於桓溫反叛時，逼走郗愔後而告結束。
桓溫叛亂平息後，謝氏輔政，又重建北府。北府兵的發展進入了新的階段。謝氏重建北府兵後，在淝水之戰前，北府兵參與淮南、淮北的戰爭，由謝玄指揮。淝水之戰中，謝石受其兄謝安之遣，以將軍、假節、征討大都督，統率兄子謝玄、謝琰以及豫州刺史桓伊等軍應戰，從而大破前秦。淝水之戰後，謝安開始組織北伐，謝玄為前鋒都督。淝水之戰後不及兩年，謝安為躲避皇帝和宗室的壓力，離京師外駐廣陵，親自指揮北伐。
在這一階段，約十年的時間裏，北府兵馳騁疆場，縱橫南北，其中最重要的將領是出身謝氏豫州軍府的劉牢之，而指揮權則在謝氏家族手中。此時北府兵的作用主要是從事外戰。但同時，北府兵也起著支持建康政權，維持政局穩定的作用。
謝安離京後三年，謝玄又退居會稽，以疾病為借口卸北府之任，讓出北府兵權。就這樣，謝氏麵對晉室與宗王的壓力，在毫不反抗的情況下放棄了相權和兵權。謝氏這種做法的本意是為了在保全自己家族利益的同時，平衡各門閥世族與晉室以及宗王之間的關係，避免發生內亂。但謝氏離開中樞的結果是相權完全歸於宗室司馬道子之手，而北府兵逐漸解體。