蜀漢滅亡以後，新建的西晉王朝肩負著一統天下的曆史使命。在隨後滅東吳的戰役中，一代名將羊祜是必須要提及的人。羊祜，字叔子，今山東費縣西南人，出身於漢魏名門士族之家，是西晉時期著名的軍事家。
從羊祜起上溯九世，羊氏各代皆有人出仕兩千石以上的官職。羊祜的祖父羊續，為漢末南陽太守，父親羊衜為曹魏時期的上黨太守，母親是漢代名儒、左中郎將蔡邕的女兒。另外羊祜的姐姐嫁給了司馬懿之子司馬師為妻，而羊祜本人的妻子則是曹魏皇室成員夏侯霸的女兒。因此，羊祜在魏晉兩朝都有著特殊的身份和地位。正因為羊祜的特殊處境，青年時期的羊祜雖然因博學多才、善於寫文、長於論辯而盛名於世，卻多次回絕州郡政府的征辟，有意回避了曹氏集團與司馬氏集團之間為爭奪最高權力而進行的鬥爭。
但由於門第關係，盡管羊祜基本上遊離於兩大集團爭鬥之外，可從思想感情上說，他對司馬氏集團顯得更為親近一些。正始十年，司馬懿發動高平陵之變，奪得曹魏的軍政大權。政變後，司馬懿大舉剪除曹氏勢力，與曹爽有關的很多人都遭到株連。當時，盡管羊祜的嶽父夏侯霸為逃避殺戮投降了蜀國，而羊祜卻並未因嶽父而受到牽連，這大概和他較為親近司馬氏的政治態度有一定關係。
羊祜第一次接受征辟是在司馬昭執政時期。其後不久羊祜就加入司馬氏集團，並逐漸上升為該集團中的重要人物。曹髦統治時期，他先後出任中書侍郎、給事中、黃門郎等職。到魏元帝時期，羊祜調任為秘書監。
到司馬炎建五等爵製的時候，羊祜以功被封為巨平子爵，食邑六百戶，不久，又被拜為相國從事中郎，與司馬炎的另一心腹荀勖共掌機密。司馬炎代魏前夕，羊祜被調為中領軍，統領禦林軍，掌管京城內外戍衛。司馬炎受禪後，以羊祜佐命之功，進其為中軍將軍，加散騎常侍，晉爵為郡公，食邑三千戶。羊祜擔心引起賈充等權臣的妒忌，於是固讓封公，隻授侯爵。泰始初年，司馬炎曾改任羊祜為尚書右仆射、衛將軍等職。