司马炎称帝后，总结了前代的亡国教训，他认为曹魏亡国的一个重要原因是政府受到束缚，防范宗室，导致皇帝孤立无援。所以司马炎实行五等封爵之制，将大批同宗的叔侄弟兄封王。即位之始就一次封王27人，以后又陆续增封，总计达57个王，并允许诸王自选王国内的官吏。他还委任几位宗王统领重兵，出镇许昌、邺城、长安等处的战略要地，用以拱卫首都洛阳。这为后来的“八王之乱”埋下了隐患。
司马炎凭借朝臣、士族的支持，才得以建立西晋政权，因此他对有功的大臣和世家大族就显得特别照顾。司马炎统治的另一比较突出的特点是，他为防止功臣之间为官职高下而引起纷争，因人设官，杂糅上古及汉代“三公”的名目，在中央政府设置品级极高的太宰、太傅、太保、太尉、司徒、司空、大司马、大将军官职，号称“八公”。对臣下，他也大加分封，前后受封的异姓公侯竟多至五百余人。开始，各等封爵的食邑标准是被封地区民户全部赋税的十分之一，后来又增至三分之一。
西晋立国之初，司马炎确实颁布过一些旨在移风易俗、革除前朝弊政的措施。他撤销了对曹魏宗室和汉朝宗室的督军，宣布解除对他们的禁锢，并废除曹魏政权对出镇、出征将士留取人质的法令。此外，司马炎提倡节俭，他把原御府的珠玉玩好之物分赐臣下，自己不留。又下令削减各郡国对皇室的贡调，禁止乐府排演开支较大的靡丽百戏，停止有司制作各种游戏畋猎的器具。同时，司马炎恢复了被曹魏废止的谏官制度，委任傅玄、皇甫陶这样清正敢言、德才兼备的官吏为谏官，广开言路。在用人方面，司马炎不计旧怨，某些原属曹魏集团的官吏，如太常丞许奇等，都被起用。后来，他还选用了一批原蜀汉大臣，如学者谯周、文立，以及诸葛亮的孙子诸葛京。
司马炎批准颁行的《泰始律》，是我国古代一部重要法典。公元268年正月，司马炎批准颁行新律，这就是《泰始律》。《泰始律》从公元264年开始编修，前后共费时两年半，修律的名义主持人为贾充，学者羊祜、杜预等14人都参与了制定工作。全部律文共有“二十篇，六百二十条，二万七千六百五十七言”，加上四十篇全文，“凡律令二千九百二十六条，十二万六千三百言，六十卷，故事三十卷”。《泰始律》对汉魏旧律进行了较大幅度的改造整理，使其更加简约完备，成为巩固西晋地主阶级统治的有力工具。《泰始律》的体例比较严谨，远比汉魏旧律完善准确，虽律文的篇目比旧律大为增加，但其条目却比旧律省减了两千有余，切实克服了旧律错杂重出的弊病，有简便易行的优点。《泰始律》对后世有很大影响，南北朝乃至隋唐的法律无不打上了它的烙印。
由于司马氏的政权是依靠世家门阀建立的，在政治上、经济上优容功臣勋贵，但他绝不允许功臣勋贵们控制重兵，构成对自己政权的威胁。
这一点，从司马炎解除了镇戍淮南的大司马石苞的兵权上就可以看出来。
石苞是西晋王朝的开国元勋，曾参与平定诸葛诞的兵变和劝说魏帝禅让。
平定诸葛诞兵变后，石苞代镇淮南十一年之久。淮南驻军兵马强盛，靠近东吴前线，石苞又久著威名，这些都使司马炎感到十分不安。这时，石苞与淮北监军王琛不合。王琛密表洛阳，说石苞私通东吴。不久，荆州刺史胡烈也上表说，东吴准备有大规模的军事行动，石苞听说东吴有大规模的军事行动，就开始筑垒遏水进行设防。结果，这一连串的消息却增强了司马炎对石苞的疑虑。于是司马炎以“不料贼势，劳扰百姓”的罪名将石苞免职，派宗室司马望率领大军开赴淮南，以防不测。石苞知道消息后，主动放弃兵权，到寿春的都亭等候处理。司马炎见石苞这样做，也就放下心来，没有再追究石苞的问题。
司马炎解除石苞的兵权后，开始加强对南线的军事部署，着手灭吴的准备工作。泰始五年（270年），他派羊祜为都督，行荆州诸军事的职务，坐镇襄阳；把镇东将军卫瓘从徐州调往青州，改派宗室司马伷都督徐州诸军事、镇守下邳。
泰始六年六月，河西鲜卑起兵反晋，秦州刺史胡烈镇压失败，被杀。胡烈被杀后，河西鲜卑首领秃发树机能又吓退坐镇长安的司马亮派来援救秦州的大军。战报传来，使司马炎无比震恐。他免去司马亮的职务，改派另一宗王司马骏接替镇守关中，同时任命尚书石鉴都督秦州诸军事，负责平定河西鲜卑叛乱。
石鉴与新任秦州刺史杜预有芥蒂，他到达秦州，强令杜预出兵。杜预拒绝，而向石鉴提出比较稳妥的攻战方案，石鉴不予采纳，将杜预囚禁，并亲自带兵与秃发树机能交战，结果大败而归。
此后秃发树机能的兵马越战越强，引得周围地区的少数民族受到鼓舞，纷纷起兵响应。秃发树机能起兵九年，相继斩杀秦、凉二州四位刺史。咸宁五年（279年），秃发树机能攻陷凉州的治所武威城。司马炎得知后，坐卧不宁，叹气说：“你们有谁能为我讨平西方啊？”不想，宫内宿卫官司马督马隆毛遂自荐，于是司马炎当即同意，拜其为武威太守、讨虏护军。马隆要求自己募兵，自己挑选武器，司马炎也满足了他的要求。
同年十一月，马隆带领3500名募兵渡过温水，与秃发树机能的几万大军展开激战。马隆连战连胜，不但收复武威，还迫降一部分附属于秃发的河西鲜卑。十二月，秃发树机能被马隆击溃后为下属所杀，西北的战乱得到平定。
咸宁二年（276年），羊祜上表给司马炎，请求伐吴。这一建议遭到贾充、荀勖等人的坚决反对。当时，贾充、荀勖等人以秦、凉地区的动乱尚未平定为理由，极力阻挠南进。司马炎也无法下定灭吴的决心，这除了有西部动乱的原因外，还因他分封诸王以屏卫皇室的计划还没有完全实现。咸宁三年七月，司马炎接受卫将军杨珧等人的建议，命诸王就国。由于诸王贪恋京师的奢华生活，都把就国看成一件痛苦的事情，“皆涕泣而去”。这就让司马炎预想的目的在其死后未能实现。懦弱无能的宗王们在以后的政治事变中几乎没有发挥太大的作用，相反，却酿成了空前的历史悲剧。
咸宁四年六月，羊祜病重，要求入朝面陈灭吴大计。司马炎听取了羊祜的意见。不久，羊祜在病榻上要前来探病的中书令张华转告司马炎说：“吴主孙皓暴虐异常，现在出兵可以一举成功。如果孙皓死掉，吴国另立有为新主，我们再有雄师百万，也难渡长江天险。”司马炎听到后，受到震动，要求羊祜卧领诸将，带病出征。羊祜自知已经病入膏肓，说：“灭吴战争不一定非我指挥不可，我可以推荐一个能够胜任的人选。”可惜，就在这一年的十一月，羊祜病故。他在临终前，举杜预代替自己。
杜预以镇南大将军、都督荆州诸军事的职务到达襄阳后，以离间计诱使孙皓撤换了对晋军有威胁力的西陵总督张政，由于孙吴临战易帅，致使战争开始后西线吴军迅速崩溃。咸宁五年八月，杜预向司马炎上表请求伐吴。司马炎回答将在明年准备出兵，杜预则反对，他认为东吴西部的兵力已调空，这是大举进攻的最好时机，如果给孙皓以喘息时机，很可能要功亏一篑。益州刺史王浚也上书请战，请求皇帝切勿坐失良机。司马炎终于被说服了。
咸宁五年十一月，司马炎令张华为度支尚书，主持灭吴大局，掌管漕运粮饷，下令以六路大军，二十余万众，大举攻吴。滑稽的是，平吴主帅，司马炎选定的竟是反对此次用兵的贾充。这是因为贾充是司马炎最亲信的大臣。贾充不愿意，上表推辞，司马炎威胁说：“你不受命，我就只好亲行了。”就这样，贾充很憋屈地成了平吴的一号人物。
公元280年，南下灭吴的晋军所向披靡。三月，王浚以水军八万攻入石头城，吴主孙皓向晋军投降，吴、晋两国对峙的局面结束，全国重归一统。在这之前，还上演了一幕闹剧。晋军将士南下，在前方浴血奋战，主帅贾充却远离前线，上表称东吴不易平定，要求班师回朝，更咬牙切齿地要求将张华腰斩。可就在这时，平吴捷报进京，贾充可说是丑态毕露。然而，司马炎丝毫没有责怪贾充，反而极力宽抚，这也是当时门阀势力强盛的一种表现。而且这位灭吴的阻力贾充，却在战后因主帅的身份平白得到增封食邑八千户的赏赐。
平吴后，司马炎通过限定最高占田数目，以阻止私人大量兼并土地，又规定课田的最低限额，让占田农民根据固定的课田数交纳固定的课田租税，使国家的租税收入得以保证。司马炎在全国范围内颁行占田和课田、户调的制度。法令规定：“男子一人占田七十亩，女子三十亩。其外丁男课田五十亩，丁女二十亩，次丁男半之。”还规定，课田五十亩，收田租四斛。“丁男之户，岁输绢三匹，棉三斤，女及次丁男为户者半输”。边远郡县只交户调三分之二或三分之一，少数民族不课田，每户交三斛，再远的交五斗，名曰义米。极远的交钱28文叫作算钱。户调为賨布一匹，远地可减至一丈。上述规定只是个平均数，实际征收时还要按照贫富分为九等，根据户等收税，即所谓九品相通。
司马炎本身是耽于安乐、贪恋奢华的人。称帝之初，他还矫情伪饰，提倡节俭，以巩固统治，可不久就按捺不住，露出本性了。泰始九年，他下诏采择公卿以下官员的子女以备后宫，并禁断人间婚嫁。平吴后，更把东吴后宫五千粉黛尽收洛阳。这样，西晋后宫的嫔妃多达万人，弄得司马炎都不知应宿在何宫为好。他也能想办法，干脆乘坐羊车，由羊任意而行，停在哪里，就宿在哪里。宫嫔为博得帝王的宠幸，就在自己的宫门前放上羊喜爱吃的竹叶和盐，诱使羊车停在自己那里。这一招最初还有点效果，可不久宫嫔们互相模仿，把羊也弄得不知该去哪里好了。上梁不正，臣下们就更是敢胡作非为，使西晋王朝的统治阶层以奢侈荒**著称于史。
不过，由于全国统一，社会安定，太康初年曾出现过一个短暂的经济繁荣时期，社会经济有所发展。太康三年统计的全国户籍总数为377万户，比平吴初增加百余万户。