晉朝的時候，胡人已雜居中原內地了，而且有許多胡人在中國受了官職，建立過不少的功業。大約在漢族強盛的時候，胡人是很歸順的，一到漢族不振作時，胡人便崛強起來。晉朝自八王之亂，國內紛擾，成了胡人興起的好機會。這時胡人最大的有五種：一叫匈奴，一叫羯（jié），一叫羌（qiāng），一叫氐（dī），一叫鮮卑。這五胡把一個晉朝擾亂得破裂不堪，就是史家所稱的“五胡亂晉”。
五胡亂晉的第一聲，就是匈奴人劉淵的稱帝。劉淵本是匈奴冒頓的後裔，因為漢高祖和匈奴和親，把宗女給冒頓做妻子，後來冒頓的子孫，就跟著母姓也姓劉氏。劉淵在晉朝時，已居住到山西的汾河邊地了，做過晉朝將軍的官職，受過封侯的爵位。八王之亂時，成都王穎劫了惠帝，被各方義兵打得大敗，成都王穎便命了劉淵去召集各方的義兵。劉淵不到兩三天的光景，就集合了五萬多兵，他便對人說道：“做帝王的，豈是天定的嗎？我不當做一個漢高祖，也應當做一個魏武帝（曹操）。並且漢朝的恩德很厚，我是漢朝的外甥，從前約了結為兄弟的，我應當繼續兄的帝業來做皇帝。”就據了河東，攻破平陽、蒲阪，建都於平陽，自稱皇帝，國號叫漢。到他的兒子劉聰接著為帝時，發兵攻破晉朝的國都洛陽，把晉懷帝活捉回去了。回軍之後，大宴群臣，逼著晉懷帝穿了奴仆的青衣，執壺行酒，把中國的皇帝，當作奴仆看待。後來又攻破了長安，把晉湣帝又活捉回去了。晉朝的天下，到此要算滅亡了，等到司馬睿在建業稱帝，保持晉朝的名號，不過隻保守了江南一角，中原的勢力，統歸胡人了。後來劉淵的族子劉曜接著為帝，改國號叫趙，不久，劉曜被羯人石勒所滅。
石勒本是羯種人，起初做一個部落的小帥，很不為人所齒，後來被晉朝的官吏捉了，帶至山東地方，賣給人家為奴。石勒在做奴隸的時候，因善相馬，便交結了一位牧馬的牧帥。成都王穎召集義兵時，石勒和那牧帥帶了幾百匹馬，投到成都王的部下，就做了一個都尉的官職。後來又投到劉淵的部下，劉淵封他做將軍，便帶兵去攻打晉朝，很是驍勇，打了許多勝仗，權勢就大起來了。等到劉曜接著為帝時，他便奪取平陽，把劉曜趕走，自己稱為皇帝，國號叫趙。