元代政治製度中對後世影響最為深遠的就是行省製度的建立。
忽必烈即位後，采用漢製，在開平建立了中書省，作為全國的最高行政機構。後來隨著元代統治中心遷往燕京（現北京），忽必烈在燕京又設立了行中書省，以行使中書省的職責。約在中統三年，中、行兩省合並，此後就不再有“燕京行中書省”。
正如中書省是全國的最高行政機構，行中書省則是個地方的最高行政機構。在習慣上行中書省被稱為行省。在設立尚書省主持政務期間，又改稱為“行尚書省”，簡稱“省”。
大體上行省的設立過程是這樣的。1260年5月，也就是在忽必烈設立中書省一個月後，即設置了十路宣撫司，“以總天下之政”。這十路分別是：燕京路、益都濟南等路、河南路、北京等路、平陽太原路、真定路、東平路、大名彰德等路、西京路、陝西四川等路。每司分領一路或數路，派藩府舊臣出任宣撫使、副，作為朝廷的特命使臣，監督和處理地方政務。但宣撫司無處置軍務的權力，使、副又多數沒有宰臣職銜，如果發生叛亂或社會治安等方麵的特殊情況就不足以應付了。於是忽必烈把一些地區改置行中書省。1261年11月，忽必烈撤銷了十路宣撫司。在第二年的12月，重新設立十路宣撫司，但將它作為中書省的派出機構。
忽必烈在外路設立的第一個行中書省是陝西四川行省（京兆行省）。
陝西四川行省設立在阿裏不哥叛亂時期。1260年，京兆宣撫使廉希憲到任時，為防止阿裏不哥已派來的親信大臣劉太平聯絡六盤山及四川蒙古軍帥，占據京兆地區。廉希憲果斷地捕殺了劉太平等人，征調秦、鞏等處諸軍進入六盤，發倉庫金銀充軍賞，同時遣使入奏，自劾越權的罪過。忽必烈沒有責怪他，因為這是他建立的製度存在缺陷而造成的。所以在這件事後，他讚賞廉希憲善於行權應變。這一年的8月，忽必烈將京兆宣撫司改置為行省，即陝西四川行省，以廉希憲為中書右丞，行行省事。這以後，忽必烈又在其他地區先後設立了行省。由於種種原因，幾經置廢分合，最後穩定為十個行中書省，分統除中書省直轄諸路以外的各大地區，形成了“都省握天下之機，十省分天下之治”的行政區劃格局。吐蕃地區直屬中央機構宣政院統轄，所以不置行省機構，但也被視為一個行省。這樣，元朝全境共劃分為12個一級政區，即中書省直轄、十行省及吐蕃。在1286年以前，行省仍屬於中書省的臨時派出機構。直到1290年，忽必烈在晚年再次調整了行省建製，他將山東、山西、河北等地直接劃歸中書省管轄，稱為“腹裏”。腹裏以外的地區則分置嶺北、遼陽、河南、陝西、四川、甘肅、大理、江浙、江西、湖廣10個行省。自該年始，行省各長官不再是中書省銜，這樣行省就成為最高地方行政機構。不過，吐蕃和畏兀兒地區另立管轄機構，不在這一範圍之內。