素以“半部論語治天下”著稱的趙普可以稱得上是宋朝的第一文臣。
在趙匡胤還沒有發跡的時候，趙普就已經在趙匡胤的父親身邊當差了，那時，趙匡胤還和他兄弟相稱。後來，趙普成為趙匡胤的幕僚，在陳橋兵變中出了大力。在宋建國之初，趙普更是皇帝的左右手，以至於太祖的母親杜太後都對他說：“我的兒子現在還不會做皇帝，一切還需趙書記勞心。”
趙普的祖籍是幽州薊縣（今北京），他的父親趙迥在後唐末期舉家遷到常山（今河北正定），後晉時，趙普一家又遷居洛陽並長期在此定居。由於原籍已屬於遼國控製，趙普便經常自稱“常山人”。
由於趙普小時候家境還不錯，所以就讀了些書，但都不求甚解，並沒有積累多少學識，眼看著武功練不成，科舉之途也沒有希望，他就學著父親投奔軍中做了謀士。
趙匡胤早就知道趙普這個人斷事明敏，非常有才能，就把他籠絡到自己的父親趙弘殷帳下聽差。趙弘殷赴淮南作戰，沒想到在滁州生了一場大病。趙普在旁朝夕侍奉，甚得趙弘殷歡心。因為兩家同姓為趙，趙普順勢與趙匡胤父子攀附為同宗。同一年，趙匡胤升任殿前都指揮使，選趙普做了節度推官，趙普正式進入趙匡胤的幕府。周世宗死前任命趙匡胤為殿前都點檢，並領歸德州節度使，趙普也由此升為節度掌書記。
陳橋兵變後，趙匡胤自己的幕僚們在後周的官職都太低，為了穩定局勢，隻能留用範質、王溥、魏仁浦為宰相，將趙普升為右諫議大夫、樞密直學士，參與掌握樞密院的軍事大權。在平定了李筠叛亂後，趙普又升為兵部侍郎、樞密副使，成為趙匡胤幕府中第一個升任兩府大臣的人。
宋太祖為了避免宋朝成為繼後周之後第六個短命的政權，向群臣征詢對策，隻有趙普的回答讓宋太祖最為滿意。趙普建議宋太祖，對藩鎮要“稍奪其權，製其錢穀，收其精兵”，以加強皇權；對名望比較高的石守信等軍事將領，要收其兵權，以避免可能的兵變。宋太祖采納了他的建議，逐步實施，收到了良好的效果，趙普更加受到太祖的信任。後來，為了能讓趙普做上宰相，宋太祖一天之內將範質、王溥、魏仁浦同時罷免。