每一個聖賢的君王身旁總是有一個得力的宰相在輔佐。
貞觀四年（630），即唐太宗李世民稱帝第四年，房玄齡被提升為尚書左仆射，行使宰相職權，在其後的近20年中，他一直連任，直至70歲病逝。
任職期間，房玄齡至忠至勤，成績卓著，堪稱能相。史書上寫道：“任總百司（總管政府中的各個衙門），日日夜夜地、謹慎虔誠地處理各類問題，盡心竭力，不讓一件事辦得不合理。”
選拔人才，房玄齡十分謹慎。唐太宗曾經說過：“任免官吏是一件不可閃失的事，用對了一君子，就有許多君子慕名而來；若用一小人，許多小人也就會鑽營附和而來。”在這一點上，房玄齡對唐太宗極其讚賞。
他知人善任，常向唐太宗推薦人才，委以重任。太子李治的府中有一位太子右衛率（主管太子的安全保衛），名叫李大亮，房玄齡很器重他，說他為人耿直，有西漢忠臣王陵、周勃的氣節，可以委以重任。不久，李大亮就被任命為房玄齡的副手。房玄齡在用人方麵，既不拘一格，又不求全責備，做到揚長避短。但如果一時找不到合適的人選，他也寧缺毋濫，絕不做濫竽充數之事。如管理財政申報開支的部門，很長時間沒有人選，但房玄齡認為這個部門關係到“天下利害”，是“民力所係”的地方，“寧虛其位，而不以與人”。他這樣做，有時會招致別人說閑話，評論他在授權方麵十分吝嗇。但他為了國家的利益，對於個人的聲譽，從不計較。
對於朝廷上的一些瑣事，他事事一概過問，不僅定期審查吏治、司法的得失優劣，甚至連宮室的營造、武庫裏的存儲數目，他都要一一過問。
史書說他“事無巨細，鹹當留意”，其認真負責的精神，著實古今罕見。
在對李世民的進諫方麵，他也做得很好，雖未能像魏徵那樣屢屢犯顏直諫，但也能坦率地陳述自己的意思。其實，魏徵對他也是很佩服的——魏徵曾經說過，在事必躬親、知無不言、言無不盡方麵，自己比不上房玄齡。一次，唐太宗忽然問左右大臣說：“自古開國的皇帝，把皇位傳給了子孫，為什麽經常出現變亂呢？”房玄齡直率地說：“那都是因為皇上寵愛子孫，而子孫生長深宮，自幼過慣了富貴的生活，不知人間疾苦，不懂國家安危，不能磨煉意誌、增長才幹的緣故。”