李巨，曾祖父虢王鳳，高祖之第十四子也。鳳孫邕，嗣虢王，巨即邕之第二子也。剛銳果決，頗涉獵書史，好屬文。開元中為嗣虢王。天寶五載，出為西河太守。皇太子杜良娣之妹婿柳勣陷詔獄，巨母扶餘氏，吉溫嫡母之妹也，溫為京兆士曹，推勣之黨，以徐征等往來巨家，資給之，由是坐貶義陽郡司馬。六載，禦史中丞楊慎矜為李林甫、王鉷構陷得罪，其黨史敬忠亦伏法。以巨與敬忠相識，坐解官，於南賓郡安置。又起為夷陵郡太守。及祿山陷東京，玄宗方擇將帥，張垍言巨善騎射，有謀略，玄宗追至京師。楊國忠素與巨相識，忌之，謂人曰：
“如此小兒，豈得令見人主！”經月餘日不得見。玄宗使中官召入奏事，玄宗大悅，遂令中官劉奉庭宣敕令宰相與巨語，幾亭午，方出。國忠頗怠，對奉庭謂巨曰：“比來人多口打賊，公不爾乎？”巨曰：“不知若個軍將能與相公手打賊乎？”
尋授陳留譙郡太守、攝禦史大夫、河南節度使。翌日，巨稱官銜奉謝，玄宗驚曰：
“何得令攝？”即日詔兼禦史大夫。巨奏曰：“方今艱難，恐為賊所詐，如忽召臣，不知何以取信？”玄宗劈木契分授之，遂以臣兼統嶺南節度使何履光、黔中節度使趙國珍、南陽節度使魯炅，先領三節度事。有詔貶炅為果毅，以潁川太守來瑱兼禦史中丞代之。巨奏曰：“若炅能存孤城，其功足以補過，則何以處之？”
玄宗曰：“卿隨宜處置之。”巨至內鄉，趣南陽，賊將畢思琛聞之，解圍走。巨趣何履光、趙國珍同至南陽，宣敕貶炅，削其章服，令隨軍效力。至日晚，以恩命令炅複位。
至德二年，為太子少傅。十月，收西京，為留守、兼禦史大夫。三年夏四月，加太子少師、兼河南尹，充東京留守，判尚書省事，充東畿采訪等使。於城市橋梁稅出入車牛等錢以供國用，頗有幹沒，士庶怨讟。後與妃張氏不睦，張氏即皇後從父妹也。宗正卿李遵構之，發其所犯贓賄，貶為遂州刺史。屬劍南東川節度兵馬使、梓州刺史段子璋反，以眾襲節度使李奐於綿州，路經遂州，巨蒼黃修屬郡禮迎之，為子璋所殺。