桓玄字敬道，一名靈寶，是東晉桓溫少子。他性類桓溫，因得桓溫喜愛。桓溫臨終，命他繼嗣，襲爵南郡公，時年5歲。桓玄守喪3年，7歲時守喪期滿，此時謝安當政，桓溫原屬下文武佐吏在這樣的政治情況下都來向桓玄叔父桓衝告別。桓衝見到站在身邊的桓玄，一時感慨，撫摸著桓玄的頭對他說：“他們都是你家的故吏啊！”桓玄聞言痛哭，聲動左右，眾人無不驚異。
數年後，桓玄長大成人，儀表堂堂，博學多才。因桓溫之亂，當時朝廷有所顧忌，朝臣也紛紛議論桓溫不臣之跡，桓玄兄弟因此遭到排擠，而不加重用。桓玄直到23歲，才被拜為太子洗馬。在東晉朝廷上做些無權的閑官而已。一次，桓玄去拜見琅邪王司馬道子。當時終日飲宴的司馬道子又在高飲，廳中賓客滿座。司馬道子此時已有醉意，見桓玄，突然大聲問眾人：“桓溫晚年反叛，是也不是？”桓玄一聽，頓時汗流浹背，拜伏於地，不敢起身。多虧此時的琅邪王驃騎長史謝重出麵解圍，回答說：“已故宣武公廢昏立明，功過伊尹、霍光，今人議論種種，應有所識別。”司馬道子聽後，點頭稱是，桓玄這才得以解脫。
不久，桓玄出補義興太守。一天，桓玄登高眺望震澤，憤懣歎息說：“父為九州伯，兒為五湖長！”此後，閑居江陵，優遊無事。荊州是桓氏發跡之地，桓氏兄弟子侄先後任荊州刺史數十年，故吏賓客遍布荊楚各地，根深葉茂，人多勢眾。其時的荊州刺史殷仲堪是一個玄學名士，資望不深，對桓玄也甚敬畏。一天，桓玄騎馬到刺史廳前，手持馬鞭在殷仲堪麵前揮舞不停，擺出一副要刺殺的架勢。桓玄此舉，無疑是想驅逐殷仲堪。殷仲堪的中兵參軍劉邁見狀，出言譏刺說：“君的馬技有餘，而義理則不足。”桓玄不樂，轉身而回。殷仲堪知桓玄性格，等桓玄離去，怕桓玄刺殺劉邁，讓劉邁趕快回建康躲避。果然，桓玄派人來追殺，劉邁因殷仲堪才勉強逃脫。