漢武帝晚年思過，思想經常處於懺悔的狀態中。後元二年（前87年）春正月，漢武帝在甘泉宮接受諸侯王的朝見。二月，巡遊五柞宮。
五柞宮周圍山清水秀，景色宜人。漢武帝心緒苦悶，想借山水之秀以解煩惱。早春二月，春寒料峭。漢武帝連日遊覽，偶感風寒。不料數日之後，竟然病入膏肓，臥床不起。
漢武帝明白自己可能將不久於人世。於是，經過深思熟慮後，他決定要讓隻有幾歲的劉弗陵擔當起承繼劉氏大業的重任，並且還精心挑選著日後輔佐少帝的大臣。
當時，朝廷中大臣有田千秋、趙過、桑弘羊三人。漢武帝十分信任田千秋和趙過，委任他們推行自己的富民政策。雖然漢武帝因改過自悔而拒絕了桑弘羊的輪台屯田建議，但桑弘羊仍不失為一位著名的理財專家，因此，漢武帝仍然十分信任他，委以重任。
這三個人都是文官出身，將來定可以幫助少帝繼續推行自己的富民政策，以完成自己未竟的事業。但是，漢武帝更渴求武官出身的大臣，以有足夠的能力和權威來駕馭政局，穩固朝廷，輔助少帝治理國家。在武官中，漢武帝最親信的人也有三個：一個是霍光，一個是金日磾，一個是上官桀。
漢武帝認真考察群臣，認為隻有霍光可以承擔輔保社稷的大事。
霍光是霍去病弟弟，十多歲便入宮為郎，出則奉車，入侍左右，侍奉漢武帝二十多年，小心謹慎，從來都沒有過失，深得漢武帝信任。
金日磾字翁叔，原本是匈奴休屠王的太子。元狩二年（前121 年），驃騎將軍霍去病率軍出擊匈奴右翼之地，大獲全勝，虜獲休屠王祭天金人。這年夏天，霍去病又進軍祁連山，節節勝利。
匈奴昆邪王怕單於治罪，殺休屠王，率眾降漢。漢武帝封昆邪王為列侯，而金日磾因為父親不投降而受牽連，與其母閼氏、弟倫等俱沒官為奴。當時，金日磾年僅14 歲，就被安排在宮中養馬。