山中歲月安穩，山外卻是另一番景象。
在宋、金滅國之戰的緊要關頭，尤其是在宋朝的軍隊取得節節勝利的關鍵時刻，宋廷以十二道金牌召回了嶽飛，據參與北伐的老卒事後回憶，嶽飛撤軍的途中，百姓撲跪於道旁，哭聲盈野，有人拉住嶽飛的馬韁質問：“元帥來時我等簞食壺漿迎王師，並肩作戰，共同禦敵，金人早已視我等如眼中釘，肉中刺，恨不得拔之而後快。如今元帥一去，卻將我等置於何地？”
嶽飛無言以對，隻能拿出皇帝命令班師的詔令給百姓們看，最終，嶽飛決定留軍五日，好掩護忠義軍和百姓們撤退。
可是大宋的軍隊一退，整個淮河以北都淪為金國的占領區，忠義軍和追隨過大宋王師的百姓又能退去哪裏？
嶽飛放棄了浴血廝殺拚命取得的戰果，辜負了襄助他的義軍弟兄和金占區的百姓，灰頭土臉地回到大宋，他一改舊日慷慨激昂隨時整軍備戰的雄姿，不斷向皇帝請求卸甲歸田，卻都被皇帝以“兵戈並未止息”為由，不允。
從此，可將兵百萬的嶽少保以“副樞密使”的頭銜在臨安的朝堂上充當一個泥塑木雕的擺設，絕口不提北伐和收複疆土。
嶽飛的隱忍並未換來安穩。
次年，即紹興十一年八月九日，嶽飛被罷去樞密副使，充任“萬壽觀使”的閑職。或許他也嗅到了臨安空氣中陰謀的味道，自請回江州廬山老家閑居，想要躲過劫難。
此時的嶽飛已經無兵無權，是個徹頭徹尾的“閑人”，但是朝堂之上仍有人對他不放心。先是秦檜授意張俊威逼利誘嶽飛舊部的都統製王貴、副都統製王俊先出首告發嶽飛麾下大將張憲“謀反”，以此牽連嶽飛。
嶽飛下獄後，宋金和談的進程越發迅速，十一月初七，宋金兩國達成二次“紹興和議”，宋朝皇帝趙構向金國皇帝納表稱臣，宋金兩國劃淮河而治，淮河以北的土地全部劃歸金國，同時宋朝還需每年向金國貢奉白銀二十五萬兩，絹二十五萬匹。