我們先來看看在武則天和唐高宗對反對派進行大清洗的時候，長孫無忌在幹什麽呢？他在著書立說。中國古代政治家的傳統是“達則兼濟天下，窮則獨善其身”。被重用的時候就胸懷天下，幹一番轟轟烈烈的事業；不被任用的時候，就退回書齋之中，加強自我修養，著書立說。這叫進可攻，退可守。自從武昭儀被立為皇後，長孫無忌感覺自己在政治上難有作為了，因此心灰意懶，隻想退到書卷中去，享受一點心靈的安寧。顯慶四年（659年）以前，他先後領銜完成了武德和貞觀兩朝的國史共八十卷，梁、陳、北周、北齊、隋五代的誌三十卷，也就是現在《隋書》中的誌，還有《顯慶新禮》一百三十卷，可以說是著作等身。有一句話叫“盛世修史”，一個興盛的王朝，就會有條件、有餘力去總結前朝的經驗教訓。唐朝建立了史館，開創了宰相領銜修史的傳統。有唐一朝一共修了八部正史，占二十四史的三分之一，這其中就有長孫無忌的功勞。
長孫無忌想遠離政治，政治卻不會遠離他。武則天和唐高宗決心要建立一個屬於自己的朝廷，長孫無忌就是最大的障礙。但是，長孫無忌畢竟是皇帝的舅舅，又做了三十年的宰相，權傾朝野，威震天下。要扳倒他，需要慎之又慎。武則天是一個果斷的人，但是她並不急躁。在需要耐心的時候，她非常有耐心。在重拳出擊長孫無忌之前，她還需要先剪除他的羽翼。出於這種考慮，長孫無忌的老戰友褚遂良、韓瑗、來濟先行被掃出朝廷；與此同時，長孫無忌的親戚也難逃噩運。他的表弟太常卿高履行首先被貶出京，出任益州刺史。高履行是長孫無忌的舅舅高士廉的兒子，當年，長孫無忌的父親去世，年幼的無忌兄妹被同父異母的哥哥趕出家門，是舅舅高士廉收留了他們。因此，高履行和長孫無忌名分上雖然是表兄弟，但實際比親兄弟還親。緊接著，長孫無忌的堂兄、工部尚書長孫祥被貶為荊州刺史。長孫無忌在朝廷中可以援引的勢力逐漸被剪除，就剩下他孤家寡人了，該是對他開刀的時候了。