孝宗皇帝一共在位二十三年，卻在生命走到最後的那一年仲春，廢掉了居於儲君之位已整整二十二年的太子劉縝。
這件事如今也常被人拿來私下閑說，朱通就曾在回鄉拜訪卓衍時閑聊談及。卓思衡還記得，朱通很不喜歡這位戾太子，說當年他來延和軍治監視察軍備，唯唯諾諾沒有半點爺們兒樣，軍士擺陣呼喝幾聲，他都嚇得一抖，自己是遠遠看得清楚，心中大為鄙夷，待到軍中知曉太子被廢的消息，大多數士卒都覺得活該，若是有天打起仗來，他們可不想跟著這種窩囊廢賣命。
那時卓衍卻隻是輕聲歎氣道：“孝宗皇帝主政強腕，極有魄力，他的皇位乃是世祖危重時當眾子全臣的麵欽點，繼位時又正值茂齡，上無虛懸之患下無掣肘之輔，他一貫強勢從無挾製，可謂一生所向披靡，又怎知二十餘年太平太子的艱難。”
即便此時，隻有自己兒子在膝前靜聽，他也還是同樣的評價：“太子雖秉性柔弱，卻非無德，你祖父當了太子二十年的老師，曾多次和我們兄弟說，太子繼位後，若有危急國事，我等必須直言強諫，萬不可令其猶疑徘徊，太子雖懦，卻明理曉事，真正為國為民的主張他定然不會視若無睹……其實我如今仔細想想，有孝宗這樣的父皇，太宗如若秉性剛直且激烈，怕是更當不滿二十年儲君了。”
卓思衡覺得父親說得沒錯，但想了想後，他仍然將自己的理解說出口：“我聽朱五叔說，軍中不喜歡太子，不隻是士卒，將領也都嫌棄他柔懦……這樣一來，即便他順利繼位也極有可能管轄不住武將與軍勳，下麵又有那麽多強悍的皇弟覬覦，那這個皇位大概也坐不久。”
卓衍看了看兒子，似乎沒想到他能想到這一層，不自覺點頭道：“太子怕惹父皇猜忌，兵權有多遠他躲多遠，久而久之不知兵的惡名他也隻能擔在身上甩不脫了。”