施耳和羅本師徒二人的離開，並沒有引起張士誠的在意。
施耳年邁迂腐，羅本行事偏激，又得罪了張士信，張士誠早就已經疏遠二人，隻是礙於施耳是他親自請來，不得不捏著鼻子繼續尊重。
不久之後，魯淵和劉亮也相繼請離，才讓張士誠感到了一絲不對勁。
魯淵，字道源，元朝進士，官至浙江儒學提舉。他曾經在脫脫麾下效命，參與了圍攻高郵。稱病回鄉後，被原本是敵人的張士誠請出山。
劉亮，字明甫，吳郡人，是張士誠麾下最早投靠的文人之一。
同時，他們二人也是施耳好友。
張士誠見兩人在施耳之後請辭，以為兩人因自己沒有挽留施耳而鬧脾氣，特意給了些金銀安撫。
但兩人堅持請辭，張士誠也來了脾氣，認為這兩人心胸狹窄，不再挽留。
張士信對施耳及其友人十分不滿，立刻向張士誠說壞話，汙蔑這些人是要投勞朱元璋。
張士誠此刻卻沒有聽信張士信的讒言。
他很認真地對張士信道：“那幾位先生雖心胸狹窄，認為我沒有重用他們，所以自請離去。但他們大體上的品德操守不會有問題，他們既然說是致仕歸家，就不會投靠朱元璋。”
張士信完全不信：“他們以前還是元朝的官呢，不還是投靠大哥你？”
張士誠搖頭：“那不一樣。”
張士信不懂為何不一樣，但見張士誠沒有殺掉施耳、魯淵、劉亮等人的意思，便也不再糾纏。
在他看來，這些人隻要不在平江繼續礙他的眼，便可以放過。
施耳等人確實如張士誠猜測的那樣，各自隱居山林，沒有投奔朱元璋。
在這一點上，他們與張士誠君臣多年，終於默契了一回。
饒介、陳基二人仍舊在張士誠麾下效力。他們二人不再為張士誠出謀劃策，平日深居簡出，隻作為內吏為張士誠的詔令代筆，頗有些大隱隱於朝的風範。