辦完了過繼的大事，王守仁就沒什麽心可操了。又想著自己躲回老家，那個南贛巡撫的肥缺兒自然給了別人，致仕的奏章，大概很快就批下來，就趁著閑日子、好天氣，朝登會稽山，晚遊龍泉寺，又在院子裏開個小菜園子，種幾壟青菜，看看書，陪夫人說說話，和朋友們談談學問，過起了神仙一樣的舒心日子。
想不到這正德朝真是怪事多，王守仁不想做官，躲回老家，正德皇帝卻不肯放過他，很快又下詔命：“爾前去巡撫江西南康、贛州，福建汀州、漳州，廣東南雄、韶州、惠州、潮州各府及湖廣郴州地方，撫安軍民，修理城池，禁革奸弊，一應地方賊情、軍馬、錢糧事宜，小則徑自區畫，大則奏請定奪，欽此。”
接了這道聖旨，王守仁皺著眉發起愁來。
別說王守仁，連宜畹都覺得眼前這事不可思議，在邊上笑著說：“皇上這是怎麽了？以前這麽些年也沒給你派過一個正經差事，現在倒好，接二連三地催你到任！這大明朝沒有陽明先生就轉不動啦？真是怪事。”
王守仁拉著宜畹的手讓她在身邊坐下，笑著問：“你想讓我去當這個巡撫嗎？”
宜畹這一輩子和丈夫分離已經分怕了，無論如何不想讓守仁離開自己了。眼下家裏有錢有地，兒子也有了，她是說什麽也不願意放丈夫走的：“當今這個朝廷呀，就是天大的官也不值得去做。別說是個巡撫，就是皇上讓你去做‘首輔’也不要去！就說有病不能上任！讓他們去催，催到不肯催了，事情就過去了。將來咱們拿出錢在山陰城裏起一座書院，你在家裏講學，一家人聚在一塊兒好好過日子，什麽心也不操，什麽事也不管。”
守仁輕輕摟過夫人的肩膀，附在耳邊低聲說：“有你在，我從不操心的。如今回到家了，哪兒也不去了，咱們一塊兒好好過日子。”