王陽明在離開北京之前，寫了一首詩，其中有兩句：“賢聖可期先立誌，塵凡未脫漫言心。”這說明他一離開錦衣衛大牢，心裏的宏圖大誌就複活了。另外，他並沒把到惡劣的龍場去生活看成是什麽了不起的障礙。他是個有抱負的人，抱負是一個人活出價值的發動機。至少在他離開北京時，他是這樣想的。不過後來的事實證明，在麵對險惡環境時，這台發動機也會熄火。
王陽明從北京去貴州龍場的第一站是老家浙江餘姚。由於牢獄之災，他的祖母和家人一見到他，就說他蒼老了很多，並對他去貴州龍場表示出擔心。王陽明以一種無所謂的態度勸慰他們說：“那個地方雖然少有人行，卻是山清水秀。你們也知道，我從小就喜歡山水，所以那個地方在你們看來是地獄，對我而言卻是天堂。”當他的家人心緒平靜後，他離開餘姚到了杭州，住在他曾經成功勸退那個靜坐和尚的勝果寺中。王陽明並非重新皈依了佛教，而是為了養病。四十軍棍帶給他的生理創傷還在，天氣稍有變化，他的屁股就會出現陣痛，以至於不能安心靜坐。更糟的是他的肺病又複發了。所以王陽明必須要把身體休養好，才有能量繼續趕路。
可惜，他這點小心願都沒有達成。在杭州休養了幾個月後，劉瑾派了人來。來的人是錦衣衛，任務是殺掉王陽明。
錦衣衛日夜兼程，很快就來到杭州。他們憑著高度靈敏的嗅覺，摸上了勝果寺。王陽明在勝果寺滿坑滿穀的朋友，馬上就有個叫沈玉殷的找到王陽明，對他說：“寺裏今天住進了幾個操北方口音的人，麵露殺氣，可能是來找您的。”
王陽明驚恐起來，沈玉殷問他：“你是否有仇人？”
王陽明回答：“平生隻有一個仇人，就是劉瑾。”
沈玉殷點頭道：“是了，如果我沒有猜錯，這幾個人應該就是錦衣衛，是來對付您的。”