就在這時，都禦史王質特派人到龍場驛淩辱、挖苦王陽明，還克扣他的糧餉。
王質早年在朝廷擔任禦史，熟悉王陽明的情況。王陽明到龍場驛任職後忙著種糧種菜、挖洞築房，忙著讀書悟道，忽視了官場上的那一套應酬規矩，加上又鬧出了一些動靜，王質就派了一群亦官亦匪的人來到龍場驛站。這群人來砸場子時，王陽明正在給大家講課。他們訓斥王陽明不識好歹，並作勢要揍王陽明。王陽明不動聲色，大家卻怒了。雙方開戰，當地人人多勢眾，來砸場子的人被打得抱頭鼠竄。
王質大怒，當時就想調動軍隊，但又改變了主意。他命令貴州按察司副使毛應奎督促王陽明必須向他道歉。這位毛副使也是浙江餘姚人，算是老鄉。此前王陽明還曾為他寫過一篇《遠俗亭》。於是，毛應奎就給王陽明寫信曉以利害，要他向王質道歉，哪怕就是寫一封道歉信也好。
王陽明沉思片刻後拿起筆來，給貴州按察司副使毛應奎寫了封信，信中說：“本地人毆打官府派來的那群差人，並不是我王陽明指使的。那些差人仗勢欺人，相信也並非是官府指派的本意。我也沒有指使大家去打人，更沒有對官府有任何不敬，為何要向他道歉？如果他非要追究，那請轉告他，王某在龍場什麽磨難沒有遇到過？幾乎一日三死，再大的事對我也不算什麽。王某雖是遭流放的官員，也應該得到尊重。”
據說，這封信一發出，知府當下慚服，立即給王陽明送來了米、肉，還派人來替王陽明劈柴擔水。王陽明明確表示拒絕。當地官員又改送金帛、鞍馬，唯恐陽明先生不開心。王陽明隻收下了糧米柴炭等生活必需品，其他的奢侈品一律敬謝不受。因為自己是被朝廷放逐之臣，要那些會很不好聽，也不太合適。
此時的王陽明博學精思，才識卓然，當地秀才、官員紛紛登門求教。