1517年正月，王陽明到江西贛州剿匪。一年後，他寫信叮囑弟子們要全身心“存天理去人欲”。為了讓弟子對祛除人欲的難度有深刻認識，信中有這樣一句話：破山中賊易，破心中賊難。心中賊自然是“人欲”，而山中賊則是南贛地區的土匪。
他說破山中賊易，隻是為了烘托祛除人欲有多難，實際上，破山中賊遠沒有他說的那麽容易。
1517年正月初六，王陽明到達南昌。南昌官員向他遞交了南贛地區的地理和土匪的詳細資料。資料說，南贛地區山麓千裏，崇山峻嶺，洞穴密布，隻有飛鳥能和外界溝通。這自然是土匪的安樂窩，因為官兵來時，他們能輕易地化整為零，官兵一走，他們又重新聚合。所以四省組織過多次圍剿，但收效甚微。
該地土匪中有幾個帶頭大哥：謝誌山與藍天鳳（擁有江西贛州崇義的橫水、左溪、桶岡根據地）、池仲容（擁有廣東和平浰頭三寨根據地）、陳曰能（擁有江西南安大庾嶺根據地）、高快馬（擁有廣東韶關樂昌根據地）、龔福全（擁有湖南郴州山林深處根據地）、詹師富（擁有福建漳州大帽山根據地）。
不過王陽明遇到的第一個敵人並不在名單裏，他的第一個敵人出現在江西萬安，是一群水盜。
從南昌出發去贛州路過萬安時，王陽明在岸上休息。他從岸邊的商人聊天中得知，江上有一群水盜，商人們每次到這裏都提心吊膽，很怕倒黴碰到水盜。
王陽明就加入他們的談話說，我是中央政府裏的禦史，正巡撫此地，你們可跟隨我。商人們很高興，可馬上又失望了，因為王陽明就帶了幾個仆人，沒有衛隊。
王陽明告訴他們，按規定，新官上任不得帶士兵。不過，對付他們不必用士兵，有咱們這些人就足夠了。
他的方法是，讓商人們把各自的船插上官旗，敲鑼打鼓，一字排開向前進發。