秦始皇三十六年（公元前211年）秋天，長期操勞國事又縱欲過度的秦始皇，時常被一種不祥的預感所侵擾。信奉神祇的他，讓人為他占卜，結果封辭顯示的是巡遊遷徙才會吉祥。於是他先遷徙了三萬家民戶到北河榆中定居，賞賜每戶一級爵位。第二年十月癸醜日，又開始他的第五次巡遊。
隨同秦始皇這次出巡的，有已升任丞相的李斯，執掌始皇車騎和符璽的中東府令趙高。幼子胡亥因為羨慕出遊請求跟從，秦始皇準許了他的請求。出發之前，秦始皇對軍國大事做了一番安排，由右丞相馮去疾留守都城鹹陽，總管朝政。至於長子扶蘇，早已派往上郡，與大將蒙恬一起率兵防禦匈奴。
秦始皇帶著大隊人馬從鹹陽出發，出武關，沿丹水、漢水到了方夢，又沿長江東下，經丹陽，來到錢塘。按計劃準備在這裏渡江上會稽山。因水波洶湧，就向西行進了一百二十裏，從江水最狹窄的地方渡過。登上會稽山，祭祀大禹，遙望南海，立石碑刻字而歌頌秦德。回程經過吳縣，從江乘縣渡過長江，沿著海岸北上，到達琅琊。
秦始皇曾數次到達琅琊。琅琊地處東海之濱，傳說中的仙人就住在東海的蓬萊山上。這正是琅琊吸引秦始皇的所在。當聽說秦始皇再次來到琅琊，一直為秦始皇向仙人尋求長生不老藥的方士徐福等人，因好幾年沒有結果，花費又多，害怕受到譴責，又撒謊說：“蓬萊仙藥可以得到，但是經常被大鮫魚所襲擊，所以不能到達。希望皇帝派遣善射的人和我們一同去尋取，如果見到大鮫魚就用連發的弓弩射殺它。”
秦始皇一心想著長生不死，以至於對這些荒誕不經之言深信不疑，他立即派人乘船入海射魚。求藥心切的他，居然自己也拿起連弩，等候大鮫魚，想射殺它。從琅琊向北航行到榮成山，也沒有見到大魚。到芝罘山的途中，果然見到了巨大的魚，秦始皇當即射殺了一條。而這時徐福早已不知去向。