在元朝君臣看來，臨安投降，便意味著南宋的滅亡，而對宋室的遺民而言，隻要有趙宋皇室的血親沒有歸附元朝，就還有社稷重振之日。
駙馬楊鎮主動返程，迎頭應對範文虎率領的元兵，被帶往伯顏那裏。
二王出逃的隊伍迅速離開官道，藏到婺州北麵的大山裏，躲避元軍的追殺。
伯顏把主要精力用在對臨安的和平接收方麵，宋元各地的將士處於休兵狀態，二王的隊伍也就得以在婺州之北的大山裏盤桓數日。
伯顏沒有想到，謝太皇太後在安排二王出鎮過程中，雖然沒有陳宜中的參讚，她還是獨立縝密安排了這次宋室以二王為核心的皇家大轉移，把禁軍都指揮使江萬載與秀王趙與檡當作兩顆秘密棋子，這樣，讓楊鎮順利應付了率元兵追趕二王的範文虎，當然也讓伯顏感到無可奈何。
他在這件事上，至少明白趙家的孤兒寡母並不是那麽容易任人擺布的，在給大元皇帝忽必烈的建議中，讓忽必烈主動提出了讓要宋室君臣免受牽羊係頸降元的羞辱之儀式，三宮北遷後，至少在最初還給予了適當的安置。
婺州當時還在宋廷的控製之中，為了避免元軍追趕，江萬載、趙與檡與楊亮節、俞如圭商議，征得楊太淑妃和俞太妃的同意，離開官道，向婺州北邊山嶺中行進。
婺州就是後來的金華，位於浙江中部，是通往浙江西部、江西、福建的交通要道，秦王政二十五年（公元前222）建縣，因其“地處金星與婺女兩星爭華之處”的婺州，又名金華。
元軍進入浙江，婺州是浙西通往臨安最重要的一道屏障。
元軍的主力在長江下遊，由建康以下圍逼臨安，由江西進入浙江的元軍在宋元為臨安和平接收而和談的情況下，暫停了對婺州的進攻或者逼降。
在離開臨安時，謝太皇太後特別叮囑江萬載，告知已備足前往福建的錢糧，一路南行，不要驚動地方守將。