賈似道一路奔逃，到達一個叫珠金沙的地方，連夜召集夏貴前來議事，剛好孫虎臣也騎馬趕到。
那孫虎臣滾身下馬，跪在賈似道麵前，拍著胸脯又哭又叫：“相爺，這都是什麽世道？麵對元軍，這麽多將士，竟然沒有一個服從命令的，以致一敗再敗，您現在叫我如何是好？”
夏貴見此狀，暗自得意，微笑著說：“以前我帶兵與元軍作戰，那些將士還算服從命令。”
賈似道和孫虎臣都聽出了夏貴的嘲弄，但是沒有辦法。
賈似道隱忍不發，問夏貴道：“以你之見，我們現在該如何應對？”
夏貴：“諸路軍馬被元軍這樣一路追殺，聞風喪膽，無法繼續作戰了，我看士氣不能振作，相爺您現在隻有快速到揚州去坐鎮，招集那些逃來的潰散之兵，迎駕海上，我現在帶兵去淮西，在那裏堅守，到時，我們彼此呼應，也許還可保大宋江山於一時。”
說完，夏貴自行坐著船快速離去，賈似道和孫虎臣看著夏貴的船消失在遠方，那種失落的情緒無以言表。
夏貴這個時候說話反而更有底氣了，這是有原因的，因為他是呂文德的老鄉，是呂文德帶出來的，與呂氏家族的呂文煥、呂師夔、範文虎等有交情，而且自呂氏家族諸人降元之後，夏貴雖然繼續與元軍作戰，但與呂氏家族的成員之間的暗通渠道一直維持著，他是早在心中做了兩手準備的，宋軍能振作，那他就堅持抗元，宋軍振作不了的話，降元也不失為一條活路。
夏貴甚至還把自己的這個想法，與自家子侄溝通過。
對此，賈似道本應覺察，可這潰敗之局，讓他無法顧及。
盡管夏貴傲慢地遠去，他是否真的去鎮守淮西，賈似道心裏並沒有底，但他思來想去，統觀全局，夏貴建議他去坐鎮揚州，這個建議還是有其合理處，因為池州失守，建康已在元軍的眼皮底下，作為主帥，去建康，目標太大，而且建康指日可為元軍所破，更為令他吃不準的是，一直有傳言，建康守將與範文虎和呂師夔暗通款曲，有人想仿效江州、安慶的模式，投降元軍，隻有揚州，在建康下遊，進可以統籌長江下遊的抗元鬥爭，退可以順長江口逃往海上，那夏貴說得沒有錯啊。於是連夜帶著孫虎臣等人逃往揚州。