卻說嘉定統製姚世安原本是個不學無術、卑鄙勢利的小人，在餘玠斬殺王夔又不許自己薦代利州都統後，便懷恨在心，刻意拉攏並重賄謝蕪，請其回京向丞相謝方叔為自己說好話，同時誣餘玠擅殺大將，擁兵專權，私啟邊釁之罪。
當是時，賞識並極力推薦餘玠的大臣趙葵已被排擠出朝，由謝方叔主持朝政。故而正當宋軍與蒙軍在沔、利對峙之時，宋廷卻連連下旨命餘玠退兵。這宋朝自太祖趙匡胤開國以來，接受殘唐五代藩鎮割據為患的教訓，重文抑武，最怕武將掌權立功，致尾大不掉，危及皇家。為將者，喪師失地，往往不予深究；而一旦出師大捷，就有功高震主之虞。餘玠深知其中的奧秘，故而在連接三道金牌之後，便連夜退兵，以示遵旨立行，而無擁兵自重之意。
餘玠本想趁著軍政大權在手，再築新城，精練士卒，好將四川建成抗蒙磐石，然後再伺機北伐。哪知朝中權貴仍不放過。丞相謝方叔、參知政事徐清叟，私下謂理宗道：“餘玠恃治蜀有功，擁兵擅權，屢建山城，廣收民心，其陰蓄異誌、叛逆自立之跡已昭然若揭，朝廷不可不早做打算。”理宗驚問道：“當真有這等事？”謝方叔道：“其於出征前，無故斬殺大將王夔，就是立威擅權，豈能有假？”徐清叟道：“頃接嘉定統製密報，其兵進沔、利時，曾遣心腹大將王惟忠前往蒙營。具體幹何勾當，眾將不曉。但汪家軍總帥賞以名馬寶刀，則人盡皆知。微臣身為宰輔，應以國事為重，故不避嫌疑，命人暗中查訪，其實有通敵之嫌。請皇上聖裁。”
理宗聞謝、徐二人之言，不由得汗流浹背，心想：“寧可信其有，不可信其無。”乃問道：“四川實抗蒙前線，賦稅要地，不可輕視。眼下當如何處置？”謝方叔道：“陛下勿憂，隻要將餘玠削去兵權，召回臨安，就無須聖慮了。”理宗點頭道：“如此甚好。”