大曆五年，改越州刺史、兼禦史大夫、浙東觀察使。八年遷揚州大都督府長史、淮南節度觀察使。仍加銀青光祿大夫，封潁川縣開國子。所在悉心綏輯，而多以任數為政，好行小惠，胥吏得職，人亦獲安。及朝廷多事。奏請本道兩稅錢千增二百。因詔諸道悉如淮南，鹽每一鬥更加一百文。少遊十餘年間，三總大藩，皆天下殷厚處也。以故征求貿易，且無虛日，斂積財寶，累巨億萬，多賂遺權貴，視文雅清流之士，蔑如也。初結元載，每年饋金帛約十萬貫，又多納賂於用事中官駱奉先、劉清潭、吳承倩等，由是美聲達於中禁。後見元載在相位年深，以過犯漸見疑忌，少遊亦稍疏之。無何，載子伯和貶官揚州，少遊外與之交結，而陰使人伺其過失，密以上聞。代宗以為忠，待之益厚。
上即位，累加檢校禮部、兵部尚書。建中三年，李納反叛，少遊以師收徐、海等州，尋棄之，退軍盱眙。又加檢校左仆射，賜實封三百戶。其年，就加同平章事。關播嚐為少遊賓僚，盧杞早年與之同在仆固懷恩使府，故驟加其官秩。
四年十月，駕幸奉天，度支汴東兩稅使包佶在揚州，尚未知也。佶判官崔沅遽報少遊，佶時所總賦稅錢帛約八百萬貫在焉，少遊意以為賊據京師，未即收複，遂脅取其財物。先使判官崔就佶強索其納給文曆，並請供二百萬貫錢物以助軍費，佶答曰：“所用財帛，須承敕命。”未與之。勃然曰：“中丞若得，為劉長卿；不爾，為崔眾矣。”長卿嚐任租庸使，為吳仲孺所困，崔眾供軍吝財，為光弼所殺，故言及之，佶大懼，不敢固護，財帛將轉輸入京師者，悉為少遊奪之。佶自謁，少遊止焉，長揖而遣，既懼禍，奔往白沙。少遊又遣判官房孺複召之，佶愈懼，托以巡檢，因急棹過江，妻子伏案牘中。至上元，複為韓滉所拘留。佶先有兵三千，守禦財貨，令高越、元甫將焉，少遊盡奪之。隨佶渡江者，又為韓滉所留，佶但領胥吏往江、鄂等州。佶於彈丸中置表，以少遊脅取財帛事。會少遊使繼至，上問曰：“少遊取包佶財帛，有之乎？”對曰：“臣發揚州後，非所知也。”上曰：“少遊國之守臣，或防他盜，供費軍旅，收亦何傷。”時方隅阻絕，國命未振，遠近聞之大驚，鹹以聖情達於變通，明見萬裏。