岳飞对于并军的期待急切盼望。虽说有《御札》‘听飞号令，如朕亲临。’的话，可《御札》不是写给他的，是发给王德和郦琼等人的。
再有，就是都督府把刘光世所统领的全部将官人马，开列了清单造册，要岳飞密切收掌，但是这其中存着一个很大的疑窦，就是始终没有用皇帝或者三省枢密院的名义，给予岳飞一道更直接更明确的公文。
岳飞在焦急的等待中，终于接到了赵构发来的一道《御札》，却是他万万料想不到的。
《御札》中短短几句，让岳飞如遭雷击。“……淮西合军，颇有曲折，前所降王德等《亲笔》须得朝廷指挥。许卿节制淮西之兵，方可给付，仍具知禀奏来。”
至此，南宋君相的一言九鼎，成了说了不算。
赵构虽在之前的《御札》之中说‘兵家之事，势合则雄。’可实在他的内心深处，却是深恐武将们权势过高的。人马过于雄壮，以至于出现于尾大不掉，难以制驭的毛病，所以就推翻了前议，把刘光世手下的统制官王德提升为都统制，归都督府的张浚直接统领。
岳飞当然是极不愿意这件事情发生中变的，于是赶到都督府找到张浚，详细陈说自己恢复中原的计划，以及非十万兵马才能恢复不可的理由。
岳飞以为经常把用兵收复失地挂在嘴上的张浚，必定能够被自己说服。可不曾想，却事与愿违。
张浚既然想由自己本人来统领刘光世的这支部队，当然不肯赞成岳飞出击伪齐的计划，结果两人不欢而散。
岳飞自然不甘心，只能赶到建康请求面见皇上，结果赵构更不怎么客气，语气中颇为刁难。“……恢复中原何时可成？”
岳飞答道：“估计三年可成。”
赵构很不喟然。“如能平定中原，我当然舍得，但若因为调动了淮西的部队，不但不能恢复中原，却先把甸淮丢失了，那么势必连建康与杭州也难以保全。到那时不能说问题严重，应该说，相当的严重了。”
从赵构的辞色语调，看来并军之事已经全无商议的余地。
岳飞见状只得默然而退。
岳飞怀着极大的灰心失望的心情，离开建康溯江而上，路过江州，他便回到庐山东林寺旁的居第中，亲笔写了道奏章给行朝，请求解除兵权，言说与宰相张浚议事不合，决定留在庐山为母亲持完余服。鄂州事务全权委托给了张宪处理。
对于岳飞这次请求罢除军职，持余服，悻悻然的态度，赵构一直以为是对他的大不敬。
可是朝廷还要倚仗其人，缺其不可，于是赵构只得封还了岳飞的奏章，下《御札》给岳飞，要其复出治事。
可是另一方面，赵构却又根据张浚的建议，暂时委派兵部侍郎，枢密院都承旨张宗元到鄂州的军营去做宣抚判官。
至此，庐山的岳飞又写了第二道奏札。这一次没有提及张浚，只是说要留在庐山，持完余服，明显的，就是不肯遵命返回鄂州军营。
赵构依旧封还，加上一道《御札》，用了‘愕然！’之句，夸了岳飞一句，之后虚晃一枪，言说：“……据探报，贼计狂狡，将窥我两淮，勿复再有陈请。”
岳飞早看透了赵构的伎俩。谁都知道，金伪少有在夏季用兵。
岳飞不吃这一套，还是不肯还军，写了第三道奏札，这回变成言志篇。又被赵构封还，加一道《御札》“……将相和则士豫附。”
赵构也怕岳飞犟驴脾气上来，再卷了自己一次面子，于是与此同时，又用三省枢密院的名义，下了一道省札，要鄂州的参议官李若虚和王贵等人一同去到庐山，请岳飞还军。这样反反复复一多百天，岳飞才受诏回返了岳家军营。
郭奕既然答应了岳飞出任都训使的官职，所以一直都等候在军营当中，直到并军彻底没有了可能，才和赵敏向岳飞辞行。
于是岳飞便委托郭奕拐道大名，向赵云等人告知并军失败的情况。
郭奕领命，与情绪更加低落的赵敏，郁郁不乐地离开了鄂州。
岳飞听说刘光世部队的实际长官是都督府的参谋官吕祉，颇为担忧，便写了道奏章，向赵构言明吕祉是如何不可用。
其实在朝野之中，也有不少官员对此提出反对意见，可赵构和张浚君相二人只当是没听见一般。
等到见了岳飞的奏札，反倒是升了吕祉的官——淮西宣抚判官，就任庐州。
其时在淮西军当中，诸将校之间，早就已经矛盾重重。
郦琼等人罗列了王德的罪状，将其告到都督府。结果王德就以其人之道，还治其人之身，也收集罪状反告郦琼等人。
都督府有意偏袒王德，不查处不说，反而再次升了王德的官职。
郦琼等人于是又向御史台投诉，控诉张浚对他们的矛盾未能秉公处理。
御史台的人立刻警告郦琼等人道：“……冒犯了宰相大人，可是要自食其果的。”
郦琼等人闻言又怕又怒，纷纷找吕祉商谈，可吕祉举止傲慢，对众将心存鄙视，还时不时地打报告到都督府给张浚，诉说郦琼等人的罪状。
结果第二封信竟被郦琼的手下截获。为首的郦琼和勒赛赶到吕祉的住处去质问，双方继而争吵对骂。
最后郦琼和勒赛一不休二不做，干脆擒了吕祉，将其砍杀，事已至此，遂召集四万将士，以此裹胁着随军的家属老幼五六万人，浩浩****投奔了北方的伪齐刘豫。
知道了淮西兵变，岳飞又上奏札，对赵构进行了一番安慰，并表示自己愿意率军前往淮西负责防务。
加上之前回到行朝的宣抚判官张宗元，对岳家军的治军理念赞赏有加，于是赵构颁布《奖谕诏》，随同《批答》一同送到岳家军营。
《奖谕诏》曰：“……士闻金鼓而乐奋，人怀忠孝而易从，卿诚如此，朕复何忧。”
《批答》就简单得多了，只说了一句，言说：“还是不用前来了。