高宗看过岳飞奏疏后，亲赐御札嘉奖，都督府也将刘光世军情况通报岳飞。拨刘光世军与岳飞，似成定局，不意张浚和秦桧从中梗阻，高宗听从张浚之议，置已决之“前议”于不顾，又下诏给岳飞说：“淮西合军，颇有曲折。”不将刘光世军拨与岳飞。张浚见了岳飞，撇开归刘军与岳飞之“前议”，以淮西军中人事安排相问，岳飞耿直的回答却遭张浚讥刺。岳飞胸中积忿，上了一道乞罢军职的札子，不等批示，只向随行机密官黄纵略事交代后，就离开建康，回到庐山母墓旁守制了。
高宗闻知岳飞辞职，即诏令鄂州军营将佐立刻敦请岳飞还军，又派张宗元到鄂州军中做宣抚判官。朝廷命李若虚、王贵去庐山请飞还军，李若虚劝了岳飞六日，飞才答应受诏朝见，还军视事
所以说你还要咋样？中间出了变故更改了一些命令你不爽了？张浚怼你你不舒服了？这还把脾气耍我身上咋滴？
就宋朝那会，狄青都被怼死了，这边你耍脾气‘罢工’我都派人去请你了还不行？
说句实在的，你自己没本事让皇帝按照你的想法做，就说明其他反对的人的立场都是不对的？
说句不好听的，也就宋朝自己本来整个就不行，很多人都要从岳飞这个民族英雄身上获得一点心理安慰了，换了个环境这种做法简直就是……
大家都知道一个道理，军事归根到底是为军事服务的，宋朝那会是皇帝士大夫本身的政治立场有问题，但是换个角度来说，某些时候政治基调定下来了，你再去做违背政治基调的事情绝对是有问题的。
就像国家新建立的时期，是不是就不要和平，而是拼命去把什么宝岛、越南、外蒙之类的地方打下来？故土都被占了，谈什么和谈？老子不服，老子就是要打！
或者说某某开国大将表示，太祖你不推翻雅尔塔协定，出兵和毛子抢外蒙老子就此职罢工，或者老子就自己带兵去打。
当然，换个地方也是一样，什么台湾之类的，不打回来扯什么和平？你不打我就罢工！
不过回过头来说，你要真有那么大本事，其实讲道理皇帝顺水推舟就应该应下来了。
就像最后那波，高宗就有点坑了，那么多捷报传过来，你丫的顺水推舟看看结果呗，能打赢那屁事没有，打不赢直接把岳飞卖了呗。
当初岳飞练练战胜，兀术已经准备渡过黄河回家的时候，有个北宋时的太学生却要求进见，对兀术说：“太子毋走！京城可守也！岳少保且退矣！”兀术忙问：“岳少保以五百骑破吾精兵十万，京师中外日夜望其来，何谓可守？”太学生说：“不然，自古未有权臣在内，而大将能立功于外者！以愚观之，岳少保祸且不免，况欲成功乎？”
兀术经此人提醒后，决定暂不过河。而秦桧也早在暗中策划岳飞撤军的事了。他们谋划的重要步骤是，让张俊从亳州退还寿春，命令韩世忠稳守淮东，不得继续前进，驻屯顺昌的刘锜远调江南太平州等等。所有这些，都是为了置岳飞于侧面受敌、孤军无援的境地。就在郾城大捷捷报报上朝廷的时刻，秦桧串通张俊、杨沂中，策动并唆使谏官罗汝楫向高宗上疏，说：“兵微将少，民困国乏，岳某若深入，岂不危也。愿陛下降诏，且令班师。”
高宗遂降诏，令岳飞班师。
七月十八日，即张宪从临颍杀向开封之时，宋廷传来班师诏。岳飞鉴于当时完胜的战局，上书争辩，大略为：“契勘金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见，功及垂成，时不再来，机难轻失。臣日夜料之熟矣，惟陛下图之。
隔了两三日，大军先锋已进抵朱仙镇，完颜兀术已逃出开封之时，岳飞却在一天之内接连收到十二道用金字牌递的班师诏，诏旨措辞严峻：命大军即刻班师，岳飞本人去临安朝见。据学者王曾瑜考证，高宗十二道金牌的时间，大约是在七月十日左右，即他得到七月二日克复西京河南府捷报不久。
岳飞接到如此荒唐的命令，愤惋泣下：“十年之力，废于一旦！”然而在朝廷高压钳制之下，岳飞不得不下令班师。百姓闻讯拦阻在岳飞的马前，哭诉说担心受金兵报复：“我等戴香盆、运粮草以迎官军，金人悉知之。相公去，我辈无噍类矣。”岳飞无奈，含泪取诏书出示众人，说：“吾不得擅留。”于是哭声震野。大军撤至蔡州时，当地人民要求与部队一起行动，岳飞最终决定留军五日，以掩护当地百姓迁移襄汉。大军班师鄂州，岳飞则往临安朝见。北方忠义军孤掌难鸣，兀术回到开封，整军弹压，又攻取了被宋军收复的河南地区。岳飞在班师途中得知噩耗，不由仰天悲叹：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”
岳飞回到行朝，不再像以往慷慨陈词，只是再三恳请朝廷解除其军职，归田而居。高宗以“未有息戈之期”为由不许。
绍兴十一年正月，完颜兀术再度领军南下。二月，岳飞领兵第三次驰援淮西。这也是他最后一次参与抗金战斗
接下来为了何谈，以‘莫须有’罪名被杀。其实结果都一样，所以说让他打完再卖掉他最好。
岳飞被害后，狱卒隗顺冒险将岳飞遗体背出杭州城，埋在钱塘门外九曲丛祠旁。隗顺临终前，始将此事告知其子。绍兴三十二年宋孝宗即位，岳飞冤狱终于平反。隗顺之子告以前情，乃将飞以礼改葬在西湖栖霞岭，为岳飞追赠谥号“武穆”，宋宁宗时追封为鄂王，宋理宗时改谥忠武。