将领才可以。”张浚说：“正因为有人选了，所以才准备换掉他。”这时吕祉也自告奋勇说：“如果我能专纵一军，定当生擒刘豫父子，然后尽复故疆。”因此这时刘光世已经被罢免，张浚于是把刘光世原来统领的军队分为六个部分，就让兵部尚书兼都督府参谋军事吕祉，往滩西抚慰诸军。
直秘阁詹至听说这个事情后，也写信给张浚说：“吕尚书虽然很贤能，固然是一时之选，然而他于此军恩威曲折，卵翼成就，恐怕不得比于前人。俗话说‘外来和尚好念经’，不能从平级人员中提拔人才。朝廷现今把军队已经交付给王德，王德虽然有功，而他与郦琼辈以前都是平级，恐怕他的下属中有不能平心服气的人。希望朝廷再选择偏裨将领中素来被人推服的将士作为领导，而使王德作为副手，这样上下之情都通畅了。”后来吕祉回到朝廷，而郦琼果然与他的八个部下列状告讼王德于都督府，且请求离开部队回避一下；都督府认为王德没有什么过错，就没有理睬这件事情。郦琼等人又告讼于御史台，王德也反告说郦琼的过错。朝廷于是诏命王德返还建康，把他所带领的一军隶于都督府，再次让吕祉前往庐州节制他们。吕祉将要辞行，皇上赐给他以鞍马、犀带、象笏，抚谕十分宠溺，这些都不是从官所能期望的事情。
，！
中书舍人张焘，也赶紧前去拜见张浚说：“吕祉是一介书生，不懂军旅，怎么能把这么大的事情轻易交付给他呢！”但是嫉妒岳飞的心理使得张浚失去了理智，他根本不听张涛的劝告。此时，张浚考虑的不是谁能带领这支军队，而是这支军队不能让岳飞带领。
吕祉又请求辟都督府准备差遣陈克跟随他一起去，资政殿学士叶梦得与陈克关系很好，就告诉他说：“吕安老并非驭将之才，你是一个诗人，并非国士。淮西诸军之间互有纷纷争论，你这次前行，很危险啊！”陈克也没有听从他的劝阻。吕祉、陈克都把家人留下，自己以单骑从军去了。
岳飞看到这些朝臣从中掣肘，不想给他增加兵力，整天以小人之心度君子之腹，非常气愤。他即日以回家给母亲服丧为理由，上章请求解去兵柄，免得朝廷大臣认为他贪恋兵权。朝廷还没有答应他，他就让下属张宪摄管军事，自己径自跑回去了，就住在庐山母亲的墓地旁边。
张浚看到这种情况，大为震怒，就奏请皇上任命兵部侍郎张宗元代理湖北、京西宣抚判官，去鄂州监护岳飞的军队。
当时岳家军由张宪统领，这时接到了由代理宣抚判官张宗元来接替他职责的消息，军中士兵议论纷纷说：“张侍郎这次前来统军，我们的岳公就不再回还了。”这时，直宝文阁、新知襄阳府薛弼在武昌，听说了这件事，害怕引起兵变，没有来得及上奏，就赶紧请张宪勉强出面安抚军队，张宪于是宣谕这些小校将士说：“这次张侍郎前来，是因为我们的岳公请他来的，大家不要担心惊慌。岳公刚才解除军政不久，你们就这样，岳公听闻之后也会不高兴的。现在朝廷已经派遣敕使前去召回我们岳公了，张侍郎并非久留之人。”士兵于是才安定下来。
宋帝赵构经过前面几次和岳飞的接触，知道岳飞的才华远远大于满朝文武。如果岳飞能克服年轻气盛的缺点，将来前途不可限量。因此，宋帝赵构多次下诏催促岳飞赶紧回来就职，岳飞仍然尽力推辞。
在庐山的这一段时间，岳飞内心非常矛盾，报国无门，忠孝不全，真是非常苦闷，就写下了这首着名的《送轸上人之庐山》：
何处高人云路迷，相逢忽荐目前机。
偶看菜叶随流水，知有茅茨在翠微。
琐细夜谈皆可听，烟霏秋雨欲同归。
翛然又向诸方去，无数山供玉尘挥。
宋帝知道，如果岳飞不被自己任用，一旦被其他人利用，那将是灭顶之灾。因此宋帝赵构软硬兼施，这次下诏专门派遣岳飞以前的幕属参议官李若虚、统制官王贵去庐山东林寺请岳飞回来官复原职，否则他们都要以死论罪。岳飞一看自己如果不回去任职，自己的这几个下属交不了差，都要被处死，无奈之际在六天之后回到朝廷待罪。
张浚见到岳飞，就说了宋帝赵构非常器重眷遇他，并且责备他不请假就弃军而去的行为不对。岳飞就写了奏表待罪，宋帝赵构又安慰了一下他。岳飞准备离开朝廷到军队去之时，宋帝赵构给岳飞说：“卿前日奏陈轻率，朕其实不怪怒卿；如果怪怒卿的话，则必定有处理行遣，也就是太祖所说的‘犯吾法者，惟有剑耳’。今天之所以再次让卿典军，任卿以恢复之大事，你可以知道朕无怒卿之意了吧。
