廷也不乏深谋远虑之人。他们对宋人两个俘虏皇帝实行“圈养而不杀死”的政策，使得宋朝廷投鼠忌器不敢全力进攻，自己又能“挟天子以令诸侯”，同时又可以使宋朝廷的残余势力互相斗争、心存争夺皇位的侥幸心理。这真可谓一箭三雕。他们还不时放出即将释放俘虏皇帝、宫人和大臣的信息，一再派人传送书信说明两位俘虏皇帝的情况，消磨宋人的进攻意志。
有一天，皇帝赵构给辅臣说：“高丽进贡的使者马上就要到了。朕听说太上皇派遣了一个宦官内臣和两个宫女回来。朕听说后，一则以喜，一则以悲。朕远离二圣，已经快要三年了，现在忽然得到了他们平安的信息，怎能不高兴呢？上皇时期，天下承平很久，当时以天下之养而奉养他一人；现在却居住在北方寒冷狭小的地方，食物、衣服都是百般粗陋，而朕居住的地方深宫广殿，因此朕极不遑安。而且朕父母兄弟及妻皆在远域，只有一个儿子最近却已薨逝，导致朕孑然一身。当此艰难之时，怎能不使人悲伤呢。”话未说完，就假装流下了眼泪，举起袖子擦拭了一下眼角。
，！
吕颐浩赶紧劝勉说：“愿陛请您放宽心吧，一切都会好起来的。终有一天，我们就能恢复中兴之业。”
“可是，此时的宋帝心事有谁知？”
兵部尚书、同签书枢密院事周望在政治上极其幼稚，根本不懂宋皇帝赵构此时的心情。皇帝赵构已经明确说了，他“又惊又喜”。可是周望对此根本没有理解，他傻傻地说道：“二圣忽然有信使回来，说明二圣南来回归的日子就很近了，咱们有盼望了。这种好事，必定是金人的好意。如果不是他们的好意的话，这几个人虽然能到达高丽，高丽也不会让他们平平安安地回来。”
说者无意，听者有心。
周望的回答更是引起了宋帝赵构对于二圣回来的担忧，于是宋皇帝赵构更加坚定了南逃的决心。
建炎三年闰八月，宋皇帝赵构下诏说：“敌人现在迫逐日紧，没有宁息停止的日期。朕若定居建康，不复移跸，与搬迁去湖北、山东，或者去江苏等地，山川形势，地利人情，哪个地方能立足，哪个地方不能立足？哪些地方好，哪些地方差？朝廷各部门可以和各地官员、职事、边将讨论一下，然后报告上来。”
张浚建议定都武昌，开始大家都赞成。可是张浚离开之后，江、浙士大夫就开始摇动他的建议，吕颐浩也跟着变动了最初的决定。
这天，皇上下诏让随驾百官及诸统制全部来到都堂，每个人都写出将去定都的地段和具体原因，众人大体上都认为：“湖北、湖南路比较远，馈饷难以为继，又考虑圣驾一动，则江北群盗乘虚过江，东南就被盗贼占领了。”
第二天，辅臣进入对话议事，皇上还没有看完全部奏章，就对吕颐浩说：“我估计大家的奏章中对朝廷搬迁的去向意见不统一。当年我们真宗的澶渊之役后，陈尧叟是蜀人，就建议朝廷搬迁去蜀地；王钦若是南方人，就建议朝廷搬迁去金陵，只有寇准一个人建议下决心亲征。唉！人臣如果不以私事为考虑，专心为国计议，那么就没有什么影响决策的因素了。因此那些奏章也就不需要多看了，还是往东边去吧。”
金兵攻打到了长江边上，宋皇帝赵构就跑到了浙江会稽，又把大臣和诸位将领召集到一起，问以移跸之地。
赵鼎说：“自古帝王多数都经营中原。而经营中原当自从关中开始；经营关中当自从蜀地开始；欲幸蜀地当自荆、襄开始。江苏等地偏居一隅，并非进取中原之地。湖北等地左边连接川、陕，右边控扼湖湘，而下瞰东京、洛阳。古代三国所必争的地方，宜以公安为行阙，而屯重兵于襄阳，运送江、浙之粟米以资川、陕之强兵，经营天下大业，再没有比这更好的策略了。”
御前右军都统制张俊，御营都统制辛企宗，劝皇帝从湖北去长沙。左军都统制韩世忠这时也来了，他上奏说：“国家已经丢失河北、山东，若又放弃江、淮，那还有什么地方！”
皇帝让内侍带领他们三人来到都堂仔细商议。皇帝赵构听说张俊等人都以各自利益为重，实行完全的退避之说，怫然不悦，非常生气，一直到了晚上都没有吃饭。
吕颐浩等人看到大家议论纷纷，犹豫不决，就上奏再讨论这件事情。皇帝赵构告诉他说：“张俊、辛企宗不敢战斗，因此准备退避于湖南。朕以为金人所依靠的不过是骑兵人多罢了，而浙西是水乡，他们骑兵虽然多，但不得驰骋奔袭。而且人心一摇，虽然到了四川、广西，恐怕这些地方都会被敌军占领了。”
