隗嚣就又派部吏周游去洛阳，装作很殷勤的样子。周游路过征西大将军冯异的军营，没想到被仇家给杀了。这一下子谣言就起来了，说冯异要自己当咸阳王，不听汉朝的命令，所以把隗嚣的使者给杀了。甚至还有人上书弹劾冯异，还真有人信以为真。冯异进关都三年多了，除暴安良，老百姓都特别喜欢他。听到这些谣言，心里不太踏实，就上书请求回洛阳，亲自在光武帝身边伺候。光武帝下了道好诏书，不让他回来，还派宋嵩去给他看弹劾他的奏章。冯异很害怕，赶紧上书谢罪，申请入朝。
光武帝这时候正想着陇蜀的事儿，想跟冯异当面商量，就批准他回洛阳。冯异到了洛阳，给光武帝磕头行礼，光武帝跟大臣们说：“这可是我起兵时候的主簿，给我披荆斩棘，平定了关中，功劳可大了！”说着，就让中黄门拿出珍宝衣服钱帛，当面赏赐给冯异。冯异接过赏赐，又磕了头，光武帝让他起来坐下，亲切地跟他说：“芜蒌亭的豆粥，滹沱河的麦饭，我到现在都忘不了，一直遗憾没机会报答你呢。” 冯异又站起来拜谢说：“我听说管仲对齐桓公说，希望您别忘了射中带钩的事，我也不会忘了被关进槛车的事，君臣互相勉励，最终齐国称霸。我今天也希望陛下别忘了在河北的时候，我也不敢忘了陛下的大恩！”光武帝听了很高兴，把冯异叫到内庭，跟他商量陇蜀的事儿。光武帝说：“我因为将士们打仗太累了，本来想把隗嚣和公孙述这俩事儿先放放，可公孙述不老实，隗嚣又两面三刀，以后肯定是个祸害，你觉得该咋整呢？”冯异回答说：“我看这俩人在西南占着地盘，不狠狠地教训他们一下，他们是不会服软的。我虽然没多大本事，但愿意为国家出力！”光武帝又说：“关中是陇蜀的交通要道，特别重要，你也不方便离开，实在不行，我就亲自去长安，调兵遣将，先去攻打蜀地。”冯异就详细地说了陇蜀的地形，还有行军打仗的计划，说了好长时间，一直说到太阳快落山了才退出来。后来又被光武帝召见了好几次，定下来要攻打蜀地，冯异这才回关中。之前冯异去西征的时候，没带家眷，这回接到光武帝的特别旨意，让他带着妻子一起走，这意思就是对他特别信任。
这时候公孙述正在收拢延岑和田戎的军队，让延岑当了大司马，封了汝宁王；田戎也被封了翼江王。延岑投奔蜀地，田戎也跑到蜀地，公孙述派部将任满和田戎一起出江关，一路上收拢田戎的旧部，想去攻打荆州那一片的地方。公孙述还瞎编谶语，说孔子写《春秋》的时候，尊崇周朝，崇尚红色，周朝一共十二个公；汉朝也用红色旗帜，从汉高祖到汉平帝，中间加上吕后掌权，也是十二代，这汉朝的气数已经到头了，姓刘的不能再当皇帝了。又引用《录运法》里面的话，说“废昌帝，立公孙”，还有《括地象》说：“帝轩辕受命公孙氏握”，《援神契》说：“西太守，乙卯金”。公孙述以前当过蜀郡太守，就把“西太守”三个字当成是说自己的证据，还把“乙”字说成“轧”字，意思是要把姓刘的给挤下去。还到处宣扬《掌文》里面刻着“公孙帝”三个字，当成是祥瑞，写信给各地的人。光武帝本来不想马上攻打公孙述，就写信给他，信里说：“图谶上说公孙就是汉宣帝，代替汉朝的应该是当涂高，你难道是当涂高吗？你还把《掌文》当成祥瑞，王莽就是这么干的，有啥用呢？你也不是我的乱臣贼子，就是突然有人想让你当皇帝，这没啥了不起的！你看看，你岁数也不小了，妻子孩子都还小，应该早点想想以后的事儿，别瞎折腾了。天下这皇位，不是靠争就能争来的，你可得好好想想！” 这封信当然不能让公孙述服气。而且这封信后面署名，还把公孙述叫成公孙皇帝，这称呼也不对。公孙述根本就没搭理这封信。
公孙述手底下有个骑都尉叫荆邯，给公孙述出主意，说赶紧发兵往东打，让田戎去占江陵，延岑去汉中，拿下三辅地区，再收服天水陇西，跟汉朝争天下。公孙述把大臣们召集起来问意见，博士吴柱他们大多说不应该远征；他弟弟公孙光也劝他守住险要的地方。这把公孙述弄得想打又不敢打，犹豫不决。
延岑和田戎一个劲儿地请求发兵，公孙述又觉得这俩降将不太可靠，不太相信他们。但是公孙述出门的时候，弄了一大堆卫兵，还增加了仪仗，就为了显示自己的威风。还把两个小儿子封成王，让他们在犍为广汉那几个县收税。手底下的人说现在成败还不一定，将士们都在外面打仗吃苦，不应该急着封皇子，光顾着自己家的事儿，公孙述也不听。这么一来，人心就散了，失败的兆头就出来了。
光武帝恨公孙述太倔强，不收拾他不行了，就亲自
