陈留的官吏送上来的文件里，夹着一张纸，上面写着：“颍川弘农可问，河南南阳不可问。” 光武帝看到了，就问这是从哪来的，官吏说在长寿街上捡到的，不小心夹在文件里了。其实这都是因为光武帝喜欢谶语，才惹出这么个事儿来。
光武帝看了这两句话，心里就有点怀疑，一下子就生气了，脸上也不好看了。这时候东海公刘阳，才十二岁，正好在光武帝和皇后身边伺候，他就趁着这个机会说：“河南是京城，肯定有很多皇帝的近臣；南阳是皇帝的家乡，肯定有很多皇帝的亲戚。他们的田宅肯定都超过了规定，所以不方便仔细问，就有了这句话。” 光武帝一听，恍然大悟，马上派虎贲将去追问那个官吏，官吏没办法，就把实情都说了，和东海公说的一样。
光武帝又派谒者到河南南阳去，检查那些当官的，实地考察，免得他们徇私舞弊。不过从这以后，光武帝就更喜欢刘阳了，心里也后悔自己立太子太早了，没让刘阳当太子。这人啊，心里一旦有了想法，就难免会在脸上表现出来。郭皇后也看出来了，心里当然不高兴，所以在光武帝面前，就经常说些风凉话，话里带刺。光武帝听了，越来越受不了，最后夫妻两个就吵起来了，关系也越来越僵。
到了十七年冬天，光武帝突然下了一道诏书，说：“皇后仗着自己的势力，心怀怨恨，多次违抗我的命令，也不能好好照顾其他的孩子，在后宫里就像一只老鹰一样凶狠。她既没有关雎那样的德行，却有吕霍那样的坏风气，怎么能把年幼的孤儿托付给她，让她来主持祭祀呢？现在我派大司徒戴涉（这时候戴涉还没犯罪）和宗正刘吉，拿着我的符节去告诉她，让她把皇后的玺绶交出来。阴贵人是乡里的好人家出身，虽然出身低微，但是我已经三年没见到她了（这两句是引用《诗经》里的话，表达思念之情）。她应该主持宗庙，成为天下人的母亲。这是一件不寻常的事，也不是国家的福气，所以大家也不用来祝贺，特此下诏书告诉大家。”
诏书一下，大臣们都惊呆了，你看看我，我看看你，谁也不敢说话。郭皇后没办法，只好把印绶交出来，搬到别的宫殿去住了。那个长得漂亮、又会讨人欢心的阴贵人，就这么轻而易举地当上了皇后，开始母仪天下了。这事儿啊，其实也挺让人觉得讽刺的。
殿中侍讲郅恽这时候上奏说：“我听说夫妻之间的感情，就算是父子之间也很难说清楚，何况我是个臣子，怎么敢议论呢？不过我还是希望陛下能慎重考虑一下，别让天下人对社稷有什么议论，这样才能没有后顾之忧啊！” 光武帝回答说：“你能体谅我的心思，我也不会做得太过分的！” 所以暂时也没换太子，还把郭皇后的二儿子刘辅封为中山王，封郭皇后为中山太后。其他的皇子，像东海公刘阳以下的，都进封为王。后来还让赵、齐、鲁三国的王爵都恢复了，这些后面再说。
光武帝即位以后，曾经到舂陵去，亲自祭祀祖先的园庙，后来还把舂陵乡改成了章陵县，永远免除那里的徭役，就像汉高祖对待丰沛一样。到了建武十七年冬天，光武帝又到章陵去祭祖，把以前的房子修了修，看看田地和房子，还摆了酒席，和宗室们一起玩乐。不管是男的女的，老的少的，都能参加。
大家喝到一半的时候，那些伯母婶子们就在一起聊天，说：“文叔（光武帝的小名，前面提到过）小时候就很老实，和人交往也没什么特别的，就是脾气好，能容忍别人，也不喜欢和人争吵。谁知道他现在能这么尊贵呢！” 光武帝正好听见了，就接口说：“我治理天下，也想用柔道来治理，不会前后矛盾的！” 说着，就哈哈大笑起来。宗室们也都跟着高兴，一直玩到天黑才散席。
过了一夜，光武帝就命令有关部门，给宗室们都建祠堂，然后就回宫了。这时候已经快过年了，很快就到了建武十八年。正月的时候没什么事，过了一个月，突然接到蜀郡的警报，原来是守将史歆，占据了成都，自称大司马，突然攻打太守张穆。张穆没办法，只好逃出城，跑到广都，赶紧写信求救。
光武帝马上派大司马吴汉，带着臧宫、刘尚两个将领，领了一万多士兵，去讨伐史歆。吴汉到了武都，又调了广汉、巴蜀三郡的兵马，一起围攻成都。打了几十天，就把成都攻下来了，把史歆抓住杀了。
宕渠人杨伟、朐伣人徐容这些人，本来已经被史歆拉拢了，各自聚集了几千人，和史歆一起造反。吴汉收复成都后，又坐船沿着江往下走，到了巴郡。杨伟、徐容这些人，听说汉军来了，吓得赶紧跑，最后还是被汉军抓住杀了，剩下的人都投降了，被迁到南郡和长沙
