建武九年（33年），郭皇后已经完全失宠，被刘秀疏远。尚书令申屠刚在任期间多次谏言让郭圣通所生的太子刘疆就东宫，却被刘秀拒绝，并最终把申屠刚贬黜出京。
建武十三年（37年），蜀地平定后，刘秀大封元勋外戚，但其中却不包罗郭圣通的外戚族人，其弟郭况直到建武十四年（38年），才升任城门校尉。
建武十五年（39年），阴氏和刘秀的母族樊氏增封，却没有包罗郭圣通的弟弟郭况。而刘秀封皇子为公，阴丽华的宗子刘阳封东海公，东海国据二十三县，为诸子之中最大的。郭圣通因为日渐失宠，她的外戚也始终不像阴家兄弟那样受到刘秀的亲信和重用，因此越来越对刘秀感应怨恨和不满。
建武十六年（40年），刘秀度田，收到一片简牍，写到“颍川、弘农可问，河南、南阳不行问”，东海王刘阳在朝堂上当众揭露，这是因为”河南帝城，多近臣，南阳帝乡，多近亲，田宅逾制，不行为准。“刘秀由此加大了度田的核查，并杀了十余个郡守。在平定了度田引发的叛乱之后，刘秀将叛乱的魁帅严厉处罚，迁往他地，度田成为东汉定制，社会恢复了安宁，形成了牛马放牧，邑门不闭的大好局面。
而刘秀在经过“退元勋进文吏”，削弱了朝堂上元勋的影响力，让他们安享富贵，不外逢年过节入朝觐见而已。又经过“虽置三公，事归台阁”极大的增强了皇权，将权柄牢牢握于手中。
经太过田，攻击了地方豪强势力，在度田中杀了不少郡守，震慑了朝堂，在执政气势派头上“严猛为政”，做到了“总揽权纲”，此时他已经能够控制废后易储，国本动摇造成的政治影响。
建武十七年（41年），也就是在天下平定四年之后，光武帝决定废皇后郭圣通，立朱紫阴丽华为后。刘秀认为她心怀怨恨，对她性情的评价是像“鹰鹯”、无后妃之德，认为她在自己死后不会善待阴丽华母子；而阴丽华是原配，与自己情深意重，应该侍奉宗庙，居国母之位。
因此在国家政局稳定之后，便开始行废立之事。西汉废后之后立新后，间隔少则半年，多则两年，但因郭圣通生有五个嫡子，郭圣通被废之后，刘疆仍然可以以宗子身份正当居于太子位之上。为了解决这个问题，刘秀将废立皇后同时进行。并强调因皇后失德而导致中宫异位，进而致使国本动摇，是异常之事，不是国家之福，因此不得庆祝。将废后引起的政治动荡减到了最小。
教导太子念书的郅恽小心翼翼的在大殿之上替郭圣通说了一些劝谏刘秀的话。他说：“臣听说匹俦之间的情感，连儿子都无法干预干与父亲，况且臣下怎么能干预干与君王呢，这是臣下不敢说的。即便如此，希望陛下权衡事情轻重，不要违背父子人伦，不要让天下人横加议论，刘秀说：“郅恽善于用自己的心去体谅主上的心思，他知道我一定不会有失偏颇而忽略国家大事。”这里，刘秀说郅恽最能体谅自己，并保证以后不会因此影响轻慢国家大事。
君臣父子乃人之大伦，鉴于西汉易储多次发生父子相残的惨剧，郅恽最担忧的也是这种事情在皇廷重演，于是用武丁、尹吉甫这等贤君名臣因娶后妻，放逐前妻之子的例子，劝刘疆主动让位。
郭圣通因过失远远小于前代废后，在被废之后即被封为中山王太后，移居皇宫北宫居住。刘秀给了郭氏一个“王太后”的身份而不是将她废为庶人，而且给其娘家诸人封侯，赏赐他们大批金钱，亲自莅临郭府，厥后又给郭圣通的儿子们增封。一来，郭氏家族在刘秀即位之初有从龙之功，身为外戚谨慎小心十余年，郭圣通也诞育皇家子嗣，对皇室宗族有功，行为上并无严重过失，刘秀是历史上著名的善待元勋、心胸宽广之人，甚至自己杀兄对头更始帝的三个儿子都封爵为侯，自然会对郭圣通和郭家格外厚遇，二来他接受了郅恽的进谏，尽量淘汰废后异储的负面影响，做到“无令天下有议社稷”。
诏书一下，导致郭圣通所生的宗子刘疆一下子由嫡宗子酿成了庶宗子，而刘阳则由庶子酿成了嫡宗子。此时嫡庶异位，他在太子位上便名不正言不顺了。刘疆因此十分不安，听从了郅恽的建议，多次上书体现要让出太子之位。