数日后，崔家主、卢家主、赵郡李家主均是赶到，三人与王家主分宾主落座，崔家主道：“郑兄还没到吗？他与我们距离差不多，为何还没到？”王家主道：“不清楚，我是同一时间通知你们的，可能郑兄因为在荥阳郡的缘故得小心出行”。
卢家主道：“不会，是我们世家密谋之事被杨广知道了吧，郑兄不会被抓了吧，荥阳那边有什么消息吗？”李家主道：“很有可能，始毕可汗送往洛阳已经有些时日了，若是杨广知道了我们勾结突厥，扶持杨玄感造反，意图推翻大隋，定然会派兵围剿我们，事先肯定会封锁消息。”“不好，倘若郑兄真的被抓了，那么朝廷大军肯定会向最近的王兄而来，那么我们就要早做打算了”崔家主道。
王家主顿时一惊，道：“此番唤几位家主前来就是商议此事的，始毕可汗为求活命肯定会在杨广面前说出我等与之勾结之事，杨广必然会趁此良机派兵抓捕我们这些世家，进而一举消灭我们，所以诸位有何良策？”这些世家主俱都沉默，低头不语，暗自沉思。
过了许久，卢家主道：“这大隋恐怕难有你我容身之处了，我们只能背景离乡，往那些属国逃亡了，只是如今东突厥两路大军尽灭，已经名存实亡了，至于契丹室韦还不如东突厥，辽东半岛也被杨广征服，如今能去的只有倭国了”。
崔家主道：“倭国弹丸之地岂能长久”，王家主道：“但如今只能逃往倭国了，往西逃亡无异于自投罗网，只有逃往倭国，隔着一片大海，杨广即使派兵攻打也不易，我等尚有喘息之机，只待中原大变，可卷土重来，昔日五胡乱华之时，我等世家之祖辈都能衣冠南渡以避战乱，如今我等举族东渡倭国有何不可？”其余家主一听此言有理，于是准备回归族地举族东渡倭国，就在此时，有下人来报杨素领大军前来围剿。
