，就答应了。
巧的是，这时候刘武周占据了汾阳，李世民就对李渊说：“爹啊，你是留守，可盗贼都占到咱家门口了，再不拿主意，咱可就大祸临头了。”于是，大业十三年五月，李渊就让李世民和刘文静等人去招兵买马。没过几天，就招了一万多人。王威和高君雅一看李渊这架势，心里就嘀咕，怀疑他有反心，想收拾他。结果，李渊让李世民设了个局，把这两个人给咔嚓了。
这时候，刘文静建议李渊跟突厥结盟，借他们的兵马壮壮声势。李渊一听，觉得有理，就派使者去突厥。突厥那边说，要是李渊想当皇帝，他们就出兵帮忙。李渊一听，这哪行啊，咱可不能当汉奸！于是，他就没答应。裴寂又出了个主意，说咱们可以尊隋炀帝为太上皇，立个代王当皇帝，然后改个旗帜颜色，用绛白两色，好让突厥知道咱们不是跟隋炀帝一条心的。李渊一听，说：“这简直就是掩耳盗铃嘛！不过，形势所迫，咱也得这么干。”于是，他就答应了。然后，他派刘文静去突厥那边，既告知他们这个决定，又借了点兵马。不过，他私下里跟刘文静说：“那些胡人骑兵跑到咱们中原来，就是老百姓的祸害啊！我借他们兵马，是怕刘武周跟他们勾结起来对付咱们。咱们就借个声势，几百人就够了，多了也没用。”
接下来，李渊让李世民带兵去打西河郡。那郡丞高德儒一看，赶紧关起城门来守。结果，李世民一攻就攻下来了，把高德儒给抓到了军门前。李世民就数落他：“你啊，把野鸟说成是鸾，骗皇帝骗了个高官。我今天兴义兵，就是要杀你们这些奸臣！”说完，就把他给咔嚓了，其他人一个没杀，秋毫无犯。这事儿一传出去，大家都高兴得不得了。
李世民带着兵回到晋阳，一共就九天时间。李渊一看，高兴地说：“照这样行军打仗，咱就是横行天下都没问题啊！”于是，他就定了打进关中的计划。到了秋天七月，他让李元吉当太原太守，留守晋阳，自己带着三万甲士从晋阳出发。他立了军门，对大家发誓，还写了檄文，告诉各郡各县，说他们要尊立代王为皇帝。
这时候，隋朝的代王派了宋老生带着两万精兵守在霍邑，屈突通又带着几万骁果守在河东，准备抵挡李渊。结果，天公不作美，下起了大雨，李渊的军队没法前进，粮食也快吃完了，刘文静还没回来。有人传说突厥和刘武周要趁这个机会偷袭晋阳。李渊一听，就召集将领们商量，想撤回去。
裴寂等人都觉得还是回去救粮草要紧，以后再想办法。李世民一听，就不乐意了，说：“现在田里到处都是粮食，咱还愁没吃的？宋老生这个人轻敌浮躁，咱们一战就能擒住他。李密呢，他光顾着抢粮食，还没顾上打长远的主意。刘武周和突厥，他们虽然表面上勾结在一起，但实际上互相猜疑。刘武周虽然想占咱们太原的便宜，但他也不能不顾自己的马邑啊！咱们是兴正义之师，得奋不顾身地去救老百姓。谁先打进咸阳，谁就能号令天下。现在咱们遇到点小敌人就想撤，那咱这些跟着你的人一下子就散了。要是再回守太原，咱就成了一城之敌，还怎么自保啊？”李渊一听，觉得也有道理，但心里还是嘀咕。李世民一看，想再劝劝，结果天黑了，李渊已经睡了。李世民进不去，就在外面号哭，那哭声把李渊都给吵醒了。李渊出来问他怎么回事，李世民就说：“咱现在是打着正义的旗号出征的，前进就能胜利，后退就会散伙。大家要是散了，敌人再追上来，咱就活不了几天了。我能不伤心吗？”李渊一听，这才恍然大悟。
李世民和李建成已经分头去追那支已经出发的左军了，结果他们不光追上了，还带着左军一起返回了太原。正好，运粮的队伍也到了。
到了八月，雨终于停了，李渊就带着大军向霍邑进发。那宋老生带着三万大军来迎战，结果被李世民带着几千骑兵给一顿收拾，宋老生也被咔嚓了，霍邑就这么被攻下来了。接下来，临汾、绛郡、韩城、冯翊等地也都纷纷投降。
这时候啊，河东还没打下来，李渊就琢磨着是不是先别去长安了，心里有点犹豫。裴寂就说：“屈突通那小子带着大军守着坚城，咱们要是就这么走了，万一进攻长安没成功，再被河东的军队追上，那可就是腹背受敌了，危险啊！不如先把河东打下来。”李世民一听就不乐意了，说：“裴大人啊，您这话可不对。咱们打仗讲究的就是个速度，咱们现在士气正旺，老百姓也都支持咱们，咱们就这么一路向西，长安的人一看咱们这架势，肯定吓得不行，连个主意都拿不出来，咱们取长安那不就是手到擒来的事儿嘛！屈突通那小子就守着个城，不足为虑。”
