613年），隋炀帝征讨高句丽，派杨玄感在黎阳督运粮草。此时天下动乱，杨玄感筹划起兵，暗中派人将李密接来，让他主持谋划工作。李密向杨玄感献了上、中、下三策：上策是袭占涿郡，扼临榆关（今山海关），关外隋军粮草不多，不久必然溃散，这跟后世伟人主张攻打锦州有异曲同工之妙。中策是攻占长安，占据关中与隋炀帝对抗。下策是攻打洛阳。杨玄感听后，道：“您说的下策，才是上策。现在大臣们的家属都在洛阳，攻下了它，大臣们就会投降。”杨玄感没什么才干，用的还是土匪绑票那一套。
杨玄感率军奔赴洛阳后，打了几个胜仗，抓获了隋朝的内史舍人韦福嗣，就把机要事务交他办理，从此征战大事不由李密一人主持。韦福嗣本来就不是同伙，每当商议谋略，都持模棱两可的态度。杨玄感后来要他起草布告文书，韦福嗣坚决推辞。李密便对杨玄感说：“韦福嗣本不是志同道合者，实际上抱着观望态度。您刚举义旗，却让奸细留在身边，必然被他误事，不如把他杀了。”可杨玄感不听，李密私下对友人道：“杨楚公喜爱造反却不打算成功，怎么办？我们将会当俘虏了！”后来杨玄感攻不下洛阳，向西进军，韦福嗣终究逃回洛阳去了。
杨玄感的军队被隋朝的追剿大军打败后，李密被抓获，押往隋炀帝驻扎的高阳。李密对同伴道：“我们的性命就像早晨的露水一样，如果被押到高阳，就会被剁成肉酱。”他让同伴们把钱都拿出来，对押解的官差说：“我们死后，用这些钱作为安葬经费，剩下的全部给你们。”官差被金钱所诱惑，防备逐渐松懈。李密让人买来酒菜，每天夜里跟官差吃喝，通宵达旦。走到邯郸时，李密等七人在墙上挖洞逃走。
李密逃到淮阳郡后隐姓埋名，自称刘智远，招收徒弟讲学。有人发现他行为异常，向准阳太守赵佗告发，赵佗派人搜捕他，李密又逃走了，前去投奔瓦岗寨。瓦岗首领翟让身边的人说李密是杨玄感的逃将，怂恿翟让杀了他，翟让就把李密关押在营寨之外。李密让看守自己的王伯当对翟让说：“隋炀帝昏庸无道，攻打高句丽损兵折将，撇下洛阳长安巡视江南，百姓怨声载道，又和突厥断绝了友好关系，眼下正是像刘邦、项羽那样争夺天下的良机。凭您的雄才大略，精兵强将，夺取洛阳长安，灭亡隋朝绰绰有余。”翟让听后大为赞赏，立即释放了他，让他辅佐自己。
在李密的谋划下，翟让攻克了金堤关和荥阳等城镇。隋将张须陀带兵讨伐翟让，翟让曾被张须陀打败过，听说他来了，极为害怕，准备远遁。李密说：“张须陀勇而无谋，他的队伍又打了几次胜仗，骄狂轻敌，一仗就能捉住他。您只管摆开阵势，我来替您打败他。”翟让迫不得已，统领军队御敌，李密分出一千多名士卒埋伏在树林里。翟让开战不利，边打边退，李密派出伏兵到敌后袭击，张须陀的士兵逃散，李密和翟让前后夹攻，大败隋军，张须陀也被斩杀。从此以后，翟让让李密单独统率一支队伍。李密的队伍军容整肃，纪律严明，他本人衣食节俭，得到的金银财宝全都分发给部下，因此人人愿意替他卖命。
后来，李密和翟让趁中原闹饥荒，率军攻克了兴洛仓，开仓赈民，百姓扶老携幼前来取粮，军队迅速壮大到三十万人。翟让推举李密当首领，称作魏公，以洛口为都城，大军在环绕洛口四十里的区域里驻扎下来。李密授予翟让司徒官衔，封为东郡公。任命单雄信为左武侯大将军，徐世积为右武侯大将军，其余的人各按等级授予官职。
