没几天，李世民第二次去劝李渊造反：“现在盗贼日繁，遍于天下，父亲大人受诏讨贼，现在情况又怎么样了呢？您假若能够讨**群贼，朝廷也会功高不赏，益发身陷危局！父亲如果听从我上次劝您的话，就可以避祸。我说的是万全之策，请父亲大人不要怀疑。”这一回，李渊不像第一次那样坚决拒绝，而是以无可奈何的口吻说：“今日破家亡躯由着你去，化家为国也由着你吧！”
之后，李渊“讨贼不力”，杨广要兴师问罪。李世民乘机第三次规劝李渊：“现在的朝廷是君昏臣乱，父亲尽忠是没有意义的。太原兵马精强，宫监蓄积巨万，如果以太原的资源举事，何患无成！”在李世民的这次劝说下，李渊终于决定在太原起兵。
当然，这些都是唐朝初期李世民修订的历史的说法，如果李渊没有早存不臣反叛之心，如果李渊没有利用身份暗中进行准备，那么后来的太原起兵最终不会付诸实施。
还有一段流传很广的故事，似乎可以说明李渊是自动走上反隋道路的。传说晋阳宫监裴寂和李渊交好，往来甚密。裴寂为了前途，早想投靠新主子了。可他是个太监，唯一可行的办法就是扶立新天子。他看中了李渊的潜力，决定激发李渊反隋。一次，裴寂请李渊饮酒，将他灌醉。之后，他安排杨广留在晋阳宫的妃子和宫女为醉酒的李渊侍寝。李渊清醒后，意识到了事情的严重性，担心不已，于是裴寂劝说李渊举事。《新唐书》正式将这个传说记入了正史，还增加了一些情节，说整件事情其实是李世民和裴寂两人的谋划。事后，裴寂劝说李渊举事，李渊在大惊之余还是犹豫不决。在关键时刻，李世民出现在谈话中，敦请父亲反隋。最终，李渊思考之后，点头同意了。
大业十三年（617），马邑郡人、鹰扬府校尉刘武周因为和太守王仁恭的侍女私通，先下手为强，以贪污之名杀死了王仁恭，造反起兵，并自称天子。于是，李渊以讨伐刘武周为名，招兵买马。李渊和二儿子李世民，以及亲信刘文静、长孙顺德、刘弘基等人积极募兵，十余天就聚集了超过一万人的军队。但是李渊并不出兵攻击刘武周，还秘密派人召回在河东的长子李建成和三子李元吉。
太原副留守王威和高君雅都是杨广的亲信，安插在太原监视李渊。两人意识到情况反常，判断李渊极有可能加入造反者的行列，决定除掉李渊。他们假称将在晋祠举办祈雨仪式，请李渊主持，准备暗中埋伏士兵杀掉李渊。不过，王威、高君雅二人的阴谋被知情人向李渊告发了，李渊决定先除去二人。
大业十三年五月某日，李渊找王威、高君雅两人议事。这时，刘文静领着开阳府的司马胙城刘政会赶来，说有密状呈给李渊。所谓的密状，就是刘政会告发王威、高君雅勾结突厥，图谋不轨。李渊当场认为证据确凿，命令将王、高二人拿下正法。王威、高君雅不甘心束手就擒，召唤亲兵随从拔出兵器拒捕。这时，大殿外涌入李世民早已经埋伏好的铁甲精兵，结果没几个回合，王、高二人就被斩首。当时，突厥趁中原大乱，时常入侵中原，太原城外经常出现游**的突厥骑兵。李渊为除去王、高二人找的理由非常自然，其他人也找不出确切的反对证据。
除去两个碍手碍脚的同僚后，李渊开始明目张胆地准备起兵。七月，李渊率军三万在太原誓师，正式起兵。
作为从隋朝阵营中脱离出来的高级贵族，李渊一开始就显露出比一般举事者高明的地方。他不称王不称霸，而是发布了兴兵檄文，宣称自己是替天行道，而不是争权夺利。他斥责杨广听信谗言，杀害忠良，穷兵黩武，致使“荆棘旅于阙廷，豺狼充于道路”，朝政日非，民不聊生。因此，李渊起兵的目的是要废掉昏君，改立明主，拯救万民于水火之中。这样的声明为李渊减轻了许多政治阻力。
