中原各地纷纷扰扰之时，隋朝最终的取代者此时还偏居山西一隅，他就是隋朝的世袭贵族——唐国公李渊。
李渊家族源于北魏六镇兵家，显贵于西魏时期，也是一个胡汉民族相融合的家庭。和隋朝开创者杨坚的父亲杨忠被赐姓“普六茹”一样，李渊的祖父李虎也因功劳卓著，曾被北周王朝赐姓“大野”，所以李渊早年也被叫作“大野渊”。同为北周的军事贵族，李渊和杨坚关系密切，不仅是世交，还是亲戚。李渊的母亲独孤氏，与北周明帝的独孤皇后、隋文帝杨坚的独孤皇后是姊妹关系，都是独孤信的女儿。
李渊七岁时，父亲李昞就逝世了，依靠父辈的祖荫，承袭父爵做了唐国公。因为贵族身份，李渊很早就入仕了。在隋朝建立之初，李渊补为千牛备身。隋文帝杨坚在位时，将李渊看作是与自家有世交的“侄子”，又看作是本家的“外甥”，照顾有加。加上李渊和皇子杨勇、杨广等人年纪相仿，李渊和皇室关系密切，在隋朝早期阶段平步青云。如果此时有人说李渊对朝廷怀有二心，想必没有几个人会相信。
杨广即位后，李渊的官运就不太亨通了。据说是因为他过分喜爱自己养的骏马和猎鹰，不肯献给杨广，所以杨广就给自己这个表亲小鞋穿。后来李渊在妻子窦氏的提醒下，开始积极向杨广进献骏马、猎鹰和玩物，官运立即亨通起来，先后任荥阳太守、楼烦太守、殿内少监、卫尉少卿。大业十一年（615），李渊出任山西河东慰抚大使，两年后出任太原留守。虽然算不上是隋朝政坛呼风唤雨的人物，但没人否定李渊是朝廷的显贵，是现有政治体制的既得利益者。
天下烽烟四起时，李渊是以镇压造反者的“正面形象”登上竞技场的。他一开始对各地的农民起义军咬牙切齿，希望谋划得当，扑灭起义。
然而李渊长期处在与起义军作战的第一线，非常清楚起义者已经遍布全国，朝廷已经无力镇压。隋朝大势已去，灭亡是迟早的事情了，李渊不得不为自己的前途考虑。他开始觉得自己没有必要始终坐在隋朝这条船里，跟着杨广一起覆灭。
而接连遭受失败的杨广也变得多疑起来，开始猜忌李渊。杨广一次出巡途中，征召李渊到行宫觐见。李渊称病没有现身，杨广大为不满。当时李渊的外甥女王氏在后宫做妃子，杨广不经意地问她：“你舅父为何不来啊？”王氏说舅父生病了。杨广再问：“李渊的病，能让他死吗？”李渊辗转听到此话，更加恐惧，再也不敢轻易去朝见杨广了。此后，他便以纵酒沉湎、纳贿贪污的表象来掩护保全自己。
形势恶化和个人境遇艰难，让李渊反隋的念头得到了深入发展。
此外，李渊的二儿子李世民也起到了推波助澜的作用。李世民从小经历军旅生涯，聪明的名声远播在外。随父亲守太原时，李世民已经是很有政治眼光和宏大志向的年轻将领。天下群雄并起，隋朝官府处于风雨飘摇之中，李世民敏锐地预料隋朝国运将尽，正是英雄建功立业的大好时机。他充分利用父亲主政太原的有利时机，积极为反隋争霸进行活动。
李世民一边广交英雄豪杰，联络太原县令刘文静、晋阳宫监裴寂，奔走谋划，一边积极招兵买马，准备起事反隋。当时，刘文静因受李密株连，被捕入狱。李世民以探视为名，与他在狱中拟定了招募兵士、西入关中、创立帝业的起兵计划，并通过裴寂将这个计划转告给了李渊。
根据唐朝的史料记载，是李世民劝李渊定下起兵太原的决心。李世民第一次劝父亲李渊说：“今主上无道，百姓困穷，太原城外皆为战场。父亲大人如果只满足于现在的身份地位，那么天下到处是寇盗，朝廷又有严刑峻法，我们随时处于危亡之中。不如顺应民心，起兵举义，转祸为福。这就是所谓的‘天授之时’啊。”李渊一听，大惊失色：“你怎么说出这样的话来，我现在就把你捉到官府去！”话说到这个份儿上，李世民也只好作罢。当然，李渊也没有把他扭送官府。
