北周篡西魏后，追封李虎为唐国公。李渊之父李昞，袭唐国公，做过北周的安州总管。李昞死时，李渊年仅七岁，袭封唐国公。"及长，倜傥豁达，任性真率，宽仁容众，"入隋后，因姨母是隋文帝皇后独孤氏，"特见亲爱",累任大州剌史。
炀帝继位，李渊在地方和中央都作过宫，"历试中外，素树恩德，"又多结纳豪杰。炀帝征高丽，李渊在怀远镇督粮；杨玄感造反，李渊坐镇弘化，统率"关右诸军事".
隋炀帝晚年多猜忌，一次，他下诏征这位表兄入见，李渊因病未能及时赶到。李渊有个外甥女王氏为炀帝妃子，一次被御幸时，杨广问王氏："你舅舅这次怎么没来拜见我？"王氏回言李渊有疾未至。炀帝若有所思，说："这次他能病死吗？"消息传至李渊耳里，可把这位爷吓得不轻，"纵酒沉湎，纳贿以混其迹，"其实，也是隋炀帝不是特别"惦记"他，否则，正好以其"秽迹"来治罪。
隋炀帝被突厥始毕可汗围困于雁门，李渊很是出力，派李世民等人驰救。逃出生天后，杨广觉得这位大表哥还不赖，便下诏李渊统领太原部兵马，与马邑郡太守王仁恭在北方防备突厥的入侵。
边塞虏劲，贼人众多，李渊起先还真不愿意前去。帝命难违，他也只得硬着头皮出发。到了马邑，李渊与王仁恭合兵一处，总共不够五千人马。盼了半天，王仁恭看见李渊才带这么少的人来，心中愈加恐惧，深怕突厥大军来袭，马邑不保。
李渊分析形势后，内心已定，他对王仁恭说："突厥人的长处，在于他们熟谙骑she战斗。这些蛮族以弓矢为爪牙，以甲胄为常服，队不列行，营无定所，本性喜于劫掠，得胜大抢，败也不惭，所以，突厥人并无我们大隋军队警夜巡昼的辛苦，也无军储馈粮的消耗。如果稳扎稳打，按照常理与他们列阵jiāo锋，我们根本胜不了敌方。现在，我们应学习突厥人的战法，以己仿彼，然后找机会给他们以致命性打击。"众人深觉李渊之言有理。于是，隋军简选出jīng于骑she的兵士两千多人，"饮食居止，一如突厥。随逐水草，远置斥堠。"平时，这帮"仿突厥兵"见到真正的突厥小股部队，"旁若无人，驰骋she猎，以曜威武。"突厥人遇见这些汉人兵士，心里也很发毛。
李渊尤其善she，"每见飞禽走shòu，发无不中".突厥大股部队数次邂逅李渊带队的隋军，"咸谓似其所为，疑其部落",总觉是自己人穿了隋军军装，常常犹豫再三，最终皆"不敢战而去。"如此数次，隋军兵士的自信心也增势了不少，"众心乃安，咸思奋击。"李渊见火候差不多，隋军欲战，突厥生畏，便趁一次与突厥主力相逢，"纵兵击而大破之，斩首数百千级。""突厥丧胆，深服帝（李渊）之能兵，以其所部，不敢南入。"可见，李渊出手不凡，是文武全才的人物。
大业十三年，隋炀帝下敕命李渊为太原留守，并遣亲信王威、高君雅任李渊的副手，一来助力，二来可以监视李渊。当时的太原附近有不少贼众，最qiáng的一支号称"历山飞众，"于上党、西河一带屡败官军，致使道路隔绝，隋朝军将与之争锋，丧命不少。
李渊初到任，正好拿这伙人立威，便率五千多人出城讨伐。到了河西雀鼠谷口，两军相遇。看见对方有两万多人，隋兵隋将皆生怯意。李渊从容不畏，对王威讲："这些人起自盗贼，习惯贪财。近来又屡屡获手，骄心满溢，我们以智心筹谋，定能胜敌。所忧不战，战必克之。"于是，李渊把隋军分为二阵，以老弱残兵居中，多张旗帜，大集辎重；以平日心腹jīng兵数百骑分置左右，为小队。此时，隋军上下，皆不知这位皇帝大表哥到底要gān什么。
敌军散列横阵，绵延十几里，步步bī近。
临战，李渊又派王威"领大阵居前，旌旗从之。"对方看见师旗居前，认为是主将所在，纷纷调集最jīng锐部队，一齐呐喊向王威杀来。王威暗叫倒霉，跨下马却鞭打不动，吓得他一头栽下，几为贼众生擒。
看见阵中遍是粮草辎重，贼军欢喜，个个跳下战马抢取值钱东西。此时，一旁观斗的李渊"引小阵左右二队，大呼而前，夹而she之。贼众大乱，因而纵击，所向摧陷，斩级获生，不可胜数……"经此一战，李渊在太原落稳脚跟。
后来，突厥人知道李渊回到太原，马邑只有王仁恭等人，便放开胆子又来入侵。隋炀帝闻讯，下诏派太原副留守高君雅率兵前往马邑，与王仁恭共抵突厥。王仁恭先前跟随李渊与突厥打过几仗均得胜，胆子变大，不听李渊让他坚守不出的指令，也想得胜立威，不料出兵即败，损兵折将。
隋炀帝人虽在江都，仍有人上告李渊、王仁恭不积极备战，"纵虏为患。"杨广大怒，派出"司直驰驿，"到太原把李渊抓了起来，关进监牢，并准备斩掉王仁恭。
当时，李渊长子建成不在身边，只有二儿子李世民在城内。小伙子性急，泣求父亲赶紧造反。李渊老姜，知悉时机还未成熟，便大讲"天命",劝李世民不要太急于起兵。果然，不久就有炀帝诏使驰至，宣布释放李渊与王仁恭，命其依旧"校检旧部".当时天下大乱，盗贼蜂起，"信使行人，无能自达，"惟独炀帝这一介下赦免令的使臣一路上"不逢劫掠，依程而至",众人都发叹异。
李渊听闻御使至，也是大惊。听到赦免令，仰天而笑，说，"此后余年，实为天付。"由此，老英雄也下了必反之心，只是要发未发之际，多怀逡巡犹豫之心。
推动李渊最终兴兵造反的，除李世民外，关键要属刘文静与裴寂二人。
刘文静，字肇仁，"伟姿仪，有器gān，倜傥多权略，"时为晋阳令；裴寂，字玄真，"疏眉目，美姿容，"时为隋朝晋阳行宫的宫监。这两个人一处为官，相知甚洽，结为好友。一夜，哥俩赌钱饮酒，裴寂遥见城外烽火，凄然长叹："遭逢乱世，家道屡空，真不知该怎么办才好。"刘文静笑道："世途如此，时事可知。我们二人相扶相倚，还怕不发达吗！"李渊入太原，刘、裴二人暗中观察，见其"有四方之志",便起劲巴结这位英雄。特别是刘文静，慧眼识人，认为李世民"大度类于汉高，神武同于魏祖，其年虽少，天纵之才。"裴寂起初不信。后来，李世民与这位裴大叔假装赌钱，输给对方数百万，高兴之余，裴寂"大喜，每日与太宗（李世民）
游。"李世民趁机把大计告诉裴寂，裴寂马上允诺"共举大事".不久，刘文静倒霉，坐与李密（瓦岗那位爷）连婚，被炀帝下诏关入太原监狱。
李世民潜入牢中，与刘文静深谈。"天下大乱，唐公若能兴兵一起，乘虚入关，不到半年，帝业可成！"一见面，刘文静就劝李世民。
李世民大喜，笑道："君言正和人意。"于是，他想方设法把刘文静先"弄出来，"然后四处部署，伺机欲发。但是，不知父亲葫芦里卖什么药，李世民也不敢轻易动手。