刘文静诈称得隋炀帝手赦，大发兵民，以伐辽东为辞，致使"人情大扰，思乱者益众".眼看水已经搅浑，刘文静又bī裴寂赶紧鼓捣李渊起兵，并威胁说："您身为晋阳宫监，却把宫中美人送给唐公享用，此事传出，您与唐公哪个也活不了啊！"大惧之下，裴寂"屡促高祖（李渊）起兵。"恰巧，马邑人刘武周结众为盗，杀太守王仁恭，自称天子，诱引突厥兵马，准备向太原挺进。李世民、裴寂、刘文静借此机会，大发库金，分散府物，四处招兵买马。而太原副留守王威、高君雅是炀帝心腹，闻讯起疑，获悉李渊父子异动，一合计，便想以到晋祠祈祷为名，把李渊诱至其地拘捕，一网打尽。
关键时刻，"吉人自有天相".晋阳有个叫刘龙的土豪乡长，通过裴寂与李渊相识。李渊贵为帝亲，与这么一个"副科级"的财主也一见如故，喝酒吃肉，豪赌打pào。刘龙这种卑贱出身的"微细"之人，自然心中感激涕零，觉得李渊很给自己面子。同时，由于刘龙有钱，与副留守高君雅关系也不错。高君雅想"办掉"李渊，饮酒之际，自然就不拿刘龙当外人，把己谋全盘告之。刘龙出高君雅府门，一溜烟直奔李渊宅邸，"具以启闻".
心惊肉跳之余，李渊表面镇静，对刘龙说："您能以此事相告，深有至诚。请不要再对别人说，我自有安排。"同时，李渊暗下决心，不反也得反。
大业十三年农历五月丙寅清晨，李渊"恶人先告状",大集僚属，声言高君雅、王威两人引突厥入寇，先发制人，当众逮捕了两人，送入监牢。两人叫苦不迭，直悔动手过晚。
更绝的是，过了两天，果然有"突厥数万骑抄bī太原，纵入城郭北门，取东门而出。"李渊也不畏惧，派先前招降的贼师王康达出城埋伏。王康达等人习惯了抢略，突厥军队过了一半，中有缺停，王康达以为是队尾，忽然跳出，准备抢马。不断，后队突厥包抄，前队突厥掉头，前后夹击，把这批"新附军"包了饺子。太原城内居民，一恨高君雅、王威"引láng入室",二畏突厥兵马qiáng盛，三惊城内军兵众多，忧恐之下，更加紧密地"团结"在李渊周围。
李渊指挥若定。他派遣小股部队连夜偷偷出城，占据险要之地，然后，又让这些人白天大张旗鼓，大呼入城，给突厥人造成"援军不断"的假象。
同时，他还嘱诫军士，遇突厥兵，"恃险勿战",敌退勿追，使敌人"莫测"太原守将到底要gān什么。
《大唐创业起居注》记载，突厥各队首领互相嘀咕："唐公相貌有异，举止不凡，智勇过人。前来马邑，大胜我辈。今在太原，何可当也……不如早去，留必取死！"于是，突厥人连夜遁逃。这些记载，完全是温大雅唬弄人。真正原因，一是突厥人在城外抄掠已足，急于回去享用"战利品"；二是李渊亲自给突厥的始毕可汗写信，称臣装孙子，并表示"征伐所得，子女玉帛，皆可汗有之……坐受宝玩，不劳兵马，亦任可汗……".突厥人无远谋，又贪宝物，太原城坚，难以一时攻破，自然得了大便宜就走。李渊为自己脸上涂粉，向众人讲他是"屈于一人之下，伸于万人之上",表示他是为了民众利益才如此"屈尊俯就".
解除了突厥人"背后一刀"的最大危胁，处死了王威、高君雅两个"肉中刺",李渊父子于七月份开始正式兴兵，托以伊尹放太甲、霍光废昌邑王为名，宣布废掉炀帝，立代王杨侑为帝。代王杨郁是隋炀帝亡故的元德太子杨昭之子，当时才十三岁，人又在长安，所以，李渊明显是掩耳盗铃，不过当时天下人皆争逐帝座，也没人真站出来和他在这方面较真。
突厥人听闻李渊反隋，也派柱国康鞘利等带数千匹好马赶来。李渊演戏很投入、bī真，以臣礼跪受始毕可汗书信，又大赠使臣金银美女。同时，李渊心机很深，知道突厥人所携马匹不是无偿赠送，而是要用钱购买，便只捡上等好马，购买其中一半的马匹。
起义人众见李渊如此，以为主将惜钱，便纷纷自告奋勇，要自己出钱出物换购其余马匹。李渊阻止，意味深长地劝告说："突厥人的马象羊一样多，陆续有来，恐怕到时你们买也买不尽。胡人贪财，我们不要bào露自己有钱，现在买少量的马，表示我们很穷，也不要急需战马，如此，才能稍稍抑制这些胡人的贪心。"此外，他还诫谕出使突厥的刘文静："突厥人派兵前战，只可收纳数百骑即可，拿他们当幌子吓唬一下隋军，此外，借胡人援军，可阻止刘武周与胡人联军政打我们。如果突厥人马众多，百姓绝无生存之理，抢掠劫杀，会造成大祸。"可以想见，李渊还真不是倚仗láng势的卖国贼，不愧是老到深谋的政治家。为此，一直跟随他左右的温大雅充满崇敬地回忆："帝（李渊）素怀济世之心志，有经纶天下之心。接待人伦，不限贵贱，一面相遇，十数年不忘。山川冲要，一览便忆。远近乘风，咸思托附……"李家之所以能化家为国，究其实，李渊起到了决定性的作用。
反经合义妙尽机权——太原起义后的李渊八月，李渊以四子李元吉为太原留守，以长子李建成为左军，以次子李世民统右军，自率中军，从太原向长安挺进。一路顺利，"义旗之下，每日千有余人，论赏功勋……百计千端，来从如云，观者如睹……人人得所，咸尽欢心",很有天王巨星风采，几乎是"有征无战",兵不血刃。
一直开到霍邑（今山西霍县），李渊才遇到平生第一块难啃的骨头——隋将宋老生。
霍邑地形险要，西北抗汾水，东临霍太山，而且，宋老生手下有jīng兵二万，非一般隋兵可比。同时，隋廷又派左武侯大将军屈突通统辽东劲率数万于河东（今山西永济），与宋老生遥为呼应。
时值秋雨淋漓，双方均无法开战，战事胶着，最着急的当属李渊部队。《旧唐书》、《新唐书》均有类似记载："会久雨粮尽，高祖与裴寂议，且还太原，以图后举。"李世民力谏，表示义军一定要先入咸阳，才能号令天下。如遇小敌即班师，示敌以弱，随从兵士肯定马上会心乱解体，"众散于前，敌乘于后，死亡须臾而至。"李渊不听，下令催促兵众调头回太原，李世民见状大哭，苦劝，最终让李渊回心转意，决意攻城。但是，观温大雅的《大唐创业起剧注》，乃是李渊先分析天下形势，而后征求大郎（李建成）、二郎（李世民）意见。兄弟俩皆表示："（宋）老生轻躁，破之不疑。定业取威，在此一决……雨罢进军，若不杀老生而取霍邑，儿等敢以死谢！"此段话语，百分之九十的可能是由李建成说出，何者，古人重礼，自然是长子先发言表态，然后才能轮到李世民接碴。到了后来，太宗臣下编史书，当然都把定策的大功皆记在李世民一人头上。
李渊当时闻言而喜，马上表示，"尔谋得之，吾其决矣",显示出李渊本人也是如此思忖，并非象新旧唐书所载是他想窜回太原。