隋煬帝登基以後,荒淫無道殘暴至極,使得民不聊生,怨聲載道。在忍無可忍的情況下,農民起義終於爆發了。
大業七年(611年),王薄首先在山東長白山(今章立、鄒平、長山等縣交界處)起義,活躍在齊郡(今濟南)、濟北郡(今茌平)一帶。王薄自稱“知世郎”,他作了一首《無向遼東浪死歌》號召起義。
隋煬帝調集大軍進行鎮壓,更加激起了廣大農民的憤怒。不久,各地起義軍匯合成三支強大的隊伍,一支是由竇建德領導的河北起義軍,一支是由翟讓領導的瓦崗軍,一支是由杜伏威領導的江淮起義軍。其中瓦崗軍力量強大。
一天,瓦崗寨門口突然來了一個衣衫襤褸的人,要找瓦崗首領翟讓,衛兵把他帶到翟讓那裏。原來他就是遠近聞名的李密。李密出身於貴族家庭,父親是隋朝有名的武將,被封為蒲山公。李密本是楊素的兒子禮部尚書楊玄感手下的將官。因為楊玄感起兵反隋打敗,隋朝官府到處追捕他,最後,他終於上了瓦崗寨。
李密是個很有才幹的人,他又做過隋朝的官,政治鬥爭經驗和指揮作戰的本領比翟讓這些人高明。他看到瓦崗軍力量越來越大,可隻是襲擊來往官兵、搶劫運河上運貨的船隻,沒有遠大政治目標,便給起義軍的將領們分析形勢。接著,李密又去說服瓦崗軍周圍的小股農民起義軍和瓦崗軍組成聯軍,共同作戰。這樣,瓦崗軍越來越壯大,成為一股強大的反隋力量。
大業十二年(616年),瓦崗軍在翟讓、李密的指揮下,打下金堤關(今河南省滑縣南)。拿下滎陽附近的幾個縣城,直逼滎陽城下。
第二年春天,李密又率領七千精兵,攻下了隋朝設在東都洛陽附近最大的一個糧食倉庫洛口倉(又叫興洛倉),打開倉庫,把糧食分給老百姓。人們奔走相告,感謝瓦崗軍,紛紛送自己的子弟參加起義軍。瓦崗軍在很短的時間內就發展到幾十萬人。
翟讓看到李密很有政治眼光,又屢建戰功,就把瓦崗軍的領導權讓給了他。於是,李密稱魏公、行軍元帥,改年號為永平。李密封翟讓為司徒(相當於丞相)。洛口倉擴建為洛口城,成為政權所在地。瓦崗軍發布了討伐隋煬帝的檄文,列舉了隋煬帝十大罪狀,指出:“罄南山之竹,書罪無窮;決東海之波,流惡難盡。”意思是說,隋煬帝的罪惡,把南山上的竹子都做成竹簡,也書寫不完;決開東海,用海水也洗刷不清,號召人民起來共同推翻隋王朝。
瓦崗軍建立政權以後,南北起義軍紛紛響應,前來歸附,李密成了中原起義軍的領袖。
在起義軍的猛烈攻擊下,隋朝的統治已經土崩瓦解,眾叛親離,許多地方官紛紛起兵反隋。右屯衛將軍宇文化及,乘機發動了兵變。
大業十四年(618年)隋煬帝在江都被宇文化及絞死,隋朝名存實亡。