正当瓦岗军胜利发展的时候，内部发生了严重分裂。翟让把首领位子让给李密后，李密的部下撺掇他除掉翟让。李密为了保自己的地位，竟起了狠心，把翟让杀了。打那时候起，瓦岗军开始走了下坡路。但是，北方由李渊带领的一支反隋军却正在强大起来。
李渊本来是隋王朝的贵族，靠继承祖上的爵位，当上了唐国公。公元617年，隋炀帝派他到太原去当留守（官名），*农民起义，开始他也打过几个胜仗，后来看到起义军越打越强，越打越多，他也感到紧张起来了。
正好在这个时候，太原北面的突厥（我国古代北方民族之一）可汗进攻马邑。李渊派兵抵抗，连接打败仗。李渊怕这件事给隋炀帝知道了，要追究他的责任，急得不知道该怎么办。李世民抓住这个机会，就找李渊劝他起兵反隋。
李渊犹豫了许多时候，才派人备了一份厚礼，到突厥可汗那里讲和，约他一起反隋。突厥可汗觉得这样做对他们有好处，就答应帮助李渊。
李渊正式起兵反隋。自称大将军，派李建成和李世民分别做左右领军大都督、刘文静做司马，又把兵士都称为“义士”。他们带领三万人马离开晋阳，向长安进军。一路上继续招募人马，并且学农民起义军的做法，打开官仓发粮给贫民。这样一来，应募的百姓就越来越多了。在关中的农民军的配合下，李渊大军顺利渡过黄河。留在长安的李渊的女儿也招募了一万多人马，号称“娘子军”，响应唐军进关。
李渊集中了二十多万大军攻打长安。守在长安的隋军，要想抵抗也没用了。李渊攻下了长安。公元618年夏天，隋炀帝被杀，李渊即位称帝，改国号为唐。这就是唐高祖。！