当初，政变成功时，宇文化及封赏了司马德戡温国公的爵位，加授光禄大夫。他单独统领骁果，实力太强，宇文化及出于防范内乱的考虑，调他担任礼部尚书，表面上升迁了，实际上却是夺了他兵权。司马德戡把怨恨隐藏在心里，用所得的赏赐贿赂宇文智及。宇文智及为他説情，才又回到军职上，领着一万多后卫军殿后。司马德戡和赵行枢联络了李本、尹正卿、宇文导师等，准备用后卫军袭斩宇文化及，另行拥立司马德戡当盟主。他们考虑到大军踏进了反王孟海公的地面，于是派人去游説孟海公做外援，等待回音。
孟海公起兵于大业九年，他是个大老粗，重武轻文，谁在他面前引文调句，便发怒，立刻处死毫不留情，现在拥有十万多兵马，占据周桥一带。许弘仁和张恺听到政变的消息后，报告了宇文化及。宇文化及派宇文士及扮做游猎的模样，带着十几名精壮的骠骑，来到后军，司马德戡出营迎接。宇文士及两眼一瞪，命令道：“左右，拿下這个叛贼！”
“在下有何过失，内史令如此待我？”司马德戡装糊涂。
宇文化及下令绞死了司马德戡并杀了其余十九名同党。
宇文化及经过一段时间的清洗，剪除了异己，拥炀帝六宫，开始了漫长的北返征程。
西京长安得到了宇文化及弑杀炀帝的准确消息，又惊又喜，纷纷上劝进表，请求李渊登基称帝。
几天之内，文武百官都以种种方式上了劝进表。接着，裴寂又邀了刘文静等人请李建成和李世民出面，组织朝廷官员长跪武德殿阶下，恳求李渊以天下苍生为念，顺应天命，早登大宝。李渊再三推辞，又痛哭了炀帝一番，示意众人起来，只是不提即位之事。满朝文武這才转到大兴殿，朝见幼主杨侑，将代拟的退位诏书呈上，胁迫他签字，将皇位禅让给李渊。义宁二年五月十四日，隋朝末代皇帝———恭帝———杨侑，颤抖着手握笔签署了禅位诏书。
众臣推举刑部尚书兼太保萧造，司农少卿兼太尉裴之隐为使者，亲捧诏书，托着义宁皇帝杨侑的玺绶，至武德殿奉献给李渊。李渊不肯接受。萧、裴二人来来去去跑了三趟，李渊才接下诏书和玺绶。
义宁二年五月二十日，大唐的开国皇帝李渊在太极殿举行了隆重的登基大典。一个历时二百七十六年，可以与秦汉媲美的唐王朝开始走上了历史舞台。隋义宁二年改唐武德元年，李渊派遣萧造在南郊祭告上天，宣布全国大赦，官吏赐爵一级，凡义师所行之处免征三年的赋税，罢郡置州，改太守为刺史。推演五行的运行，唐属上德，颜色以黄色为尊，定为国运的颜色。
十月，李密西上，李渊接连不断派人前去迎接、慰劳。李渊任命李密为光禄卿上柱国，赐爵邢国公。李密颇感失望，朝臣又多轻视他，有人还要向他索取贿赂，那滋味真不好受。只有李渊对他还显得颇亲热，称呼他老弟，把表妹独狐氏嫁与他为妻。
李密的旧部见主公归顺了李渊，便陆续降唐。总管李育德以武陟纳降，拜武陟刺吏。其他将领如刘德威、贾闰甫、高季辅等人，或以城池，或率部队，前后都降了。王轨接着又以滑州降唐。魏徵随李密到长安，不被重用，于是请求前往山东招抚。李渊授命他秘书丞。魏微乘驿马到黎阳，致书徐世勣，劝他早降。徐世勣对长史郭孝恪説：“這里的百姓和土地，都是魏公的。如果我上表献纳，是利用主公的失败，当作自已的功劳去求取富贵，我深以为耻。现在应当登记郡县的户口和兵马的数目，上报魏公，由他呈献。”于是派遗郭孝恪到长安，一面送粮食供应山东道安抚大使、淮安王李神通。李渊感叹道：“徐世勣不忘旧恩，不贪功，忠臣也!”赐他姓李。任命郭孝恪为宋州刺史，让他和李世勣一同谋取虎牢关以东的地区，得到的州县，由他们全权委任官吏。