隋朝末年，李勣投奔到李密部下被封为大将军。他率军攻下黎阳城，队伍迅速扩大到20万人，投降唐高祖李渊门下，被封为黎阳总管，莱国公。窦建德攻陷黎阳，抓走李勣父亲做人质，让他守黎阳。待窦建德走后他就自拔来归投奔李渊。