大儿子李德誉入仕为官，并且做到了四品下的将作少监。公元前3年，身为太子的李承乾和汉王李元昌、驸马都尉杜荷等想要起兵逼宫，但是事情泄露，太子李承乾被唐太宗李世民废掉。
而李德誉因和太子李承乾关系比较好，受到太子李承乾起兵逼宫事件的牵连，被唐太宗李世民流放到岭南。后来，因为父亲李靖的缘故，李德誉才只是流放到了吴郡。公元9年，李靖病逝，李德誉才能继承卫国公这个爵位。而二儿子李德奖则没有什么相关的历史记载，只是知道有这么一个人。