三子：李讷、李恪、李朴。李讷最知名，官至华州刺史、检校尚书右仆射。
李建，字杓直，荆州石首人，刑部尚书李逊弟。家素清贫，无旧业。与兄李造、李逊于荆南躬耕致养，嗜学力文。举进士，选授秘书省校书郎。唐德宗闻其名，用为右拾遗、翰林学士。
元和六年，坐事罢职，降詹事府司直。高郢为御史大夫，荐为殿中侍御史，迁兵部郎中、知制诰。自以草诏思迟，不愿司文翰，改京兆尹。与宰相韦贯之友善。韦贯之罢相，李建亦出为澧州刺史。征拜太常少卿，寻以本官知贡举。李建取舍非其人，又惑于请托，故其年选士不精，坐罚俸料。明年，除礼部侍郎，竟以人情不洽，改为刑部侍郎。
李建名位虽显，以廉俭自处，家不理垣屋，士友推之。长庆二年二月卒，赠工部尚书。