祖父母
祖父：唐太宗（李世民）
祖母：长孙皇后
父母
父：唐高宗李治
母：唐则天顺圣皇后武氏（武周则天大圣皇帝武曌）
兄弟
兄：燕王李忠、原王李孝、泽王李上金、许王李素节、孝敬皇帝李弘（同母）
弟：唐中宗李显（同母）、唐睿宗李旦（同母）
姐妹
姐：义阳公主（李下玉）、高安公主、安定公主（同母）
妹：太平公主（或名李令月，同母）
妻妾
妃子：房氏（658年－711年），贝州清河人，房仁裕之孙、房先忠之女，生于唐高宗显庆年间，卒于唐睿宗景云二年（711年），享年五十四岁。房氏与李贤合葬于今章怀太子墓。关于房妃生平，有《唐陇西李氏清河太夫人之碑》、《赠兵部尚书房忠公神道碑并序》、《章怀太子靖妃挽辞》等碑铭史料加以记载。
良娣：张氏，李贤的次子李守礼生母。早年随李贤同被贬往巴州，李贤死后得以同儿女返还长安，但仍与皇嗣李旦的子女幽闭于禁中。圣历年间李旦被封为相王，众人才得以外出居住。房妃与嗣子李守礼居于城西兴化坊内，张氏则独自住在兴化坊西延康坊内。关于张氏生平，《章怀太子良娣张氏神道碑》等碑铭史料有所记载。
子女
儿子
长子 李光顺：天授年间封安乐郡王，不久被诛杀，无子嗣。玄宗先天年间追封为莒王。
次子 李守礼：本名李光仁，垂拱初年改名守礼，并授予太子冼马，封嗣雍王。睿宗时期晋封为邠王，薨于玄宗时期，陪葬乾陵。
三子 李守义：文明年间封犍为郡王。垂拱四年徙封永安郡王，不久病死，无子嗣。玄宗先天年间追封为毕王。
女儿
长信县主
孙辈
孙子
李承宏：李守礼子，开元初年封广武郡王。宝应二年（763年）十月，吐蕃军队攻破长安，唐代宗出逃，李承宏被吐蕃拥立为帝。不久后，郭子仪收复长安，代宗复位，将在位两月的李承宏废黜，但没过多加罪，命将其安置在虢州。李承宏不久死去。
李承宁：李守礼子，嗣邠王。
李承寀：李守礼子，封敦煌王，拜宗正卿。曾受唐肃宗派遣出使回纥搬救兵，可汗磨延啜也有同唐朝交好的心愿，于是将女儿嫁给李承寀为妃。唐朝将此女册封为毗伽公主，回纥因此派兵助唐平叛。乾元元年六月，李承寀病逝，赠司空。
孙女
金城公主（李奴奴）：李守礼女，神龙三年（707年）封金城公主。当时吐蕃赞普（尺带珠丹）遣使请婚，中宗许嫁。景龙四年（710年）春，吐蕃遣使迎公主入藏，中宗亲送至始平（今陕西兴平），赠以锦缯、杂伎百工和龟兹乐，命左卫大将军杨矩护送至吐蕃，赞普为其另筑城居。金城公主入蕃30年，力促唐蕃和盟。此间唐、蕃虽曾有过多次战争，但由于金城公主的努力，双方使臣往来频繁。终于在开元二十一年（公元733年），唐、蕃在赤岭（今青海湟源西日月山）定界刻碑，约以互不相侵，并于甘松岭互市。开元二十八年（公元740年），金城公主薨逝。
相传李贤在流放巴州时，有感于母子亲情在权力斗争之下已荡然无存，乃作《黄台瓜辞》，以藤蔓比喻武后，因四个瓜先后被摘而感伤四兄弟性命朝不保夕，希望武后看后醒悟（注：史学界对作者是否李贤本人存疑）。