据《钦定四库全书·诚斋集》李商霖墓志铭（杨万里撰）记载：李义山的祖父叫李晞说（字商霖，号竹林先生）。李晞说的曾祖李仲文、祖李安常、父李倬，子李修己。
据《江西新闻网》报道：丰城的曹王世系李氏，即唐太宗幼子曹王明后裔。曹王明五子李偲的后代李崇在唐昭宗景福二年（即公元892年）出任荆州刺史，乾宁元年（即公元894年）改洪州刺史，乾宁三年遇兵变身亡。葬洪州新建县至德观生米山之阳。在这次突变后，李崇的家人无心于官场，从子李枢，就是李暕的三世孙，游学来到丰城县广丰乡之葛山，求学于葛天旻，居家葛山，其四世孙李贵再迁居丰城县长宁乡之罗田，逐成当地望族，俗称丰城罗田李氏。李崇的儿子李蓬弃仕隐居江西临川大岗之乔上，子李胜迁居丰城县正信乡即现在的段潭乡，二世孙李从，字伯顺，择地依湖建村，逐成当地望族，俗称丰城湖茫李氏（即下李）。
家谱世系：李枢、李德义、李涉安、李思立、李福、李贵、李竦、李珉、李仲文、李安常、李倬、李晞说、李修已、李义山（李义山两子：李尚、李瀛）。