胡炳文的祖父胡师夔,曾求学于朱熹门下,精通五经,尤其对《易经》颇有造诣,撰有《易传史纂》等专著。父亲胡斗元,14岁拜朱熹从孙朱洪范为师,学习《易》学。他日玩一爻,七日通玩一卦,周而复始,反复练习,持之以恒。他曾外出周游,传播易学,四方学子纷纷向他求教。后回到家乡,又有不少仰慕他的求学者,远道前来登门拜师。他孜孜不倦,任教乡里达50年,72岁逝世时,州、县学士大夫闻讯无不悲痛,他的弟子俞洪等百余人追忆先生的德行,以“古隐君子”私谥,尊称为“孝善先生”。胡炳文秉承家传,精研《易》学,并倾注数年的努力对周易进行了全面考订,完成专著《周易本义通释》,以纠偏辨错,阐发先圣本义。
胡师夔、胡斗元、胡炳文,一家三代都相继成为易学名家,名列“明经胡七贤”,在东南学者中很有名气。祖孙之中,胡炳文的名声更响。