顺治三年(1646),潘耒出生于江南吴江县(今属江苏苏州)的一家书香门第。六岁丧父,依兄潘柽章生活。潘柽章,字圣木,号力田,康熙二年(1663)因浙江南浔庄廷鑨明史案牵连,与吴炎同被凌迟于杭州弼教坊。其嫂沈氏流放就道,时耒年仅十七,徒步送之。沈氏流放至广宁(辽宁省北镇县),中途流产,服药自杀。耒曾有《恸哭七十韵》《阁谷歌》《度关曲》三首诗为其兄所遭庄史之祸而作。
潘耒生而奇慧,读书十行并下,过目不忘,曾先后受业于长兄柽章、吴炎、王锡阐、徐枋、顾炎武等著名学者,博通经史、音韵、算数及宗乘之学。嗜好收藏砚台,并根据砚的形状、质地,分刻铭文,闲睱独自把玩,自得其乐,人称其有“石癖”。
康熙十七年(1678)清政府诏举“博学鸿儒科”,潘耒为左谕德卢琦和刑部郎中谢重辉交章推荐。试后,潘耒名列二等第二名,以布衣身份被授为翰林院检讨,参与《明史》修纂,主纂《食货志》六卷。潘耒在京为官五年,其间,除参修《明史》外,又被康熙帝亲自简拔为日讲起居注官,出任会试考官,分校礼闱。他对于时政亦多有建白,后因精敏敢言,无稍逊避为忌者所中,以浮躁降职,后因母忧归,遂不复出。康熙三十四年(1695),在福建建阳将顾炎武《日知录》三十二卷本刻版行世,潘耒在《日知录》原序曰:“当代文人才子甚多,然语学问者,必敛衽推顾先生”,并谓此书“惟宋、元名儒能为之,明三百年来殆未有也”。
康熙四十二年(1703)春,康熙南巡,复耒原官,越三年,皇帝又南巡,大学士陈廷敬欲荐起耒,耒曰:“止止止,吾初志也,吾分也。”并附一首《老马行》以谢,竟不复出。
潘耒晚年崇信佛学,好山水,遍游天台、雁荡、武夷、黄山诸名山,为文记之,名篇有《游南雁荡记》、《火焰峰》、《天柱峰僧饷黄独》、《仙居诸山游记》等。