政和间，余卜筑宛丘，手植众芗，自号芗林居士。建炎初，解六路漕事，中原俶扰，故庐不得返，卜居清江之五柳坊。绍兴癸丑，罢帅南海，即弃官不仕。乙卯起，以九江郡复转漕江东，入为户部侍郎。辞荣避谤，出守姑苏。到郡少日，请又力焉，诏可，且赐舟曰泛宅，送之以归。己未暮春，复还旧隐。时仲舅李公休亦辞舂陵郡守致仕，喜赋是词。
五柳坊中烟绿，百花洲上云红。萧萧白发两衰翁，不与时人同梦。
抛掷麟符虎节，徜徉江月林风。世间万事转头空，个里如如不动。
有怀京师上元，与韩叔夏司谏、王夏卿侍郎、曹仲谷少卿同赋。
紫禁烟花一万重，鳌山宫阙倚晴空。玉皇端拱彤云上，人物嬉游陆海中。
星转斗，驾回龙。五侯池馆醉春风。而今白发三千丈，愁对寒灯数点红。