芸是他表妹，也是他妻子。下麵這段寫的極好且感人。

餘幼聘金沙於氏，八齡而夭。
娶陳氏。陳名芸，字淑珍，舅氏心餘先生女也，生而穎慧，學語時，口授《琵琶行》，即能成誦。四齡失怙，母金氏，弟克昌，家徒壁立。
芸既長，嫻女紅，三口仰其十指供給，克昌從師，修脯無缺。一日，於書簏中得《琵琶行》，挨字而認，始識字。刺繡之暇，漸通吟詠，有“秋侵人影瘦，霜染菊花肥”之句。
餘年—十三，隨母歸寧，兩小無嫌，得見所作，雖歎其才思雋秀，竊恐其福澤不深，然心注不能釋，告母曰：“若為兒擇婦，非淑姊不娶。”母亦愛其柔和，即脫金約指締姻焉。此乾隆乙末七月十六日也。