張大千1916年冬與表姊謝舜華定親,但謝舜華不幸病逝,感世事無常,便至鬆江禪定寺出家,法名大千。後二兄張澤迫其還俗,奉母命迎娶正室曾慶蓉,育有一女。之前已先娶了二太太黃凝素,共育有七子四女。
1935年,張大千來到北平,不久遇見“三夫人” 唱唱京韻大鼓的楊婉君,1935年10月,楊婉君與張大千正式結婚,但並無生育。
1949年,48歲的張大千娶了大女兒張心瑞的同學,18歲的徐雯波做四太太,育有兩子兩女。
張大千移居台灣後,經常到日本購買繪畫用具或裝裱字畫,下榻橫濱名園偕樂園。園主便介紹山田喜美子小姐來照顧張大千的起居生活。山田年輕貌美,頗得大千歡心,他在自己的詩中描寫道:“親輦名花送草堂,真成白發擁紅妝;知君有意從君笑,笑我狂奴老更狂” ,偕樂園成了“白發紅妝”的安樂窩。此後,大千每到日本,山田必陪侍左右,大千夫人徐雯波在場,也不例外,而且與之同住一棟宅院。