他的父親楊第甫是大學生，湘潭人。早期到延安，共和國以後，最開始當湘潭縣委書記兼縣長, 有文化的領導人。 在湖南管過農墾，統戰，文教，科技，名列周小舟的“湖南右傾機會主義反黨集團”成員。文革以後湖南政協黨組書記，常務副主席。對了解湖南前三十年的內幕有興趣，可以去讀他寫的的回憶錄《吹盡狂沙》。
他的叔叔楊迪少年跟著楊第甫去赴延安入抗大。後來跟隨葉劍英赴重慶和北平軍調處執行部。期間，楊開著摩托車帶王光美兜風挺有趣，受到批評。其實，20歲出頭的楊見了摩托手癢，喜歡開車上街，王也才20多歲也愛熱鬧僅此而已，沒有顧及共軍摩托帶女學生兜風在國統區的形象。他一直做參謀工作。當過誌願軍司令部作戰處副處長，韓先楚指揮所參謀長，鄧華指揮所參謀長，最後是沈陽軍區參謀長。作為受過教育有文化的卸任參謀人員，他自己動筆完成了三本回憶錄。《抗日戰爭在總參謀部》《創造渡海作戰的奇跡》和《在誌願軍司令部的歲月裏》分別寫於2002年，2000年，和1998年。他少年離家從未回故裏。卸任之後才有空回湘潭故鄉,專程到烏石鎮瞻仰彭德懷故居。憶及跟彭在朝鮮浴血奮戰的日日夜夜, 產生了撰寫回憶錄、記述曆史的念頭。費數年心血,於1998年紀念彭德懷誕辰100周年之際,由解放軍出版社出版了《在誌願軍司令部的歲月裏》一書。這本書的出版和再版(2003年)都獲好評，當時知情的老人們都還在，並沒有什麽質疑和爭議。楊於2006年去世。這幾年，蛋炒飯引起了很大爭論甚至成為禁忌。最後都追根溯源到楊的回憶錄。因此，很多人都在罵楊。
