徐霞客家族，並不是大家認為的那樣，因為先祖徐經和唐伯虎的科舉作弊案，無心仕途，縱情山水，家道中落，成為貧困家庭。
徐霞客家族，其實還是積極向上的好家庭。隻是徐霞客更像是家裏被寵愛的小兒子，出去遊玩是他的事情，家庭的前途是大哥家的事情。
他的大哥家也很爭氣，侄兒徐亮工，在崇禎六年中舉，崇禎十五年（1642年）中進士。授陝西延安府吳堡縣知縣。
隻不過這個徐亮工有點倒黴，在崇禎的最後三年，跑到李自成的陝西延安當知縣，下場可想而知。縣城被李自成占領，徐縣令一個書生，貪生怕死逃跑是當然的，於是被問罪免職回家。
三年後，徐霞客已經死了四年。前縣令，當過官的侄兒徐亮工，是家主。
這個時候，在徐霞客的家鄉，發生了一件大事。
1645年夏江陰人民為抵製剃發令，在江陰典史等人領導下進行的抵抗。前後長達81天之久，故又被稱為“江陰八十一日”。清兵二十四萬大軍攜二百多門大炮圍城，一共損失的士兵有七萬五千餘人。江陰方麵，守城八十一日，城內死九萬七千餘人，城外死傷七萬五千餘人。
徐霞客家，不在江陰城裏麵，在鄉下。
當江陰圍城前的七月，大量的士大夫家族，帶著家裏麵能打的人，都進入江陰城幫助抗清。江陰城外的鄉下，成為治安真空地帶。
這個時候，徐家的家奴，和城外想搶劫大戶的暴民配合，血洗徐家。
經過這場禍難，徐家幾乎全家覆沒，長子徐屺、侄子，前縣令徐亮工一家5口、侄子徐亮采一家16口全部慘遭屠戮，多數家眷隨著徐家大宅“晴山堂”葬身火海，連屍骨都化成了灰，是真正的滅頂之災。
徐霞客的手稿也毀於這一場大難。
徐家隻有寥寥三四人得以僥幸存活下來，這其中就有徐霞客流落在外的最小兒子李寄。
李寄的母親是徐霞客的妾，在懷了他的時候，被主母趕出家門，被迫嫁給李家。貧窮的李姓丈夫本來就是將死之人，很快這對母子就陷入赤貧。
徐霞客這個渣男，出外遊玩回來後，這對生活清貧的母子也沒有任何的照顧，就任憑他們自生自滅。少年李寄窮到隻有一條褲子，客人來了看見他趴在石頭上不起來，一問才知道，褲子曬在樹上，光屁民起不來。
當清軍高叫“留頭不留發，留發不留頭”包圍江陰城，江陰義民在陳明遇、閻應元等率領下抗清時，青年李寄在城東積極組織援助，配合江陰守城，在敔山灣防鄉。反而逃過了徐家的滅門慘案。
後來，李寄晚年收集徐霞客遊記的抄本殘篇，重新編訂，這才有了現在的徐霞客遊記。
