霍元甲的家鄉是天津市西青區南河鎮小南河村。小南河的霍氏先祖名叫霍利通,其人三世單傳,至霍文宣生有三子,為霍大勇、霍大智、霍大信。霍大智又生三子,為霍恩榮、霍恩第、霍恩福。因大勇、大信無子,大智將長子恩榮過繼給了大勇,將三子過繼給了大信,自己僅留霍恩第一個兒子。後來,霍家三兄弟共生十子,分別為元貞、元善、元棟、元甲、元和、元卿、元良、元祥、元忠、元臣,其中元棟、元甲、元卿為霍恩第的親生兒子。
霍元甲生有二子,長子東章、次子東閣。霍元甲嫡孫有7人,分別為壽嵩、壽臣、壽昆、壽金、雅亭、文亭、文亮。再往下枝繁葉茂,人口越來越多。
那麽,霍氏的祖籍原來是哪裏?霍利通又為何到的小南河?
據一代又一代人的傳說,霍利通本是三兄弟,原籍河北東光縣北安樂屯。三兄弟因受富貴有勢力的人家欺辱,為報仇雪恨闖下大禍,不得不逃離家園。三兄弟逃到這裏,一個在小南河紮下了根,一個在靜海縣的閻琢村定了居,另一個則向東北方向逃去,從此沒了音信。霍文亭先生在世時曾去東光縣安樂屯敘家譜,得知霍氏家族於明、清時代均出過高官。明朝天啟元年春二月敘霍氏家譜的霍維華(字鍾西),便是當朝癸醜科進士,同年中進士的還有霍天昭。霍維華人稱“鍾西公”,為安樂屯霍氏第八代,上麵第五代的霍氏文所公也中過進士……
東光安樂屯霍氏家譜上說,霍氏原為晉澤高平人,即山西澤州(今晉城)高平縣人。
霍氏原為霍叔之後。霍叔乃周文王第八子叔度,因封地在霍國,故人稱霍叔。霍國人原姓姬,因淪陷,為紀念霍叔,便以國為姓。後來,霍氏因戰亂頻仍,幾經遷徙,散失各地。漢代的霍去病、霍光其實都是霍國的同姓族人。