與現任妻子王小屯，一家其樂融融
與“羅”的生死初戀
1951年，在台中市高中讀書的李敖，熱烈追求低年級女同學羅，1955年秋天，李敖進入台大曆史係，而羅也考進了台大化學係。很快，兩人開始熱戀，但後來羅的父母對李敖的特立獨行反感至極，即使李敖親自去見羅的父母也未能挽回戀情，為此李敖曾服藥自殺。
與王尚勤的碧潭情絲
李敖是王尚勤大哥的同窗好友，兩人的戀情開始於1962年2月一次公交車上的偶然相逢。熱戀中，王尚勤從台大畢業，1964年9月，她毅然留學，後王尚勤發現自己懷孕，這一年聖誕節前夕，她在西雅圖產下一個女嬰。李敖給自己的女兒取名李文。
1966年春，王尚勤帶著已經快3歲的女兒飛回了台北。就在她即將離開台北的前幾天，她發現了代號H的少女與李敖的情書，王尚勤自己帶女兒飛回了美國。
與小“Y”的文學浪漫之夢
李敖和小Y的交情，可以說是“打”出來的。因為1965年1月，李敖從許多讀者來信中，意外地發現一篇文筆非常犀利的來稿，也是抨擊他的一篇文稿。這讓李敖大為震怒，但更讓他吃驚的是，後來他發現作者小Y居然是位漂亮的女學生。後來他約她下班後一起吃頓便飯。從此，他與她成了無話不談的好友。畢業後小Y去了香港，在那裏圓自己的作家夢。1970年，李敖從小Y寄來的香港《明報》副刊裏隱隱聽出了她的心聲，才認識到，他錯過了許多可以與小Y更走近一些的機緣。而第二年春天，當小Y從香港飛回台北時，同樣發現自己回來得太晚了，這時已有另一位漂亮女孩走進了李敖寂寞的生活。
與小蕾的患難之交
上世紀六十年代，以筆為生計的李敖失去了賴以生存的職業後，開始做起了販賣舊家用電器的生意。在他連供養女兒文文的錢也發生困難的時候，給予他精神上鼓勵與安慰的紅顏知己是小蕾。
李敖在回憶錄中寫道：“我認識小蕾在1967年9月26日，那時她19歲，正從高雄女中畢業……看到她，我立刻喜歡上她。”李敖失去自由以後，曾勸小蕾離開他。可是小蕾重感情講義氣，最後的選擇當然是留下來。1971年李敖入獄的最初日子，小蕾是一個人在國泰大樓裏度過的，後來她不得不離開。5年之後李敖終於出獄，可是那時的小蕾早已為人妻母了。
與劉會雲的冰雪愛情
1976年冬，李敖剛從監獄出來不久，應邀到老朋友蕭孟能的寓所赴宴。就在這次人數不多的家宴上，他見到了一位日後引為摯友的漂亮女子，她就是同在台大畢業的劉會雲女士。
1978年春天，劉會雲開始了與李敖的同居生活。1979年舊曆春節過後，由於劉會雲的穿針引線，遠景書局老板沈登恩拜會了李敖，隨之出版了其《獨白下的傳統》，李敖由此複出，震動台灣文壇。電影明星胡茵夢也為李敖出山寫了一篇叫好的文章。此時的劉會雲發現，李敖變了！
劉會雲主動從三個人的關係中退了出來。
與王小屯的愛之歸宿
1985年3月11日下午，在台北市仁愛路上，李敖看到一個候車的女孩子正在看他坐牢時編發的《李敖千秋評論》叢書第三期。再看那讀雜誌十分投入的女孩子，身高幾乎與小蕾相同，也有一米七以上，頎長而豐滿。特別是她讀書的神態幾乎與小蕾一模一樣。李敖看著看著，就情不自禁地走近了女孩子。就這樣他和王小屯相識了。
1988年6月，在經曆了漫長的三年愛情長跑以後，王小屯終於成為了李敖的妻子。1992年8月3日，李敖喜得一子李戡。1994年11月23日又喜得一女李諶。