抵台後,蔣介石、陳誠都沒有接見他,胡宗南隻得攜家眷前往台灣東部的花蓮海濱。1950年5月11日,胡宗南突然得到一則信息:“監察院”中有50多名“監察委員”聯名對他提出彈劾,言辭激烈,聲勢嚇人。領銜對他提出彈劾的是李夢彪。
李夢彪等人提出的彈劾文洋洋數千言,引證詳盡,鏗鏘有力。據識者言,這是曆年來“監察院”彈劾文中難得一見的好文章,也是自1948年“行憲”以來參與簽名的監察委員人數最多的兩彈劾案之一。
彈劾文首先對台灣當局在整肅失職軍政大員方麵,空言“切實查照辦理,以振紀綱,而挽頹風”表示不滿。接著文章列舉了胡宗南自1932年底率部進駐陝甘以來所享有的日益增大的權力與種種優厚的待遇,然後筆鋒一轉,揭露了胡宗南自1949年以來在西北、西南連連戰敗、喪師失地的種種敗跡。
彈劾文最後說道:“竊以為……胡宗南應負重大之罪責,已定於棄成都、飛三亞之前;重以在西昌之措施,適足以促西昌之速亡。事實俱在,焉能為諱……除醜類而奠神州,奈何使紀綱不立?為國家前途計,理合依法,提出彈劾……”
胡宗南彈劾案傳開後,台灣各界議論不一,有讚成者,也有反對者,更多的是默默靜觀者。
胡宗南由於其身份與性格的原因,麵對彈劾案,表現得十分鎮靜。他認為在西北、西南的失敗,主要不應是他個人的責任,而是國民黨整個黨政軍的失敗。在那些日子裏,胡宗南深居簡出,從未公開出麵活動或辯解。但他的許多僚屬與好友卻為之多方奔走了。結果,在1950年5月底6月初,由頗有聲望的律師江一平領銜,108位“立法委員”署名的陳情書問世了,並很快送呈蔣介石和陳誠。
陳情書將胡宗南這個敗軍之將,美化成了一員忠勇奮發、戰功卓著的有功之臣。其中,戰功是虛假的,而將胡宗南比之郭子儀、嶽飛等曆史名人,更是不倫不類;但所說胡宗南對蔣介石一片忠心,在失敗形勢下仍拚命掙紮,然而最終卻無法避免慘敗,那倒是真實的。
在江一平與李夢彪論戰期間,胡宗南本人在舊日僚屬盛文、羅絮人等人的參助下,也草擬了一篇詳細的自辯書,於1950年8月16日提交台灣“國防部”。
但決定彈胡案最後結果的是“總統”蔣介石的態度。蔣介石既不滿於胡宗南的喪師失地,同時又感到胡宗南跟隨自己20餘年,無比忠順,征戰西北、西南,苦多於甜,如果把責任全推給胡宗南,於情於理都說不過去。現在台灣正是多事之秋,像胡宗南這樣兵敗逃台的將領不在少數,對他們需要安撫,才能安定軍心,穩定局麵。權衡利弊,蔣介石最後決定放胡宗南過關。
六個月後,“國防部軍法處”根據蔣介石的授意,對彈胡案作出叛決,宣布“李夢彪彈胡宗南各項,均與事實相反,不能成立”,認定胡“自無若何刑責,足資論究。……應予不付軍法會審。”
與此同時,“司法院”公務員懲誡委員會也申複:認定胡宗南從西安撤到四川,再撤到西昌,曆經戰鬥,並未處置乖方,應免論處。
胡宗南以敗軍之將,終於逃過了一場政治劫難。但是他從此再未得到蔣介石的重用,隻在以後一度擔任大陳遊擊司令與澎湖防守司令等職。胡宗南於1962年2月14日去世,時年66歲。