該軍前身是桂係軍隊一部。1948年11月，國民黨軍為加強中南地區的防禦力量，以桂係軍隊為基礎，新建第304師、第305師、第306師。1949年5月，第304師、第305師、第306師合編為第126軍，隸屬華中軍政長官公署，張湘澤任軍長，王衛蒼任副軍長。下轄：
第304石，韋介伯任師長；
第305師，姚葛民任師長；
第306師，梁泮池任師長。
同年11月，該軍在廣西戰役中被解放軍全殲。