該軍前身是湘軍第1師，1926年8月，程潛所屬的湘軍第1師在北伐戰爭中被改編為國民革命軍獨立第2師。1927年3月，獨立第2師擴編為第40軍。1928年9月，第40軍縮編為第8師，後編入第37軍。
抗日戰爭
1937 年9月，國民黨軍隊為加強淞滬會戰中的軍事力量，以第37軍第8師為主力擴編組成第76軍，轄第8師，陶峙嶽任軍長兼師長。該軍編成後，隸屬國民黨軍事委員會直轄，參加了淞滬會戰。戰後，調回陝西，擔任守備任務，隸屬西安行營。1938蔫月，第1軍軍長李鐵軍與第76軍軍長陶峙嶽對調職務，李鐵軍改任第 76軍軍長，盧興榮任副軍長。同時，新建預備第1師調歸該軍。此時，該軍下轄：
第8師，曾誌遠任師長；
預備第1師，謝輔三任師長。
1939年春，該軍隸屬第1戰區時進行編製調整，預備第1師改隸第16軍，另將第27軍的第24師、第1戰區第196師改隸該軍。此時，該軍下轄：
第8師，袁樸任師長；
第24 師，楊光鈺任師長；
第196師，劉超寰任師長。
1941年5月該軍第8師奉命該隸代57軍，另將暫編第57師改隸該軍。1942年上半年該軍第196師調往重慶，另將新編第5師改隸該軍。此時，該軍下轄：
第24師，廖昂任師長；
新編第5師，廖慷任師長；
暫編第57師，祝夏年任師長。
1943年9月，李鐵軍升任重建的第3集團軍總司令，廖昂接任軍長，黃祖塤任副軍長。同時將榮譽第2師編入該軍，戴堅任師長。1944年，榮譽第2師改隸第5集團軍指揮，此時，該軍下轄第24師、新編第5師、暫編第57師編製不變。此後，該軍隸屬第6戰去，由陝西調至湖北秣歸擔任守備任務。1945年春，國民黨軍調整軍隊編製時，該軍新編第5師被裁減後，下轄第24師和暫編第57師。1945年8月，抗戰勝利後，該軍由湖北調往陝西，並將暫編第57師改編為第135師。
解放戰爭
1946 年4月，國民黨軍進行整編時，該軍改編為整編第76師，軍長廖昂改任師長，李學超任副師長。同時，將該師第135旅調歸整編第15師，另將整編第15師第 144旅調歸整編第76師建製，該師下轄：整編第24旅，張新任旅長；第144旅，賴汝雄任旅長；新編第1旅，黃詠讚任旅長。此次整編後，該整編師隸屬第 4集團軍，先後參加了對人民解放軍挺進中原的追堵作戰。1947年1月，新編第1旅改編為整編第75旅。此時，該整編師下轄整編第24、整編第75、整編第144旅。同年，國民黨軍對陝北發起重點進攻後，該師先後參加了進攻延安戰役、陝北戰役、青化0戰役、羊馬河戰役、蟠龍戰役、沙家店戰役和延清戰役等作戰。在延青戰役中，該師師部及整編第24旅大部被人民解放軍殲滅。中將師長廖昂，少將參謀長劉學超，少將新聞室主任曹錫武等被俘。戰後，該師重建師部和第 24旅，第18綏靖區司令長官徐保兼整編第76師師長，擔任後方基地陝西寶雞的防守任務。1948年4月，該師在參加西府隴東戰役中，該師師部及所轄第 144旅被全殲，少將師長徐保被擊斃。戰後，該師隸屬西安綏靖公署，再次重建師部。李日基任師長，同時將重建後的第144旅改隸屬西安綏靖公署直轄。此時，該師下轄整編第24旅，張漢初任旅長；整編第75旅，黃詠讚任旅長。
1948年9月，該整編是恢複第76軍番號，李日基任軍長。原整編第24旅恢複第24師番號，於厚之任師長；原整編第75旅恢複第75師番號，黃詠讚任師長。同時，新建第20師撥歸該軍，吳永烈任師長。不久第75師的番號被取消，該軍下轄第20、第24師。該軍恢複番號後，先後參加了荔北戰役、1948年西北冬季攻勢作戰等。在冬季攻勢作戰中，該軍軍部及所轄第20師、第24師被人民解放軍全殲，中將軍長李日基、少將參謀長高憲崗等被俘。1949年1月，該軍重建後，前西安綏靖公署副參謀長薛敏泉任軍長。下轄：
第20師，褚靜亞任師長；
第24師，張汝弼任師長。
同年2 月，該軍第20師在西北春季戰役中再次被解放軍全殲。此次作戰後，該軍撤至陝西安康進行休整時，再次重建第20師，仝敬鑫任師長。同年10月，該軍退入四川廣元地區歸第7兵團指揮，11月該軍在西南戰役中被解放軍全殲於新津、邛崍地區。
