該軍前身是馮玉祥所屬的國民軍一部。
即由宋哲元部所屬的國民革命軍第29軍暫編第2師擴編而成。
1926年9月，國民軍以兩個警衛旅改編為國民革命軍第10師參加北伐。1928年第10師被改編為第30師，隸屬北伐軍馮玉祥的第2集團軍。
1930年10月，馮玉祥和閻錫山在中原大戰中失敗後，第30師被東北軍收編。
1933年春，第30師改編為暫編第2師，編入國民革命軍第29軍，由副軍長劉汝明兼任該師師長。1933年3月中旬該軍參加長城抗戰，負責防守羅文峪一帶地區。同年夏，暫編第2師改編為第143師，師長仍有劉汝明兼任。
1937年8月抗日戰爭全麵爆發後，國民黨軍進行統一整編時以第29軍第143師和獨立第40旅和編組成第68軍，隸屬第7集團軍。劉汝明任軍長，下轄：
第143師，劉汝明兼任師長；
獨立第40旅，夏子明任旅長。
該軍組成後，在當年先後參加了平綏路東段沿線和平漢路北段沿線作戰。
1937年底，該軍隸屬第5戰區，由河北移防山東菏澤地區時，將原獨立第40旅擴編為第119師，田溫其任師長。
1938年1月，該軍徐州會戰，奉命在蕭縣、蒙城地區抗擊日軍。徐州失敗後，該軍撤到皖西、鄂東地區進行休整。而後，參加了豫魯皖邊地區作戰和武漢會戰。
1939年1月，該軍隸屬第2集團軍時，劉汝明升任第2集團軍副總司令兼軍長，田溫其任副軍長。下轄：
第119師，田溫其任師長；
第143師，李曾誌任師長。
1937年4月至1945年5月，該軍先後參加了隨（縣）棗（陽）會戰、冬季攻勢作戰和棗宜會戰等。
在棗宜會戰中，該軍第143師堅守應山城垣，與敵激戰兩晝夜，除700餘人突出重圍外，其餘全部犧牲。此次戰鬥後，該軍重建第143師，並重組建獨立第27旅。不久獨立度27旅與第2集團軍直屬獨立第44旅合編組成暫編第36師，撥歸該軍建製。此時，該軍下轄：
第119師，陳新起任師長；
第143師李曾誌任師長；
暫編第36師，劉汝珍任師長。
1941年5月，該軍暫編第36師與第30軍第30師對調建製，第30師改隸該軍，張華堂任師長。
1941年9月，該軍參加了第2次長沙會戰。
1942年春，第30師回歸第30軍，暫編第36師回歸第68軍建製。
1943年2月，劉汝明任第2集團軍代總司令兼軍長，劉汝珍任軍長，李金田、陳新起任副軍長。此時，該軍下轄：
第119師，劉廣信任師長；
第143師，黃樵鬆任師長；
暫編第36師，崔貢琛任師長。
此後至1945年上半年，該軍相繼參加了鄂西會戰、常德會戰、豫中會戰和豫西、鄂北會戰等。在參加豫西鄂北會戰後，該軍撤至湖南陳留地區整訓。
1945年10月，該軍暫編第36師被裁減，另將第55軍第81師調歸該軍建製。此時，該軍下轄：
第81師，葛開祥任師長；
第119師，劉廣信任師長；
第143師，崔貢琛任師長。
1946年5月，國民黨軍進行統一整編時，該軍改編為整編第68師隸屬第4綏靖區。劉汝珍改任師長，陳新起任副師長，張勳亭任參謀長。原轄第81師改編為整編第81旅，葛開祥任旅長；原第119師改編為整編第119旅，劉廣信任旅長；原第143師改編為整編第143旅，閻尚元任旅長。此次整編後，該師主要擔任冀魯豫地區的守備任務和綏靖任務。
1946年8月至1947年1月，該師在蘇魯戰場上多次與人民解放軍作戰，先後參加了隴海路中段戰役、定陶戰役、巨野戰役、鄄城戰役、巨金魚戰役、豫皖邊戰役等作戰。
1947年初至1948年7月，該師調至魯西南地區擔任防禦和機動作戰任務，先後參加了魯西南戰役、沙土集戰役、豫皖蘇邊區作戰和豫東戰役等。
1948年9月，國民黨軍廢除整編師、旅編製，重新規定番號，整編第68師又改為第68軍，劉汝珍任軍長，陳新起、王振聲任副軍長，張勳亭任參謀長。隸屬第8兵團。原轄整編第81、整編第119、整編第143旅，依次恢複第81、第119、第143師番號。
1948年11月，該軍在參加淮海戰役中打通津浦路徐（州）蚌（埠）段交通線的作戰後，撤至安慶至彭澤地段擔任防守任務。
1949年四月下旬，人民解放軍發起渡江戰役後，該軍棄陣南逃。5月3日，該軍第81師在副軍長王誌遠、師長葛開祥率領下在江西弋陽率部起義。第119師、第143師逃至廈門後，奉命在漳州地區組織防禦，並重建第81師。9月中旬，該軍在漳夏戰役中被解放軍殲滅。
