該軍前身是粵軍第151、第152師。1926年7月，粵係國民革命軍第4軍、國民革命軍第5軍主力參加北伐時，各留一部堅守廣東，由李濟深統一指揮。1928年春，國民黨軍使用路軍編製體製後，將留守在廣東的粵軍改編為國民革命軍第八路軍，李濟深任總指揮。1929年3月，蔣桂戰爭爆發後，李濟深被蔣介石扣留在南京後，第8路軍由陳濟棠任總指揮。陳上任後對第8路軍進行整編，將原來所屬部隊合編為第1、第2、第3軍。1932年6月，粵軍第8路軍總指揮陳濟棠與桂係李宗仁、白崇禧聯合發動反蔣的“兩廣事變”時，由於陳濟棠部下餘漢謀被蔣收買，倒戈擁蔣，迫使陳濟棠下台出逃，蔣介石任命餘漢謀為第8路軍總指揮。1935年餘漢謀任廣州綏靖公署主任兼第8路軍總指揮時，取消軍的編製，將所屬部隊統一改編為第151至第160師等部。
1937年7月抗日戰爭全麵爆發後，國民黨軍隊進行統一整編時，以第151、第152師合編組成為第62軍，隸屬第4路軍。張達任軍長，下轄：
第151師，莫希德任師長；
第152師，陳章任師長。
1937年12月，第4路軍改編為國民革命軍第十二集團軍時，該軍隸屬第12集團軍。1938年9月，第151師改隸新組建的國民革命軍第83軍。同年10月，日軍在廣東實施大規模登陸作戰時，該軍奉命參加廣東方向抗登陸作戰。此次戰役失敗後，抗日戰爭第四戰區副司令長官兼第12集團軍總司令餘漢謀，將第151師師長莫希德作為替罪羊押解重慶治罪。
1939年1月，第83軍番號撤消，第151師又改隸國民革命軍第六十六軍建製。另將國民革命軍第65軍第157師歸國民革命軍第62軍建製，黃濤任師長。1939年9月，張達升任第12集團軍參謀長，黃濤任軍長。此時，該軍下轄：
第153師，陳章任師長；
第157師，練惕生任師長。
同年10月，該軍在粵北參加了對日軍的冬季攻勢作戰。1940年春，國民黨軍隊進行編製調整時，第152師改隸國民革命軍第63軍建製，同時，第66軍第151是和第63軍第154師改隸第62軍建製。此時，該軍下轄：
第151師，林偉儔任師長；
第154師，梁世驥任師長；
第157師，練惕生任師長。
此次編製調整後，該軍先後兩次參加粵北戰役，奉命抵禦日軍由廣州北犯。
1943年秋，第154師改隸第65軍，第65軍第158師改隸第62軍，陳錦言任師長。1944年7月，第62軍奉命馳援衡陽後，隸屬第9戰區，先後參加長衡會戰、桂柳會戰。1945年7月，該軍第158師改隸抗日戰爭第七戰區直轄，另將國民革命軍第37軍第95師調歸該軍建製。此時，該軍下轄：
第95師，何旭初任師長；
第151師，林偉儔任師長；
第157師，李宏達任師長。
同年8月，抗日戰爭勝利後，第62軍奉命赴台灣接受駐台日軍投降，隸屬台灣警備總司令部。
1946年5月，國民黨軍隊進行整編時，第62軍改稱為整編第62師，隸屬於保定綏靖公署。黃濤任師長，李宏達、張誌嶽任副師長，謝義任參謀長。原第95師改編為整編第95旅，段雲任旅長；原第151師改編為第151旅，林偉儔任旅長；原第157師改編為整編第157旅，李宏達任旅長。7月，黃濤離職，林偉儔任師長。1947年3月，該師在鎮壓了台灣人民“二二八起義”後，由台灣海運至天津，擔任津塘地區守備任務，隸屬第17兵團。此時，該師恢複第62軍番號，林偉儔任軍長，莫漢英任參謀長。原轄各旅依次恢複第95、第151、第157師番號。同年10月，第95師調歸保定綏靖公署直轄，另將國民革命軍第53軍第67師撥歸該軍建製，李學正任師長。1948年9月，該軍奉命調往東北，參加了遼沈戰役。在遼沈戰役結束後，該軍回防天津時新建第317師。同年12月，人民解放軍發起平津戰役後，該軍由天津增防北平，不久後又奉命回防天津。在此期間，第157師被滯留北平，其餘各師回防天津。在天津戰役中，被人民解放軍全殲。中將軍長兼天津防守副司令林偉儔、第67師少將師長李學正、第151師少將師長陳植等被俘。留守北平的第157師，在傅作義宣布北平和平起義後，接受解放軍的和平改編。
1949年2月，國民黨軍為加強在廣東地區的防禦力量，又在廣東重新組建第62軍，隸屬第4編練司令部。張光瓊任軍長，張一中任副軍長。下轄：第67師、第151師、第157師。不久，國民黨軍在調整部隊編製時，將第67師與第157師合編為第153師。此時，該軍下轄：
第151師，羅懋勳任師長；
第153師，李宏達任師長。
同年10月，該軍在參加廣東戰役中，軍部及直屬分隊1500人在中共底下黨組織、粵桂邊遊擊縱隊策動和接應下，於湛江西營起義外，其餘被全殲。廣東戰役後，國民黨軍在海南島再次重建第62軍，隸屬瓊崖防衛總司令部，李鐵軍任軍長，下轄第151師、第153師、第163師和教導師。1950年3月，該軍在海南島戰役中，被解放軍全殲。
