該軍前身是膠東劉珍年部。1928年9月，國民革命軍在北伐戰爭中擊潰直、魯聯軍後，劉珍年在膠動收撫直、魯敗兵與地方民團合編為國民革命軍暫編第1軍，劉珍年任軍長。下轄：
第1師，劉珍年兼任師長；
第2師，梁立柱任師長；
第3師，何益三任師長；
第4師，李錫相任師長；
第5師，施忠誠任師長。
1929年5月，國民革命軍進行統一編遣時，暫編第1軍縮編為新編第3師，劉珍年任師長，何益三任副師長，原所屬的5個師合編為第1旅、第2旅、第3旅。第1旅，劉珍年兼任旅長；第2旅，梁立柱任旅長；第3旅，張鑾基任旅長。
1930年3月，新編第3師改為陸軍第21師。6月，第21師擴編為第17軍，劉珍年任軍長。下轄第1、第2、第3旅編製不變。1931年月，該軍番號被撤消後，該軍恢複原第21師番號，劉珍年複任師長，並將所轄第3旅改為獨立旅。1932年，劉珍年率部在膠東占據城市13座，企圖割據膠東時，被蔣介石調至江西上饒一帶與紅軍作戰，被紅軍打敗。蔣介石以劉珍年指揮不力為名將其槍斃，任命何益三任師長，並派其嫡係李仙洲任副師長。1936年，何益三被撤職，李仙洲任師長。從此，該師被蔣介石吞並。
1937年7月，抗日戰爭全麵爆發後，第21師由陝北開赴南口抗擊日軍，歸第13軍團湯恩伯指揮。10月，該師在參加忻口戰役中被日軍擊敗，幾乎全軍覆滅。1938年2月，第21師殘部開至河南鄭州休整時，將河南和山西的兩個保安團補入該師，與駐河南原隸屬第8軍的第95師合編為第92軍，李仙洲任軍長。下轄：
第21師，候鏡如任師長；
第95師，羅奇任師長。
該軍成立後，即調赴魯南地區，參加了徐州會戰。同年5月，該軍在徐州會戰後，退至湘北九嶺一帶休整並擔任該地區的防禦任務。7月，該軍奉命增援九江，在瑞昌與日軍作戰中傷亡約兩個團，後撤至湖南平江一帶休整。1939年9月，該軍第95師調離該軍建製，另將第32軍第142師撥歸該軍建製，傅立平任師長。同年冬，該軍奉命開抵鄂北襄陽、樊城、隨縣、老河口一帶駐防。1940年5月，該軍參加宜棗會戰，在宜昌東南馬家寨一帶與日軍作戰中，第21師第63團被全殲。此次戰役後該軍退至宜昌休整。10月，調駐皖北。1941年月該軍在參加渦陽、蒙城戰役中遭受重大傷亡。此次作戰後，江漢師管區撥河南、湖北新兵4000餘人補入該軍。2月，又騎兵第2軍暫編第56師撥歸該軍監製。此時，該軍下轄：
第21師，侯鏡如任師長；
第142師，傅立平任師長；
暫編第56師，柴濟川任師長。
1943年，該軍第28集團軍時，奉命由皖北調往山東增援於學忠部，途中李仙洲升任第28集團軍總司令，侯鏡如升任該軍軍長，傅立平、柴濟川為副軍長。下轄：
第21師，黃恢亞任師長；
第142師。劉春嶺任師長；
暫編第56師，孟紹周任師長。
該軍到山東後，多次參加對日軍的作戰，傷亡慘重，每團僅剩殘餘官兵400餘人，重武器全部丟光，在退回皖北進行休整後，旋即調往河南許昌。1944年3月，國民黨軍為增強長江防務，調該軍從河南赴四川萬縣。7月，該軍調至湘西石門後隸屬第6戰區，參加了長（沙）衡（陽）會戰。1945年春，該軍奉命開往湖南常德休整時，暫編第56師被裁減，另將第39軍第56師撥歸該軍建製。此時。該軍下轄：
第21師，郭惠蒼任師長；
第56師，劉和鼎任師長；
第142師，劉春嶺任師長。
4月該軍參加了湘西等會戰。
1945年8月，抗日戰爭勝利後，該軍由湖南常德調往武漢接受日軍投降時，收編了汪精衛新編第7軍及其他偽軍各一部。9月，該軍空運至北平，擔任北平城防警備任務，其軍長侯鏡如兼任北平警備司令部司令。1947年10月，侯鏡如第21師由唐山增援東北，進至遼西義縣時，被解放軍冀熱遼軍區部隊殲其大部，師長郭惠蒼被俘，副師長被擊斃，侯鏡如逃脫錦州後重建第21師。此次作戰後，該軍第56師、第142師由冀東調防天津時，改為華北“剿匪”總司令部機動部隊。同年冬增編第318師。此時，侯鏡如任軍長，劉春嶺、孔海鯤任副軍長，下轄：
第21師，李荻秋任師長；
第56師，王有湘（後餘有）任師長；
第142師。劉汝霖任師長；
第318師，劉元伯任師長。
1948年夏，該軍為配合國民黨軍在東北戰場的作戰，奉命進至冀熱遼地區，主力集結與平古、北寧路沿線。同年9月，侯鏡如升任第17兵團司令，黃翔接任第92軍軍長時，該軍調往北平擔任守備任務。1949年1月，北平和平解放後，該軍第21、第56、第142師接受和平改編。第318師在師長彭懷霖的率領下由海路撤逃杭州。同年4月下旬，解放軍發起渡江戰役後，師長彭懷霖見大勢已去，率主力投降。其殘部逃至福州後由補充成立第318師，解景和任師長。8月，解放軍葉飛兵團向福州進軍時，第318師師長解景和率少部撤退台灣，副師長曹仁風率主力投降。
