國民革命軍第21軍前身是川軍第2軍。1926年12月7日，川軍第2軍響應國民革命軍北伐，被國民政府改編為國民革命軍第21軍，劉湘任軍長。下轄8個師。
第1師，唐式遵任師長；
第2師，李雅材任師長；
第3師，王陵基任師長；
第4師，王瓚緒任師長；
第5師，向成傑任師長；
第6師，潘文華任師長；
第7師，（缺編）；
第8師，朱宗愨任師長。
另外，軍直屬1個旅和兩個遊擊司令部。
1928年8月，根據國民政府編譴會議的要求，該軍原有7個師、1個旅、兩個遊擊司令部縮編為第1、第2、第3師。其中：
第1師，唐式遵任師長，藍文彬任副師長；
第2師，王瓚緒任師長，潘文華任副師長；
第3師，劉湘兼任師長，王陵基任副師長。
不久，劉湘免兼第3師師長，王陵基繼任第3師師長。1929年3月，蔣桂戰爭爆發後，該軍被編入第7路軍，劉湘任總指揮，參加討伐武漢桂係軍隊的作戰。1930年2月，劉湘被南京政府任命為四川善後督辦，奉令對四川各軍全權編譴。同年10月，劉湘、劉文輝爭奪對四川的統治的混戰全麵展開，經過兩個多月的混戰，劉湘打敗劉文輝，奪得川北、上川東、下川南等地區的30多個縣，該軍先後收編劉文輝部第24軍的3個旅和第20軍的陳蘭亭、廖澤兩個師。1931年初，該軍以支援第20軍為名，進占了廣安、渠縣。3月，該軍第3師進占合川，驅走了第28軍鄧錫侯部的陳書農師。此時，該軍實力進一步擴大，下轄6個師和川東3個邊防路軍。其中：
第1師，唐式遵任師長；
第2師，王瓚緒任師長；
第3師，王陵基任師長；
第4師，範紹曾任師長；
教導師，潘文華任師長；
模範師，劉湘兼任師長；
川東邊防第1路，陳蘭亭任司令；
川東邊防第2路，穆瀛洲任司令；
川東邊防第3路，魏楷任司令。
此後，該軍又參加了與劉文輝、田頌堯等軍閥在四川的混戰。在上述這些軍閥混戰中，該軍實力最強時，所屬部隊發展到9個師，5個獨立旅、4路邊防司令部、3路警備司令部、1個城防警備司令部、1個獨立支隊。
1933年10月至1935年4月，該軍先後參加了對紅四方麵軍“6路圍剿”和對中央紅軍長征的圍追堵截作戰。1935年5月，國民政府對川軍進行整編時，由於該軍兵力過多和編製過大，所屬部隊被統一分編為第21、第23、第44軍3個軍。同年10月，劉湘升任川康綏靖主任兼四川省政府主席後，唐式遵任第21軍軍長，範紹曾任副軍長，劉熙鑒為參謀長。此時，該軍下轄：
第1師，饒國華任師長；
暫編第2師，師長彭誠孚；
第4師，師長範紹曾（兼）。
1936年2月25日至27日，國民政府為使川軍“中央化”、“國家化”，以授軍銜的方式，將川軍將領納入全國陸軍係統。其中第21軍軍長唐式遵、副軍長範紹曾被授予陸軍中將軍銜；所屬各師、旅長饒國華、彭誠孚、劉兆藜、周紹軒、孟浩然等被授予陸軍少將軍銜。
1937年7月，抗日戰爭全麵爆發後，國民黨軍隊進行整編時，該軍隸屬第19集團軍指揮，原所屬部隊統一整編為：
第145師，師長饒國華，參謀長曾南飛；
第146師，師長範紹曾兼任（後劉兆藜），
參謀長張六師；
獨立第13旅，田冠五任旅長；
獨立第14旅，周紹軒任旅長。
另將原劉湘集團所屬第1、第4師和暫編第2師各一部合編成為第162師（彭誠孚任師長）改隸該軍。同年9月，該軍整編完畢後，軍長唐式遵奉命率第145師、第146師和獨立第13旅、獨立第14旅出川抗戰，第162師留住成都。10月，該軍進至上海參加了淞滬會戰。11月中下旬，該軍在皖南廣德、泗安一帶，保衛首都外圍，掩護國民政府撤離南京的作戰中，第145師師長饒國華在廣德失守後，自戕殉國。1938年6月，該軍在參加武漢會戰中，擔負固守長江南岸，阻斷日軍長江航運，策應保衛大武漢的作戰任務。1939年初，國民黨軍隊進行局部編製調整時，該軍隸屬於第23集團軍，軍長唐式遵升任第3戰區副司令長官兼第23集團軍總司令，陳萬仞繼任該軍軍長，劉熙鑒任副軍長。同時，將原第23軍編入該軍。該軍原轄第145師該隸第50軍；第23軍原轄第147師，第148師該隸該軍。此次整編後，該軍先後參加了當年的冬季攻勢作戰和第2次長沙回轉。1942年1月，陳萬仞升任第23集團軍副司令後，該集團軍副司令劉雨卿兼任軍長，周紹軒副軍長。下轄部隊編製調整為第145師、第146師、第147師。同年5月，該軍參加了浙贛會戰後駐守江西貴溪整訓。1945年，該軍奉命進行整編時，第147師被裁減，另將第50軍新編第7師撥歸第21軍建製。此時，，該軍下轄：第145師，師長淩諫銜；第146師，師長戴傳薪；新編第7師，師長黃伯光。
1946年5月，國民黨軍隊進行整編時，該軍改編為整編第21師，原軍長劉雨卿改任師長。原第145師改編為整編第145旅，旅長淩諫銜，參謀長林雪穀；原新編第7師改編為新編第7旅，旅長黃伯光，副旅長田從雲、黃恒仁，參謀長戴傑夫。同年7月，該整編師新編第7旅在參加蘇中作戰中，旅部及所轄兩個團被人民解放軍殲滅，該旅番號被取消，殘部編入他部。1947年3月，台灣民眾舉行“二二八”起義後，該整編師由江蘇南通緊急調往台灣，改隸台灣警備總司令部，參加了鎮壓台灣人民起義的軍事行動。同年秋，該整編師又奉命返回華東戰場。1948年初，師長劉雨卿調任重慶警備司令部司令，王克俊從沈陽警備司令部副司令職調任師長。同年9月，該整編師恢複第21軍番號，該軍隸屬第1綏靖區。王克俊任軍長。原轄整編第145、整編第146旅，依次恢複為第145、第146師番號。同時，將新組建第230師（師長駱周能）撥歸該軍建製。此次整編後，該軍調至長江沿岸擔任將防任務。1949年4月下旬，共軍發起渡江戰役後，該軍在阻擊共軍的渡江作戰中被殲滅一部後逃至上海，在淞滬警備區的編成內，參加了上海郊區的防禦作戰。同年5月27日，該軍一部在淞滬警備區副司令官劉昌義率領下向共軍繳械投誠。
1949年10月1日，國民黨軍為加強西南地區的軍事力量，以又華東撤退到四川的該軍殘部為基礎重新編成第21軍，隸屬於西安軍政長官公署。王克俊任軍長，下轄第145師、第146師，擔任宜賓、成都地區的守備任務。11月5日，西南軍政長官公署將第235師撥屬該軍。12月下旬，該軍在宜賓、成都地區被共殲滅。
