在國民革命軍的編製序列中，曆史上曾先後出現過5個第31軍。分別為滇軍，北洋軍，西北軍，桂粵軍，青年軍。
滇軍
滇軍金漢鼎等部組成的第31軍，該軍前身是滇軍一部。1926年6月，國民革命軍出師北伐後，隊伍迅速擴大。1927年4月，國民政府將滇軍金漢鼎部和朱培德第3軍一部擴編成為國民革命軍第9軍。1928年1月，第9軍改編為第31軍，隸屬第1集團軍，金漢鼎任軍長。下轄：
第27師，楊如軒任師長；
第28師，韋杵任師長；
第29師，周誌群任師長，
及獨立第7、獨立第37師。
該軍編成後，出兵參加北伐，兵鋒曾進抵河北青縣。同年秋，該軍移防江西，參加了對井岡山革命根據地紅軍的“清剿”後，第31軍的番號撤消，所部縮編為第12師。
北洋軍
北洋軍孫傳芳一部組成的第31軍，該軍前身是直係軍孫傳芳所屬一部，1927年5月，北伐軍攻克揚州後，將孫傳芳所屬北洋軍統一改編為第91、第92、第93師。同年6月，上述3個師合編組成第31軍。鄭紹虔任軍長，李明揚任副軍長。下轄：
第91師，張中立任師長；
第92師，李齊峰任師長；
第93師，蔣毅分任師長。
9月，該軍被何應欽部收編，番號撤消。
西北軍
西北軍孫良誠一部組成的第31軍，該軍前身是西北軍孫良誠部一部。1930年10月，中原大戰開始後，原西北軍孫良誠部所屬梁冠英部投降蔣介石，在河南被國民革命軍改編為第31軍（亦稱第25路軍）。梁冠英任軍長，下轄：
第32師，梁冠英任師長（兼）；
獨立第5旅，鄭廷楨任旅長。
1931年初，該軍由河南開至蘇北淮陰，隸屬江蘇綏靖督辦節製。1932年8月至1934年6月，該軍在鄂豫皖邊區，奉命參加了對鄂豫皖蘇區和紅軍的第四、第五次“圍剿”。1935年，該軍所屬獨立第5旅調歸第14軍。1936年12月，西安事變發生後，東北軍第106師（原石友三殘部）編入第31軍建製。此時，該軍下轄：
第32師，梁冠英任師長（兼）；
第106師，沈克任師長。
1937年初，軍長梁冠英任調任國民黨政府國民黨加軍事委員會中將高參，第31軍被裁減。
桂粵軍
桂係、粵係各一部組成的第31軍，該軍前身是桂係李宗仁所屬一部。1936年6月，桂係軍聯合粵係陳濟棠部發動“兩廣事變”反蔣後，被迫接受蔣軍收編，其中，將桂係李宗仁所屬部隊原轄5個師及粵係第19路軍殘部和編為第170師、第171師、第172師、第173師、第174師、第175師等五個師。
1937年8月，全國抗日戰爭爆發後，國民政府以第173師、第174師與第135師在南寧合編為第19軍，不久後，改稱第31軍，劉士毅任軍長，覃連芳任副軍長。下轄：
第135師，蘇祖馨任師長；
第173師，賀維珍任師長；
第174師，王讚斌任師長。
1938年，該軍由南寧會師北上進駐徐州，隸屬第11集團軍。同年2月，軍長劉士毅調任國民黨軍事委員會軍訓部次長，由韋雲淞任軍長。5月，參加徐州會戰，擔任淮河北岸布防，抗擊北進日軍。徐州會戰後，該軍奉命移師武漢，隸屬第5戰區第21集團軍。8月，該軍參加武漢會戰，擔任防守武漢前方要地和武漢外圍主要陣地的作戰任務。武漢會戰結束後，該軍調往廣西桂林進行整訓。
1939年，國民黨軍調整部隊建製，該軍隸屬第16集團軍，原轄第173、第174師歸第84軍建製，另將第84軍第131、第188師改隸歸第31軍建製。此時，韋雲淞任軍長，賀維珍任副軍長，下轄：
第131師，賀維珍兼任師長；
第135師，蘇祖馨任師長；
第188師，莫德宏任師長。
同年11月，該軍奉命參加桂南會戰，擔任阻止日軍進攻的任務。其中，第135師擔任南寧和邕江北岸守備；第188師在昆侖關以北集結為預備隊。12月初，該軍一部向高峰隘方麵執行攻擊作戰任務，牽製日軍，並以另一部進南寧東北四塘一線，阻止南寧日軍向昆侖關增援，以配合北路軍主力作戰。1941年7月，軍長韋雲淞免職，由賀維珍升任軍長。9月，該軍奉命參加第2次長沙會戰，主要擔任非主戰場的牽製性作戰。1944年8月，該軍參加桂柳會戰，在桂林防禦作戰中擔任防守任務。1945年4月，該軍被裁減，所轄第131、第135師被裁減，第188師改隸第46軍。
青年軍
青年軍一部組成的第31軍，該軍前身是抗日戰爭後期組建的青年軍一部。1944年12月至1945年4月，國民黨招募知識青年入伍，並配以基礎較好的師為骨幹，先後編成青年軍第201至第210師共10個師。1945年8月，抗日戰爭勝利後，國民黨軍將其第208、第209師在杭州合編為第31軍（亦稱青年軍），隸屬衡洲綏靖公署，黃維任軍長。下轄：青年軍第208師，吳嘯亞任師長；青年軍第209師，溫劍鳴任師長。10月，該軍所轄兩師精間後，所屬部分官兵士兵複員，兩師合編為新的208師，以吳嘯亞任師長，調赴北平行營。
1947年，又以第201、第204、第205師在台灣重新編成第31軍（亦稱青年軍），隸屬台灣警備總司令部。廖慷任軍長，下轄：第201師，潘國華任師長；第204師，龍嘯聲任師長；第205師，鄧文僖任師長。該軍編成後，擔任台灣守備任務。1948年初，該軍軍部及第205師奉命調至北平、第204師調至青島，分別擔任該地區防守任務。同年11月，第205師參加平津戰役。1949年1月，該軍軍部及第205師在北平和平解放中，接受人民解放軍的改編。第204師由青島撤退至上海。同年5月，第204師在參加上海戰役中，大部戰死，餘部由該師師長龍嘯聲率領撤退至台灣。
