60軍的前身是晉冀魯豫野戰軍第8縱隊,首任司令員是上將王新亭。後改為華北野戰軍8縱,隸屬華北軍區第1兵團,直接歸徐向前指揮,參加了臨汾、晉中、太原等戰役。該縱隊第23旅,在臨汾戰役中,英勇奮戰,首先登城,被授予“光榮的臨汾旅”稱號。在當時,以攻下的城市命名部隊可是一種巨大的軍人榮譽。 1949年全軍進行整編,8縱改稱中國人民解放軍18兵團第60軍,王新亭任軍長兼政治委員,張祖諒任副軍長兼參謀長。
60軍先是參加了解放西北的扶眉戰役,然後又跟著賀龍南下秦嶺,一直解放了成都。1950年,60軍在川西進行剿匪作戰,在11個月內作戰57次,肅清了川西匪患。1951年3月,60軍作為第二批部隊入朝參戰。當時的軍長張祖諒因任川西軍區司令員,由韋傑繼任軍長。
1951年4月,60軍歸誌願軍3兵團指揮,參加了第五次戰役。在戰役的第一階段,60軍突破土耳其旅的阻擊,插入釜穀裏,渡過漢灘川,占領永平、東豆川裏地區,割裂了美25師、土耳其旅??軍、法軍各一部,又連續與美軍發生激戰,一直進攻至北漢江以南地區。不久,美軍發起反擊,學中國軍隊打起了機械化穿插,一舉割裂了中國軍隊的戰線。60軍左右兩翼都已暴露,恰此時3兵團電台車被炸,軍部與兵團部失去了聯係。韋傑命60軍180師在北漢江以南組織防禦,以掩護全兵團的傷員轉運。然而因美軍進軍速度太快,誌願軍的通訊聯絡係統又嚴重滯後,180師很快陷入了被敵四麵包圍的險境。韋傑急命60軍其他兩個師進行解圍,但都被美軍擊退。而180師的領導卻臨陣猶豫,突圍決心不堅決,反而下了分散突圍的命令,終於使局麵不可收拾。最後,180師師部領導機構突圍出來了,但全師1萬餘人損失了7000人,其中5000餘人被俘,成為中國軍隊在朝鮮戰場上的奇恥大辱。戰後,60軍撤回後方進行整訓,軍長韋傑被撤職。
1952年秋季,60軍配屬第20兵團,接替第68軍擔負東起文登裏、西至北漢江一線的防務。此時張祖諒已入朝複任60 軍軍長。當麵之敵為韓3師、韓5師和韓6師,60軍先是組織了26次小型的戰術反擊,其中25次勝利完成任務,殲敵數千人。1953年5月,中國軍隊發起夏季反擊戰役。在第一階段中,60軍連戰14天,作戰13次,殲敵1735人,推進陣地0.5平方裏,自己傷亡500餘人。在第二階段中,60軍大膽采用敵前潛伏戰略,在韓5師眼皮底下埋伏了179師和181師共3500人的大部隊。結果一戰成功,奪占全部陣地,創造一戰殲敵一個團的陣地戰紀錄。而180 師如法炮製,以2000人的部隊進行敵前潛伏,也打了一個漂亮的翻身仗。其後60軍擊退了韓軍數百次進攻,鞏固了新奪占的陣地。統算下來,60軍在此戰中擴展陣地45平方公裏,殲敵14800餘名。這在誌願軍陣地戰階段,可算是各軍中獨一無二的戰績了。
1953年7月13日,在金城戰役中,60軍加入東集團作戰,突破韓8師防線,勇渡金城川,進至白岩山和黑雲吐嶺一線。其後背水作戰,頑強阻擊聯合國軍發起的凶猛反擊。最後,才在兵團首長的命令下將主力撤至金城川以北防禦,勝利結束了抗美援朝的最後一仗。
朝鮮停戰協定簽字後,60軍奉命班師回國。在2年多的作戰中,60軍共斃傷俘敵54000餘人,繳獲各種火炮180餘門,各種槍支6200餘支。其殲敵數量在誌願軍各軍中僅次於38軍居第二位。60軍在朝鮮戰場上的戰績是相當不俗的,但長時間內卻被180師的五次戰役失利掩蓋了,因而甚少為世人所知。對於60軍來說,這是極為不公平的。