勞動改造所裏既有國民黨戰犯也有日本戰犯，日本戰犯享受不用勞動優待。黃維曾經大罵：“我們再有罪也沒日本人罪大，憑什麽日本人可以待著，我們就要勞動。”
胡璉突出重圍後，遇到了第十八軍未被包圍的騎兵，先逃到蚌埠，後去了南京，開始了與黃維完全不同的人生。黃維在南平集附近的周莊被俘。從被俘起的第一天開始，黃維就表現出不合作、不配合。
中原野戰軍聯絡部長楊鬆青動員十二兵團的高級將領給被圍在陳官莊的杜聿明、邱清泉寫勸降信。八十五軍的參謀長陳振威寫好了信，請各人簽名，隻有黃維不簽。
一個新聞記者采訪黃維：“你為什麽不早些投降。”
黃維把桌子一拍，大吼起來：“有戰死的烈士，沒有苟活的將軍，我為什麽投降。為了國家民族利益，我要戰鬥到一兵一卒……”
黃維和杜聿明、宋希濂等人一起被關在位於北京德勝門外功德林路一號的功德林戰犯管理所。中共創始人之一李大釗曾在這裏被張作霖殺害。初到功德林時，黃維抱定“不成功便成仁”的決心，“君子不事二主”，與管教人員堅決對立。
在戰犯管理所，黃維留起了胡子，自稱“在國民黨時期留的胡子不能在共產黨的監獄裏剃掉”。在隨身的本子上寫下了於謙的《石灰吟》和文天祥的《正氣歌》自勉。
當時監獄規定每個戰犯要讀一些指定的學習書，並結合自己的罪行談讀書體會，杜聿明讀了《論持久戰》，寫下萬餘字的讀書筆記，並且要求把自己的讀後感寄給蔣介石，而黃維卻拒絕寫任何悔過書，他說自己“無罪可悔”，唯一慚愧的是十幾萬大軍在自己的領導下潰敗，所以黃維在戰犯和管理人員眼裏是“拒絕改造”的典型。
1952年的一次學習中，學習組長董益三宣讀材料說：“四大家族控製了中國所有的銀行，將全國人民的財產盤剝到自己手裏時”，黃維回應說：現在全國隻有一家中國人民銀行，又受到共產黨毛澤東的領導。是不是可以說現在全國人民的財產都到毛澤東一家的手裏了。
