1950年3月10日，劉建修因“郵電案”被捕，押入台灣保密局看守所“南所”。剛入獄時，他被關進一間狹小、陰暗的牢房，裏麵已有兩名囚犯。其中一位年紀較大、體型略胖、圓臉、幾乎剃成光頭的中年人，正是後來被他確認的吳石將軍。起初，劉建修並不知道對方的身份，隻覺得此人沉默寡言、舉止斯文。
隨著日子推移，劉建修漸漸注意到吳石與一般囚犯不同。他極為安靜，白天大多時候都坐在靠窗的光線處看書。據劉建修回憶，吳石常讀的書有《中國文學史》《中國史綱》《世界史綱》等，顯得學識深厚、思慮深遠。在那樣壓抑的環境中，他仍然保持著一種儒雅的氣質，待人謙和，從不隨意發言，對人禮貌而有分寸。
然而，外表的平靜掩蓋不了獄中的殘酷現實。吳石經常被帶去審訊，常是一整夜未歸。劉建修記得，有一次吳石被押出後，直到第二天下午才被抬回牢房，渾身是傷，皮膚青紫、雙腿腫脹。據說他在刑訊中被打瞎了一隻眼睛。即便如此，他從未向人訴苦，也沒有表現出屈服的跡象，隻是靜靜地靠牆坐著，繼續翻閱手中的書本。
在麵對審訊時，吳石展現出非凡的鎮定與節製。根據劉建修的回憶和後來偵訊人員的記述，吳石起初曾試圖以“參謀次長”的身份顯示威嚴，但當意識到局勢已無轉圜後，他轉為平和而誠懇地說明自己的經曆。他在被問及他人時極為謹慎，從不輕易牽連別人，甚至常替他人辯解，試圖減輕他人的牽連。偵訊官員稱，他是“最難審的一個人”，即使嚴刑逼供，也無法讓他徹底開口。
