劉少奇在大會上講話，說：“所有的人都可以平反，唯彭德懷同誌不能平反”。彭德懷對此非常氣憤，立即打電話給我說：“請轉報主席和劉少奇，鄭重聲明沒有此事。”
廬山會議後，撤銷了彭德懷在軍隊內的職務，但仍保留中央委員、中央政治局委員的職務。黨內文件照發，中央政治局會議也照常通知他參加，不過彭德懷照例請假就是了。根據毛澤東的意見，彭德懷有什麽事都是通過楊尚昆這個辦公廳主任向中央反映。
1959年國慶節前夕，彭德懷搬出中南海，移居吳家花園。10月21日，毛澤東找彭德懷談話，劉少奇、周恩來、朱德、鄧小平、彭真、賀龍、陳毅等同誌都到了，我也在座。毛澤東肯定了彭德懷9月9日寫信要求學習和參加生產勞動的意見。說讀幾年書好，要學點馬克思主義的哲學、政治經濟學。談話時氣氛很好，談話以後又共進午餐。彭德懷離去以後，毛澤東囑我以後要經常去看望彭德懷。每月至少兩次，主要是了解他的思想動態，幫助他聯係和解決學習和生活上的一些問題。11月9日，我和彭真一起去彭德懷處，在彭那裏召集高級黨校黨委常委會，楊獻珍、艾思奇、範若愚等同誌都到了。當場安排了彭德懷到黨校學習的問題，並當麵交代，彭德懷是毛主席批準到黨校學習的，要派專人輔導他的學習，有什麽問題由楊獻珍同彭德懷直接聯係。
後來，毛澤東多次提出，要彭德懷出來做點事。有一次，他對我說，可以讓彭德懷當農墾部部長，要我去征求彭德懷的意見。當然，如果彭德懷同意，下一步還要做王震的工作，讓王震把農墾部部長的位置讓出來。我考慮，那時彭德懷的情緒很不好，不可能出來工作，因而一直沒有同彭德懷談。還有一次，毛澤東指定我和陳毅、聶榮臻三個人去做彭德懷的工作，主要是說服彭德懷承認錯誤，有所表示。可是彭德懷心裏不服，一直頂著不表態，我們三個人都認為不好開口。以後我見到毛澤東，就說你要我們三個人去做彭德懷的工作，你講個方針才好。毛澤東看到我們有難處，笑了笑說，那就算了吧！
1961年9月19日，彭德懷給毛澤東寫信，要求到農村去做調查研究，請求中央允許他先去湖南故鄉搞三個月，了解農村情況，明年春天再去山西太行。他提出，如果允許他外出調查，行前希望見主席一麵。我立即把彭德懷的信送給毛澤東，過了些日子，毛澤東批回來：“彭德懷到哪裏去都可以。半年也行。”10月23日，我去彭德懷處，把毛澤東同意他下去調查的情況告訴他。25日晚，彭德懷到我的辦公室，交來一份去湖南的調查提綱，並要求中央辦公廳給他派一個臨時秘書，隨他去湖南，幫助整理調查材料。第二天，我把金石同誌找來，對他說：“彭德懷最近提出要回湖南家鄉看看，作些農村調查。因為廬山會議後彭原來的秘書都回軍委去了，這次他下去要求中辦給他派一位同誌幫他整理材料，我們考慮你去比較合適。”金石有些緊張，我對他說：“彭德懷現在仍然是政治局委員，你還是要尊重他。你幫他整理材料，他要你怎麽寫，你就怎麽寫，有錯誤由他負責，與你無關。”
10月30日，彭德懷離京去湖南。他到長沙後，湖南省委書記胡繼宗向他介紹了有關情況；在湘潭，由湘潭地委書記華國鋒接待。11月3日，彭德懷就到了他的家鄉湘潭縣烏石大隊為民生產隊(彭家圍子)。
一個多月以後，彭德懷從華國鋒那裏得知中央準備召開一次由中央局、省、地、縣委和大的廠礦企業一級負責人參加的擴大的中央工作會議，他認為這個會議主要是總結1958年“大躍進”以來的經驗教訓，十分重要，決定立即結束湖南調查返回北京。
彭德懷這次去湖南，曆時50多天，最後整理了5份調查報告，他要金石交給我，並附信說：“這些材料都已經和省、地、縣委同誌交換過意見，沒有大的不同意見。如有錯誤，完全由我負責。”我把彭德懷的幾份調查材料連同金石寫的隨彭德懷去湖南情況的報告一並報送毛澤東。這件事，事前經過毛澤東批準，事後又向毛澤東作了報告，從工作程序和組織原則上講都是無可指責的。
彭德懷回京以後，看到1962年1月擴大的中央工作會議(即七千人大會)的文件，對劉少奇的書麵報告認為是比較實事求是地總結了1958年以來的經驗教訓，還是滿意的；對報告中再次肯定廬山會議的反右傾鬥爭，也不想要求平反。但是，1月27日，劉少奇在大會上講話，說：“彭德懷的錯誤不隻是寫了那封信，一個政治局委員向中央主席寫信，即使信中有些意見是不對的，也並不算犯錯誤。”“廬山會議之所以要展開反對彭德懷同誌的反黨集團的鬥爭，是由於長期以來彭德懷同誌在黨內有一個小集團。他參加了高崗、饒漱石反黨集團。”“更主要的不是高崗利用彭德懷，而是彭德懷利用高崗，他們兩個人都有國際背景，他們的反黨活動，同某些外國人在中國搞顛覆活動有關”。因而，“所有的人都可以平反，唯彭德懷同誌不能平反”。彭德懷對此非常氣憤，立即打電話給我說：“請轉報主席和劉少奇，鄭重聲明沒有此事。”事後，彭德懷還向人表示，看了劉少奇的講話，很不舒服。書讀不下去，覺也睡不好。彭德懷本來打算春節以後再到太行山老解放區去看看，搞些調查研究，現在這個樣子不能去了，去了人家不好辦。
七千人大會結束以後，彭德懷立即動手把自己的一生經曆、是非曲直詳細地寫了一個書麵材料，要求中央予以審查。這就是後來所謂彭德懷翻案的《八萬言書》。6月16日，彭德懷到中南海把這份材料親手交給我，我按照他的要求，印發給毛澤東和中央政治局、書記處各同誌。為了鄭重，《八萬言書》印出清樣後，派人先送給彭德懷，請他校閱後再正式印發。他卻說：“相信中央辦公廳，不看了，印發吧。”當年7月，毛澤東在北戴河召開的中央工作會議上指責彭德懷翻案，提出要批判“翻案風、黑暗風、單幹風”。9月，在北京召開八屆十中全會和隨後的國慶13周年活動，就不再通知彭德懷參加了。在全會上，毛澤東明確表示：我對彭德懷這個人比較清楚，不能給以平反。全會還決定成立“彭德懷專案審查委員會”，對他進行全麵審查。
後來，彭德懷專案審查委員會派人去湖南，對1961年彭德懷回鄉作農村調查情況作“追蹤調查”。原來，彭德懷在湖南調查結束後，湖南省委曾正式書麵報告中央，反映彭德懷在湖南期間表現是好的；但這時卻又出爾反爾，向中央報告說彭德懷當時有“反黨言行”。這次專案調查人員也專門搜集一些反麵材料，斷章取義，肆意歪曲，編造了一個《關於彭德懷同誌1961年回湘潭情況的調查報告》，說彭德懷那次回鄉調查是“別有用心”、“滿腹牢騷”，散布了一係列“反黨言論”。這個《報告》送我印發時，我發現《報告》上把那些隨彭德懷去湖南的工作人員名字也寫上了。我當即打電話給彭德懷專案審查委員會負責人，說那幾個隨行人員都是組織上派去做具體工作的，不要把他們的名字寫上。這樣，避免了一次可能發生的新的株連。
1965年9月11日，毛澤東要彭真代表中央找彭德懷談話，說中央決定你去西南工作，任西南三線建設委員會副總指揮。彭德懷表示，我是共產黨員，應該服從黨的分配，但我犯了錯誤，說話沒有人聽，對工業也是外行，還是希望去農村作調查。23日，毛澤東親自找彭德懷談話，劉少奇、鄧小平、彭真也在座。毛澤東說：“彭德懷去西南，這是黨的政策，如有人不同意時，要他同我來談。我過去反對彭德懷是積極的，現在要支持他也是真心誠意的。”“對老彭的看法應當是一分為二，我自己也是這樣。”毛澤東還對彭德懷說：“也許真理在你那邊。”
10月19日，彭德懷來找我，要我幫助他解決去西南赴任的一些具體問題，我當即應允。次日，我派中辦警衛局副局長田疇、中辦機要室副主任賴奎到彭德懷那裏，問他有什麽要辦的事，要一一幫他辦好。11月28日，彭德懷乘火車離京去成都，我的中央辦公廳主任一職已被免去，不便以私交關係送他，實屬憾事。又豈知，更為遺憾的是，10月19日一麵竟成永別！
楊尚昆和彭德懷友誼深厚，情同手足。1998年初，在撰寫紀念周恩來、劉少奇兩篇文章的同時，他不顧疲勞，又開始撰寫紀念彭德懷百年誕辰的文章。他強調一定要把彭德懷最突出的特點寫出來，主要寫他時刻以黨的利益為重，無私無畏，為黨為人民奮鬥終生，立下豐功偉績，最後在蒙冤的逆境之中，革命意誌彌堅，是一個真正高尚的人。那年5月，楊尚昆去上海，我隨行去上海檔案館查檔。這期間，他還召集我們隨行人員反複討論這篇文稿。不料，楊尚昆這次歸來後就病倒了，《追念彭大將軍》一文是他最後的日子裏在病榻上定稿的。
