實測近5000篇論文！3位中國博士生發現驚喜結果
文 | 《中國科學報》見習記者 王兆昱
穀歌DeepMind創始人之一沙恩·萊格（Shane Legg）認為，超越人類水平的人工智能將在2025年左右出現。
而有3位華人博士生，在讓GPT-4充當“審稿人”，審閱3000多篇Nature論文和1700多篇頂會論文後，驚喜地發現，在提供論文評審意見這件事上，AI有望達到類似人類審稿人的水平。這是梁偉欣、張鈺暉和曹瀚成花了5個月完成的研究。作為美國斯坦福大學計算機科學係的博士生，他們切身感受到計算機領域論文“井噴式增長”帶來的審稿壓力，於是踏出了GPT-4在“審稿”方麵嚐試的“第一步”。10月初，這項研究以論文的形式公布在arXiv平台上，目前處於“頂刊在投”階段。論文共同第一作者之一曹瀚成告訴《中國科學報》，他希望未來有更多同方向的研究，進一步解決AI審稿的局限性。
“我們的初心非常簡單，就是看看大家玩了很久的ChatGPT、大模型在提供論文評審意見上有沒有一些用處，是否能夠緩解人工審稿的壓力。”曹瀚成回憶道。近年來，隨著科學的發展、各國對科研投入力度的加大，科研論文的數量也快速增長，世界仿佛進入了一個“增量式科學時代”。隨之而來的是與日俱增的審稿壓力——許多論文壓根兒找不到人來審，還有許多論文無法及時獲得有價值的評審意見。而在計算機科學這種最“年輕”、迭代最快的領域中，這一現象更為突出。各種數據都顯示，計算機科學論文的增長正呈現“井噴式”的態勢。如ICLR是深度學習的頂尖會議，在2018年時投稿量為960篇，而到了2023年，投稿量已經漲到了4966篇。而CVPR是計算機視覺方麵的頂級會議，今年收到9155篇論文投稿，相比於去年有12%的增長。不同於生物、物理等需要長時間積累才“夠格”當審稿人的學科，計算機科學尤其是人工智能方向雲集著年輕的審稿人：十幾年前，博士生審稿已經成為常態；而近幾年，本科生也逐漸加入這一隊伍。這些“資曆尚淺”的學生對新興領域的了解，甚至比老派的學者教授更為深入，給學科的發展注入了新鮮血液。對於年輕的博士生梁偉欣、張鈺暉和曹瀚成而言，參與頂級會議論文審稿已經成為他們的“家常便飯”。據曹瀚成描述，在許多AI會議上，隻要你投一篇論文，就意味著要簽署“同意書”，誌願成為審稿人中的一員。一場會議下來，除了操心自己的論文，還要審七八篇乃至別人更多的論文，這讓所有參與者感受到壓力不小。“在我們的經曆中，包括身邊的導師、朋友，大家都在抱怨，為什麽要審的論文這麽多？”曹瀚成告訴《中國科學報》。另一方麵，許多論文的作者早已開始對收到的審稿意見“心有不滿”。明眼人都看得出來，這是因為有些審稿意見太不走心了。有學者在社交平台上吐槽：很多審稿意見在否定論文時，僅僅給出簡單的一句“我不相信”或“我不認為”，卻沒有提出具體的論據或參考。
這位學者還舉出例子，以反映評審有多不走心：“這篇論文的優勢是X，Y，Z；另外，它也有一些缺陷，分別是X，Y，Z……”
“有時能明顯感覺到審稿人沒有認真讀我們的文章，並且，最後論文的收錄與否好像很隨機。” 曹瀚成說。他將審稿質量下滑的原因再次歸結於論文數量的“井噴式增長”，致使審稿人應接不暇。一次閑聊中，梁偉欣、張鈺暉和曹瀚成三人不約而同地想到：或許最新的AI技術，可以幫助打通審稿難問題的“任督二脈”。就這樣，三人開始著手驗證這個“很容易被想到”的想法。
他們進行的第一項大規模驗證是：使用GPT-4對3096篇Nature期刊論文與1709篇ICLR機器學習會議論文進行“AI審稿”。這是一項“宏大”的工程，但操作的思路卻很清晰：首先設計一個自動化的框架，將一篇篇論文的PDF版本輸入其中，然後為GPT-4構建特定的提示，讓它生成對每篇論文的反饋。“在對比GPT-4與人類給出的審稿意見後，我們得到了一些有趣的結論。”曹瀚成說。首先，GPT-4給出的審稿意見與人類的意見高度重合；其次，GPT-4可以成功識別出論文中比較重大的問題，並在重大意見上與人類審稿人保持一致。以上兩點表明，AI已經具有一定的準確性和潛在的實用性。除此之外，GPT-4可以產生“非一般反饋”，也就是說，它不再局限於“走馬觀花”地產生通用於大批論文的反饋意見，而是針對每篇論文有了個性化的反饋。或許，未來的AI真的可以像人類一樣實現“個性化思考”。研究人員還發現了AI與人類的“互補性”——AI與人類給出審稿意見時的側重點有所不同，如，在論文的研究意義與新穎性方麵，AI發表評論的概率是人類的7-10倍。這種差異凸顯了未來AI與人類合作的潛在優勢。就像深度學習“三巨頭”之一，圖靈獎得主、美國紐約大學終身教授楊立昆（Yann LeCun）所說的那樣：“人工智能不是消滅人類創造力的力量，而是增強人類創造力的力量。”除了直接使用技術化手段將論文“喂給”GPT-4，這些年輕人還進行了另外一項非常重要的研究：對308名學者進行了用戶調查，看看這些學者如何看待AI給出的反饋。
這第二項研究，離不開團隊中偏文科、社會學領域人員的靈感與努力，而學科交叉的助力，也是整篇論文能在5個月之內“又快又好”完成的秘訣。“我們研究的問題本身是一個交叉性非常強的問題，團隊中各位作者擁有文理的不同學科背景，大家各有分工。這第二項研究是用戶測試，就是收集使用者的主觀感受，包括AI審稿是否會對用戶產生行為上的影響、情感上的影響，或數據隱私等倫理範疇的擔憂。”曹瀚成如是說。曹瀚成表示，用機器解決問題，最終真正的落腳點還是在“人”，與“人”打交道的質性研究法是社會學家的強項。通過問卷的設計和發放，研究團隊能真正了解，未來的使用者對AI審稿有何見解。調查發現，無論是經驗豐富的研究人員還是新手，均對GPT-4生成的審稿意見有相似的滿意度。有41.9%的被調查者認為GPT-4比許多人類的審稿意見更有幫助，50.5%的被調查者表示願意重複使用該評估係統。有被調查者認為，比起所謂的“領域權威”和人類審稿人，他們更能從AI給出的意見中獲益。對於一些來自傳統貧困地區的研究人員，他們的論文更可能被期刊退稿，得不到同行評審的資源與機會，AI審稿對他們尤其有幫助。還有被調查者評價道：“AI強調了一些人類審稿人沒有指出的局限性，作為作者，我們意識到了這一點，並對此有所期待，但最後將其指出來的不是人類，而是AI，所以這很有趣。”“GPT建議我進行可視化，還要求解決數據隱私問題。這兩點都很重要，人類審稿人卻忽略了。”這些被調查者還發現了AI審稿存在的局限性。最主要的局限性有二：產生的反饋有時模糊、不具體，以及無法提供“可操作”的改進建議。目前來看，人類專家的反饋仍然是嚴格評審的基石。“我們的研究並非要用AI取代人類審稿人，而是希望對論文作者能有所幫助，畢竟AI永遠也不會取代人類的高質量審稿意見。”曹瀚成笑著說，“距離電影中真正的‘通用型人工智能’，我們還有很長的路要走。誰也無法預測《西部世界》是否會變成現實。”1.https://mp.weixin.qq.com/s/grLKyTZxpFhATJmAXKgcAA2.https://arxiv.org/abs/2310.017833.https://mp.weixin.qq.com/s/edGthcjU43axKMpJbB8Alw
