ChatGPT 老板警告：AI可能滅絕人類

圖靈獎得主 Bengio 和 Hinton，同時警告AI 可能滅絕人類！

就在昨夜，一封簽署名單多達 350 人的公開信迅速傳播開去，信中核心隻有一句話：

" 降低 AI 滅絕人類的風險 "，應該像流行病和核戰爭等其它社會規模的風險一樣，成為全球的優先事項。

簽署這封公開信的，既包括三大 AI 巨頭的 CEO，即 ChatGPT 老板、OpenAI的 Sam Altman，DeepMind的 Demis Hassabis 和Anthropic的 Dario Amodei；

也包括不少國內外高校的教授，除了 Yoshua Bengio 和 Geoffrey Hinton 以外，清華 AIR 院長張亞勤和斯坦福教授、圖靈獎得主Martin Hellman等人也名列其中。

這段時間來，關於 AI 風險的各種大小討論也是接連不斷，OpenAI CEO Sam Altman 前段時間還倡議稱，人們應當像對待核設施一樣監管 AI。

所以，究竟是誰發起的這封公開信倡議，又是否有 AI 大牛反對這件事？

為何簽署這封信？

發布這封公開信的機構名叫 Center for AI Safety（CAIS），是一家關於 AI 安全的非營利組織。

在這封公開信的開頭，CAIS 反複強調：

包括 AI 專家、記者、政策製定者和公眾在內，越來越多的人開始討論 AI 帶來的一係列重要和緊迫的風險。

即便如此，要想表達對先進 AI 的嚴重風險，可能還是有一定難度。這封公開信旨在克服這一障礙，並展開對相關議題的討論，讓更多專家和公眾人物認識到這一點。

事實上，已經有不少簽署了這封信的 AI 大牛，最近發了關於 AI 風險的博客文章、或是在訪談中談到了自己的觀點。

例如前段時間，Yoshua Bengio 就寫了一封長信，警告稱 " 人類大腦是生物機器，一定會有超級智能 AI 超越它 "。

除此之外，包括 Stability AI 的創始人 Emad Mostaque、以及劍橋大學助理教授 David Krueger 等人，也都在最近的訪談中提到了關於 AI 帶來的潛在危害。

例如，Emad Mostaque 認為，10 年後包括 Stability AI、OpenAI 和 DeepMind 在內，這些 AI 公司的規模甚至會超過穀歌和 Facebook。

也正是因此，AI 風險是一個必須要考慮的事情：

我們可能正處於全麵變革的風口浪尖，這些變革對於任何一家公司或是國家來說都太過龐大，以至於難以管理。

沒簽的 AI 大牛怎麽說？

當然，這波鬧得沸沸揚揚的 " 請求 AI 監管 " 浪潮下，也有不少反對的聲音。

目前為止，包括另一位圖靈獎得主 Yann LeCun、前特斯拉 AI 總監 Andrej Karpathy 還有吳恩達等AI 大牛在內，都還沒簽署這封聯名信。

吳恩達發推回應稱：

當我想到大部分人類生存麵臨的風險時：流行病、氣候變化導致大規模人口減少、（撞擊地球的）小行星……

AI 將是我們尋找解決方案的關鍵部分。所以，如果你想讓人類在接下來的 1000 年裏生存和繁榮，那就讓 AI 發展得更快，而不是更慢。

LeCun轉發表示同意：

" 超人級 "AI 之所以不在風險列表榜首，很大程度上是因為它還不存在。至少我們在設計出達到狗智商（更不用說人類了）的 AI 之前，討論它的安全性還為時過早。

對此，紐約大學教授Gary Marcus補充道：

不要把框架縮小到隻關注人類滅絕的風險。AI 其實還存在許多其他的嚴重風險，包括可能幫助開發生物武器等。

不過，Gary Marcus 同樣沒有簽署這份 350 人公開信。

顯然包括不少 AI 大牛在內，反對者主要有兩種意見。

一種意見認為，AI 技術確實存在風險，但這封公開信涉及到的內容太泛泛。

如果有更精確的聲明如 " 減輕 AI 技術的潛在風險應該是科技行業、政府和該領域學術研究人員的首要任務 "，那麽這封信還是可以簽署的。

這封公開信中的內容根本就是誇大其詞了，而且 AI 在氣候變化等領域甚至可以起到降低風險的作用。

另一類意見則認為，這封信隻不過是當前掌握最領先 AI 技術的人，試圖控製 AI 接下來的走向而已。

以 OpenAI 的 CEO Sam Altman 為例：

Sam Altman 要是真的擔心，大可以現在直接關掉 ChatGPT 服務器。

所以，你認為按照現在的進度來看，AI 有可能滅絕人類嗎？