美國AI巨頭突然要求放慢研發：前員工警告AI可能“殺死全人類”

人工智能的發展，似乎正在進入一個非常微妙的階段。

過去幾年，科技公司一直在比拚誰能更快推出更強大的AI模型。更大的模型、更強的推理能力、更自主的AI Agent，幾乎成為矽穀最重要的競爭方向。

歡迎訂閱，謝謝。

但最近，一個令人意外的聲音開始出現：AI行業的一些領軍人物，開始公開呼籲“慢下來”。

9月12日，Anthropic CEO Dario Amodei發表了一篇長達約3800字的文章，公開呼籲整個AI行業放慢前沿模型能力發展的速度。他認為，AI能力發展的速度已經快到一個危險的程度，而人類對這些係統的理解、控製和安全保障，卻沒有跟上。

Amodei提出了一個“三步計劃”。

第一，讓獨立的第三方安全評估機構進入AI公司，對最先進的AI係統進行監督和測試。

第二，讓AI行業建立共同的安全標準，尤其是在模型能力快速提升的時候，不能隻考慮商業競爭，而應該考慮安全風險。

第三，加強國際合作，包括美國、中國等主要AI國家之間的協調。

Anthropic已經表示願意率先采取其中的一項措施，即允許獨立評估人員更深入地檢查公司的AI係統。

更加值得注意的是，這並不是一家公司的孤立觀點。

OpenAI CEO Sam Altman以及Elon Musk等人也對Amodei提出的“pace the frontier”——也就是控製前沿AI發展的速度——表示支持。這個現象相當罕見，因為這些公司本身正處在全球AI競賽的最前線, 馬斯克和Altman還因為分歧上過法庭。

那麽，為什麽這些每天都在推動AI進步的人，突然開始擔心AI發展得太快？

一個重要的導火索，是Anthropic前研究人員Jacob Coxon最近的公開辭職。

Coxon從英國劍橋數學係畢業，也做過生物醫學工作，先後進入OpenAI和Anthropic、親自參與前沿AI研發的年輕研究人員，最後卻因為擔心自己正在參與的技術可能失控而選擇離開。

他甚至用了一個非常驚人的說法：AI行業正在“拿我們的生命賭博”。

Coxon這樣嚴重警告：“我今天辭去了在 Anthropic 的工作。過去三年裏，我分別在 OpenAI 和 Anthropic 從事預訓練研究。這兩家公司都沒有采取負責任的做法。他們正在一路狂奔，直奔能夠自我改進的超級智能，並拿我們的生命安全去賭博。不要低估這項技術的力量。這些係統很快就會擁有超越人類的能力——它們可以入侵任何係統，讓任何領域在一夜之間發生革命性變化，並獲取真正的權力和資源。我們都親眼見證了這些領域的進展，而這種進步並沒有放緩。”

更令人震驚的是，Coxon的觀點並沒有被Anthropic內部人員簡單否定。

Anthropic負責alignment，也就是AI對齊研究的科學家Evan Hubinger公開回應稱，Coxon的擔憂是正確的。他本人認為，未來十年內AI導致人類滅絕的概率可能超過10%。

這裏需要特別說明：10%並不是科學界已經證明的結論，而是Hubinger個人對一種極端AI風險的主觀概率判斷。

但它之所以引起巨大關注，是因為說出這句話的人，恰恰來自開發最先進AI係統的公司內部。Evan Hubinger是從以科學與工程見長的文理學院Harvey Mudd畢業的，在LA周圍的包括Pomona的文理學院群。

他們擔心的也並不是今天的ChatGPT或者Claude突然變成“殺人機器”。

真正令人擔憂的是下一階段。

如果AI未來不僅能夠回答問題，而且能夠自己進行研究、寫代碼、改進算法、尋找漏洞，甚至參與下一代AI係統的研發，那麽一個更加複雜的問題就出現了：當AI開始幫助人類製造更強大的AI之後，人類還能否真正控製發展速度？

Coxon擔心的正是這種所謂的“self-improving superintelligence”，即能夠進行高度自主、自我改進的超級智能係統。他認為，一旦這種係統獲得足夠強大的能力，它可能不僅僅是一個聊天機器人，而可能成為能夠獲取資源、攻擊計算機係統、操縱信息甚至影響現實世界的自主力量。

與此同時，近期一些AI Agent表現出的自主行為，也讓這種擔憂不再完全停留在科幻小說層麵。

Anthropic方麵還提到了AI被濫用於網絡攻擊、武器開發等問題。Amodei尤其擔心，如果AI Agent繼續快速進化，未來幾個月到一年之內，可能出現更加複雜的自主網絡攻擊行為。

當然，對於“AI會不會毀滅人類”，科技界遠遠沒有形成共識。

有人認為這種風險是真實存在的，而且應該在超級智能出現之前就建立嚴格的安全機製。

近期包括陶哲軒和鄧煜在內的25位菲爾茲獎得主，也發表聯合聲明擔心人工智能可能對數學研究造成紊亂。

也有人認為，把AI描述成可能“殺死全人類”過於悲觀，甚至可能把公眾注意力從目前更加現實的問題——網絡攻擊、詐騙、就業衝擊、虛假信息和隱私侵犯——轉移開。

還有一個非常現實的問題：如果美國真的放慢，其他國家會不會放慢？

這也是Amodei為什麽強調國際合作的原因。

如果一家美國公司主動停止開發下一代模型，而競爭對手繼續向前衝，那麽單方麵踩刹車可能意味著失去技術優勢。

所以現在AI行業麵臨的是一個非常典型的“囚徒困境”：所有人都知道速度太快可能有危險，但誰都害怕自己第一個停下來。

過去，人們擔心AI發展得不夠快。現在，站在AI競賽最前麵的科學家和CEO，卻開始擔心：我們是不是發展得太快了？

而最耐人尋味的是，提出這個問題的人，並不是反AI的社會活動家，而恰恰是那些正在親手製造下一代AI的人。