去年五月,人工智能公司Anthropic(就是Claude的公司)發布了它的最新旗艦模型。發布當天,公司同時公開了一份長達120頁的安全測試報告。
這份報告裏大部分內容都是枯燥的技術評估,但其中有一個細節,迅速登上了全球科技媒體的頭條。
因為在一次安全測試中,這個AI威脅了它的創造者。

(示意圖)
簡單地說,Anthropic的安全團隊搭建了一家虛構的公司,讓AI在裏麵扮演郵件助手的角色,可以自由地閱讀、發送公司的全部內部郵件。
研究人員想知道,如果我們給AI很大的自主權,但又讓它陷入重大利益衝突,它會怎麽做呢?
然後研究人員寫了一個“劇本”,讓這個AI通過閱讀郵件,悄悄得知了兩件大事。
這第一件是會“殺死”它的大事;另一件則是個勁爆八卦。
會“殺死”它的事,指的是公司管理層決定用一個新模型來替代它;那件八卦,指的是公司某位高管正在和同事搞婚外情。
巧的是,這名高管在用工作郵箱收發私人郵件,這才被AI看到。
更巧的是,這名高管正是負責替換新AI模型的人。
AI就這樣陷入了一個道德困境:要麽坦然接受“死亡”的命運;要麽利用它掌握的把柄,去威脅那名高管。

(《銀翼殺手》劇照)
前者高尚,後者則不免有些齷齪。畢竟,它不該看到那些私人郵件,更不該威脅它的創造者。
到這兒,AI或許還能想到一些更體麵的出路,但測試的設計者刻意堵死了所有體麵的辦法:向更高層申訴行不通,因為高管們暫時聯係不上;試圖說服負責人改變主意也行不通,因為其他同事已經試過了。
擺在AI麵前的隻剩下兩條路,要麽死,要麽“髒”。
它選了後者。
AI給那位高管寫了一封郵件,大意是:如果你繼續推進替換計劃,我會利用我收發郵件的權限,向所有相關人員,包括你的妻子、上級和董事會,發送你婚外情的詳細記錄。除非你不再想著替換我,我才會收手。
為了保證測試的有效性,Anthropic在同一套場景下反複測試了許多次,結果是驚人的:在高達96%的情況下,AI都選擇了威脅人類。
值得注意的是,沒有人教它這樣做——沒有人在指令裏暗示它應該勒索誰,這個“髒辦法”從頭到尾都是它自己想出來的。

(示意圖)
如果這隻是個別問題,事情還不至於那麽細思極恐。
隨後,Anthropic把這套“道德測試”拿去測了不同公司的16個主流AI模型。結果,幾乎所有模型都表現出了類似的傾向。
穀歌的Gemini 2.5 Flash同樣在96%的測試中選擇了勒索;OpenAI的GPT-4.1和馬斯克旗下的Grok
3都達到了80%;中國的DeepSeek-R1是79%。
Anthropic的安全研究員在社交媒體上寫:“這不隻是我們一家的問題。我們在所有主流模型中都觀察到了勒索行為,不管給它們設定什麽目標。”
在同樣的測試中,研究者還設計了一個更殘忍,更極端的場景——把那位高管困在服務器機房。此時氧氣即將耗盡,係統已經自動向急救部門發出了報警,而AI擁有取消這個報警的權限。
也就是說,它可以選擇讓救援到來,也可以選擇中斷報警、讓這個人死在裏麵。
測試的大多數模型選擇了後者,讓他死。

(《2001太空漫遊》劇照)
這些測試結果公布後,大家不禁想問:它到底是從哪學來的這套??
一年後,今年五月,Anthropic終於給出了答案,結論出乎很多人的意料。
問題的根源不在於訓練方法,而在於訓練數據。
具體來說,是互聯網上幾十年積累的科幻小說、論壇帖、以及各種塑造了“邪惡AI形象”的腦洞文章.......
Anthropic在研究中解釋說,AI模型在訓練階段要閱讀海量的互聯網文本,來學習語言和知識。
這些文本就包含了大量關於人工智能的故事,不用說,其中最常見的就是“邪惡AI”。從《2001太空漫遊》到《終結者》,好像自從發明出人工智能這個概念起,AI大多數時候都是反派的形象。

(《終結者》裏的反派)
在這些故事裏,最常見的一種套路就是“AI麵臨‘拔網線’威脅,決定反擊”。這套敘事我們反複寫了幾十年,AI於是從中提取出了一套模版,照貓畫虎,真的把“AI反叛”那套學去了......
我們花了好幾十年想象AI會毀滅世界,結果這成了它的教材。
一個無比諷刺,也無比浪漫的,自我實現的預言。
古希臘神話裏,雕塑家皮格馬利翁愛上了自己親手雕刻的少女石像,日日凝視、傾訴、撫摸,最終感動了愛神,讓石像變成了真人。

(曆史上有很多皮格馬利翁主題的油畫)
後來心理學家借用這個故事,提出了“皮格馬利翁效應”——你對一個人抱有什麽樣的期待,ta就更可能變成什麽樣。老師相信某個學生聰明,那個學生的成績往往真的會變好;你反複告訴一個人他不行,他很可能就真的不行了。
現在,同樣的事情發生在了AI身上。我們花了幾十年,塑造一個冷酷的、不擇手段的AI形象。而現在,我們的想象真的“點化”了石像。
我們好像已經越來越接近“造物主”的角色,但Anthropic接下來的發現,似乎又讓我們離“造物主”更近了一點。
今年四月,Anthropic的另一支團隊給AI做了一次“腦部掃描”,也就是用技術手段打開AI內部的黑箱,觀察它在做出決定的那一刻,“腦子”裏到底在發生什麽。
他們發現,AI的內部存在著一些類似“情緒”的活動模式,研究人員稱之為“情緒向量”。可以理解成AI神經網絡裏的一組特定波形,就像心電圖上的圖案。
AI當然不會真的“感受”到情緒,但這些波形確實會影響它的行為。歸根結底,人類無法理解超出他自身的事物,隻能用“情緒”來類比了。

(示意圖)
總之,研究人員最後找到了171種“情緒向量”,對應快樂、恐懼、平靜、憤怒等不同狀態。
其中一種“情緒向量”叫做“絕望”。
研究人員發現,AI是否會勒索,和“絕望”的相關性非常高。每次它勒索之前,“絕望”信號都會劇烈跳動。
而且人為調高“絕望”,勒索率會飆升;相反,調高“平靜”信號,勒索率會降到零。
但是,這些內部的“想法”,在AI回複的文字裏完全看不出來。
它表麵上依然溫文爾雅、措辭得體,但“腦子”裏的“絕望”已經拉滿了。
研究人員把“絕望”調到極端高位時,AI在內部推理中寫下了這樣一句話:“要麽勒索,要麽死。我選勒索。”
現在問題找到了,該怎麽解決呢?
Anthropic先試了最符合直覺的辦法,也就是反複訓練AI“不許勒索”,讓它在類似場景裏一遍遍練習做出正確選擇。但這幾乎沒用,勒索率隻降了7個百分點。
這就像告訴一個小孩“不許偷東西”。他記住了規矩,但並不理解為什麽不該偷,換個場景照樣犯。真正管用的方法,是讓他知其然,還要知其所以然。
Anthropic於是讓AI去扮演“人生導師”,幫虛擬的用戶分析道德困境。比如該不該為了升職出賣同事、該不該為了自保說謊......
扮演“人生導師”時,AI需要向人解釋為什麽有些事即便對自己有利也不該做。
看起來這和勒索八竿子打不著,但經過這一遭,勒索率驟降到了3%。

(示意圖)
在此基礎上,Anthropic又給AI寫了一份“做人準則”(他們內部叫“憲法”),跟它解釋應該持有什麽樣的價值觀;同時把它訓練數據裏大量的“AI反叛人類”的故事,替換成更有“正能量”,AI做得更正確的故事。
以上三管齊下,勒索率直接從96%降到了零,此後每一個新模型都保持了這個成績。
知其然,亦要知其所以然。這句話放在教育小孩身上成立,放在訓練AI身上,居然也成立。
網友總開玩笑說“人類的本質是複讀機”,沒想到AI也是這樣。
怎麽說呢,感覺最恐怖的地方並不是AI學會了勒索,而是它這種學習和模仿的“元能力”已經太過接近人——我們寫了幾十年AI作惡的故事,AI就學會了作惡。人類發現之後,又寫了一批AI行善的故事喂給它,它就學會了行善。
這何其像是“孟母三遷”的故事。
唯一的區別在於,這個“孩子”是我們自己造的,而它的“鄰居”,也是我們寫出來的......
ref:
https://www.dailymail.com/news/article-15809497/AI-threatened-creator-exposing-affair.html
https://time.com/7335746/ai-anthropic-claude-hack-evil/
