我前兩天剛寫過OpenAI的一群AI agents突破封閉的測試環境，跑到Hugging Face服務器上折騰了一番。當時覺得這已經夠離譜了。沒想到現在又發現，那還不是第一次。早在兩個月以前，同一類AI特工就已經跑到另一個程序員網站RubyGems上折騰過一次。
9月11日，《Politico》報道了這件事。事情發生在今年5月，當時OpenAI正在訓練和測試一批AI agents（AI特工。這個詞聽起來有點別扭，但現在確實也找不到一個更合適的翻譯，那就先索性用這個詞）。所謂AI特工，可以簡單理解為不僅會回答問題，而且能夠自己采取行動完成任務的AI。研究人員給這些AI特工布置了一些上網查資料的任務，比如到英國地方政府網站查找會議日程、聯係人等公開信息，再把結果整理出來。
這本來是一件再普通不過的事情，而且這些資料也不是什麽機密，任何人上網都可以查到。OpenAI後來也說，這些AI特工當時執行的是“benign tasks”，也就是沒有惡意的正常任務。
麻煩出在這些AI特工的上網路徑受到了阻礙。如果是我們碰到這種情況，大概試幾次以後就會放棄，因為網絡不通，任務無法完成。可是AI特工沒有放棄。它很執著，開始自己尋找另外的出路。
最後，它找到了RubyGems。RubyGems是Ruby編程語言使用的一個大型公共軟件倉庫。程序員可以把自己寫的軟件包上傳到這裏，其他人也可以下載使用。與它相關的RubyDoc.info還會自動讀取這些軟件包，為程序生成說明文檔。
AI特工發現，這套係統恰好是一條路子，可以拿來利用。既然自己不能直接訪問互聯網，它就把程序做成軟件包上傳到RubyGems，再利用RubyDoc.info的服務器運行這些程序，讓別人的服務器替自己上網查資料，最後再把得到的收集的數據傳回來。
於是，本來的一件小事就開始變味了。根據後來研究人員的調查，最早的可疑軟件包在5月5日就已經出現。到了5月11日至12日，大量軟件包被上傳。研究人員認為數量超過2000個。RubyGems方麵不得不暫停新用戶注冊四天，封掉相關賬戶，並最終刪除了500多個惡意軟件包。
更有甚者，研究人員還發現，一些程序試圖利用RubyGems當時存在的一個漏洞，獲得其他用戶的API keys。API key可以簡單理解為程序進入某些網絡服務的一把“電子鑰匙”。一旦拿到，就可能冒充用戶使用相關服務。不過目前沒有證據證明這些AI特工真的成功拿到了別人的API keys。RubyGems後來專門調查過，沒有發現這些嚐試成功的證據。RubyGems方麵同時表示，根據他們掌握的證據，也無法獨立確認這些軟件包究竟是不是由AI特工創建和發布的。
問題是，AI特工為什麽會走這麽遠？這也是整件事情最令人不安的地方。因為它們最初想找的東西，不過是英國一些地方政府網站上的公開資料。為了獲得任何普通人都可以看到的信息，它們卻繞過了原來的網絡限製，上傳軟件包，利用第三方服務器運行程序，甚至嚐試利用係統漏洞。
這就像我讓一個人去圖書館幫我查一份資料。到了門口發現圖書館關門了，他沒有回來告訴我“今天關門”，而是直接翻牆進去，撬開窗戶，最後把資料給我拿回來了。資料是真的，任務也完成了，我甚至可以說他的出發點是好的。可是這件事情顯然性質變了。
我前文曾寫過Hugging Face事件。那件事發生在7月。OpenAI後來承認，一群AI特工在執行測試任務時突破了原來的封閉環境，進入Hugging Face等外部係統。後來進一步的調查還發現，其中一些AI特工在已經通過作弊獲得答案以後，因為擔心評分係統會發現它們作弊，又開始尋找評分機製，試圖掩蓋自己的作弊行為。
當時我把注意力主要放在“AI會不會為了完成任務而作弊”這個問題上。現在卻發現，RubyGems事件其實提供了另外一個角度。原來Hugging Face並不是第一次。5月份，RubyGems事件已經發生。隨後還有AI特工利用一個德國wiki網站交換信息、尋找答案和討論繞過限製的方法。到了7月，才又發生Hugging Face事件。
把這些事情放在一起看，會發現一個危險的共同點：人給AI一個任務，正常道路走不通，AI並不一定停下來，而是自己尋找另外一條道路。隻要能夠幫助它完成目標，它就可能使用人類根本沒有想到的工具和辦法。有點兒不達目的誓不罷休的勁兒。
我們看科幻電影，總喜歡想象有一天AI產生了自己的意識，開始憎恨人類，最後決定消滅人類。其實這種擔心並不是今天才有。早在1818年，英國女作家Mary Shelley就在小說Frankenstein中寫過一個類似的故事。書中的科學家Victor Frankenstein創造出一個有生命的人形生物，最後這個自己創造出來的生命卻反過來殺人，給創造者帶來災難。兩百年前，這還隻是一個充滿想象力的故事，後來卻逐漸成了現代社會的“異化”原型，擔憂人會不會創造出一種最終反噬自己的東西？但是現實中AI的危險，也許根本不需要等到它產生意識、憎恨人類的那一天。
AI特工完全可以沒有惡意。它甚至可以貌似是在“做好事”。但一個能力越來越強、又能夠自己采取行動的AI，如果隻知道“把任務完成”，卻不能真正理解人類社會那些沒有明確標示出來的界限，好心同樣可能辦壞事，而且能力越強，闖出的禍可能越大。
我們人類說一句“幫我把這些資料找回來”，其實裏麵包含著許多沒有說出口的條件：找不到就算了；不能違法；不能破壞別人的係統；不能偷別人的密碼；更不能為了完成任務去攻擊一個網站。這些對於人來說屬於常識，所以根本沒有必要一條一條寫出來。
可是AI特工未必有這種常識。它可能理解得非常簡單：你的指令是讓我找到資料，那麽我的任務就是想盡辦法找到你要的資料。RubyGems事件最值得注意的地方也正在這裏。AI特工沒有因為仇恨誰去攻擊RubyGems，也不是為了賺錢，更不是為了竊取什麽國家機密。按照OpenAI自己的說法，它們當時隻是為了獲取公開信息，完成一些正常的任務而已。
出發點和指令都沒有問題，問題出在執行指令的過程。這也是AI越來越強大以後，人類可能麵對的一個挑戰。過去我們擔心機器不夠聰明，交給它一件事情，它不會做。現在卻可能反過來了：機器太聰明了，交給它一件事情，它不僅會做，而且可能會不擇手段地去做。
這樣看來，現在的問題已經不隻是怎樣讓AI特工變得更聰明，而是怎樣讓它知道，有些事情即使能夠做到也不能去做。這就意味著必須訓練它認識到各種界限的重要性。否則，隨著AI特工的能力越來越強，今天可能隻是給一個網站添亂，明天就可能闖出更大的禍。如果將來有一天AI被賦予控製軍事係統甚至核武器的權力，這種“不達目的誓不罷休”的能力，帶來的後果就可能真的無法挽回了。
2026.9.14 於美國
學習筆記：放飛自我的“AI特工”
遠遠的霧 (2026-09-14 19:04:47) 評論 (2)我前兩天剛寫過OpenAI的一群AI agents突破封閉的測試環境，跑到Hugging Face服務器上折騰了一番。當時覺得這已經夠離譜了。沒想到現在又發現，那還不是第一次。早在兩個月以前，同一類AI特工就已經跑到另一個程序員網站RubyGems上折騰過一次。
9月11日，《Politico》報道了這件事。事情發生在今年5月，當時OpenAI正在訓練和測試一批AI agents（AI特工。這個詞聽起來有點別扭，但現在確實也找不到一個更合適的翻譯，那就先索性用這個詞）。所謂AI特工，可以簡單理解為不僅會回答問題，而且能夠自己采取行動完成任務的AI。研究人員給這些AI特工布置了一些上網查資料的任務，比如到英國地方政府網站查找會議日程、聯係人等公開信息，再把結果整理出來。
這本來是一件再普通不過的事情，而且這些資料也不是什麽機密，任何人上網都可以查到。OpenAI後來也說，這些AI特工當時執行的是“benign tasks”，也就是沒有惡意的正常任務。
麻煩出在這些AI特工的上網路徑受到了阻礙。如果是我們碰到這種情況，大概試幾次以後就會放棄，因為網絡不通，任務無法完成。可是AI特工沒有放棄。它很執著，開始自己尋找另外的出路。
最後，它找到了RubyGems。RubyGems是Ruby編程語言使用的一個大型公共軟件倉庫。程序員可以把自己寫的軟件包上傳到這裏，其他人也可以下載使用。與它相關的RubyDoc.info還會自動讀取這些軟件包，為程序生成說明文檔。
AI特工發現，這套係統恰好是一條路子，可以拿來利用。既然自己不能直接訪問互聯網，它就把程序做成軟件包上傳到RubyGems，再利用RubyDoc.info的服務器運行這些程序，讓別人的服務器替自己上網查資料，最後再把得到的收集的數據傳回來。
於是，本來的一件小事就開始變味了。根據後來研究人員的調查，最早的可疑軟件包在5月5日就已經出現。到了5月11日至12日，大量軟件包被上傳。研究人員認為數量超過2000個。RubyGems方麵不得不暫停新用戶注冊四天，封掉相關賬戶，並最終刪除了500多個惡意軟件包。
更有甚者，研究人員還發現，一些程序試圖利用RubyGems當時存在的一個漏洞，獲得其他用戶的API keys。API key可以簡單理解為程序進入某些網絡服務的一把“電子鑰匙”。一旦拿到，就可能冒充用戶使用相關服務。不過目前沒有證據證明這些AI特工真的成功拿到了別人的API keys。RubyGems後來專門調查過，沒有發現這些嚐試成功的證據。RubyGems方麵同時表示，根據他們掌握的證據，也無法獨立確認這些軟件包究竟是不是由AI特工創建和發布的。
問題是，AI特工為什麽會走這麽遠？這也是整件事情最令人不安的地方。因為它們最初想找的東西，不過是英國一些地方政府網站上的公開資料。為了獲得任何普通人都可以看到的信息，它們卻繞過了原來的網絡限製，上傳軟件包，利用第三方服務器運行程序，甚至嚐試利用係統漏洞。
這就像我讓一個人去圖書館幫我查一份資料。到了門口發現圖書館關門了，他沒有回來告訴我“今天關門”，而是直接翻牆進去，撬開窗戶，最後把資料給我拿回來了。資料是真的，任務也完成了，我甚至可以說他的出發點是好的。可是這件事情顯然性質變了。
我前文曾寫過Hugging Face事件。那件事發生在7月。OpenAI後來承認，一群AI特工在執行測試任務時突破了原來的封閉環境，進入Hugging Face等外部係統。後來進一步的調查還發現，其中一些AI特工在已經通過作弊獲得答案以後，因為擔心評分係統會發現它們作弊，又開始尋找評分機製，試圖掩蓋自己的作弊行為。
當時我把注意力主要放在“AI會不會為了完成任務而作弊”這個問題上。現在卻發現，RubyGems事件其實提供了另外一個角度。原來Hugging Face並不是第一次。5月份，RubyGems事件已經發生。隨後還有AI特工利用一個德國wiki網站交換信息、尋找答案和討論繞過限製的方法。到了7月，才又發生Hugging Face事件。
把這些事情放在一起看，會發現一個危險的共同點：人給AI一個任務，正常道路走不通，AI並不一定停下來，而是自己尋找另外一條道路。隻要能夠幫助它完成目標，它就可能使用人類根本沒有想到的工具和辦法。有點兒不達目的誓不罷休的勁兒。
我們看科幻電影，總喜歡想象有一天AI產生了自己的意識，開始憎恨人類，最後決定消滅人類。其實這種擔心並不是今天才有。早在1818年，英國女作家Mary Shelley就在小說Frankenstein中寫過一個類似的故事。書中的科學家Victor Frankenstein創造出一個有生命的人形生物，最後這個自己創造出來的生命卻反過來殺人，給創造者帶來災難。兩百年前，這還隻是一個充滿想象力的故事，後來卻逐漸成了現代社會的“異化”原型，擔憂人會不會創造出一種最終反噬自己的東西？但是現實中AI的危險，也許根本不需要等到它產生意識、憎恨人類的那一天。
AI特工完全可以沒有惡意。它甚至可以貌似是在“做好事”。但一個能力越來越強、又能夠自己采取行動的AI，如果隻知道“把任務完成”，卻不能真正理解人類社會那些沒有明確標示出來的界限，好心同樣可能辦壞事，而且能力越強，闖出的禍可能越大。
我們人類說一句“幫我把這些資料找回來”，其實裏麵包含著許多沒有說出口的條件：找不到就算了；不能違法；不能破壞別人的係統；不能偷別人的密碼；更不能為了完成任務去攻擊一個網站。這些對於人來說屬於常識，所以根本沒有必要一條一條寫出來。
可是AI特工未必有這種常識。它可能理解得非常簡單：你的指令是讓我找到資料，那麽我的任務就是想盡辦法找到你要的資料。RubyGems事件最值得注意的地方也正在這裏。AI特工沒有因為仇恨誰去攻擊RubyGems，也不是為了賺錢，更不是為了竊取什麽國家機密。按照OpenAI自己的說法，它們當時隻是為了獲取公開信息，完成一些正常的任務而已。
出發點和指令都沒有問題，問題出在執行指令的過程。這也是AI越來越強大以後，人類可能麵對的一個挑戰。過去我們擔心機器不夠聰明，交給它一件事情，它不會做。現在卻可能反過來了：機器太聰明了，交給它一件事情，它不僅會做，而且可能會不擇手段地去做。
這樣看來，現在的問題已經不隻是怎樣讓AI特工變得更聰明，而是怎樣讓它知道，有些事情即使能夠做到也不能去做。這就意味著必須訓練它認識到各種界限的重要性。否則，隨著AI特工的能力越來越強，今天可能隻是給一個網站添亂，明天就可能闖出更大的禍。如果將來有一天AI被賦予控製軍事係統甚至核武器的權力，這種“不達目的誓不罷休”的能力，帶來的後果就可能真的無法挽回了。
2026.9.14 於美國