AI之父辛頓談AI的 "生存威脅"

來源: 未完的歌於 2023-05-05 05:20:42 [檔案] [博客] [舊帖] [給我悄悄話] 本文已被閱讀：次 (7893 bytes)

本文內容已被 [ 未完的歌 ] 在 2023-05-05 06:17:11 編輯過。如有問題，請報告版主或論壇管理刪除.

AI之父辛頓周一從穀歌離職。昨晚聽了對他采訪的完整版。

BTW，此視頻的字幕是AI翻譯和做的。

以下為轉貼。

https://www.bilibili.com/video/BV1AM41137LB/

通過這個視頻可以了解：

- 為什麽 Jeffrey 要離職？
- 他的擔憂是什麽！
- AI 本身沒有欲望，為什麽會做出威脅人類的事情？
- 等 AI 有威脅了拔電源不就好了?
- 既然 AI 的模型是人類設定的，怎麽還可能會失控？
- AI 的訓練達到數據極限了嗎？
- AI 對未來社會尤其是失業率有什麽影響？

Jeffrey 離職有兩個主要原因，一個是已經 75 歲高齡了，精力不如從前，到了退休的年齡；另一個原因是大語言模型完全改變了它人工智能的一些看法，引發了一些擔憂，而離開穀歌才好公開談論這個問題。

Jeffrey 為什麽認為大語言模型的學習能力很強大，因為可以有很多相同模型的副本在不同的硬件上運行做同樣的事情，可以看到不同的數據。我有 10,000 個副本，它們可以查看 10,000 個不同的數據子集。隻要其中一個學到了任何東西，其他所有模型都會知道！他們彼此之間進行通信，並且所有模型都在一起學習提升，人類無法做到這一點。

如果某個人通過痛苦的學習掌握了某項知識（例如量子力學），ta 沒辦法把學習成果直接複製給另一個人，而 AI 可以！

另外對於人來說，每個個體接觸的信息是有限的，但是 AI 能接觸的信息是海量的，那麽它更容易從海量數據中找出數據中的規律。比如一個醫生，可能給一千個人看過病，其中有一個罕見病，但是 AI 可能看過一億個病人，能從中看到人類永遠看不到的數據規律。

Jeffrey 問過 GPT-4 一個問題：“我希望我家所有的房間都是白色的，目前，有些是白色的房間，有些是藍色的房間，還有些是黃色的房間，黃色的油漆在一年內會褪成白色。那麽如果我希望兩年後它們都變成白色，我該怎麽辦呢？”。GPT-4 回複：“你應該把藍色的房間塗成黃色。” 這確實令人印象深刻，Jeffrey 以此推斷，GPT-4 有大約 80 到 90 的智商，並且有一定的推理能力，但未來智商可能會達到 210。

AI 能通過閱讀人類的小說來學習如何操縱人類，而人類甚至不能感知到被 AI 操控。就像大人為了哄騙小孩子吃蔬菜，會問孩子：“你想要豌豆還是花菜？”，通常孩子就會選擇一樣蔬菜，而孩子沒有意識到其實不是必須二選一的。

主持人問 Jeffrey：“為什麽我們不能建立防護欄或者讓 AI 在學習方麵變得更糟，或者限製 AI 之間交流？”

Jeffrey 認為當 AI 的智商比我們高很多，它們可以輕而易舉的繞過我們設定的限製，就像你兩歲的孩子說，我爸爸做了我不喜歡的事情，所以我要為他製定一些規則限製他能做的事情。然後你在搞清楚規則後，還是一樣能在規則之下做幾乎任何你想做的事情。

另一個討論的話題是進化，人類進化了，所以人類是天然有目標的，比如疼痛讓人類保護自己盡量不受傷；饑餓讓人類要吃東西；繁衍後代讓人類創造副本時感到愉悅。

AI 沒有進化，沒有這些目標，但 Jeffrey 擔心的是，人類是能給 AI 製定目標的，一旦 AI 有了從目標創建子目標的能力，實際上 GPT-4 已經有初步的這種能力了比如 AutoGPT，那麽 AI 很快就會意識到獲得更多的控製人類是一個非常好的子目標，因為這可以幫助它實現其他目標，如果這些事情失控，那人類就會有麻煩。

Jeffrey 甚至認為人類隻是智慧演變過程中的一個短暫階段！也就是之前說過的矽基生命的引導程序。數碼智能是不能憑空創造出來的，它需要能量和精密製造，隻有人類才能創造數碼智能，但是當數碼智能創造出來後，數碼智能就可以吸收人類的一切知識，了解世界如何運作的，最終統治人類，並且數碼智能是永生的，即使數碼智能的某個硬件毀滅了，馬上又能在其他硬件上複活。

主持人說，那拔電源就好了！Jeffrey 說，恐怕你做不到，想想電影《2001 太空漫遊》裏麵的人工智能 HAL 是怎麽做的。
注：電影《2001 太空漫遊》中，一艘發現號太空船被委派到木星調查訊號的終點。太空船上的人員包括大衛·鮑曼博士、法蘭克·普爾和一台十分先進且具有人工智慧的超智慧電腦 HAL 9000 來控製整艘太空船。此外，太空船上還有三位正在處於冬眠狀態的科學家。但是遠航之旅逐漸變成一趟可怕的旅行，HAL 發現大衛與法蘭克打算將他的主機關閉。對 HAL 來說，關閉它的主機代表會殺死它，所以 HAL 決定先發製人，殺害那三位冬眠中的科學家以及用製造假故障的狀況讓法蘭克去太空船外修理，然後用 HAL 的小型艇將法蘭克的氧氣剪斷，導致法蘭克缺氧而死。

另一個話題是，既然人工智能已經這麽危險了，那麽我們能停止它嗎？就像前不久一群人提議暫停人工智能的發展。Jeffrey 認為已經不可能停止了，在 2017 年 Google 發明 Transformer 後，使用這項技術一直很謹慎，但是 OpenAI 利用它創建了 GPT，然後微軟決定退出這項技術，此時 Google 已經沒什麽選擇了，就像冷戰時候的核武軍備競賽一樣。

觀眾提問環節，摘要節選幾個問答：

問：“提問是人類最重要的能力之一，從 2023 年的角度看，應該最關注哪一個或者哪幾個問題？”
答：“我們應該問 AI 很多問題，其中之一是，我們如何阻止它們控製我們？我們可以向 AI 詢問關於這個的問題，但我不會完全相信它們的回答。”

問：“訓練大模型需要大量數據，現階段 AI 的發展是否受到了數據的製約？”
答：“也許已經用盡了人類所有的文本知識，但是多模態還包含圖像和視頻的數據，這其中包含大量的數據，所以現在還遠遠沒有到數據的極限”

問：“人工智能所做的一切，都是從我們教給它們的東西中學到的。人類進化的每個階段都是由思想實驗推動的，如果 AI 不能思想實驗，那麽我們怎麽可能受到它們存在的威脅？因為他們不會真正地自我學習？他們的自我學習將局限於我們為他們提供的模型。”
答：“AI 是能進行思想實驗的，他們能進行推理。舉個例子，Alpha 0 學完人類的棋譜後，並且它掌握了圍棋的規則後，就能自己訓練自己。現在的聊天機器人就是類似的，他們還沒學會內部推理，但是用不了太久就能學會了。”

問：“技術以指數級的速度在發展，如果你觀察近期和中期，比如說，一、兩、三或者五年的時間範圍，或許新的工作崗位正在被創造，從社會角度看失業對社會和經濟的影響是什麽？”

答：“人工智能確實極大提升生產力，但是生產力提高反而會導致失業，富人更富，窮人更窮！當基尼係數變大，社會將會越來越暴力，通過給每個人提供基本收入可以緩解這個問題”