獅山巡禮
投資雜談
https://mp.weixin.qq.com/s/MNVcGfC56DOwk5uljfwOow
這是近期發的第二支辛頓教授的訪談記錄了（上一次訪談見這裏：《辛頓學術講座：圖靈相信的是另一種AI、反向傳播比人腦效果好，開源模型將給世界帶來致命危險》）。鑒於他已經拿了諾獎，他和自己的學生也在一大堆AI公司裏有股份，到了這個份兒，名聲和錢是都不缺了，出來講話就隻剩一個理由，表達自己的立場，對AI應該向何處發展做些呼籲（無論我們同意還是反對他的觀點）。
?
這次他參加的是TVO電視訪談節目，接受了主持人Steve Paikin（史蒂夫·派金）的采訪。作為多倫多大學計算機科學榮譽教授，據說是這次拿了諾獎才有一個獨立的辦公室，訪談也就從他獲得諾貝爾獎的喜悅開始，然後聊到他對人工智能短期和長期威脅的深切擔憂，以及他最近與首富埃隆·馬斯克的公開爭論等多個話題。由於辛頓有腰傷，所以他基本上不能長時間坐著，上圖也能顯示出主持人是作者的，他是站著的。
談話裏也是充滿了矛盾，有他對人工智能如何徹底改變醫療保健和教育的樂觀展望，也表達了對人工智能可能導致人類滅絕的憂慮。辛頓教授作為前穀歌員工一手推動了深度學習浪潮，然後又因擔心AI安全問題而無法保持和公司立場一致而選擇離職。這就是人生啊。
一、獲得諾貝爾物理學獎的喜悅與意外
訪談開始，Paikin播放了一段視頻，展示瑞典國王卡爾十六世·古斯塔夫在斯德哥爾摩為辛頓頒發諾貝爾獎的場景。當被問及這種榮譽帶來的興奮感何時會消退時，辛頓表示，這種感覺仍未完全消失。
?
Paikin好奇地詢問獲獎當天的感受，辛頓形容那是"令人驚歎的一天"，尤其考慮到他"並非從事物理學研究卻獲得了物理學諾貝爾獎"這一有趣的事實。當Paikin要求他解釋這一異常情況時，辛頓解釋道："我認為他們想要表彰人工智能領域的發展，因為現在科學界最令人興奮的領域就是AI。所以他們某種程度上重新定義了物理學獎，假裝我做的是物理學。"
有趣的是，辛頓承認自己曾直言不諱地向諾貝爾委員會指出這一點："謝謝你們的諾貝爾獎，但你們知道我不做物理學研究。"Paikin問道這樣說是否不妥，辛頓幽默地表示委員會基本是讓他不要對送上門的禮物挑三揀四。
關於諾貝爾獎章，辛頓透露它由六盎司黃金製成，如果熔化後價值約15,000美元。但當Paikin詢問他將獎章保存在何處時，辛頓謹慎地拒絕透露，表示擔心安全問題。
Paikin隨後朗讀了辛頓獲獎的官方理由："因為在人工神經網絡機器學習方麵的基礎性發現和發明"，並請辛頓用通俗易懂的語言解釋這意味著什麽。
二、神經網絡與機器學習的核心原理解析
辛頓以通俗易懂的方式解釋了現代AI技術（機器學習、深度學習）的研究。他從人腦結構開始說起："在你的大腦中，有大量被稱為神經元的腦細胞，它們之間有連接。當你學習新東西時，本質上是在改變這些連接的強度。"
他進一步闡述道："要弄清楚大腦如何工作，你必須找出改變連接強度的規則。這是你需要知道的全部。大腦如何決定是增強還是減弱連接，使你更好地理解我剛才說的話？你的大腦有一種方法來確定是略微加強還是略微減弱連接強度。問題是，這種方法是什麽？它是如何做到的？"
辛頓解釋了他研究的關鍵問題："如果我們能夠模仿這一過程，用模擬的腦細胞建立一個大型網絡，會發生什麽？現在我們知道會發生什麽——它會變得非常聰明。"
當被問及為何在眾多科學研究領域中選擇這一方向時，辛頓堅定地回答："因為這顯然是最有趣的研究領域。"Paikin問道："對你來說？"辛頓更加堅定："對所有人來說。因為要真正理解人類，你需要理解大腦如何工作。盡管我們對大腦的工作原理有了更多的了解，但我們仍然不完全知道它是如何工作的。這似乎是一個巨大的問題。"
三、人工智能的短期風險與現實威脅
訪談轉向了辛頓對人工智能風險的擔憂，這也是他幾年前辭去穀歌工作的原因。他將AI風險分為兩類："有兩種風險。一種是壞人濫用AI的風險，這些是更短期的風險，更緊迫的風險。這已經在發生了。"
辛頓舉例說明，惡意行為者可能會"獲取大量關於人們的數據，並利用這些數據針對性地製作假AI視頻，例如說服這些人不要去投票。"這類問題我們已經麵臨。
他特別提到網絡攻擊的問題："2023年到2024年間，網絡釣魚攻擊增加了1200%。2024年的網絡釣魚攻擊是2023年的12倍。這是因為這些大型語言模型使得攻擊變得更加有效。"
辛頓解釋了技術發展如何使欺詐變得更加難以識別："過去，你收到的網絡釣魚攻擊中語法可能有些問題，可能是直接從烏克蘭語或其他語言翻譯過來的，拚寫可能有誤，所以你知道這是釣魚攻擊。現在它們全都是完美的英語。"Paikin附和道："現在變得太複雜了。"
四、長期存在威脅與人工智能超越人類智能的風險
談到長期風險時，辛頓表達了更為嚴重的擔憂："長期風險是AI將變得比我們更聰明。幾乎所有領先的研究人員都同意它會變得比我們更聰明，他們隻是在'何時'這個問題上有分歧。有些人認為可能還需要20年，有些人認為3年，少數人認為1年。"
他提出了一個發人深省的問題："你知道多少個更聰明的事物被不那麽聰明的事物控製的例子？不多。我們知道稍微聰明一點的人可以被不那麽聰明的人控製，但這不是智力上的巨大差距。"
當被問及更具體的長期風險時，辛頓直言不諱："長期風險是它會變得比我們更聰明。幾乎所有領先的研究人員都同意它會變得比我們更聰明，他們隻是在何時發生上有分歧。我們都同意它會變得比我們更聰明，問題是，然後會發生什麽？基本上，我們不知道。"
辛頓提出了一個令人擔憂的可能性："我猜測有10%到20%的可能性它會接管一切。但我真的不知道。這個可能性大於1%，小於99%。"當Paikin明確問道這是否意味著人類將被滅絕時，辛頓確認："是的，如果它接管一切，這就會發生。"
雖然他不願給出具體的時間框架，但他警告說："如果我們現在不做點什麽，可能不會那麽長。現在，我們處於曆史的一個節點，我們仍有機會弄清楚如何開發超智能AI並使其安全。我們不知道如何做到這一點，我們甚至不知道這是否可能。希望這是可能的，如果可能的話，我們應該嚐試弄清楚這個問題，我們應該投入大量精力來解決這個問題。"
五、人工智能可能導致人類滅絕的方式
當Paikin要求辛頓說明AI如何可能導致人類滅絕時，他回答："如果它們想這麽做，有太多不同的方式可以做到。我不認為值得推測具體方式。我不認為會像《終結者》電影那樣。例如，它們可能會創造一種病毒，殺死我們所有人。"
辛頓強調，盡管有研究在關注安全問題和這種存在性威脅，但"遠遠不夠"。他批評道："大公司受短期利潤的驅動。我們需要民眾告訴政府，應該讓這些大公司進行更多的安全研究。它們應該在這方麵投入大約三分之一的資源。"
當被問及這方麵的進展時，辛頓承認："人們正變得更加意識到這個問題。政治家們也在變得更加意識到這個問題。"不過，他也指出最近在美國出現了倒退："拜登政府對AI安全感興趣，並發布了一項行政命令。而我認為，在特朗普治下，這與所有拜登的行政命令一樣被廢除了。"Paikin詢問這是否是因為"美國最富有的科技人士現在都支持這屆政府"，辛頓遺憾地承認："遺憾的是，確實如此。"
六、應對人工智能威脅的解決方案與國際合作
關於如何應對人工智能威脅，辛頓強調了建立共識的重要性："第一步是建立共識，認識到這是一個真正嚴重的問題，而不僅僅是科幻小說。我們需要說服大公司進行更多的安全研究。這就像氣候變化一樣，你必須首先建立共識，認識到氣候變化確實存在，如果我們不采取行動，後果將非常可怕。然後你才能開始采取行動，雖然不夠多，但至少有一些。對於AI威脅，我們首先需要達成共識。"
辛頓指出一個積極的方麵是，麵對存在性威脅，不同國家應該能夠合作："對於可能滅絕人類的存在性威脅...所有不同的國家應該能夠合作。我們應該能夠與中國合作。"
不過，他表示對"我們"的概念感到困惑："實際上，我不確定'我們'是誰了。我過去認為'我們'是指加拿大和美國，但現在不再是一個整體了。"他繼續說道："但無論如何，各國應該能夠合作，因為沒有人想被滅絕。每個國家的領導人都不想被滅絕，特朗普也不想被滅絕。他們可以在這個存在性威脅上合作。這是一個小小的好消息。但壞消息是，我們不知道該怎麽做，我們迫切需要現在就進行研究，弄清楚該怎麽做。"
當被問及是否有國際機構在領導這種合作時，辛頓表示："有一些組織正在嚐試幫助推動這種合作，但目前還沒有一個主導的組織。"對於聯合國是否適合擔當這一角色，他直言不諱："聯合國有點軟弱，是吧？它不能勝任這項任務。"
他指出，擁有資源的大型科技公司必須發揮作用："大公司擁有資源。為了研究AI安全，你需要使用最新的、最先進的模型。隻有大公司有資源來訓練這些模型。"
七、與馬斯克的公開爭論及對美國的評論
訪談轉向了辛頓與埃隆·馬斯克的關係。辛頓表示，他在某些問題上與馬斯克意見一致："我在各種問題上與他達成一致。例如，我同意他關於存在性威脅的看法，他認真對待這個問題。他也做了一些好事，比如電動汽車，以及利用星鏈為烏克蘭人提供通信服務。所以他確實做了一些好事。"
但辛頓對馬斯克目前的行為提出了尖銳批評："但他現在與DOGE（特朗普政府精簡部門）所做的事情是令人憎惡的。他幾乎是隨意地裁減大量工作人員，這些都是誠實的、去工作並做好工作的人。他指責他們貪錢、懶惰、無用，然後就裁掉他們的工作。這將對人們產生可怕的後果，而他似乎不在乎。唯一一次我看到他在乎是當我批評他時，他說我很殘忍。"
Paikin提到辛頓在X平台（前Twitter）上發表的一條評論："我認為埃隆·馬斯克應該被開除出英國皇家學會，不是因為他兜售陰謀論和邪惡敬禮，而是因為他對美國科學機構造成的巨大傷害。現在讓我們看看他是否真的相信言論自由。"
馬斯克的回應是："隻有懦弱、不安全的傻瓜才會在乎獎項和會員資格。曆史是真正的裁判，永遠如此。你上麵的評論是粗心、無知、殘忍和虛假的。話雖如此，有什麽具體行動需要糾正？我會犯錯，但會努力迅速修正。"
?
辛頓表示他選擇不與馬斯克進行長時間的交流，因為"我希望能夠進入美國"，而他的朋友Yann LeCun回答了馬斯克的問題。他還透露幾年前曾與馬斯克通過電話："幾年前，他要求我給他打電話，因為他想談論存在性威脅。實際上，他想招募我作為X的顧問。"辛頓拒絕了這一邀請，盡管馬斯克雇傭了他最好的一個學生作為技術人員。
關於馬斯克在舞台上做出的手勢，當Paikin提到有人認為那不是邪惡敬禮而隻是向人群表達熱情時，辛頓明確表示不相信這種解釋："特別是如果你看看他的曆史和他父母的觀點等等。他似乎在某種程度上與這些“邪惡”立場情況搭上關係。"
八、對美國政治和科學機構的批評
辛頓對美國當前的情況表達了強烈的批評："讓我們直接說明正在發生的事情。馬斯克希望對富人進行大規模減稅。他希望減稅4萬億美元。這就是它將花的錢。為了在不大幅增加國債的情況下獲得這筆錢，他們必須在某處削減。或者對我們征收關稅。他們計劃做的兩件事是削減政府支出和征收關稅，而關稅實際上是對窮人的稅收。關稅是一種非累進稅。它們將使所有東西變得更加昂貴。普通人將最終為他們購買的東西多支付4萬億美元，以支付富人的減稅。這太令人反感了。這是美國現在的政府政策，令人反感。"
當被問及他所指的"對美國科學機構的傷害"具體是什麽時，辛頓以任命羅伯特·肯尼迪小兒（RFK Jr.）為例："例如，如果你讓一個大腦裏有寄生蟲的瘋子負責衛生係統。"Paikin確認他指的是RFK Jr.，辛頓表示他並不完全反對RFK Jr.的所有觀點："我不會這麽說。這些事情從來不是完全非黑即白的。我認為他對人們擁有健康飲食的強調是重要的。也許他強烈反對的一些東西，不完全正確。但人們應該有健康飲食、這會改善健康的觀點是一個重要的想法。他在某種程度上推動了這一點。但他說的其他大部分內容都是胡說八道。"
辛頓不認同RFK Jr.關於疫苗和製藥行業的觀點："已經有很多關於這方麵的研究了。由於這些瘋狂的說法，人們已經非常認真地對待這個問題。大多數推動這種觀點的人隻是想向你銷售藥物或銷售一些東西。他們這樣做是作為一種銷售技巧來吸引你的注意力。他們自己並不真正相信這些。據我所知，他自己的孩子都接種了疫苗。這說明了很多。這讓我想起了福克斯新聞全天候反對強製接種疫苗的時候，而所有福克斯員工都必須接種疫苗。"
九、人工智能在醫療和教育領域的積極前景
在討論了AI的風險後，辛頓轉向了其積極的一麵，特別是在醫療和教育領域的應用前景。
關於醫療保健，他熱情地說道："例如，在醫療保健領域，它將做出驚人的事情。你將獲得更好的醫療保健。你將擁有一個看過1億名患者的家庭醫生，他知道並記得對你和你的親屬進行的所有測試結果，並能提供更好的診斷。"
他指出這種改進已經開始發生："現在，與醫生合作的AI係統在診斷複雜病例時的錯誤率比單獨的醫生要低得多。這已經在發生，而且會變得越來越好。"
在教育方麵，辛頓同樣看到了巨大的潛力："在教育中也會很驚人。我們知道，有私人導師的孩子學習速度會快一倍，因為導師可以看到孩子誤解的地方。現在，AI係統還沒有達到這個水平，但可能在未來10年內，它們會變得真正出色。"
他詳細解釋了AI如何改變教育體驗："當孩子在學習某樣東西時，AI係統將能夠準確地看到孩子誤解的地方。因為AI係統已經見過一百萬其他孩子，它知道孩子確切地誤解了什麽，知道給孩子什麽樣的例子來清楚地解釋這種誤解。所以如果一個人類私人導師的效果是提高兩倍，這些係統將提高三到四倍。"
當Paikin問及這對大學是否是好消息時，辛頓坦率地說："可能不是好消息，因為可能不再需要它們了。"不過，他補充道："你會需要它們來進行研究生研究，我認為你仍然需要學徒製來學習如何進行研究。因為我們無法說明如何進行研究的具體規則。沒有規則，這是一種學徒製。"
對於那些認為學習編程或計算機科學是好主意的學生，辛頓承認他們可能麵臨挑戰："他們很可能會遇到麻煩，是的。"不過他也指出，計算機科學教育不僅僅是學習編程。
十、"AI教父"稱號的由來與個人捐贈
談話轉向了辛頓被稱為"AI教父"（也有人叫他深度學習教父）的由來。當被問及是否喜歡這個稱號時，辛頓坦言："我確實挺喜歡的。"有趣的是，這個稱號最初並非褒義："有人在一次會議後開始這樣稱呼我，在那次會議中我擔任主席，但我不斷打斷別人。"
他解釋道："那是在英國溫莎的一次會議，會後Andrew Ng開始稱我為教父。"Paikin問道："因為你打斷別人？"辛頓確認："是的，某種程度上。我是那裏年齡最大的人，而且我在指揮別人。"
訪談也觸及了辛頓將其一半諾貝爾獎金（約50萬美元）中的35萬加元捐贈給Water First的決定。當被問及Water First是什麽組織時，辛頓解釋道："Water First是一個組織，訓練居住在原住民社區的人們掌握水技術，使社區居民能夠確保他們的水安全。"
他分享了個人經曆，解釋為何選擇這個組織："我在秘魯收養了一個孩子，在那裏生活了兩個月，那裏的自來水不能飲用，幾乎是致命的。所以我經曆了沒有安全飲用水是什麽感覺。如果你有一個嬰兒，沒有安全的飲用水，這會占用你所有的時間，想辦法防止嬰兒生病。這是一個額外的負擔，對人們來說是瘋狂的。我認為在像加拿大這樣的富裕國家，有這麽多原住民社區沒有安全的飲用水，這是荒謬的。例如在安大略省，20%的原住民社區沒有安全的飲用水。"
十一、個人未來與退休計劃
訪談結束前，Paikin詢問了辛頓對未來的計劃。77歲的辛頓表示："我正在嚐試退休。我做得很糟糕。"當Paikin評論說這個年齡太年輕，不適合退休時，辛頓回應道："我以為我75歲離開穀歌是因為想退休。"
Paikin稱讚辛頓看起來非常年輕健康，認為他"還有至少一兩章，甚至三章"的職業生涯，並幽默地表示"也許你和埃隆會重歸於好，共同解決我們需要解決的問題。"對此，辛頓幹脆地回答："我認為這不太可能。"
總結：AI的未來與人類的命運
作為神經網絡和深度學習的先驅，辛頓對AI的發展軌跡一直有著獨特的洞察力。
他的關鍵警告是——人工智能很可能在未來超越人類智能，而我們對此後果的理解仍然有限。盡管預測有10%-20%的幾率AI可能"接管一切"並導致人類滅絕聽起來像科幻小說，但辛頓強調這是一個需要認真對待的現實威脅。
同時，辛頓也看到了AI在醫療和教育等領域的巨大潛力。他描繪了一個AI能夠徹底改善醫療診斷和個性化教育的未來，這些積極發展可能會帶來社會福祉的顯著提升。
最令人深思的是辛頓對AI安全研究和國際合作的呼籲。他將AI存在性風險比作氣候變化，強調我們首先需要建立共識，然後才能采取有效行動。但與氣候變化不同，麵對AI可能帶來的滅絕風險，各國應該能夠更容易達成合作，因為"沒有人想被滅絕"。
然而，目前的地緣現實和大型科技公司的短期利益驅動可能會阻礙必要的安全研究和監管。辛頓批評了美國現在對科學機構的破壞，以及對富人減稅政策的不公正影響，表明技術發展從來不是在真空中進行的。
作為一位剛獲得諾貝爾獎的科學家，辛頓選擇將一半獎金捐給致力於為原住民社區提供安全飲用水的組織，這一行為展現了他對社會責任的重視，也提醒我們在追求技術進步的同時，不應忽視基本人權和社會公正。
正如辛頓所言，"現在，我們處於曆史的一個節點，我們仍有機會弄清楚如何開發超智能AI並使其安全。"抓住這個機會，可能是我們這個時代最重要的任務之一。
