10月8日，2024年物理學獎花落兩位“冷門學者”：91歲高齡的約翰·霍普菲爾德（John Hopfield）和77歲的傑弗裏·辛頓（Geoffrey Hinton）。
這是令人意外的一次頒獎。畢竟，數個諾獎預測都相信，物理獎應該是天體物理、粒子物理、應用物理、量子物理、凝聚態物理、經典物理、原子分子和光物理七大類中的一個。諾貝爾物理學獎不應是兩個研究機器學習（Machine Learning）、掀開當前人工智能（AI）革命的大師與教父。
被稱為“AI教父”的辛頓自己沒有想到，一個身體不好，坐不了飛機，三任妻子都死於癌症的男人，會收到諾貝爾物理學獎獲獎的通知電話。
10月8日，在瑞典斯德哥爾摩舉行的2024年諾貝爾物理學獎公布現場/新華社記者 彭子洋 攝
而仔細查看他們的研究會發現，在終其一生的思索裏，他們都在試圖用數學係統發明計算機神經網絡，模擬人類大腦工作。人腦有100萬億個神經元連接，隨時隨地在互動與發射信號，像深海般充滿奧秘。要想實現神經網絡的野心，他們不可避免地運用物理、生物、心理學等領域的知識與靈感。
於是，1980年代，兩個跨學科的天才都提出了令21世紀驚歎的發現：約翰·霍普菲爾德運用物理學原子自旋原理，發明了一種得以保存記憶的神經網絡。後人以他的名字命名，Hopfield神經網絡。
至於教父辛頓，他以Hopfield網絡為基礎，開發了一種新的神經網絡：玻爾茲曼機（Boltzmann machine）。這個晦澀的新詞，靈感同樣來源於物理學——奧地利物理學家路德維希·玻爾茲曼百年前提出的理論，涉及一個與AI完全無關的現象（加熱氣體中粒子的平衡）。
科學的突破與發現並非一蹴而就。人工智能在過往30多年發展起起伏伏，充滿嘈雜聲響，信念不斷被推倒又重建。以辛頓為代表的AI學者，用他們的人生證明：有時候，成功來源於走在前方無人小徑時，最大程度地堅持自我。
處處碰壁的天才
77歲的傑弗裏·辛頓，隨著ChatGPT等大模型的火爆，在近年越來越名聲大噪。他早已是圖靈獎得主，密集地接受各方采訪。
不過，說的內容並非所有人都愛聽。就像那位不苟言笑的核物理專家奧本海默，他張口閉口說AI可能對人類的威脅，強大的超級人工智能會讓人類進入末世，仿佛這個工具是別人發明的一樣。
傑弗裏·辛頓
除了這種看似知識分子的反思與懺悔，真正接觸過辛頓的記者，都在回頭書寫時記錄下了對他的印象：身體不好。從2005年開始，辛頓的腰背部出現問題。他開始很難坐立，不敢搭乘飛機出行，平時辦公也是站著的。遇上商務宴席，他也不能坐在椅子上，而是選擇雙腿跪在地上，經常換來服務員奇怪的眼光。
他曾形容自己破爛的身體：“我每天都很煎熬，情況發展到了可能會癱瘓的地步，所以我很認真地對待這件事。如果我能完全控製自己的生活，它就不會帶來任何問題。”
失去控製總是讓人心生絕望，但在辛頓的人生裏，他從來都是與缺乏確定性、無法受控的事情相伴。1947年，辛頓出生在英國一個科學家和教授世家，父親是研究甲蟲的劍橋生物學家。他的親戚們還包括《牛虻》的作者艾捷爾·伏尼契；“中國人的好朋友”、寫中國土地革命《翻身》的作者韓丁；參加曼哈頓計劃的女核物理學家寒春……
而在十幾歲時，早慧的辛頓已經遇上了促使他思考一生的命題。他回憶，那是高中時期，一位朋友問他，“你知道嗎？大腦的記憶並不是儲存在某個特定的地方，而是分布在整個大腦，在整個神經網絡裏傳播，就像全息圖一樣工作。”他從此開始對人腦機製產生了濃厚興趣。
大學期間，因為這個問題，辛頓曾學過5個專業，先是數、理、化，大二時又學了哲學、建築學，後來又攻讀了心理學。四年大學讓他發現，所有的這些學科都無法解答人腦神經元如何連接並工作的奧秘。最終，畢業後的辛頓選擇當一名木匠。
當木匠可以讓人收獲平靜，這是他高中時期最高興的活。隻是，這位天真的知識分子也發現，沒有內耗的活往往匹配較低的薪水，他不適合用此謀生。這段日子裏，一到周末，他就到圖書館自學大腦工作原理。
1972年，他再度“轉行”。憑借發表論文，他到愛丁堡大學就讀人工智能學的博士——又是一個全新的領域。
盡管他不熟悉計算機科學，辛頓卻有著自己的直覺和信念。不巧的是，此時正值人工智能的寒冬，人們從過往對AI的極度樂觀，到被冰冷的現實鞭打至穀底。1971年，英國政府進行了一項人工智能進展的研究，結果顯示，“大多數人工智能研究和相關工作人員承認，他們對過去25年取得的成就感到非常失望”。
報告稱：“迄今為止，AI在任何地方取得的成果，都沒有實現它當初承諾的重大影響。”
令人沮喪的結果並非致命的，更大的問題是，在當時人工智能界，人們開始廣泛地懷疑從前的信念，即運用模擬人腦的神經網絡，進行機器學習（神經網絡隻是眾多機器學習算法和模型的一種）。
最著名的論斷來自於當時的“人工智能之父”馬文·明斯基。他對模擬人腦的“聯結主義”派表示公開懷疑，認為計算機如果要擁有人類智能，必須用屬於計算機的方式來實現。1969年，他為此專門寫了一本書，寫道，“多層感知機（1960年代的一種神經網絡）不會有發展前景，因為世界上沒人可以將多層感知機訓練得足夠好，哪怕是令它可以學會最簡單的函數方法。”
明斯基的論斷解釋了AI為何過去失敗了，也讓人們重新擁抱了新的願景——符號人工智能。1972年，連辛頓的博士導師朗吉特·希金斯都被明斯基的理論說服了。他開始勸說自己的學生，換一個有前途的方向吧，別做神經網絡了。
辛頓回憶：“我們每周見一次麵，有時會以一場大喊大叫的爭論結束。”
博士期間，他的研究方向始終與導師期望的背道而馳。辛頓說，他認可明斯基指出的神經網絡的缺陷，但與多數人的選擇不同，他想繼續往“有缺陷的方向”前進，完善前人指出的漏洞。
至於他能這麽做的原因，辛頓回憶，這可能是源於他從小在宗教學校上學，卻是全班唯一不信仰宗教的人。“這對科學家是一種很好的訓練，讓你對自己的觀點充滿信心。每個人都可能是錯的，你需要堅持自己的主張，直到實現它或者（徹底）否定它。做科學就需要這樣的精神。”
交叉學科的力量
固執的辛頓在1978年順利博士畢業。當時的學者也沒預料到，他的堅持從此掀開了人工智能深度學習革命，並讓21世紀的各大巨頭爭相進行科技軍備競賽。
那時博士畢業後，孤獨的辛頓漂至了美國，總算在加州大學聖迭戈分校找到了一些誌同道合的人士。他們有的來自神經生物學，有的像辛頓一樣來自認知科學係，重要的是，他們分享著對聯結主義的信仰，相信用計算機多層神經網絡可以模擬人類大腦的演算方式。最終，機器也可以像蹣跚學步的孩子一樣自我學習和進步，擁有推理能力。
看上去像天方夜譚的野心，卻在當時被一群人真情實意地相信著。1982年，加州理工學院教授霍普菲爾德率先開發了一種神經網絡，用於模擬大腦如何相互作用並產生穩定記憶。
這個神經網絡的構建，也汲取了人類大腦的工作智慧。霍普菲爾德曾回憶，促使他走向這條道路的是一次受邀參加神經科學的會議。會議內容令他著迷，並讓他開始思考神經網絡的動力學特性。
人腦的運作好比需要集體演奏的交響曲，隻有當神經元共同作用時，它們才能產生新的、強大的特性。“如果你隻關注網絡中的每一個獨立神經元，是很難察覺這些特性的。”他說。
擁有物理學背景的霍普菲爾德，開始想到原子自旋而產生的特性。這一特性使每個原子都成為了一個微小的磁鐵。相鄰原子的自旋會相互影響，自旋方向一致的區域得以形成。
運用自旋特性，霍普菲爾德成功構建了有節點和連接的神經網絡，並以能量函數作為表達。大致實現原理類似於人類的聯想記憶。比如，如果神經網絡接收到不完整或稍有失真的模式時，該方法能夠通過能量的原理，找到與之最相近的已存儲模式。
霍普菲爾德的模型示意圖。首先讓分子體係記住右下角的圖像（字母“J”）。此時，如果將分子體係的狀態改成右上角的圖，那麽每個分子會按照既定的規則更改自身的能量，最終使得整體重新回到右下角的圖像
記憶、存儲、重現信息，這是霍普菲爾德神經網絡的進步，也被後人視為聯結主義複興的標誌。更年輕的辛頓也深受影響和鼓舞。
1986年，辛頓與兩名學者共同發表了一篇題為“通過反向傳播誤差來學習”的論文，成為了當代機器深度學習的奠基之作。
所謂的反向傳播，實際是一個基於微分的算法。需要指出的是，1980年代的研究重點與上世紀60年代已經截然不同：1960年代的神經網絡是一個單層網絡，而吸取了明斯基教訓的科學家們在20年後，希望建立的是有多層結構的神經網絡。
他們相信，隻要研究人員能夠建立一個多層的網絡，每一層都向下一層提供信息，這個係統就可以學習過去無法理解的複雜圖形。換句話說，一個更像大腦的係統就會出現。
這個過程變成了解出嵌套函數的數學問題。如果要訓練一個符合現實的神經網絡，科學家們發現，他們的工作重點需要考量神經網絡的輸出和真實結果之間的誤差；接著選擇恰當的損失函數來表示誤差，再根據梯度下降等優化算法，一步步修正權值參數，最後得到能擬合的神經網絡模型。
在輸入層和隱藏層之間具有兩層隱藏節點的饋送網絡輸出層但新的難題出現了：多層神經網絡內含多個隱藏層，當誤差出現時，研究者們很快發現，他們極難找到誤差是在哪發生的。
擅長叛逆的辛頓與同事們同時也擅長逆向思維。1986年，他們提出反向傳播算法，精髓是將誤差從輸出層開始倒推，反過來逐層把誤差傳播至每一個隱層上，直到輸入層為止。每一層都依賴後麵已經計算好的信息去完成求導，故稱作“反向傳播”。
反向傳播成功解決了多層神經網絡的訓練問題，證明了神經網絡絕非停留在想象裏的空中樓閣。
同一時期，辛頓與同事們發明了玻爾茲曼機。
玻爾茲曼機和霍普菲爾德模型的不同在於，內部增加了隱藏節點，使得節點之間可以通過概率調節整個網絡的功能
這個新神經網絡汲取了統計物理學的原理，希望分析各個組件能夠共同存在的各種狀態，並計算它們出現的概率。這也是當今短視頻等平台算法令人無法自拔的基本原理：算法可以分析和找到大數據之間的聯係，接著計算不同類別的人最大概率會喜歡和討厭的內容，並根據每次的點擊情況，實時進行概率計算和內容推送。
1986年，經過訓練的玻爾茲曼機能夠識別出它未曾見過的信息中的熟悉特征。這也就意味著，計算機擁有了自我學習的能力，這正是神經網絡的擁躉多年來所期許的。
辛頓和同事謝諾夫斯基都為此激動不已。“這是我一生之中最激動人心的時刻，”謝諾夫斯基說，“我們確信，已經弄清楚了大腦是如何工作的。”
冷門二十年
約30年後，諾貝爾物理學獎認可了玻爾茲曼機的發明。
“他們都是真正的先驅者，尋找到了解決問題的新方法。”諾貝爾物理學委員會成員Anders Irbäck教授在2024年盛讚。
隻是，對80年代的辛頓來說，縈繞在前方的仍是時而大喜、時而大悲的情緒，以及與科學有關的迷霧之中。
他和同事都以為將改變世界進程的玻爾茲曼機，隻在80年代末期人工智能的又一波熱潮時得到了關注。
1990年代，人工智能發展再度進入瓶頸期。各種基於統計的機器學習方法興起，研究神經網絡的人越來越少了。辛頓成為了少數幾個仍在其中堅持的人。
傑弗裏·辛頓曾在社交媒體上寫道：毛毛蟲提取營養物質，然後轉化為蝴蝶。GPT-4也像人類社會的蝴蝶般，提取了人類數十億的知識
後來人們才發現，當時的停滯並不代表辛頓提出的理論和設想是錯誤的。想法受限於當時計算機技術處理計算的能力。
辛頓在一次采訪中感慨：“追溯到1986年，我們首次開發出反向傳播算法，我們因其能學習到多層的特征探測而感到興奮，我們認為已經解決了這個問題。但在解決實際問題中卻沒有出現大的突破，這非常令人失望，我們完全猜錯了需要的計算資源和標記案例數量。”
這樣的停滯伴隨著辛頓接下來的20餘年科研曆程，神經網絡始終不受學界主流認可。為了拿到教研經費，他曾在倫敦大學學院、多倫多大學等地工作，最後終於在2004年從加拿大高等研究院申請到了每年50萬美元的經費支持。
直到2006年以前，辛頓即使已經在英國、加拿大是院士級別的人物，但他的發現隻在學界裏有名氣，從未得到現實的廣泛應用。但他始終堅信神經網絡將引起人工智能革命。據稱，為了給自己打氣，辛頓還養成了一種自我激勵的方法，每周發泄般大吼一次：“我發現大腦是怎樣工作的啦！”
天然神經係統和人工神經網絡的相似性。關於人工神經網絡的理論在幾十年前就已形成，但當時人們並沒有找到實現它的方法2006年，深度學習革命終於在全球打響。這個新時代的序幕依然是由辛頓和學生拉開的。他們在兩篇論文裏論證道，深度神經網絡具有自主學習的能力。比起人類，深度學習的自編碼器對數據有更本質的刻畫，從而有利於可視化和分類。
這一全新的概念經曆了此後6年的儲備，終於在2012年點燃全世界。2012年，在華裔科學家李飛飛舉辦的ImageNet圖像識別競賽中，辛頓和學生伊利亞（Ilya Sutskever，前OpenAI首席科學家）和亞曆克斯（Alex Krizhevsky）組成團隊，設計了名為“AlexNet”的卷積深度網絡程序，一舉奪冠。
這次奪冠並非隻是拿到冠軍那麽簡單。辛頓和學生以全場都沒有用過的方式，取得了顛覆性的勝利。
“快樂和悲傷交織”
後來的故事更為人所知。2012年一舉成名後，辛頓收到了來自百度、穀歌、微軟以及DeepMind等巨頭的千萬美元年薪橄欖枝。他於是聽從律師建議，在美國華達州的哈拉斯賭場，對著爭相而來的科技巨頭，舉行了一場郵件競拍。
最終，他在身價被提高到了4400萬美元時，叫停了拍賣，選擇加入穀歌。
失敗的百度從此決心向深度學習上儲備人才，先後建立了深度學習研究院和自動駕駛研究院。主導百度參與辛頓競拍的負責人、現地平線創始人餘凱回憶：“盡管競拍失敗，但我還是很開心的。我想我的目的也達到了，因為李彥宏親眼見證了國際巨頭不惜花費巨資來投資深度學習研發，這讓他下定決心自己把深度學習做起來。”
進入21世紀的第二個十年，大模型、AI視覺、AIGC等多個應用，終於迎來大爆發。辛頓等到了盼望已久深度神經網絡引發的人工智能浪潮。
這是屬於他引領的時代。
他卻自述過往，認為他的人生與AI浪潮一樣，徘徊在反反複複的起伏裏。“我經常會告訴大家，我弄清大腦的工作機製了，可過段時間，我又失望地發現之前的結論是錯誤的。”
“但事情就應該是這樣發展的。正如（英國）詩人威廉·布萊克的兩句詩，‘將快樂和憂傷編織，披在我神聖的心上’。”
2023年，離開穀歌的辛頓越來越活躍於媒體之中。他近年因為大模型的熱潮早已榮譽加身，人們喊他教父，對他進行膜拜。連他的很多早期追隨者，如今也成為了科技巨頭。例如學生伊利亞，與奧特曼一起創立OpenAI，是AI浪潮的引領者之一。
看上去，辛頓沒有什麽煩惱可言了。
但他卻表現得越來越憂心忡忡，擔心AI有一天會掌控人類社會。2024年，他在諾貝爾獎頒布的現場連線時說：“我感到愧疚和後悔。”
“後悔有兩種。一種是因為你做了一些明知不該做的事情而感到內疚；另一種是你做了一些在同樣情況下會再次做的事情，但最終結果可能並不好。我的遺憾是第二種。我擔心這種做法的後果是，比我們更聰明的係統最終會掌控一切。”
