劃重點：
1.“我們就是AI的萊特兄弟。”謝諾夫斯基認為，我們剛剛起飛，不知道如何控製這架飛機，我們需要弄清楚如何控製它，這將是未來10年的方向。
2.謝諾夫斯基說，唯一我們絕對確定的是，這些大語言模型不是人類，而是外星人。
3.謝諾夫斯基認為，大腦中還有幾十個被這些大型語言模型忽略的部分，幾乎可以肯定它們會在未來10年內被加入進來，如人類的情感、長期記憶。將情感注入其中，比注入語言更容易。
4.謝諾夫斯基判斷，未來，“每家公司都會建立自己的模型”。
5.謝諾夫斯基認為，我們正在進入人類曆史上全新的時代。我們站在這個門檻前，正在穿過這扇門，以後再也不會一樣了。永遠都不會。“一切都將在你的有生之年發生轉變。”
特倫斯·謝諾夫斯基（Terrence Sejnowski）
騰訊新聞《潛望》 張小珺 發自北京
特倫斯·謝諾夫斯基（Terrence Sejnowski）是傑弗裏·辛頓（Geoffrey
Hinton）之外，另一位深度學習奠基人、先驅人物。最近，他倆私下交流了許多次關於AI威脅論的看法。
38年前，兩人齊心合作，研發了玻爾茲曼機（Boltzmann
Machines），這是一種用於模式識別的神經網絡。上世紀80年代，在深度學習經曆了漫長的寒潮與黯淡後，它的出現為極少數相信“連接主義”、“神經網絡”和“深度學習”的研究人員，帶來了一絲曙光。
“我們就是AI的萊特兄弟。”謝諾夫斯基說。
辛頓與謝諾夫斯基都出生於1947年。辛頓出生於加拿大，專長是人工智能和心理學；而謝諾夫斯基出生於美國，更擅長物理學和神經科學。兩人有一個共同的內心力量：對大腦充滿興趣。
“我們有同樣的直覺，”謝諾夫斯基說，“這個直覺是，視覺、語音識別、語言問題等都是極其困難的問題，必須解決；而唯一證明這些問題可以解決的存在就是，大自然已經解決了這些問題。為什麽不深入研究一下？”
在很長一段時間裏，深度學習都不是人工智能的主流學派。彼時的統治者是MIT人工智能實驗室的馬文·明斯基（Marvin
Minsky），他曾尖銳指出深度學習的重大缺陷，並圍繞自己對人工智能的見解構建了一套體係。絕大部分科學家都是他的追隨者，信奉“符號主義”。
這是勢力懸殊的兩個學派。“符號主義”是一種基於邏輯推理和編程規則的學派，將人類思維視為通過符號和語言進行推理的過程，就像人類使用字母和單詞構建句子來表達思想；而“連接主義”則更像是逆向工程大腦，通過模擬神經元之間的連接和權重調整來處理信息。
後來，辛頓成為AI教父級人物、深度學習之父，以4400萬美金將自己的公司賣給Google後出任Google科學家，而他的學生IIya
Sutskever參與創立了如今炙手可熱的OpenAI。
謝諾夫斯基則是美國四院（國家科學院、國家醫學院、國家工程院、國家藝術與科學學院）院士，也是全美在世僅三位的四院院士之一，他有一檔知名的慕課《學習如何學習》（Learning
How To Learn），並出版了一本全球銷量超300萬的書籍《深度學習》（The Deep Learning
Revolution）。
二人維持了一生的友誼。
左：特倫斯·謝諾夫斯基 / 右：傑弗裏·辛頓
近期，辛頓驟然從Google辭職，公開呼籲AI的可能性危險。他表示，過去幾個月讓他改變了對人類大腦與數字智能的看法。“毛毛蟲提取養分，轉化為蝴蝶。人們已經提取了數十億認知的精華，GPT-4就是人類的蝴蝶。”以此暗示數字智能可能是比大腦更智慧的智能體。
而謝諾夫斯基對此表現得更樂觀一些。
“我很高興傑弗裏有所擔心，因為至少有人在擔心。”今年5月，騰訊新聞對話了現年76歲的特倫斯·謝諾夫斯基，他再三拿萊特兄弟發明飛機類比，認為如今正處在這樣的時刻。“我們剛剛起飛，不知道如何控製這架飛機，我們需要弄清楚如何控製它。這將是未來10年的方向。”
對話中，他談到神秘莫測的大腦、AI派係對決頗有衝擊力的一幕、人工智能的潛在危險，以及大語言模型的未來演進方向等話題。他認為，大腦中還有幾十個被這些大型語言模型忽略的部分，幾乎可以肯定它們會在未來10年內被加入進來，如人類的情感、長期記憶。
他判斷，未來，“每家公司都會建立自己的模型”。
我們就站在人類曆史一個全新的起點上，謝諾夫斯基感歎道：“我們正在穿過這扇門，以後再也不會一樣了。”
以下是對謝諾夫斯基的訪談，略有刪減。
01 談大腦--它比任何人類創建的神經網絡模型更強大
騰訊新聞：你好，謝諾夫斯基先生。我這樣稱呼你對嗎？Mr. Sejnowski。
謝諾夫斯基：你可以直接稱我為Terry。
騰訊新聞：好的，Terry。你是什麽時候決心要成為一名科學家，尤其是什麽時候想要成為一名神經網絡、深度學習和人工智能方向科學家的？
謝諾夫斯基：我對大腦一直抱有濃厚的興趣和好奇。在本科和研究生階段，我主修物理，因為我認為在所有科學領域，物理學的理論力量最具挑戰性。大腦高度複雜，物理工具對訓練很有幫助。
在深入研究前，我意識到若是真想了解大腦，必須了解關於神經科學的知識，即大腦的生物基礎。我旋即轉向神經科學，在哈佛大學醫學院神經生物學係進行了博士後研究。在那兒，我認識到要理解大腦，不能僅僅將其視為物理或生物問題，因為大腦具有學習和思考的能力，這是計算的用武之地。
我創立了一個名為“計算神經科學”的領域，最近榮獲神經科學領域的格魯伯獎（The Gruber
Prize）。現在這個學派發展迅速。
這個話題與我們今天要討論的內容相關，我們發現大型語言模型和人腦之間存在許多相似和差異之處。我們可以進行許多有價值的討論。
騰訊新聞：在你漫長的科研生涯中，一個閃耀瞬間便是與傑弗裏·辛頓教授一起研發了玻爾茲曼機，你當時有意識到這個機器會成為人工智能教科書上重要的一筆嗎？
謝諾夫斯基：那是我生命中最激動人心的時刻之一。和傑弗裏一起工作，是令人興奮的機會。傑弗裏有強烈的計算直覺，我們在背景上補充而契合。他的背景是人工智能和心理學，我的則是物理學和神經科學，我們完美地融合在一起，保持著持久的友誼。
正如你所指出，玻爾茲曼機具有裏程碑意義。它證明了馬文·明斯基和西摩爾·帕普特（Seymour
Papert）是錯誤的。明斯基和帕普特在1969年關於《感知器》（Perceptrons: An Introduction to
Computational
Geometry）的著名書籍中對感知器的局限性提出了很好的證明，他們的觀點是沒有人能將感知器的學習規則推廣到具有多層和多個隱藏層的多層感知器。但傑弗裏和我發現，如果擴展架構，我們就可以展示出一種優雅的學習算法。
這個算法和架構之所以美妙，是因為它非常優雅。它受到了我背景中物理學啟發，我很喜歡它。它就像是一個熱力學證明，證明我們有一個學習算法。但與反向傳播（Backpropagation）不同的是，它是全局的。你不需要通過反向傳播計算誤差，你隻需要計算輸入和輸出在兩種不同條件下的相關性。一種是當輸入存在，另一種是當輸入消失。我們稱之為“休眠階段”。所以當你計算相關性減弱，對於小型網絡很有效，它需要達到平衡，你必須計算平均相關性。它需要更多的計算，所以實際上效率不高。
騰訊新聞：相比更早的神經網絡之一感知機（Perceptrons），玻爾茲曼機在哪些方麵使深度學習變得更好了？依舊不足的是什麽？
謝諾夫斯基：玻爾茲曼機的美妙之處首先體現在它可以容納許多隱藏層，就像深度學習可以使用隱藏層一樣。從80年代開始，它就已經是深度學習網絡了。隻是當時我們並沒這樣稱呼它，但你可以構建更深層次的結構。
另一個值得注意的是，玻爾茲曼機既可用於監督學習，當然大部分工作是使用反向傳播完成，也可以用於無監督學習。它能學習概率分布，不僅僅是學習將輸入進行分類的映射關係，還能在高維空間中發展出內部的概率分布。
局限性嘛，就像我之前說的，它需要更多計算資源，計算成本高。而且，當你有多個隱藏層時，隨著層數增加，它需要更長時間才能在輸入向上傳遞並回傳到底層。整個網絡必須成為一個單一協調的整體。這在物理學中被稱為相幹性（Coherence）。就像在接近臨界點時，比如水和蒸汽之間的相變（Phase
Transition，指一種相態朝另外一種相態轉變的過程），有一些特殊現象發生，整個係統變得相幹。我們發現玻爾茲曼機必須實現全局的相幹性。
這個算法非常有潛力，傑弗裏花了很多精力來展示它可以逐層構建。它仍然是一個可行的算法，隻是需要更多計算資源支持。
騰訊新聞：那些年，很少有人相信神經網絡和基於神經網絡的深度學習對於人工智能真正可行，認為這不過是自負者的玩笑。當傑弗裏·辛頓第一次找到你提出合作意願時，他是怎麽對你說的？你為什麽選擇相信他？
謝諾夫斯基：1979年，我們在聖地亞哥的一個小研討會上結識。當時，並沒有像你描述的那樣引起太多關注。實際上，幾乎沒人注意我們。
換句話說，在全球範圍，關注這個領域的人非常少。那次會議上，隻有十幾個人。我們是研究人員，從事與其他人不同的研究。我們很高興能一起工作，因為我們有同樣的直覺。這個直覺是，視覺、語音識別、語言問題等都是極其困難的問題，必須解決，而唯一證明這些問題可以解決的存在就是，大自然已經解決了這些問題。因此，我們的觀點是，為什麽不深入研究一下？讓我們看看自然為我們做了什麽，並嚐試逆向工程大腦。
當你這樣做時，你不想複製大腦的技術，因為它在能源使用和規模方麵比我們先進得多。即使是今天的神經網絡也無法接近大腦的一小部分。
但是，你可以從大腦中獲取一些通用原則。我們試圖提取這些原則，來創建人工大腦版本。
當時人工智能領域缺乏的最重要的原則是，你可以學習權重，可以通過示例來學習解決問題。這確實是大腦適應世界的一種重要方式。大腦可以學習語言、運動、物理和社交技巧。換句話說，這些都不是像編寫計算機程序一樣在你內部編程的東西。
大腦中的天生部分是體係結構和突觸可塑性的機製，這些允許大腦在出生時具有接近成年所需的連接的生物機製，然後通過學習優化這些連接。這些就是原則：大規模的連接，許多單元之間的連接，並有學習算法。
盡管我們在80年代使用的學習算法如今仍在使用，但之後發生的是，由於摩爾定律的發展，神經網絡的規模以驚人速度擴大，無論是單元的數量還是參數的數量，現在已達到萬億級別，與大腦相比仍然非常小，因為大腦大約有10的14次方、10的15次方和10的12次方的連接，仍然多出約一千倍的連接和參數。
騰訊新聞：人類的大腦給你們的研究工作帶來了哪些靈感？你曾經說：“我們確信我們已經弄清楚了大腦是如何工作的。”那麽，人類的大腦是如何工作的？
謝諾夫斯基：我不想給你一種我們已經理解了大腦如何工作的印象。它仍然是一個巨大的謎團。我們對大腦了解甚少。這就是為什麽我從事神經科學，大腦比任何人類創建的神經網絡模型更強大。
在我寫作的《深度學習》一書中，我有一個完整章節展示了卷積網絡（ConvNet）的架構。卷積網絡是2012年在NIPS會議（神經信息處理係統大會，是一個關於機器學習和計算神經科學的國際會議）上取得重大突破的一種網絡，傑弗裏展示了通過這種網絡可以將圖像數據集上的錯誤率降低20%，這相當於向未來前進了20年。
所以，如果你看一下卷積神經網絡，它的架構在信號經過不同層的方式上，與靈長類動物視覺係統的架構相似。在視覺輸入中，存在一種卷積架構進行預處理，還有許多其他機製，如歸一化、分組等等，這些機製在視覺皮層中都存在，視覺皮層大約有12層，按順序處理信息。這是一個卷積神經網絡受到視覺架構啟發的案例。
現在正發生的是，很多關於轉換器（Transformer）的發現，例如用於自然語言處理的轉換器以及從分析這些網絡中出現的循環網絡等其他架構，幫助我們理解它們的工作原理，並為分析神經數據提供了工具、技術和方法。
因此，與上個世紀相比，AI和神經科學之間的合作進展非常快。以前的研究進展緩慢、痛苦而複雜，記錄一個神經元的活動很困難。但現在我們有了同時記錄數十萬個神經元的工具和技術，這讓我們能更全麵地了解不同神經元如何協調工作。
令人興奮的是，現在工程師和神經科學家之間的交流，正在加速我們對大腦如何工作以及如何改進人工智能的理解。
02 談派係對決--質問明斯基：你是魔鬼嗎？
騰訊新聞：人工智能領域一直存在深度學習的反對派，也就是所謂AI建製派（比如馬文·明斯基），他們是怎麽想的？今天來看，你們這些相信“連接主義”、“深度學習”、“神經網絡”的少數者學派，相比相信“符號主義”的大部分AI建製派，底層對於世界認知的最大不同是什麽？
謝諾夫斯基：20世紀，計算機的性能有限，它們隻能有效地處理邏輯問題。因此，人工智能是基於編寫包含符號並操作符號的邏輯規則的。回顧起來，那些編寫規則並嚐試解決困難問題的程序員們，錯誤之處在於沒有真正意識到自然界解決這些問題有多困難。
視覺是複雜和困難的，大腦細胞處理它們如此高效，以至於感覺起來就像很容易的事。你看出去，就能看到物體，這有什麽困難呢？
這裏有一個DARPA撥款的真實故事。DARPA是美國的國防高級研究項目管理局，是軍方的研究部門。20世紀60年代，麻省理工學院的人工智能實驗室獲得了一大筆撥款，用來建造能打乒乓球的機器人。他們獲得了這筆撥款，但後來意識到他們忘記申請資金來編寫視覺程序。於是，他們索性將這個項目分配給研究生作為暑期項目，因為它看上去似乎很容易。（這不可思議）
2006年，達特茅斯召開了人工智能大會50周年紀念會議，我見到了明斯基。我問他這個故事是不是真的。我聽說過這個故事，但感覺有點誇張色彩。
結果他反駁道，你得知的事實是錯的，“我們沒有把它交給研究生，而是分配給了本科生”。這個看上去容易解決的問題，最終被證明是“陷阱”，吞噬了整整一代計算機視覺研究人員的青春。
回顧起來，他們是盡力而為，根據當時的計算機條件做到最好。但問題是，隨著問題變得越來越複雜，如果你試圖通過編寫計算機程序來解決它，程序會變得越來越龐大，這需要極大的人力投入。編寫程序異常昂貴，無論是付給程序員的成本，還是程序行數達到數百萬行時的成本，都會讓你覺得它無法擴展。
這就是當時人工智能麵臨的問題：無法擴展。即使你給了他們數十億美元，並讓他們編寫數十億行的計算機程序，他們仍然無法解決問題。解決方案如此笨重。
他們當時並不知道。實際上，我們隻需要一個隱藏層的小型網絡，就可以證明我們能解決感知機無法解決的問題。但我們不知道的是，當你擁有10個隱藏層時會發生什麽。我們不知道，因為我們無法模擬這個過程，它太複雜，計算量太大。
終於，在等待了30年後，現在我們知道了。計算機的速度提高了數百萬倍，現在我們可以開始解決現實世界的問題了。
現在人們認為我們是對的，但當時人們認為這可能是死胡同。因為在80年代和90年代，它無法解決困難的問題。然而，我們不在乎。我們隻是愉快地繼續前進，看看我們能走多遠。
另外一個問題是，那時我們概念框架中真正缺失的是對世界複雜性的低估。世界是一個高維的地方，信息量驚人。
以視覺為例，你有一個百萬像素的相機，而你的視網膜有1億像素，這是極為豐富的信息。信息以火箭噴射的速度湧入。如果你降低維度，就會丟失信息。你無法壓縮它，它是不可逆的。符號的美妙之處在於，你可以將一個複雜的物體的單詞壓縮成一個符號。比如，杯子是一個符號，你可以寫下這個小小的符號，它代表的不僅僅是這個杯子，而是所有杯子。這非常強大。但問題是，如果你要識別一個杯子的圖像，這並沒有幫助，因為杯子有各種形狀和尺寸。你可以從不同角度看到它們。這是高維問題。世界是高維的。
直到我們能將網絡擴展到擁有數萬億個參數的規模，我們才能開始將世界的複雜性融入網絡中，使其能識別物體、識別語音，現在甚至是自然語言。它不僅能夠識別，還能夠生成。就像一個循環。
這真的令人興奮和有趣。記得我剛才談到的相變嗎？我們從一個狀態轉變到另一個狀態。你從液體變為蒸汽，或者你將高溫下未磁化的鐵降溫，它會變成磁鐵。
網絡在不斷變大的過程中也存在相變。換句話說，在某個點之前，你無法在物體識別和圖像上取得多大進展，性能非常差。但一旦網絡達到一定規模，隨著它的變大，性能會越來越好。
解決語言問題也經曆了另一個相變，需要更大的網絡，依此類推。我們正在發現的是，隨著網絡變得越來越大，它們能夠做更加複雜的事情，並且表現得越來越聰明。這又是一個意料之外的發現，你需要一定的複雜度。
這就是我們取得巨大進步的原因：我們能擴展計算能力。現在人們正構建專用硬件，以進一步擴展規模。它會不斷發展。這隻是個開始。
就像萊特兄弟，他們是最早進行人類飛行的人。當時有一個類比，人們認為如果你想造飛機，從觀察鳥類是學不到任何東西的，因為它們的翅膀不同。大衛•麥卡洛（David
McCullough）寫了一本萊特兄弟的傳記，非常精彩。他們花了很多時間觀察鳥，不是觀察鳥拍打翅膀的時候，而是它們滑翔的時候。
自然是解決複雜問題的無窮思想源泉。我們隻需要成為一個善於觀察的人，看到並理解透過細節看到的自然所使用的原則。那時的我、傑弗裏和其他人都試圖在全新的大規模的架構中看到這一點。
現在我們退後一步，談談計算機。直到最近，唯一的選擇是馮·諾依曼體係結構（也稱普林斯頓結構，是一種將程序指令存儲器和數據存儲器合並在一起的存儲器結構），其中有一個處理器、一個內存和一堆編程指令。這種架構強大，因為你可以通過這種方式解決複雜問題，進行算術運算，處理大量數據，並進行排序和搜索。毫無疑問，我們取得了巨大的進步，因為這些計算機使我們能模擬其他架構。
然而，並行架構如果使用程序是非常難組織的。現在的超級計算機都是並行的，擁有數十萬個核心，協調所有這些核心非常困難。我剛剛訪問過德克薩斯州的一個超級計算機中心，他們說困難在於光速並非無限。光速大約是每納秒1英尺。當然，納秒是千兆赫茲。因此，核心之間的電線變得至關重要。
自然界也麵臨同樣的問題。神經元之間存在時間延遲，而自然界已經解決了這個問題。這正是我目前正在研究的問題：自然是如何解決這個問題的？當我們構建大規模並行架構並繼續擴大規模時，我們能否考慮這一點。從自然界中，我們還有很多東西要學。
騰訊新聞：我看到一本書中記錄，你曾經當麵質問明斯基：“你是魔鬼嗎？”（Are you the
devil?）你真的對他說過那句話嗎？
謝諾夫斯基：他是個非常聰明的人，聰明的人也會犯錯誤。我不怪他。
當他做出決定朝某個方向發展時，那是當時可行的選擇，他盡力而為。但是，不幸的是，很多神經網絡領域的人因為他的書（《感知器》），還有他的影響力……你知道，他在籌集資金方麵非常有權勢，他是麻省理工學院人工智能實驗室的負責人，也是該實驗室的創始人。他的學生都去了斯坦福大學、卡內基梅隆大學等知名大學找到了很好的工作。因此，他圍繞自己對人工智能的願景創建了一個完整的領域。
我參加了那次50周年紀念會。對我來說很明顯的現象是，每個取得進展的人之所以取得進展，不是因為老式的編寫程序，而是因為他們利用了大型數據集，無論是在視覺還是語言方麵。比如，解析句子。
明斯基的一名學生說他無法使用符號處理進行解析，但當他擁有了一個大規模的解析句子語料庫後，他就能夠分析單詞的統計數據，以及出現在成對和成組的常用單詞。沒想到，明斯基站起來說：“你真丟人。你失敗了，因為你在做應用程序。你不是在研究通用人工智能（AGI）。”
我當時坐在聽眾席上。我認為他心胸狹窄，我為他的學生感到遺憾。這家夥，我願意說他是一個先驅，但他在阻礙我們前進。所有學生都想往前走，我們正致力於這些應用，這是一個很好的方式，因為你能理解這些問題的複雜性。
我很憤怒。最後每個人，包括明斯基，發表了一個關於他們對會議看法的簡短演講。有觀眾提問環節。
我舉手發問。
我當著眾人的麵問道：“明斯基博士，有一些神經網絡界的人認為你是魔鬼，因為你阻礙了幾十年的進展。你是魔鬼嗎？”
我不得不說，我通常不是那樣的人。我是相當溫和的人，我不經常像那樣直接麵對某個人，但我真的覺得他必須被揭露出來。我生氣並不是因為他說了什麽，而是他對待學生的方式。你的學生就像你的家人。而這正是他所做的，虐待他的學生。我不喜歡那樣。無論原因如何，我問了他這個問題：“你是魔鬼嗎？”
他明顯感到不悅。我就像突然間按動了他的按鈕，他滔滔不絕地說起各種事情，一直不停地說。
最後我製止了他。我說：“明斯基，我問了你一個是或否的問題。你是魔鬼還是不是？”（I asked you a yes/ no
question. Are you or are you not the devil?）
他結結巴巴地說了一些廢話，然後停下來。他說：“是的，我是魔鬼。”（語氣激動，突然咆哮著說：Yes, I'm the
devil.）
我不得不說，這對他不公平，但事實是他就是魔鬼。
觀眾對這場對決感到震驚。有幾個人事後找到我向我表達感謝，他們說這是每個人都在想的事，對他的行為感到悲傷。
但不管怎樣，這些都已經是曆史了。
總之，這不是他一個人的問題。整個領域都圍繞著一個不起作用的範式被禁錮了。整個領域經曆了興衰起伏，但這反映出它在取得進展。有時候取得了一點進展，看起來很有希望，於是就出現一個興盛；當你意識到它實際上沒有解決所有問題，就會有一個衰退。
順便說一下，這對於所有科學和工程領域都是真實存在的，是不斷重複的過程。沒有例外。在短暫的時期內，你通過一個新理論或新範式取得進展，看看能達到什麽程度。當達到極限時，你必須等待下一個突破。這是自然的。每個科學領域都一遍又一遍地經曆同樣的過程。那是事物的本質。
03 談ChatGPT和大模型--它不是人類，是外星人
騰訊新聞：今天AI的爆發，是否超出了你最樂觀的預期？以ChatGPT為代表的大語言模型的出現，是否帶來了深度學習的新範式？
謝諾夫斯基：是的，絕對是在許多關鍵方麵。你已經提到了其中一個關鍵點，那就是大多數神經網絡都不是生成型的，它們隻是單純的前饋分類網絡。唯一的例外是生成對抗網絡（GAN），它在生成能力方麵非常有趣，比如給它一些麵部圖像，它可以生成新的麵部圖像。這就是一個生成型網絡的例子，但它是由兩個網絡組成的。一個網絡用於生成，另一個網絡用於選擇，即判斷生成的圖像是真實的還是生成的。它們之間就像是兩個網絡的對抗，在生成和判斷方麵變得越來越好。
現在，我認為這些生成模型的真正突破在於它們使用了自我監督，而不是標記數據。處理對象時，你需要給數據打標簽，這就是有監督學習，但這樣做非常耗費資源，因為你需要人工進行標注，以獲得準確的數據。而通過自我監督，你可以直接使用數據本身，它實際上是一種無監督學習，因為沒有任何標簽。美妙之處在於，你隻需要訓練它預測下一個單詞或句子。因此，你可以給它提供來自各個領域的句子，這就提供了更多訓練數據。如果訓練數據是無窮的，就不再有約束了。
以前是，隨著網絡越來越大，你需要更多數據。而這限製了網絡的規模。如果你有一個小數據集，你隻能使用小型網絡。但現在沒有限製了，人們可以不斷擴大網絡規模，我們將看到它能走多遠。
這真的改變了一切，開始出現一些意想不到的事，我從未預料到。
讓我驚訝的是，它們能用英語對話。我知道它們也可以用其他語言，但你知道，它們所說的英語是完美的。它們不會像大多數人一樣犯語法錯誤。當我說話時，我會犯各種各樣的語法錯誤。我們都會犯，因為我們不完美。但它們怎麽能在語法上做得那麽好呢？沒有人真正知道。這是一個深奧的謎題。
這也是對諾姆·喬姆斯基（Noam
Chomsky，美國語言學家、哲學家，被譽為現代語言學之父）的反例，他聲稱你唯一能創造出使用語法機器的方法是使用他的理論。是的，他是語法天才，但這從未奏效過。計算語言學的整個領域都嚐試過，但沒有成功。他的理論行不通。
騰訊新聞：ChatGPT為什麽這麽聰明？
謝諾夫斯基：我告訴你吧，這個問題引發了一場很大的爭議，非常大。知識分子們喜歡互相爭論，而當前的大辯題就是這個，它激起了各種觀點之間的差異。
一部分認為這些大型語言模型並不理解它們所說的內容。它們不像我們一樣能理解，也不具備智能。這些人會使用侮辱性的詞匯，比如說它們是隨機的鸚鵡（stochastic
parrots）——事實上，鸚鵡很聰明，將它們與鸚鵡比較，這是對它們的讚揚。
另一部分人認為，哦天哪，它們不僅僅是聰明，而是比我更聰明，因為它們知道的東西太多了。它們擁有我所沒有的知識基礎。
還有人認為，它們不僅聰明，而且有感知能力。也就是說，它們可以像人類一樣思考，擁有人類的心智。這是兩個極端，中間有各種觀點。
這是非常罕見的情況。一個突然出現在我們麵前的東西，我們對它絲毫摸不著頭腦，就像外星人突然從地球外的某個地方出現，並開始用英語和我們交談一樣。
你明白我的意思嗎？這就是現在正在發生的。唯一我們絕對確定的是，它不是人類，而是外星人。那它到底是什麽？我們創造了某種看起來具備智能特征的東西，它確實了解很多事，但它也存在一些問題。
首先，它會編造事情。他們稱之為幻覺。有時它給出一些看似合理的事物，但實際上它們是虛構的。
另一個問題是，由於它展現了如此多不同的觀點，包括你不同意的人的觀點，它有時會說一些冒犯你的話。人類也會說一些冒犯我的話，對吧？哦，也許這是在模仿我們。
我有一篇論文提出了鏡像假設，它是在模仿我們，就像人類在與ChatGPT交談時，不僅僅是問它一個問題，而是以一種參與的方式進行交流。比如，《紐約時報》的凱文·魯斯（Kevin
Roose）和ChatGPT進行了兩個小時交談，這令人震驚。這種互動對他來說是情感上的，因為它實際在模仿他，以某種方式反映出自己的需求、思維和腦海中的東西。
你不能責怪GPT-3，它們沒有父母，沒有人幫它們經曆強化學習的過程。這個過程是大腦中負責強化學習的部分，位於皮層以下，被稱為基底神經節。這是大腦學習行動序列以達到目標的部分。而這一部分需要來自世界的反饋，了解什麽是好的，什麽是壞的。這種強化學習係統是Alphago程序的核心部分之一。
Alphago有兩部分。它有一個深度學習網絡，用於棋盤和位置的模式識別，還有一個強化學習引擎，為所有位置分配價值。所以它們是需要這兩個方麵的。而這些大型語言模型則沒有價值函數，這是其中缺失的一部分。
實際上，這是其中一個特點，我們可以觀察大腦，思考大腦是如何克服這些問題的。大腦擁有這個龐大的基底神經節。而且，這對於通過實踐學習如何做事情也很重要，比如演奏小提琴或運動。我們出生時並不具備協調能力。嬰兒需要很長時間來學習，他們將東西放入嘴巴，敲擊東西，但最終他們能站起來走路，抓住物品，並四處奔跑和做事情。但要在某項運動上表現出色，需要專門的練習，你必須玩很多次，越玩越好。
這是大腦中絕對必要的一部分，而這些大型語言模型卻缺失了這一點。真是可憐。
04 談AI威脅論--我和辛頓是AI界的萊特兄弟
騰訊新聞：一些人現在感覺害怕，他們認為我們可能創造了一個怪物。包括辛頓看上去也有些擔憂。你如何看待辛頓決定辭去Google的職務？他甚至對自己一生在AI方麵的工作表示了一些遺憾。
謝諾夫斯基：我非常了解傑弗裏。我們就這個問題進行了很多討論。重要的是我們要考慮最壞的情況。
當新技術突然被發現、創造出來時，它可以被用於好的和壞的方麵，會有人將其用於社會的善意，也會有人將其用於不良目的。最壞的情況是什麽？如果壞人使用它，他們能對我們的文明造成真正的傷害嗎？我們需要認真考慮這點。如果我們不這樣做，我們將陷入麻煩之中。
預防最壞情況的方法首先是理解可能發生的情況。但我們還沒有達到那個階段。我們真的不知道它會走向何方。沒有人知道。因此，我們必須謹慎行事。
傑弗裏是在謹慎行事，他說，讓我們等一等，好嗎？
現在是這樣，你不能不加以管製，就像對待其他所有事物一樣，生活的各個方麵、每一項技術都受到管製。例如，你在超市購買食品，你如何確保通過購買食物不會被毒害？我們有食品和藥品管理局（FDA），他們會檢測食物，確保對你沒有害處。規章製度不斷演變，就像食品不斷演變一樣，所以你必須不斷地進行測試。
騰訊新聞：那麽我們應該做些什麽？
謝諾夫斯基：現在很多人都在認真思考這個問題。我是NIPS基金會主席，這個會議在我負責的過去30年裏，從最初隻有幾百人參加，每年都以驚人速度擴大，如今已形成一個龐大的社區。社區會清楚地知道存在的問題、不足之處、公平性問題、可靠性問題和潛在威脅。
最終它們必須受到監管。但問題是，如何在不抑製研究的情況下進行監管？如果一群人希望暫停，認為我們應該限製網絡規模，讓任何網絡都不能超過某個規定的大小，例如擁有一萬億個參數的GPT-4，這是荒謬的。你限製的應該是能力，而不是大小，就像限製說沒有人應該比6英尺更高一樣，是荒謬的。我們必須製定合理的規則，允許受控的增長，並在過程中進行測試，以了解是否有新問題出現。
實際上，問題之一是我們不知道AI的潛力有多大。這是我們沒有預先設定的事物，例如計算機編程的能力或寫詩的能力。因此，我們有很多工作要做，必須進行測試和批準。在我們讓它們在社會中自由運行之前，應該有一些批準流程。
總之，我不擔心。我很高興傑弗裏有所擔心，因為至少有人在擔心。他非常聰明，他會找出我們是否有需要擔心的事。但我真的認為我們還處於剛剛起步的階段。
我們就是AI的萊特兄弟。我們剛剛起飛，不知道如何控製這架飛機，我們需要弄清楚如何控製它。這將是未來10年的方向。
騰訊新聞：為什麽你和辛頓關於AI威脅問題上持有不同觀點？
謝諾夫斯基：我不否認它們的危險性，顯然存在著危險。問題隻是我們該怎麽應對呢？
極端觀點是直接關閉它。哦，我們不想要它了，把它放回盒子裏。它太危險，我們就不做了。
在上個世紀，物理學家們創造了威力巨大的原子彈，可以摧毀城市。我們有成千上萬個可以摧毀城市的氫彈。你必須對其監管。於是，擁有核彈的國家之間達成了一項協議，我們要確保對正在進行的研究監管，以確保沒有人會開發出某種能摧毀整個世界的新型超級炸彈，並且在超過一定程度前，我們將相互協商。換句話說，人類有辦法對事物進行調控。
看看互聯網，你可以想象，如果互聯網剛出現，有人說，嘿，這裏潛在的問題是每個人都會發布可怕的東西，會造成虛假新聞或各種混亂，我們就停止吧。
沒有人這樣說。想想如果他們決定停止，不讓互聯網發展，我們還能享受到多少好處？我生活中有太多依賴於互聯網的東西了。
05 談AI的情感與終點--一切都將在你的有生之年發生轉變
騰訊新聞：目前，深度學習模型需要大量的數據才能獲得良好的性能。你認為我們如何才能減少對大數據集的依賴以實現更高效的學習？
謝諾夫斯基：我認為這個問題很重要。
大型語言模型是巨大的，因為有大量數據存在。但現在有很多人正在構建針對小數據集的較小模型。因此，可能會有一些小型語言模型，但重點是會有很多特定目的的模型存在。每家公司都會擁有自己特定目的的模型，用於處理自己的數據集，而無需依賴雲端，也不需要其他人監聽。現在很多公司禁止在公司使用GPT，畢竟不想泄露商業機密。
因此，這意味著最終這些模型可能不會很小，但關鍵是現在構建一個模型非常昂貴，需要耗費數百萬美元的成本和數月的時間，以及大量的計算資源。但在未來，計算機的價格將會越來越便宜，所以人們可以建立自己的模型。
在未來的10年內，每家公司都將建立自己的模型。這是一個預測。
騰訊新聞：ChatGPT有感情嗎？
謝諾夫斯基：嗯，它具備替代情感。它閱讀了各種人們表達情感的小說，可以模擬情感。它知道情感是什麽，它理解情感。我認為它可以在你與它互動時在你身上引發情感。這就是我所說的鏡像假設，它會捕捉你的情感。如果你生氣了，它會察覺到並反映給你。
它沒有內在情感。但是，我們對大腦中的情感了解很多，就像我們能通過在基底節放入修複GPT學習序列等方式一樣，我們也可以加入情感。將情感加入其中會比加入語言更容易。
順便說一句，大腦中還有很多被這些大型語言模型忽略的部分，比如長期記憶。你明天是否記得我們的討論？GPT-3並不記得，GPT-4也不會從一天到另一天記憶連續。
我們知道負責這一功能的大腦區域稱為海馬體。那麽為什麽不模擬海馬體呢？這樣就能獲得長期記憶。
大腦中還有幾十個被這些大型語言模型忽略的部分，幾乎可以肯定它們會在未來10年內被加入進來。隨著加入更多這些大腦部分，我們實際上有100個大腦部分專門負責各種亞皮質功能，而現在我們隻有皮質部分。它實際上是一個簡化版的人類，就好像我們隻有非常高層次的部分，而沒有低層次的感覺運動功能，它沒有任何感知器官，也沒有任何運動輸出。但這是可以實現的。我們有機器人，我們可以給它一個身體，給它攝像頭。而且，這一切都在進行中。我有朋友在從事這方麵的工作。所以，這隻是更多努力和時間的問題。
騰訊新聞：什麽是深度學習永遠無法做到的？
謝諾夫斯基：這是一個無法知曉的問題。沒有人能夠證明一件無法完成的事情，原因在於它還在不斷演進。即使現在它做不到，也並不意味著下一代不能做到。
就像我說的，這是一個規模的問題。每一次規模的增加都帶來了新的能力。所以現在，如果有人確切地告訴你，它不能實現通用人工智能，那麽請等待明天。這是不斷變化的。
這一直是人工智能領域的問題，每當你取得一些成就時，人們會說，哦，現在隻是模式識別，不是真正的智能。但在某個時刻，你會到達一個程度。
拜托，它將會創造，將會添加所有的能力，將會擁有大腦的所有這些部分，以至於它會擁有我們所謂的通用人工智能。雖然現在還沒有，但沒有任何規則或法律可以阻止它的實現。
騰訊新聞：人類隻是智能演進的一個過渡階段嗎？
謝諾夫斯基：哦，奇點，人們談論這個，但是現在還為時過早。
這可能是一種情景，但未來總是比任何人想象得更有趣。我從來沒有想象過互聯網對世界的影響，也無法想象這些大型語言模型將對世界產生的影響。現在為時過早。
我並不是說我們要盲目前進。我們必須謹慎，必須進行監管。如果我們不自己做，政府會替我們做。
我們正在進入人類曆史上全新的時代。我們站在這個門檻前，正在穿過這扇門，以後再也不會一樣了。永遠都不會。
這太驚人了。一切都將在你的有生之年發生轉變。