2017年6月，穀歌的8位AI研究員發表了一篇名為《Attention Is All You Need》的論文，提出了Transformer架構。
Transformer就是ChatGPT裏的“T”，大公司的大模型、各種各樣的AI Agent、自動駕駛的算法、幾乎所有人工智能的創造，底座都是Transformer。
不誇張地說，Transformer誕生的那一刻，人工智能的曆史進程驟然加速。
然而，這篇開山之作發表時，論文的8位作者、他們供職的穀歌、全球高科技公司都遠遠低估了Transformer的革命性。對它最準確的評價來自《連線》雜誌[1]：一個不是秘密的秘密武器。
當時，社會公眾對人工智能的想象還集中在下圍棋的AlphaGo。論文發表一個月前，AlphaGo在烏鎮3:0橫掃圍棋選手柯潔，直觀塑造了社會公眾對AI的認知。
這似乎解釋了為什麽最不該低估Transformer的穀歌，會大大低估論文的重要性：
AlphaGo的發明者DeepMind在2014年被穀歌收購，擊敗柯潔同期，DeepMind發布新版AlphaGo Zero，以100:0吊打AlphaGo。另一個大項目AlphaFold（蛋白質折疊預測）也在緊鑼密鼓推進，創始人Demis Hassabis憑借該項目，拿到2024年諾貝爾化學獎。
而Transformer論文作者來自穀歌另一個AI研究部門Google Brain和Google Research團隊。在DeepMind看來，自己在倫敦解決複雜的科學難題，Google Brain在美國做翻譯軟件，高下立判。
穀歌管理層對Transformer也談不上重視。2018年，穀歌基於Transformer架構推出BERT模型，用來優化穀歌搜索，完全沒意識到人工智能的核武器握在自己手裏。
AlphaGo也迷惑了馬斯克，作為OpenAI的重要金主，馬斯克覺得他們進展太慢，完全打不過穀歌和DeepMind，提出將OpenAI並入特斯拉，自己親自掛帥指揮，被創始人Sam Altman拒絕。
隨後，馬斯克完全退出OpenAI，反手挖走了創始成員Andrej Karpathy，擔任特斯拉自動駕駛總監。
英偉達的遭遇更富戲劇性：2017年5月，英偉達推出了搭載Tensor Core（張量核心）的V100 GPU。黃仁勳大概率沒想到，這種設計可以說是為一個月後誕生的Transformer量身定製。
唯一對Transformer革命性有著清醒認知的是OpenAI，技術骨幹Ilya Sutskever認為，Transformer解決了之前種種技術方案力有未逮之處，堅決砍掉了很多看似有趣但毫無前景的研究，將所有資源集中在一個項目上：訓練GPT模型。
到了2022年，OpenAI已經開始訓練GPT-4模型，團隊希望在模型發布前開發一款聊天機器人，觀測人類對AI的反饋，指引後續研究，並由創始人Sam Altman在推特上發布：
我們做了一個叫ChatGPT的東西，大家來試試吧。
ChatGPT上線5天突破100萬用戶，兩個月突破1億，打破了TikTok創造的互聯網產品最快增長紀錄，一場新的工業革命拉開了大幕。
從2017年《Attention Is All You Need》發表到2022年ChatGPT發布，醞釀五年的風暴漸行漸近，世界在一聲驚雷中被永久改變。
直到今天，人類似乎都沒做好準備。
2012：最後一個冬天
人工智能的終極目標是讓機器擁有人類的各種能力，這就需要模擬人類的各種感知與認知能力。其中，計算機視覺（CV）和自然語言處理（NLP）是最核心的兩個研究領域。
2012年，多倫多大學教授傑夫·辛頓（Geoffrey Hinton）帶著兩個學生Ilya Sutskever和Alex Krizhevsky參加當年的ImageNet圖像識別比賽，以84%的準確率奪得冠軍，人工智能產業化開始爆發。
辛頓團隊主攻計算機視覺，采用了名叫卷積神經網絡（CNN）的算法。其運作原理是讓“卷積核”在圖片上滑動，提取輪廓、邊緣和紋理，配合並行計算，識別效率很高。
這其實是對人腦的一種模擬：大腦會不斷抽象瞳孔攝入的像素，因此人類不需要看到整體，根據一些特征就能判別物體。
比如下圖並未展示整隻鴨子，但絕大部分人都不會把它認成老鼠或其他生物：
CNN的高效率配合GPU的大算力，讓計算機視覺的產業化空間迅速打開，智慧停車、快遞分揀、人臉識別等應用迅速落地，資本投資熱情空前高漲。
辛頓教授憑借這一貢獻獲得2024年諾貝爾物理學獎；Alex Krizhevsky在穀歌幹了幾年，逐漸淡出產業界；Ilya Sutskever活躍至今，參與了OpenAI的創辦，是GPT係列模型的核心骨幹。
計算機視覺夜夜笙歌，隔壁的自然語言處理卻在苦苦掙紮。
原因在於，圖像是“連續”的，就像一套拚圖，每片拚圖之間都存在“關聯”，組合成完整圖像。同時，計算機視覺主要處理“感知”問題，無論是識別貓狗還是識別車牌，答案是客觀的。準確率不高，也可以通過人工彌補。
而語言是“離散”的，字詞之間的關聯是抽象的語法和邏輯，沒法像拚圖一樣“串聯”。換句話說，自然語言處理難就難在它的“自然”：它是日常生活中非結構化的口語，而非標準的財務指標或編程語言。
同時，語言識別更接近“認知”問題，不僅要識別文字和發音，還要弄懂其中含義。
當時，NLP領域的主流算法是循環神經網絡（RNN），一是需要一個字一個字按順序看，計算效率極低；二是一旦文本量太大，算法讀到後麵就會忘記前麵，這種現象被稱為“長距離依賴”。
這也是Siri等很多語音助手讓人覺得智商不高的原因：RNN無法真正理解長文本抽象的邏輯，高度依賴人工編寫規則。
比起計算機視覺的商業化前景，NLP顯然是投資機構的座上賓，跟當年的PPT造車比地位，也隻能說是險勝。
這也解釋了Transformer為何被業界集體低估：8位作者隻想拿它來優化翻譯效率，在BLEU（機器翻譯準確度測試）上刷刷榜。
如果翻看《Attention Is All You Need》論文原文，實驗部分展示的成果幾乎全是雙語翻譯的屠榜記錄，完全沒想過AGI的東西。
這也不難理解，鈾元素被發現後的150多年裏，沒有人把它和原子彈聯係起來。
2017：Attention
2016年AlphaGo戰勝李世石，嚇醒了全世界的科技公司。同期，穀歌內部正被翻譯產品折磨的死去活來。
當時，穀歌針對機器翻譯推出了GNMT（Google Neural Machine Translation）係統，基於業內主流的RNN（LSTM）方案，穀歌在GNMT中引入了一個名為“Attention（注意力）”的機製。
簡單來說，Attention的作用是解決RNN“讀到後麵忘記前麵”的問題：它可以讓算法識別長段落時，動態關注段落的不同部分，時不時看兩眼前麵的詞，為不同的詞分配不同的權重，讓翻譯變準確。
GNMT承襲了Attention的理論思想，並為每天數十億真實的翻譯任務做了大量工程優化。但RNN順序計算的特點，導致計算效率非常低。
Transformer誕生的動機是提高計算效率，作者之一的Jakob Uszkoreit提出，既然Attention這麽好，為什麽還要用RNN呢？這就是論文標題表達的含義：Attention Is All You Need。
基於這種思路，Transformer拋棄RNN，引入自注意力機製（Self-Attention）。簡單來說，一段文本中的每一個詞都會和其他詞瞅一眼，動態判斷每個詞的權重，決定重點關注哪個詞。
由於任意距離的兩個詞都可以互相關聯，“讀到後麵忘記前麵”的問題被解決，但這也讓算法無法識別詞的先後順序。因此，Transformer用位置編碼給每個詞打上坐標，還原原始語序。
同時，在Transformer的框架下，所有詞同時進入矩陣並行計算，配合多頭注意力（Multi-Head Attention，多個Attention模塊同時計算），特別適合GPU計算，效率指數級提高。
論文一經發布，立刻在自然語言處理領域引發轟動，帶動了2018年後產業界的創新浪潮。
2018年初，華盛頓大學發布了一個ELMo模型，研究人員先讓模型閱讀大量無標注文本，自己慢慢琢磨語言規律，再執行具體任務，效果不錯。這種思路被稱為“預訓練”。
ELMo證明了預訓練的思想行得通，讓算法對人工標注的依賴大幅降低，極大緩解了“有多少人工，就有多少智能”的問題。但ELMo沿用了RNN架構，計算效率很低。
2018年10月，穀歌基於Transformer和預訓練推出BERT模型，刷新了NLP領域主要基準測試的全部記錄。在斯坦福大學的SQuAD1.1測試中，BERT全麵超越人類表現。
有BERT的帶頭表率作用，Meta用更多數據訓練出了RoBERTa，微軟亞洲研究院搞出了MT-DNN，百度在2019年3月發布ERNIE（後來的文心一言），在中文任務上超過了BERT。
穀歌的管理層也意識到了BERT巨大的商業價值，2019年10月，穀歌宣布在英語搜索中全麵啟用BERT，第一時間賦能業務，配合自研TPU計算集群，一個人工智能產業帝國冉冉升起。
但後來發生的事情我們都知道：OpenAI穀歌發明的武器打垮了穀歌。
2018：力大磚飛
BERT誕生的原因之一，是穀歌與OpenAI的技術理念分歧。
Transformer問世後，第一個動手的其實是OpenAI。2018年6月，OpenAI發布了GPT-1模型。其中GPT指的是Generative Pre-trained Transformer。
這個隻有1.17億參數的模型，完整呈現了技術骨幹Ilya Sutskever的技術理念。
通俗來說，OpenAI的思路是“生成式”：給算法輸入足夠多的數據，讓它不斷預測下一個詞，算法就能在這個過程中理解事物的規律。
2023年的英偉達GTC，已經謝頂的Ilya Sutskever在與黃仁勳的對話中解釋過這種“智能就是壓縮”的概念：
表麵上看，算法隻是學習文本在統計學層麵的相關性，但這些文本實際上是這個世界的映射。算法為了預測的足夠準，就會學習這些文本背後真實世界的規律和機製。
2017年4月，Transformer誕生兩個月前，OpenAI在一篇論文[12]中公開了一項研究成果：
給算法投喂8200萬條亞馬遜評論組成的語料庫，讓算法預測一段文本中的下一個字符，算法內部自行生成了一個情感神經元（Sentiment Neuron），用來判斷評論是正麵還是負麵。
也就是說，OpenAI沒有告訴算法什麽是“正麵”和“負麵”，但算法為了預測下一個字符，自己進化出了判斷感情色彩的能力。
但這項研究當時並未得到足夠重視，產業界的主流觀點是，靠文字接龍遊戲搞AI屬於民科，正經的學者不會湊這個熱鬧。
與OpenAI對應，穀歌的思路是“判別式”：在BERT之父Jacob Devlin看來，GPT-1根據前文預測後文不符合人類的直覺，因為人類通過上下文來理解文本背後的抽象含義，AI也應該這麽做。
用不太嚴謹但通俗的類比，穀歌認為AI應該先學通識，再做幾萬套真題鍛煉；OpenAI認為真正的天才不需要老師，但當時的GPT-1參數量有限，算法難免滿嘴跑火車，被BERT在各項測試中打的頭破血流。
穀歌發布BERT的論文[13]中，Jacob Devlin點名批評了GPT-1的技術思路。認為GPT-1的思路與人類認知相悖，在特定任務中是“有害的（harmful）”。
順帶一提，Jacob Devlin的經曆也很有意思：ChatGPT上線後，為了快速追上OpenAI，穀歌內部用ChatGPT訓練自家模型，觸發了Jacob Devlin的技術潔癖。大哥一不做二不休，直接跳槽去了OpenAI，結果在新東家幹了三個月，又回到了穀歌[8]。
麵對BERT壓倒式的優勢，OpenAI認為自己的技術路線沒有問題，隻是模型參數不夠多，訓練算力不夠大。隻要用更強的算力訓練參數量更大的模型，就會產生質變，即湧現。
這種思路就是今天的產業界司空見慣的一個詞：Scaling Laws。
2020：舊金山的弗蘭肯斯坦
Scaling Laws是人工智能領域的摩爾定律，即參數量、數據量、計算資源越大，模型能力會對應提升。
Transformer之前的深度學習時代，很多學者就意識到了Scaling Law的存在，但第一個對其進行係統性闡釋的其實是百度。
2017年，百度矽穀AI實驗室在論文中展示了模型參數和算力大小對模型的促進作用。Anthropic創始人Dario Amodei後來也在播客中回憶，2014年自己和吳恩達在百度工作時，就察覺到了Scaling Laws的特征。
Dario Amodei沒在百度幹多久就去了OpenAI，結果和創始人Sam Altman反目成仇，隨後離職創辦了OpenAI的最大競爭對手Anthropic。
百度雖然“發現”了Scaling Laws，但未做更多工程探索。很長時間裏，產業界都將Scaling Laws的起點放在OpenAI的奠基性論文《Scaling Laws for Neural Language Models》上。
這篇著名的論文，為大名鼎鼎的GPT-3模型提供了關鍵的理論基礎。
2020年6月，OpenAI發布了GPT-3模型，架構和GPT-2大差不差（引入了稀疏注意力）。但拿了微軟10億美元投資後，財大氣粗的OpenAI把互聯網上的語料洗劫一空，模型參數量膨脹到1750億，是GPT-2的116倍。
模型發布同時，OpenAI借助測試申請，向特定人群開放了API接口，立刻引發小範圍轟動。
參與測試的人發現，GPT-3不僅能生成文本，也能寫文檔摘要、回答問題，甚至自己寫代碼。《衛報》就用GPT-3搓了一篇文章：
而對矽穀的大公司來說，GPT-3無疑是劃過總部上空的斯普特尼克1號。
OpenAI證明了Scaling Laws的可行性。決定模型性能的關鍵變成了算力和參數規模，技術路線的交鋒迅速被整齊劃一的算力恐慌取代。
微軟發現自己撿了大漏，自然樂開了花，一邊興高采烈宣布自己拿到了GPT-3的排他性授權，一邊用這個樣板工程給自家雲服務打廣告[21]。
另一個夢中笑醒的公司是英偉達。GPT-3原版論文中，OpenAI隻是含糊的提了一句，模型訓練用了“微軟的V100 GPU”。但微軟自己沒憋住，在通稿中[22]大吹特吹由一萬張V100 GPU構建的超算，實際上是在給英偉達打廣告。
至於其他公司，幾乎都在第一時間加入了競爭：
大受刺激的穀歌設計了一個名叫Switch Transformer的簡化稀疏架構，可以將模型參數擴展到1.6萬億。Meta也是急火攻心，指責OpenAI違背極客精神，做了個同為1750億參數的模型，但開源且“民主化（Democratizing）”。
作為微軟在雲計算的競爭對手，錯失OpenAI的亞馬遜投資了全球最大的開源AI社區Hugging Face。特斯拉一邊造車一邊掏出了D1芯片和Dojo超算。百度在2022年1月推出ERNIE 3.0 Titan，參數量飆升至2600億。
客觀來說，GPT-3不算完美，除了嚴重幻覺導致夢見啥說啥，AI也全盤吸收了人類所有的價值取向，時不時為種族歧視和恐怖主義大唱讚歌。加上GPT-3的測試範圍非常有限，並未被社會公眾廣泛關注。
但產業界振奮的是，技術迷霧被Scaling Laws的暴力工程吹散，大家紛紛拎起鏟子開挖護城河：
特斯拉忙裏偷閑進軍機器人，蘋果對著自動駕駛躍躍欲試，穀歌建設了壯觀的TPU算力集群，英偉達手握牢不可破的CUDA生態，百度為中國AI產業輸送了大量人才。
經曆一個又一個寒冬，人工智能的終極理想似乎隻差臨門一腳。套用丘吉爾的話說：“這不是結束，甚至不是結束的開始，可能隻是開始的結束。”
2022：風暴前夕
GPT-3發布後，Dario Amodei與創始人Sam Altman徹底分道揚鑣，從公司帶走了幾位研究員創辦了Anthropic。兩人的決裂，很大程度上源於微軟的投資。
對人工智能的擔憂幾乎與這門學科的曆史一樣長，作為研究副總裁，Dario Amodei認為如果隻給模型瘋狂堆參數，而不引入人類的道德和價值觀，無異於隨時會失控的核彈。
Sam Altman是公司的掌舵者，必須四處畫餅化緣，找人報銷龐大的算力開支，隻能在安全與商業化上找平衡區間。
科學所到之處，資本總是如影隨形。2019年，OpenAI窮的揭不開鍋，為了拿微軟的錢，OpenAI成立了一家有限盈利公司。同時，協議規定OpenAI必須使用微軟的雲服務[28]。
就像當年列寧和羅莎·盧森堡的論戰，Dario Amodei認為拿了微軟的錢，安全就必須屈從於商業化；Sam Altman的邏輯是，沒有微軟的錢，模型都做不出來，安全更是空談。
隨著GPT-3的發布，Dario Amodei擔憂的安全問題逐漸具體。
GPT-3是Scaling Laws的奇跡，也是個毫無是非觀念的機器。OpenAI在訓練過程中把互聯網上的語料洗劫一空，自然也沒放過暴力、色情和種族歧視內容。
為了解決這個問題，2022年1月，OpenAI發布了一個名為InstructGPT的模型。相比GPT-3，InstructGPT通過RLHF（人類反饋強化學習），大量剝離了色情暴力等有害內容，讓模型更貼近人類的價值觀，即所謂“對齊（AI Alignment）”。
RLHF聽上去高大上，但底子還是能工智人：為了不讓模型頻繁爆典，OpenAI讓一群人類當道德裁判，給模型輸出的內容打分排序。模型在人類監督下自我訓練，逐漸向人類的道德品格靠攏。
OpenAI把當裁判這個任務交給了一家名叫Sama的肯尼亞外包公司。矽穀精英侃侃而談的“對齊”，似乎也離不開古典的全球分工。
按照《時代周刊》的獨家報道[30]，2021年，OpenAI和Sama簽了20萬美元的合同，外包工人實發時薪為1.32美元到2美元，工作內容就是瀏覽大量極端內容，怎麽勁大怎麽來，標注完成後反饋給模型訓練。
雖然OpenAI承諾提供心理健康谘詢，但外包員工工作太充實，基本沒時間谘詢。2022年2月，OpenAI又要求Sama搜集“性和暴力圖像”[30]，後者認為甲方玩的有點大，導致雙方合作破裂。
但此時，OpenAI已經拿到足夠多的人類標注數據。綠色健康講文明的InstructGPT發布，為ChatGPT的誕生鋪平了道路。
Sam Altman的說法是，團隊正在開發的GPT-4過於強大，如果直接發布，人類社會接受不了。因此可以先做一個聊天機器人，看看公眾的反應，積累的數據也可以用於後續模型的改進。
《紐約時報》則提供了另一種說法[31]：OpenAI擔心競爭對手（可能是Anthropic）先於自己發布聊天機器人，因此提前動手，緊急啟動ChatGPT的開發。
無論如何，OpenAI內部沒有一個人預料到ChatGPT席卷的風暴，畢竟大家隻是把它視為用來測試的技術預覽產品。而外界眼中如魔法一般的生成能力，也是工程師們過去多年研究生涯的日常。
ChatGPT這個名字直到上線前一天才確定，代替原本的“Chat with GPT-3.5”。Ilya Sutskever在前一晚問了它十個刁鑽問題，隻有一半回答準確[35]。
就這樣，他們結束了一天的工作，隨手按下了人工智能的核按鈕。
尾聲
這場風暴由一篇標題不太正經的論文醞釀，在一個粗糙的套殼產品上爆發。時間線被一次次改寫的時候，那些正在創造曆史的人似乎毫不知情，甚至不知道自己身在現場。
這其實是科學史上的常態。我們今天感歎那些改變世界的璀璨群星，似乎他們的成功是因為看見了遠方的目標，然後一步步抵達了終點。但更真實的曆史是，他們隻是相信腳下的道路，然後一步步發現了遠方。
在那扇被打開的大門背後，曆史前進的信號清晰又具體，人工智能勾勒的福祉尚且遙遠，被甩下列車的焦慮和恐慌卻迅速蔓延。
人類離真正的通用人工智能從未如此接近，但學術層麵的理念分歧、技術領域的道德交鋒、資本市場的利益博弈，和以理念與道德為名的利益博弈似乎又在證明，在某些方麵，人工智能永遠替代不了人類。
總之，一段技術與夢想的冒險結束了，一個進步與失控的時代開始了。
參考資料：
[1] 8 Google Employees Invented Modern AI. Here's the Inside Story，Wired
[2] Sakana AI's CTO says he's 'absolutely sick' of transformers, the tech that powers every major AI model，venturebeat
[3] 專訪 | 穀歌神經網絡翻譯係統發布後，我們和Google Brain的工程師聊了聊，機器之心
[4] 專訪“AI教父”本吉奧：袒露恐懼與遺憾，指出可能更安全之路，騰訊科技
[5] 被忽略的起點？Karpathy揭秘最初的注意力論文被Transformer光芒掩蓋的故事，機器之心
[6] 全麵超越人類！Google稱霸SQuAD，BERT橫掃11大NLP測試，量子位
[7] 穀歌搜索近5年來最大變化，使用BERT算法改進10％搜索結果，新智元
[8] AI Boomerang: Google’s Internal Critic Returns From Rival OpenAI，The Information
[9] 黃仁勳與 Ilya Sutskever 的爐邊談話：看AI的現狀和未來，EETChina
[10] Improving Language Understanding by Generative Pre-Training，OpenAI
[11] OpenAI新研究發現無監督情感神經元：可直接調控生成文本的情感，機器之心
[12] Unsupervised Sentiment Neuron，OpenAI
[13] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，Google
[14] Scaling Laws for Neural Language Models，OpenAI
[15] The Microsoft-OpenAI Files，GeekWire
[16] Meet GPT-3. It Has Learned to Code (and Blog and Argue)，Cade Metz
[17] OpenAI’s new language generator GPT-3 is shockingly good—and completely mindless，MIT Technology Review
[18] A robot wrote this entire article. Are you scared yet, human，衛報
[19] With $1 Billion From Microsoft, an A.I. Lab Wants to Mimic the Brain，Cade Metz
[20] OpenAI has released the largest version yet of its fake-news-spewing AI，MIT Technology Review
[21] Microsoft teams up with OpenAI to exclusively license GPT-3 language model，微軟
[22] Microsoft announces new supercomputer, lays out vision for future AI work，微軟
[23] US-China tech war: Beijing-funded AI researchers surpass Google and OpenAI with new language model，南華早報
[24] 深度學習革命，Cade Metz
[25] My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks，Liam Porr
[26] Training language models to follow instructions with human feedback，OpenAI
[27] 馬斯克傳，Walter Isaacson
[28] Inside the white-hot centre of AI doomerism，金融時報
[29] OpenAI’s Top Researchers Defect to Start Rival Backed by Billionaire，The Information
[30] Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic，Time
[31] How ChatGPT Kicked Off an A.I. Arms Race，紐約時報
[32] Inside facebook's african sweatshop，Time
[33] PTSD, depression and anxiety: why former Facebook moderators in Kenya are taking legal action，衛報
[34] What OpenAI Really Wants，Wired
[35] Inside ChatGPT, AI assistants, and building at OpenAI， OpenAI
免責聲明：本內容來自騰訊平台創作者，不代表騰訊新聞或騰訊網的觀點和立場。
