1997年IBM的深藍用AI專家係統，擊敗了國際象棋大師Kasparov，在學界和大眾媒體裏引起了轟動。我當時一半基於對

我當時一半基於對decision tree方法論的局限性的認知，一半出於民族自尊心，不無自負地對學生們說，我們這輩子還看不到AI贏圍棋的。我7歲學會了圍棋的規則，喜歡玩，就為了攻擊的刺激，自然是臭棋了一輩子。唯一學到了的是，組合爆炸的厲害，如真想動腦子去下的話。

自不用說，20年後的阿爾法狗推翻了我的預言。我開始對深度學習的超大模型服氣。但我還是大大低估了大語言模型的威力和它研發的驚人速度。原因是我認為自然語言處理要比下圍棋又要複雜太多了，至少就決策優化目標而言。

自然語言的語義，常常要相鄰好幾個句子，幾十個單詞，才能決定。這裏對應的組合數比宇宙裏的原子數都多。GPT的大語言模型（LLM）的成功揭示了，人類語言除了句法和詞法，應該還有語義方麵的內在規則。這個規則還沒被人發掘出來，卻被GPT搶先發現和利用了。這個潛在語義規則應該是基於統計的，它讓LLM用的高階上下文空間極其稀疏，因而使得高階統計推斷在計算層麵上成為可能。

在漢語口語中，“眼睛進了沙子“和”沙子進了眼睛“是同一個意思。對rule-based 傳統AI，漢語語法的不嚴謹是一個頭疼的問題，但對LLM統計推斷模型不算困難。通過對大數據的觀察，GPT很容易學會漢語語法鬆弛的習俗，因為an eye dropping into the sand is an extremely improbable event。同理，GPT會輕鬆地filter out ”吃食堂“這種nonsense，得到正確的語義。

 

所有跟帖： 

• 我12年帶一個本科生搞圍棋AI，用Monte-Carlo tree search來確定下一步，因為搜索空間太大，效果不好 -衡山老道- ♂ (0 bytes) () 06/11/2023 postreply 22:03:52

• deep learning 的出現，其實也是一種偶然. -衡山老道- ♂ (0 bytes) () 06/11/2023 postreply 22:07:47

• 隻要Hinton堅持，which was true，GPU的發展是獨立於AI研究的必然過程，deep learning出 -十具- ♂ (36 bytes) () 06/11/2023 postreply 22:30:31

• GPU屬於圖像發展研究的需要和結果，有自己大數據運行計算展示高清圖像，也正好給AI的非虛擬同步運行創造了物質條件。 -明初- ♂ (0 bytes) () 06/12/2023 postreply 00:05:36

• 英偉達做顯卡的，為遊戲市場開發GPU。如我所說，GPU有自己的與AI，大數據無關的商業邏輯。但CNN用GPU是必然的，因 -十具- ♂ (126 bytes) () 06/12/2023 postreply 00:43:02

• 依市場經濟的邏輯，AI的成功是必然。為了娃們玩得開心，好賺他們的錢，GPU必然走到今天這一步。神經網絡早就有了，隻等東風 -十具- ♂ (0 bytes) () 06/12/2023 postreply 00:52:24

• 英偉達往消費電子使勁，不經意搞出了戰略性技術，沒花政府一分錢。有人懷念毛時代的爭氣牌，結果是一台收音機要一個月的工資還虧 -十具- ♂ (194 bytes) () 06/12/2023 postreply 18:47:06

• 不能說是偶然，那是硬件計算能力的提高及大數據不斷充實的必然需要和結果。之前缺乏計算能力及足夠數據，也隻能到那一步。 -明初- ♂ (0 bytes) () 06/12/2023 postreply 00:08:45

• 不僅僅是硬件的進步。AI方法論從傳統的基於邏輯推理，切換到基於統計推理，這個算法理念上的變革是同等重要的，if not -十具- ♂ (19 bytes) () 06/12/2023 postreply 01:08:03

• 神經網絡在上世紀80年代後期就基本死亡，隻有少數人堅持，一些人轉行搞應用了，正是應用才找到靈感。 -衡山老道- ♂ (0 bytes) () 06/12/2023 postreply 18:01:11

• 他們的第一篇論文，投到一個會議，結果被拒，審閱者一致認為毫無創新。：） -衡山老道- ♂ (0 bytes) () 06/12/2023 postreply 18:03:20

• 理論上不漂亮完備，沒有足夠強算力實效出不了。可是Hinton堅持下來了。我們隻能遺憾中國沒出這種灰姑娘。機會是公平的，我 -十具- ♂ (54 bytes) () 06/12/2023 postreply 18:20:12

• 你不要把自己的圍棋套路送入數據庫並成了大數據，即大數據庫的一部分，所謂的 AI 又能如何戰勝你呢？ -明初- ♂ (0 bytes) () 06/11/2023 postreply 23:54:53

• GPT已經有了一定的抽象能力。我出了兩個決策優化問題，本質一樣但應用領域分別是工程和金融，GPT看穿了紅塵，給出了同樣的 -十具- ♂ (260 bytes) () 06/12/2023 postreply 01:34:17

• 阿爾法狗靠自己下漲棋 -aluminiums- ♂ (0 bytes) () 06/12/2023 postreply 03:15:00

• AI開始靠棋譜，後來完全擺脫棋譜，從零開始，自己和自己下上百萬盤，不斷改進，直到天下無敵。 -半坰- ♂ (0 bytes) () 06/12/2023 postreply 14:02:08

• 能明確知道該如何提高完善自己的問題，就不算AI的難題。 -十具- ♂ (0 bytes) () 06/12/2023 postreply 17:35:02

• 它要不斷靠新的數據輸入才能自我改進完善。如果說聶衛平天下無敵並不斷把自己的套路輸入AI模型，那就同樣天下無敵了 -明初- ♂ (0 bytes) () 06/13/2023 postreply 11:28:47

• 美國六十年代研發的飛機設計係統應該是AI的雛形，著名的就是F-4該係統的第一個產品，故被稱為“鬼怪”。 -信筆由墨- ♂ (748 bytes) () 06/12/2023 postreply 13:30:46

• 你這個的性質是計算機模擬，不管問題有多複雜規模有多大。說AI的雛形，66年MIT的對話機器人ELIZA算一個。自然語言和 -十具- ♂ (86 bytes) () 06/12/2023 postreply 17:19:04

• 台灣人許峰雄, 深藍的創造者與主要設計者，獲美國計算機協會的葛麗斯·莫瑞·霍普獎。 -半坰- ♂ (0 bytes) () 06/12/2023 postreply 13:42:15

• 台灣人黃士傑，曾於2010奧林匹亞圍棋程序競賽獲冠軍，後加入DeepMind，是開發AlphaGo的一個主力。 -半坰- ♂ (0 bytes) () 06/12/2023 postreply 13:44:13

• 所以大概AI戰勝不了人腦的領域之一就是對應的場景排列組合數可以是無限的情況，或在有限的組合內引入參數使之無限。 -絕對匿名- ♂ (0 bytes) () 06/12/2023 postreply 19:45:36

• 就下棋而論，雖然最終腦力可能無法戰勝AI,但目前AI用於人腦深度增智的情況尚未出現，否則還會有一搏。 -絕對匿名- ♂ (0 bytes) () 06/12/2023 postreply 19:54:27

• 人腦就是個超級計算機，如能有效整合AI, 對比一個敵意的對手AI, 理論上可以是永遠具備upper hand的。 -絕對匿名- ♂ (0 bytes) () 06/12/2023 postreply 20:20:35

• 大概15年前，《科學美國人》有篇文章用了一個例子來代表，當時AI的前沿。MIT的一個係統，回答”給我一個幸福男人的圖片“ -十具- ♂ (219 bytes) () 06/13/2023 postreply 20:15:27