AGI 到底卡在哪裏?

本帖於 2025-01-13 17:44:44 時間, 由普通用戶 neillu 編輯

 

GPT能夠識別英語裏邊的每個詞。它采用空間詞義法。一個詞的意義,是由它在詞義空間裏的位置決定的。說的白一點,經常出現在一起的兩個詞,比如毛澤東與中國,紫檀與50萬等等,放在一起,他們詞義空間裏邊的距離近。不經常出現在一起的兩個詞,比如毛澤東與法國巴黎,牛頓與杜甫等等,他們在詞義空間的距離就非常遠。通過AI機器學習,英語的每一個詞都在英語的詞義空間裏占有一席之地。所以當GPT使用者輸入一個單詞,或者一個句子時,GPT可以接龍,依靠輸入這個詞的詞義空間,找到距離自己最近的那個詞,那個詞就是它的接龍的下一個詞。如此循環往複,直到一篇文章完成(具體的比較複雜,這裏嚴重簡化)。

 

從中可以看出,GPT 本身是完全不了解,不懂每一個詞的意思的。一篇文章的每個句子,每個段落裏的那些詞,之所以組合在一起,完全是依靠詞義空間來決定的。值得注意的是,GPT 也不清楚不了解不懂它寫出文章的每句話每個段落之間的語法。

 

 

一句話,現在GPT 生成出來的東西,看似非常精準,非常的人話,非常的語法,內容非常的可信服,但其實它完全不知道自己在說什麽。道理很簡單,因為它生成這些東西的唯一的依據是詞義空間。

 

 

 

這導致了GPT生成的答案,每次都可能不一樣。

 

很顯然,AGI 僅僅依靠詞義空間是不夠的。GPT生成的東西,必須要有邏輯,而且這種邏輯還必須是可控的。

 

一個很顯然的結論是,現在AI,比如GPT除了詞義空間的算法,必須也要“邏輯空間”的算法。兩者缺一不可。

 

"邏輯空間"算法如何搞,現在沒有定論。

 

山姆奧特曼這些蔑視數學,蔑視物理等等AI 紅脖子門(絕大部分的西洋人都屬於這類),他們推崇簡單粗暴的算力。他們想如法炮製”詞義空間“,通過機器學習,通過大量的文本訓練,找出每個民族,每個學科等等的“邏輯空間”。

 

華人喜歡數學,喜歡物理,喜歡硬核。他們覺得詞義空間走暴力運算行得通。但是,“邏輯空間”不太可能通過簡單的GPU 堆疊就能實現。他們更加傾向於,每一個學科,每一個專業,每一個行業,組織大量的專家學者研究生本科生,人工標誌高水平的本學科,本行業的”邏輯空間“。

 

 

詞義空間法不是新東西。50年代的語言學家其實就做過這些事。比如他們通過分析一個民族語言裏的,比如水稻的詞義空間數量的大小多寡,能得出一個民族是水稻民族,還事畜牧民族。語言學家,社會學家,民族學家等等一直這麽做,一直證明行得通。隻不過以前的GPU 算力不行,沒人敢想到窮盡一個語言的全部詞匯建立詞義空間的地步。

 

邏輯空間算法以前也有人做。最著名的就是喬姆斯基的生成語法。事實證明,喬姆斯基的萬能語法,生成語法等等是失敗的。邏輯空間算法的突破,不是那麽容易的。

 

 

 

 

 

 

所有跟帖: 

AGI到底是什麽意思? -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:05:42

Artificial general intelligence -neillu- 給 neillu 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:08:26

知識靠學習,電腦的特長。I靠思維/model,電腦可不會自己model,所以,不會有什麽AGI -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:10:41

AGI 其實是有標準的,它就是圖靈機。換句話說,隻要能糊弄得了人類 -neillu- 給 neillu 發送悄悄話 (192 bytes) () 01/13/2025 postreply 17:35:08

【它對它生成的每一個單詞的實際意義都一無所知】,你覺得能出Intelligence麽? -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:37:04

我還以為你懂的。反正我是不懂。 -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:12:03

adjusted gross income!馬上就要報稅了! -寶馬奔馳- 給 寶馬奔馳 發送悄悄話 (167 bytes) () 01/13/2025 postreply 18:21:04

Hinton 說邏輯就是大矢量。 -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:10:47

最新的LLM基本上窮盡了所有能找到的英文學習材料,還能從哪裏學? -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:12:15

你天天說AGI不可能,但是niche特殊領域的AI就可以。這二者何區別?一通為何不能百通?AGI定義為何? -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:15:52

特定領域人類可以model,可以model的都可以(規則已知)。AGI我的理解是跨領域通用智慧,基本上不可能實現, -我是誰的誰- 給 我是誰的誰 發送悄悄話 (55 bytes) () 01/13/2025 postreply 17:18:17

跨領域,好吧。一百個領域疊加,不行就一萬個。最終不就是跨領域? -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:20:35

not at all. 多個毫無關係的信號疊加產生噪聲,而不是智能 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:21:55

這裏就有barrier,我不明白。如果它是一萬個方麵的專家,方方麵麵它都很能了,為啥它就是被你說不行? -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:27:17

別說一萬個,你把一百個不同領域的專家關進一個屋子,看看他們能不能對任何一件事達成統一意見?肚子餓了要吃飯除外 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:32:25

為何要達成一致意見?你刷題和寫詩,用的是腦子二塊區域。寫個詩,為何要求全腦共識? -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:38:55

人腦有I,可以自己決定。電腦隻有知識,到時怎麽決定哪一塊說了算?要能決定哪一塊說了算,就必須先有model,蛋跟雞 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:42:58

好吧,繼續沿著你的全腦想法走。一萬個單位都去寫詩,最後以結果選最佳詩句。有何不同,為啥不可?當然最後肯定是那個寫詩的單元 -oryzivore- 給 oryzivore 發送悄悄話 (15 bytes) () 01/13/2025 postreply 17:51:22

i'm at my wits end. 你去把LLM的結構和培訓過程過一遍先。。。 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:56:00

Alpha Fold 能產生新知識(結構),為何絕對否認AI最終產生智能的可能性。這些,你不能一句帶過啊。能解釋清楚嗎 -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:18:48

我說過很多遍。智能來自於自我意識,就是存在(being)。電腦沒有自我意識,因為人類model不出來 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:20:05

什麽是智能?如何定義? -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:24:18

探索性、創造性、能將表麵上看似毫不相關的東西聯係起來、對未知世界的好奇心、能handle從未見過的東西/局麵,等等等等 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:27:41

這。。。世上99%的人,都沒有 -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:41:17

所以人類曆史一直是99%的人活著、1%的人改變世界 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:44:26

沿著你的思路,我看到了一個99%人類被取代,1%精英人類管理的美麗新世界。。。 -oryzivore- 給 oryzivore 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:56:30

樓主有點走火入魔的感覺。你不僅要從NLP理解GPT更要從DL,transformer理解為什麽GPT不僅有依靠詞義空間world -青裁- 給 青裁 發送悄悄話 (415 bytes) () 01/13/2025 postreply 17:11:00

transformer和GPU都是工程東西,提高學習效率(並行處理)而已 -我是誰的誰- 給 我是誰的誰 發送悄悄話 (0 bytes) () 01/13/2025 postreply 17:14:53

請您先登陸,再發跟帖!