學數學的,需要有大局觀。當今AI的大模型,核心是概率和統計,就是計算各種特征的概率分布,但數學家卻缺席這場盛宴。

回答: 立業爬陡坡(第一部分)(1)蔣聞銘2025-11-27 08:52:29

所有跟帖: 

說什麽呢?我係裏的華人同事,有一大半是做概率統計的。:) -蔣聞銘- 給 蔣聞銘 發送悄悄話 蔣聞銘 的博客首頁 (0 bytes) () 11/27/2025 postreply 14:33:46

統計學家隻知道用單個函數來逼近樣本空間,長期以來止步如此。是計算機科學家想到用深度嵌套的複合函數來逼近複雜的樣本空間。 -衡山老道- 給 衡山老道 發送悄悄話 衡山老道 的博客首頁 (0 bytes) () 11/27/2025 postreply 14:45:19

這個確實是一個創造。我想應該有不少數學家已經在從理論上研究這類逼近了。 -方外居士- 給 方外居士 發送悄悄話 (0 bytes) () 11/27/2025 postreply 15:00:35

介紹看家壇的一篇文章 -波粒子3- 給 波粒子3 發送悄悄話 (120 bytes) () 11/27/2025 postreply 19:56:40

這是用AI幫助證明一個問題。這裏的問題是AI的方法為什麽work -方外居士- 給 方外居士 發送悄悄話 (0 bytes) () 11/27/2025 postreply 20:18:33

AI與概率統計關係不大。做神經元的數學模型的有很多。 -蔣聞銘- 給 蔣聞銘 發送悄悄話 蔣聞銘 的博客首頁 (0 bytes) () 11/27/2025 postreply 14:47:10

說明你一點不懂當今的AI。 -衡山老道- 給 衡山老道 發送悄悄話 衡山老道 的博客首頁 (0 bytes) () 11/27/2025 postreply 14:52:06

也說明蔣老師不怎麽懂統計。我出國後拿的第二個學曆就是統計。 -新手庚- 給 新手庚 發送悄悄話 新手庚 的博客首頁 (0 bytes) () 11/27/2025 postreply 15:08:37

也許這反而成了他的一個優點,不會用AI去蒙人 :) -manyworlds- 給 manyworlds 發送悄悄話 (0 bytes) () 11/27/2025 postreply 21:41:47

AI本身所用的基礎數學工具或語言都是已經很成熟的數學理論。但目前為止其方法上卻更像是一種實驗科學。 -方外居士- 給 方外居士 發送悄悄話 (0 bytes) () 11/27/2025 postreply 14:40:43

是因為理論落後,導致科學家隻能嚐試不同的方法。 -衡山老道- 給 衡山老道 發送悄悄話 衡山老道 的博客首頁 (0 bytes) () 11/27/2025 postreply 14:42:45

這個說法有道理:即使是現在最流行的大語言模型,似乎也並沒有一個數學理論證明它一定行,或者在什麽條件下行,什麽條件下不行 -方外居士- 給 方外居士 發送悄悄話 (0 bytes) () 11/27/2025 postreply 14:48:55

無法證明,因為當今大模型的本質就是用神經網絡做統計,計算各種特征,包括隱形特征的概率分布。這種高度複雜的,大量的,深度嵌 -衡山老道- 給 衡山老道 發送悄悄話 衡山老道 的博客首頁 (402 bytes) () 11/27/2025 postreply 15:03:28

看看熱力學第二定律怎麽證明的,非常奇妙 -波粒子3- 給 波粒子3 發送悄悄話 (0 bytes) () 11/27/2025 postreply 15:08:39

計算機模仿神經元,模仿神經網絡,是AI的基本操作,與概率統計無關。:) -蔣聞銘- 給 蔣聞銘 發送悄悄話 蔣聞銘 的博客首頁 (0 bytes) () 11/27/2025 postreply 15:16:28

從in/out角度來看,AI用這種嵌套函數計算的是樣本空間(in)的一個概率分布函數(out) -方外居士- 給 方外居士 發送悄悄話 (0 bytes) () 11/27/2025 postreply 15:24:08

越說越玄,堆砌平常人聽不懂的詞句,是故弄玄虛,說了跟沒說一樣。 -蔣聞銘- 給 蔣聞銘 發送悄悄話 蔣聞銘 的博客首頁 (0 bytes) () 11/27/2025 postreply 15:19:36

看來你還是不懂。今天你們那過節,我就不多說了。不過你記住,任何需要數據采集分析的,必須有統計的參與。 -新手庚- 給 新手庚 發送悄悄話 新手庚 的博客首頁 (0 bytes) () 11/27/2025 postreply 16:29:43

+1,有數據就有統計 -manyworlds- 給 manyworlds 發送悄悄話 (0 bytes) () 11/27/2025 postreply 21:45:06

LLM的實質是自回歸預測,這決定了其幻覺不可避免。 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (0 bytes) () 11/27/2025 postreply 17:52:47

傳統機器學習有理論保證自己在iid條件下工作。LLM能超越iid,因為它是基於依賴上下文的自回歸模型。這點還是知道的。 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (0 bytes) () 11/27/2025 postreply 17:42:52

AI我不懂,好像跟概率統計連不上。 -蔣聞銘- 給 蔣聞銘 發送悄悄話 蔣聞銘 的博客首頁 (0 bytes) () 11/27/2025 postreply 18:41:25

唉,非要強到底。知道啥是回歸(分析)和回歸模型嗎?去查一下這是不是統計學的術語。:) -新手庚- 給 新手庚 發送悄悄話 新手庚 的博客首頁 (0 bytes) () 11/27/2025 postreply 20:03:33

LLM的巨大成功是有科學基礎的。LLM處理的基元是人類語言的詞,詞在認知學上就已經是智慧構建了,是知識的符號。再加上語義 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (105 bytes) () 11/27/2025 postreply 20:42:57

也因為LLM的原理如此,LLM不可能是AGI或強AI。它不可能有自我意識,我們生而俱有的空間感知和抽象能力。做認知心理學 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (66 bytes) () 11/27/2025 postreply 20:56:32

是你們學數理的太狹隘。AI本來就不是一門純數理科學,而是計算機科學,數學,認知心理學,腦科學,語言學的交叉。 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (0 bytes) () 11/27/2025 postreply 21:21:02

所以現在還停留在人工智障的程度。沒有邏輯學家的深度介入,AI好不了 -哪一枝杏花- 給 哪一枝杏花 發送悄悄話 (0 bytes) () 11/27/2025 postreply 17:04:22

人工智障。這個說得有趣。:) -蔣聞銘- 給 蔣聞銘 發送悄悄話 蔣聞銘 的博客首頁 (0 bytes) () 11/27/2025 postreply 17:15:47

阿爾法狗之前的AI主流還真是rule based邏輯推斷,投入巨大但進展很慢。近10年的AI主流方法論切換到了統計推斷, -十具- 給 十具 發送悄悄話 十具 的博客首頁 (36 bytes) () 11/27/2025 postreply 22:15:58

請您先登陸,再發跟帖!