Nvidia和Meta的AI理念是否衝突?何愷明怎麽看OpenAI的Scale Law,雙通道殘差神經網絡還有什麽缺陷?

本帖於 2024-08-21 21:29:37 時間, 由普通用戶 ScottGu 編輯

認為Nvidia明年出來的Blackwell係列能創造奇跡,實際上是基於OpenAI的Scale Law:大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的大小相關,而與模型的具體結構(層數/深度/寬度)基本無關。

何愷明是提出雙通道殘差神經網絡的主要研究者,怎麽看OpenAI的Scale Law,神經網絡的結構是否需要進一步改進?

一向對AI思想跟風很快的田淵棟說不讚成Scale Law,Yann Lecun怎麽認為?

要研究雙通道殘差神經網絡的缺陷,需要研究mirror neuron現象和自由意誌問題,需要追溯赫拉克利特的思想、建立新的科學邏輯,巴門尼德體係有問題。Universal Approximation Theorem(UAT)至少有兩個嚴重問題。

從事AI應用的巨頭實際上在紅海裏爭霸,這主要是零和遊戲。一家成功,會搶了其他廠商的生意。所以股市整體因AI狂漲,是自相矛盾的大泡沫。Meta的主要問題是內容的問題,缺乏有吸引力的內容,就無法從其他內容公司那裏搶生意。

AI生成的內容,會助長詭辯,淹沒真相,造成人類智力的熵趨勢。就是降低人的智力,使美國進一步喪失競爭力。智力的進化和退化,是智力科學的主要研究問題,生命科學無法研究。生命科學隻能研究演化。

 

 

 

 

請您先登陸,再發跟帖!