提高認知才能開闊眼界

認人待物,不斷學習,提高商業和經濟方敏銳的洞察力
個人資料
正文

劇體,Richard Sutton;他擔心業界過於強調規模化 (scaling up),即用更多數據、更多參數和更多算力

(2025-10-09 12:26:29) 下一個

對當前以大規模數據擬合為主的深度學習模型,即當前的大模型,提出了深刻的質疑和擔憂:

  • 強調交互而非擬合: 他認為真正的智能應當是通過試錯規劃與環境的持續交互來學習的,就像人類和動物一樣。而當前的大模型更多是在做大規模的模式識別和數據擬合,缺乏這種主動的、基於目標的交互能力。

  • 預測是智能核心: 薩頓在其著名的論文《走向預測計算架構》中提出,預測是智能的基礎,智能體應該建立起對未來環境的預測模型,並以此驅動行動。這與大模型主要關注序列生成和內容輸出的範式有所不同。

  • 對規模化計算的擔憂: 他擔心業界過於強調規模化 (scaling up),即用更多數據、更多參數和更多算力來簡單地擴展現有模型,而不是在底層算法和原理上尋求根本性的突破。他認為僅靠規模化無法帶來真正的、類人的智能。

[ 打印 ]
評論
目前還沒有任何評論
登錄後才可評論.