Google Research這篇新論文,可能會改寫AI的未來

的確現在模型的記憶力是有缺陷的，跟人類不一樣。。

這個新的方式，就接近人類了，為AI的自我學習開辟的道路，

發展下去就是自我進化，再發展下去AI有自我意識

https://arxiviq.substack.com/p/nested-learning-the-illusion-of-deep

 

這篇論文題為**《Nested Learning: The Illusion of Deep Learning Architectures》（嵌套學習：深度學習架構的幻覺）**，由 Google Research 的研究人員（如 Ali Behrouz 等）提出，並被 NeurIPS 2025 接收。

這篇文章提出了一個新的機器學習範式——嵌套學習 (Nested Learning, NL)，挑戰了傳統“深度學習”中關於“深度”的定義。

以下是該論文的要點總結：

 

1. 核心觀點：深度學習的“幻覺” (The Illusion)

 

• 層數不等於深度：論文認為，目前的“深度”神經網絡（通過堆疊層數）實際上並沒有帶來真正的“計算深度”或算法上的深度。增加層數往往隻是在“壓縮”上下文流 (Context Flow)，而沒有提升模型解決複雜嵌套優化問題的能力。

• 真正的深度是“嵌套”：真正的智能不僅僅是處理輸入到輸出的映射，而是包含多層級的學習過程（即“學習如何學習”）。

 

2. 嵌套學習範式 (Nested Learning Paradigm)

 

• 模型即優化問題的集合：NL 將一個機器學習模型視為一組嵌套的、多層級的優化問題。

  • 每個層級都有自己的“上下文流” (context flow) 和更新頻率。

  • 這類似於人類大腦：有的部分學習得很快（短期記憶），有的部分學習得很慢（長期記憶/鞏固）。

• 重新定義優化器：在 NL 框架下，優化器（如 SGD, Adam）不再僅僅是更新規則，而是被視為聯想記憶模塊 (Associative Memory Modules)。它們實際上是在嚐試基於過去的梯度信息來預測最佳更新方向。

 

3. 關鍵創新與貢獻

 

• 深度優化器 (Deep Optimizers)：

  • 既然優化器也是一種“學習模塊”，論文提出可以設計具有“深度記憶”和更強表達能力的優化器，而不僅僅是簡單的點積相似度（如傳統動量）。

  • 這使得模型能夠進行更高級的上下文學習。

• HOPE 模型 (Hierarchical Optimizing Processing Ensemble)：

  • 論文提出了一種名為 HOPE 的新架構（基於 "Self-Modifying Titans" 概念）。

  • 自修正能力：HOPE 能夠通過學習自己的更新算法來修改自身。它不僅僅是被動地被訓練，而是主動地調整自己的學習策略。

  • 連續體記憶係統 (Continuum Memory System)：模擬大腦的記憶鞏固過程，允許在不同時間尺度上更新記憶。

 

4. 解決的問題

 

• 災難性遺忘 (Catastrophic Forgetting)：通過多層級的嵌套優化（不同頻率的更新），模型可以在學習新任務時更好地保留舊知識。

• 長上下文推理 (Long-Context Reasoning)：嵌套結構允許模型更有效地處理和推理極長的上下文信息。

• 上下文學習 (In-Context Learning)：論文從數學上解釋了大型模型中上下文學習能力的湧現，是由於內部優化過程的結果。

總結

 

這篇論文試圖將神經網絡的架構設計與優化算法統一起來。它認為我們不應該把它們看作分離的兩個部分（網絡 vs 優化器），而應該看作一個統一的嵌套優化係統。這種視角為實現更接近人類智能的持續學習 (Continual Learning) 和自我進化 AI 指明了新方向。