感覺寫得很好。可是我有一個問題

因為覺得寫得好，遂去翻看了係列第5篇。覺得兩篇有點矛盾。 

（here）： Transformer 本質上是“短記憶動物”。它的表示空間天生偏向保留局部模式，

VS

（第五篇：）它既不健忘，也不近視。

能不能再具體說說。這是因為在不同的要求下看問題嗎，一個目的是宏觀敘事，另一個要追問更多細節？

 

所有跟帖： 

• 哈 指出的很好 第五集主要想說在TRANSFORMER 同一段輸入裏，它不會像 RNN 那樣因為序列太長而丟掉前麵的信息 -挖礦- ♂ (98 bytes) () 11/26/2025 postreply 08:57:25

• 意思是說以前喂過的東西沒有記憶嗎？ -trivial- ♀ (164 bytes) () 11/26/2025 postreply 09:07:33

• 這個屬於訓練和推理的區別：AI訓練時會記住規律 AI在推理時沒有以前的記憶 -挖礦- ♂ (0 bytes) () 11/26/2025 postreply 09:22:22