ChatGPT 引發的革命性創新來自於Google 的 Transformer architecture large language model. 其革命性來源於 一個嶄新的attention model。現在所有人都轉向transformer 的 attention model. 在這之前，是 Recurrent neural networks (RNNs) 主導，那麽是誰第一個有了attention model的想法呢，是這位：
Jakob Uszkoreit ：畢業於Technische Universität Berlin，柏林技術大學。沒有 PhD 學位。在Google做Intern，然後在Google工作時憑直覺覺得 attention 比RNNs 更快，更有效，更適合並行運算。第一篇 attention model的論文四位作者（按論文排名）：
Ankur Parikh: 印度人，本科：Princeton CS；PhD：CMU Machine Learning
Oscar Täckström：瑞典人，本科：Stockholm大學 哲學；PhD: Uppsala大學，CS
Dipanjan Das：印度人，本科，PhD：CMU CS Language Technologies
Jakob Uszkoreit：德國人，本科：柏林技術大學 CS
他們把attention model 運用在 語言翻譯上，完勝 RNNs
Jakob Uszkoreit認為attention 不僅僅可以在語言上，更可以在AGI上，於是下麵8人合作發表了著名的“Attention is all you need" 一文，這篇文章被譽為 改變AI曆史的文章：
Jakob Uszkoreit：德國人，本科：柏林技術大學 CS
Illia Polosukhin: 烏克蘭人，本科：烏克蘭國立技術大學 CS+應用數學
Noam Shazeer: 猶太人 出生在菲律賓，本科：Duke CS。此人重寫了整個 transformer 程序
Ashish Vaswani 印度人，PhD USC CS
Niki Parmar 印度人，Master of Science USC CS (和Ashish Vaswani是一對）
Llion Jones 威爾士人，本科 Birmingham 大學 CS
Aidan Gomez 加拿大人/英國人，本科：多倫多大學 CS，PhD：牛津大學 CS
Lukasz Kaiser 波蘭人，本科 Wroclaw大學 CS，PhD 亞琛工業大學 CS，OpenAI ChatGPT核心人物
我的幾點觀察：
1）沒有一個美國人
2）靈魂人物都是歐洲人
3）印度人善於參與
4）沒多少名牌大學
5）一半PhD，一半沒有PhD，靈魂人物Uszkoreit，Polosukhin，Shazeer都是本科
6) 幾乎都是 CS 專業
當今最偉大的創新就是這些人製造的，Attention模型革命性超過ChatGPT，因為ChatGPT隻是利用Transformer的一個例子，transfomer還用在 Gemini 等等其他大語言模型，以及圖像視頻AGI（比Text文本更複雜）
