以及GPU是對vector processing優化(因為GPU最早來自graphic特別是遊戲的應用)，而TPU則是對tensor processing特別是對matrix processing優化。對AI應用來說GPU的performance比不上TPU。原來GPU當初不是為AI設計的隻是後來被做AI的人拿來用，而TPU原來就是為AI量身打造的。然而GPU比TPU要來得flexible，更重要的是美國的AI公司都可以向老黃的公司買GPU來用，而TPU是狗家的東西而狗家隻給自己用不賣給別人。
我也學到了除了狗家的Gemini其他的生成型AI模型都是對GPU優化，隻有Gemini是對TPU優化。因此其他的模型使用PyTorch的framework，而Gemini使用TensorFlow的framework。
有趣的是ChatGPT承認在一些resource intensive的tasks上，譬如大規模的訓練，GPT的performance比不上Gemini，基於Gemini對TPU的優化及其他的原因。
另一點有趣的是在Code Generation上ChatGPT承認狗家的另一個產品，AlphaCode，比GPT來得強，特別是在複雜的問題及算法上。怪不得狗家現在寫的code有相當部分是AI產生的。
總之這個周末我從和ChatGPT的互動裏獲益良多。
