NVDA的GPU設計成給Transformer模型硬件加速的。其他的設計，比如TPU，沒針對Transformer。

所以GOOG，TSLA後來又各自買了上萬個NVDA的GPU，因為自己設計的GPU，隻是其針對的一些模型性能快，但訓練不出GPT。

GOOG的TPU不是基於Transformer模型。因為當時GOOG的AI老大說Transformer效率差。ChatGPT出來後， GOOG傻了。