GPU做的是最簡單的矩陣運算,計算單元很簡單,Nvidia做得好的地方是單元之間的連接快,而且他們的CUDA起步早,用的人多,但並不是其他公司的間架就不能用,特斯拉的Dojo已經搞了很多年了,他們的FSD就是在上麵訓練的
GPU做的是最簡單的矩陣運算,計算單元很簡單,Nvidia做得好的地方是單元之間的連接快,而且他們的CUDA起步早,用的人多,但並不是其他公司的間架就不能用,特斯拉的Dojo已經搞了很多年了,他們的FSD就是在上麵訓練的
•
NVDA的GPU設計成給Transformer模型硬件加速的。其他的設計,比如TPU,沒針對Transformer。
-uptrend-
♂
(298 bytes)
()
01/15/2024 postreply
21:27:53
•
當初NVDA決定在硬件上支持Transformer的時候,其實是在賭。OpenAI用它搞出Chat GPT,老黃賭對了。
-uptrend-
♂
(0 bytes)
()
01/15/2024 postreply
21:39:48