不懂就少說點吧

來源: maniac63 於 2024-02-21 09:29:44 [] [舊帖] [給我悄悄話] 閱讀數 : (818 bytes)

1. Training和serving是兩回事，就像樓下說的前端和後端，你GPU train的model也是可以在cpu上serve的。

2. "如果TPU能勝過NVDA的H100，GOOG的GenAI不至於現在的樣子" Cloud TPU都提供給雲客戶那麽多年了，到處都是性能評測報告，稍微搜一下就能找到。而且TPU和Google的Gen AI都不是一個大部門搞的，哪來的因果關係？

3. "transformer是pre-train，學習的時候需要大規模並行"，這不是廢話嗎？哪個model學習的時候不用大規模並行？我跑個CNN還要幾十個上百個GPU呢。

4. "事實擺在那裏" 的確事實擺在那裏，不搞ai的一兩句話就會露出破綻

所有跟帖： 

請您先登陸，再發跟帖！