GROQ 的芯片是串行結構，不擅長學習（Transformer學習是並行共發），隻是擅長用學成後的模型高速輸出。NVDA

來源: uptrend 於 2024-02-21 08:18:11 [] [博客] [舊帖] [給我悄悄話] 閱讀數 : (111 bytes)
本文內容已被 [ uptrend ] 在 2024-02-21 08:25:03 編輯過。如有問題，請報告版主或論壇管理刪除.

NVDA改進一下搞類似的不難。AI難的是模型的生成，而不是生成後模型的輸出。

所有跟帖： 

• GROQ 芯片設計者就是GOOG的TPU設計者。如果TPU能勝過NVDA的H100，GOOG的GenAI不至於現在的樣子 -uptrend- ♂ 給 uptrend 發送悄悄話 uptrend 的博客首頁 (0 bytes) () 02/21/2024 postreply 08:20:11

• 訓練模型是後端運行，計劃好了可以用多個SERVER一起訓，不一定非要好的GPU，模型輸出在前端，速度要快，因為人在等結果 -testmobile- ♀ 給 testmobile 發送悄悄話 (0 bytes) () 02/21/2024 postreply 08:24:41

• 那是老的ML的做法。Transformer是pre-train（模型自學生成以後用訓練微調）。學習的時候需要大規模並行。 -uptrend- ♂ 給 uptrend 發送悄悄話 uptrend 的博客首頁 (0 bytes) () 02/21/2024 postreply 08:27:21

• Pre-trained Model是一直需要的，可以Freezing a layer， 不可能完全一邊學習一邊輸出的， -testmobile- ♀ 給 testmobile 發送悄悄話 (0 bytes) () 02/21/2024 postreply 08:32:06

• 實事擺在那裏。GROQ的AI隻是輸出快，智能不夠的AI有用嗎？就像挑戰iPhone的手機一大堆，但芯片低能，沒用。 -uptrend- ♂ 給 uptrend 發送悄悄話 uptrend 的博客首頁 (0 bytes) () 02/21/2024 postreply 08:36:29

• 前端和後端是兩種架構，後端的複雜邏輯很難放到GPU裏，GPU是處理簡單的並發，microservices是後端的大方向， -testmobile- ♀ 給 testmobile 發送悄悄話 (328 bytes) () 02/21/2024 postreply 08:45:15

• NVDA 的新架構, 在一個巨大的Superchip上同時提供AI 和Kubernetes 服務。 -uptrend- ♂ 給 uptrend 發送悄悄話 uptrend 的博客首頁 (0 bytes) () 02/21/2024 postreply 11:08:54

• 不懂就少說點吧 -maniac63- ♂ 給 maniac63 發送悄悄話 (818 bytes) () 02/21/2024 postreply 09:29:44

• CNN並行(Federated)學習單一領域。 Transformer並行學習多個領域。 -uptrend- ♂ 給 uptrend 發送悄悄話 uptrend 的博客首頁 (0 bytes) () 02/21/2024 postreply 10:59:52

請您先登陸，再發跟帖！