轉:網紅”芯片Groq讓人驚歎,但它的可用性令人擔憂

本文內容已被 [ 閱後發 ] 在 2024-02-21 04:47:40 編輯過。如有問題,請報告版主或論壇管理刪除.

從技術和性能上來看,Groq目前還不能撼動英偉達的地位。原因很簡單,英偉達的GPU產品是通用的,而Groq的產品形態是ASIC,它不是通用產品,而是一個定製產品。簡單點來說,任何一個人工智能算法都可以使用英偉達的H200,但隻有Mixtral和Llama 2才能使用Groq的LPU。大模型公司想要使用Groq的產品,還需要先確定需求和指定規格,再進行功能驗證,最後生產出來的產品才能使用。

這還帶來了實際使用中的價格問題。

Lepton AI的賈揚清也做了一個詳細的計算,發現如果運行三年的話,Groq 的硬件采購成本是 1144 萬美元,運營成本是 76.2 萬美元或更高。8 卡 H100 的硬件采購成本是 30 萬美元,運營成本是 7.2 萬美元或略低。

事實上Groq背後的概念也不新鮮了。2015年到2019年期間,隨著人工智能這個概念被炒起來,誕生了很多“加速卡”公司,他們在PCIe插槽上製作類似GPU的產品,給當時的人工智能算法提供定製的物理加速服務,性質跟Groq差不太多。雖然有不少那樣的公司在當時沸沸揚揚,然而才過了幾年的工夫,你又能回想起幾個這樣的公司呢?希望這一次Groq的驚豔也不是一時的。

 

 

這裏不讓貼link,想看全文:6 p a r knews.

所有跟帖: 

在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。 -遠阡- 給 遠阡 發送悄悄話 (540 bytes) () 02/21/2024 postreply 05:09:34

嗬嗬,別人能做這種加速卡,難道女大就不能做麽?女大至少2000起,無人能撼動 -伯克希爾哈薩維- 給 伯克希爾哈薩維 發送悄悄話 (0 bytes) () 02/21/2024 postreply 05:11:14

很好奇放出Groq消息的這個時間點。 -閱後發- 給 閱後發 發送悄悄話 (0 bytes) () 02/21/2024 postreply 05:14:27

大家都做就不值錢了。現在NVDA掙的是在訓練領域壟斷價格的錢 -study169- 給 study169 發送悄悄話 (510 bytes) () 02/21/2024 postreply 06:10:17

GOOG是懸了 -伯克希爾哈薩維- 給 伯克希爾哈薩維 發送悄悄話 (0 bytes) () 02/21/2024 postreply 06:12:10

請您先登陸,再發跟帖!