在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。

來源: 遠阡 於 2024-02-21 05:09:34 [] [舊帖] [給我悄悄話] 閱讀數 : (540 bytes)

 

ZT: "因為Groq小得可憐的內存容量，在運行Llama2 70B模型時，需要305張Groq卡才足夠，而用英偉達的H100則隻需要8張卡。從目前的價格來看，這意味著在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。"

 

 

請您先登陸，再發跟帖！