在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。

來源: 遠阡於 2024-02-21 05:09:34 [檔案] [舊帖] [給我悄悄話] 本文已被閱讀：次 (540 bytes)

回答: 轉：網紅”芯片Groq讓人驚歎,但它的可用性令人擔憂由閱後發於 2024-02-21 04:43:46

ZT: "因為Groq小得可憐的內存容量，在運行Llama2 70B模型時，需要305張Groq卡才足夠，而用英偉達的H100則隻需要8張卡。從目前的價格來看，這意味著在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。"

您的位置：文學城 » 論壇 » 大千股壇 » 在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。

發現Adblock插件