NVDA的法寶是自家開發了二十年的非公開代碼CUDA軟件包，隻能運行在自家GPU上。幾乎所有的AI代碼都是用它開發的。

所有跟帖： 

• AMD的MI300X帶192GB內存的GPU市場單價不超過1萬5千美元，NVDA的H100帶80GB內存的市場價4萬美元 -uptrend- ♂ (736 bytes) () 02/03/2024 postreply 21:36:41

• 聽說中國也在做 -yma16- ♂ (0 bytes) () 02/05/2024 postreply 12:57:17

• 也就是說，無論哪個大公司想要自己設計硬件用來訓練AI，還需要自己開發軟件包，再移植AI代碼。要花很多時間和資源。 -uptrend- ♂ (0 bytes) () 02/03/2024 postreply 21:45:12

• 大多數AI模型都有PyTorch 或者tensorflow 實現。PyTorch 支持OpenCL，OpenCL可以在 -study169- ♂ (131 bytes) () 02/03/2024 postreply 22:05:03

• 你說的不錯。但時間就是金錢，而且是成千上萬億美元的規模。 -uptrend- ♂ (0 bytes) () 02/03/2024 postreply 22:12:46

• 所以現階段大家訓練模型都是用Nvidia GPU，但將來運行大模型就會用各種自研的芯片 -study169- ♂ (50 bytes) () 02/03/2024 postreply 22:18:50

• Nvidia GPU的更新換代很快，沒那麽容易被替代。 -uptrend- ♂ (0 bytes) () 02/03/2024 postreply 22:23:35

• 隻是LLM基礎模型訓練要求高。LLM微調訓練筆記本就可以勝任了。我們公司幾乎所有項目都是AI，連A100 -study169- ♂ (18 bytes) () 02/03/2024 postreply 22:28:05

• 開源的LLM雖然能微調，但是性能不咋樣，用於專項評測時和隨機回答的結果差不多。你公司用的是開源的SLMs吧？ -uptrend- ♂ (0 bytes) () 02/03/2024 postreply 22:37:14

• 除了專做LLM基礎模型的，大多數公司用開源模型，我們也是。AI應用有太多細分領域 -study169- ♂ (0 bytes) () 02/03/2024 postreply 22:52:15

• 大概什麽性能的筆記本？要有獨立顯卡嗎？我們都沒微調，隻是用開源模型做推理，都運行不出來。 -Wm.Knabe- ♀ (110 bytes) () 02/04/2024 postreply 01:41:20

• 一個同事用筆記本做過演示 -study169- ♂ (300 bytes) () 02/04/2024 postreply 04:17:05