人工智能王者NVIDIA

ChatGPT掀起生成AI的大浪潮, OpenAI chatGPT 成為曆史上安裝速度最快的應用程序.它已經可以通過賓夕法尼亞大學沃頓商學院的考試，也可以打敗80%的醫生、律師. 伊隆馬斯克和一群科學家開始擔心人工智能會傷害人類，並呼籲暫時停止開發人工智能. 但沒有人能阻止AI的腳步.  上周日，Nvidia CED 黃仁勳在 computex 2023 發表主題演講，再次引來業界追捧.

黃仁勳說：我們已到達生成式AI引爆點。從此，全世界的每個角落，都會有算力需求。

• 英偉達的GH200 Grace Hopper現已全麵投產。超級芯片2000億個晶體管,提升了4 PetaFIOPS TE、72個通過芯片到芯片鏈路連接的Arm CPU、96GB HBM3和576 GPU內存。黃仁勳將其描述為世界上第一個具有巨大內存的加速計算處理器：“這是一台計算機，而不是芯片。” 它專為高彈性數據中心應用而設計。
• 如果Grace Hopper的內存不夠用，英偉達有解決方案——DGX GH200。 它是通過首先將8個Grace Hoppers與3個NVLINK交換機以900GB傳輸速度的Pod連接在一起，再將32個這樣的組件連接在一起，再加上一層開關，連接總共256個Grace Hopper芯片。 由此產生的 ExaFLOPS Transformer Engine具有144 TB的GPU內存，可用作巨型GPU。黃仁勳說Grace Hopper速度非常快，可以在軟件中運行5G堆棧。 穀歌雲、Meta和微軟將是第一批獲得DGX GH200 訪問權限的公司，並將對其功能進行研究。
• 英偉達發布了Spectrum-X加速網絡平台，以提高基於以太網的雲的速度。它包括Spectrum 4交換機，它有128個端口，每秒400GB和每秒51.2TB的傳輸速度。黃仁勳說，該交換機旨在實現新型以太網，並設計為端到端以進行自適應路由、隔離性能和進行結構內計算。它還包括Bluefield 3 Smart Nic，它連接到Spectrum 4交換機以執行擁塞控製。
• 英偉達發布機器人平台英偉達Isaac ARM現在可供任何想要構建機器人的人使用，並且是全棧的，從芯片到傳感器。Isaac ARM從名為 Nova Orin 的芯片開始，是第一個機器人全參考堆棧。
• 在發布會上，黃仁勳還展示了生成式AI以文字形式輸入然後輸出音頻、視頻或實時創作音樂並唱出來.

黃仁勳直言在人工智能和加速計算這一未來方向上，GPU服務器有著更為強大的優勢。傳統上電腦或服務器最重要的 CPU，這個市場主要參與者包括英特爾和AMD。但隨著需要大量計算能力的AI應用出現，GPU將成為主角，英偉達主導了當前全球AI GPU 市場。 

黃仁勳在演講上展示的範例，訓練一個LLM大語言模型，將需要960個CPU組成的服務器集群，這將耗費大約1000萬美元，並消耗11千兆瓦時的電力。相比之下，同樣以1000萬美元的成本去組建GPU服務器集群，將以僅3.2千兆瓦時的電力消耗，訓練44個LLM大模型。

如果同樣消耗11千兆瓦時的電量，那麽GPU服務器集群能夠實現150倍的加速，訓練150個LLM大模型，且占地麵積更小。而當用戶僅僅想訓練一個LLM大模型時，則隻需要一個40萬美元左右，消耗0.13千兆瓦時電力的GPU服務器即可。

換言之，相比CPU服務器，GPU服務器能夠以4%的成本和1.2%的電力消耗來訓練一個LLM，這將帶來巨大的成本節省。

Nvidia 不僅製造 GPU 芯片，它還開發軟件平台：CUDA 和 Omniverse。 提供基礎模型，提供雲計算服務，幫助客戶，尤其是小公司建立模型，或將超級計算機租給中小公司客戶。

CUDA® 是 NVIDIA 專為圖形處理單元 (GPU) 上的通用計算開發的並行計算平台和編程模型。借助 CUDA，開發者能夠利用 GPU 的強大性能顯著加速計算應用。

在經 GPU 加速的應用中，工作負載的串行部分在 CPU 上運行，且 CPU 已針對單線程性能進行優化，而應用的計算密集型部分則以並行方式在數千個 GPU 核心上運行。使用 CUDA 時，開發者使用主流語言（如 C、C++、Fortran、Python 和 MATLAB）進行編程，並通過擴展程序以幾個基本關鍵字的形式來表示並行性。

NVIDIA 的 CUDA 工具包提供了開發 GPU 加速應用所需的一切。CUDA 工具包中包含多個 GPU 加速庫、一個編譯器、多種開發工具以及 CUDA 運行環境。CUDA 已經有400萬開發者和超過3000個應用程序,CUDA的下載量達到了4000萬次，其中僅去年一年就達到了2500萬次。通過 CUDA 開發的數千個應用已部署到嵌入式係統、工作站、數據中心和雲中的 GPU。

Nvidia 創建的實時 3D 圖形協作平台Omniverse,已應用於視覺效果和“數字孿生”工業仿真行業. 大型汽車製造商寶馬已經使用 Omniverse 對數字工廠進行實時模擬、監控和控製，大大提高了效率，降低了成本.

Culitho: Nvidia 與 ASML、Synopsys 和 TSMC 合作，開發了 Culitho 軟件平台/算法，用於計算光刻，可以將高級掩模流片時間從 2 周縮短到幾個小時，功耗降低 3~5 倍。 奠定了2nm節點製程的基礎。

英偉達目前占據AI芯片96%以上的市場份額，根據Trend Force預測，到2026年將占據80%的AI芯片市場份額，當然是AI時代的王者/

台媒報道，現在買Nvidia GPU比買海洛因還難.  一顆 Nvidia A100 芯片價格超過 40000 美元.

現在 Nvidia 的市值為 9232 億美元，距離 1 萬億美元僅一步之遙。 它是曆史上第一家達到這一水平的半導體公司。 它的市值是英特爾和AMD總和的3倍