Technical trading
Technical analysis is a way to trade stocks. There are different ways to trade. You get your way that match your personality.
NVIDIA首席執行官黃仁勳十月剛剛接受了一場投資者的80分鍾麵談專訪。在這次最新長談中，他用一如既往的風格，深入探討了人工智能領域的最新發展，分享了對未來計算架構的獨到見解，以及NVIDIA在推動AI革命中的戰略布局。黃仁勳以獨到的見解，為我們深入揭示了AI時代的機遇與挑戰。
B站傳送：【NVIDIA CEO黃仁勳最新十月長訪@ BG2投資播客 2024.10.14【中英精校】-嗶哩嗶哩】
AI個人助理的未來觸手可及
訪談一開始，主持人提出了一個令人振奮的願景：擁有一個口袋裏的私人AI助理，了解我們的一切，具備完美的記憶，能夠與我們溝通，幫忙處理日常事務。對此，黃仁勳充滿信心地表示，這樣的助理將在不久的將來以某種形式出現在我們身邊，而且會隨著時間的推移變得越來越完美。
黃仁勳的樂觀態度反映了AI技術的迅猛發展。隨著深度學習和自然語言處理的不斷突破，AI個人助理的實現已不再是遙遠的夢想，而是即將到來的現實。這將深刻改變人類的生活方式和工作模式。
重新發明計算：Computing的革命性變化
黃仁勳強調，我們正在重新發明計算。他指出，NVIDIA在過去十年中將計算的邊際成本降低了10萬倍，遠超摩爾定律帶來的百倍增長。這一成果源於加速計算的引入，以及在GPU架構、數值精度、張量核心等方麵的創新。
他進一步解釋，傳統的CPU架構已無法滿足AI時代的計算需求。通過將CPU上效率不高的任務轉移到GPU上，加速計算成為可能。同時，軟件、算法和硬件的同步創新，使得整個技術堆棧都在高速發展。
這一觀點揭示了NVIDIA在AI時代的戰略優勢。通過硬件和軟件的深度融合，以及對整個計算架構的重新設計，NVIDIA確立了其在AI計算領域的領先地位。這種革命性變化不僅提升了計算性能，也為AI的快速發展奠定了基礎。
深厚的護城河：從GPU到完整生態係統
在談及NVIDIA的市場護城河時，黃仁勳指出，NVIDIA的優勢不僅在於硬件性能，更在於其構建的完整技術堆棧，尤其是軟件和庫的支持。他強調，加速計算的成功離不開CUDA等領域特定庫的貢獻。這些庫使得開發者能夠高效利用GPU的性能，實現AI模型的快速訓練和推理。
NVIDIA通過構建軟硬件一體化的生態係統，形成了難以逾越的競爭壁壘。對開發者友好的平台和工具，加上持續的技術創新，使得NVIDIA在AI領域保持領先。
推理的重要性：AI應用的未來
隨著AI模型的發展，黃仁勳強調了推理（Inference）的重要性。他認為，推理本質上是大規模的訓練，隻有在推理階段表現出色，AI模型才能真正為用戶帶來價值。NVIDIA在推理方麵的技術積累和架構設計，使其能夠高效支持複雜的推理任務。
推理階段的性能直接關係到用戶體驗和AI應用的實用性。NVIDIA在推理領域的優勢，進一步鞏固了其在AI全產業鏈的主導地位。
麵對競爭：堅持獨特使命
對於市場上定製ASIC的競爭，黃仁勳坦言NVIDIA的目標與眾不同。他表示，NVIDIA專注於構建適用於AI、生成式AI和代理AI的新計算平台，重塑整個計算堆棧。他強調，公司唯一的目標是構建一個無處不在的平台架構，而不是從他人手中奪取市場份額。
這種戰略定位彰顯了NVIDIA的自信和遠見。通過專注於自身的獨特使命，NVIDIA致力於持續創新，引領AI時代的發展方向。競爭者的存在反而激發了NVIDIA不斷前進的動力。
需求與挑戰：AI計算的規模化
談及未來的需求，黃仁勳預測，全球將需要數百萬個GPU來支持AI計算。他以Elon Musk的X公司在19天內建成10萬GPU的超級計算機為例，展示了AI計算需求的爆炸式增長。他認為，分布式計算和新算法的發明將使得大規模AI計算成為可能。
這反映了AI產業的巨大潛力和麵臨的挑戰。如何滿足如此龐大的計算需求，既是技術問題，也是產業機遇。NVIDIA在計算加速和架構優化方麵的優勢，使其有能力引領這一波浪潮。
AI對社會和生產力的影響，AI安全
黃仁勳深信，AI不會取代人類，而是會改變每一項工作。他預見未來的企業將由生物員工和數以百萬計的AI助手組成，生產力將實現質的飛躍。他強調，AI將幫助人們實現自動化，激發創造力，並推動經濟增長。
在談到AI安全時，黃仁勳強調了行業自律的重要性。他指出，構建安全的AI需要技術研發、最佳實踐和適度的監管。此外，他認為開源模型對於AI的發展至關重要，開放與閉源應相輔相成，共同推動技術進步。
這一觀點描繪了AI與人類共生的未來圖景。AI作為工具和夥伴，將解放人類的潛能，促進社會的進步。同時，也提出了對於教育、就業和倫理的思考。AI的安全和倫理是不可回避的問題。通過行業合作和透明度的提升，可以有效預防潛在風險。開源精神的堅持，將有助於激發創新，促進AI在各領域的公平應用。
--天空之城書麵全文版2萬字--
（前言）黃仁勳：
他們取得的成就是獨一無二的，這是前所未有的。從另一個角度看，100,000 個 GPU 絕對可以稱為地球上最快的超級計算機。這是一個超級計算機集群。通常，建造這樣一台超級計算機需要三年的規劃時間，設備交付後還需要一年的時間才能完全運作。而我們，僅用了19天。
主持人：Jensen，你的眼鏡不錯。
黃仁勳：嘿，是的，你的也不錯。
主持人：和你在一起真好。
黃仁勳：我也戴著類似的眼鏡。
主持人：好吧，它們並不醜，還算不錯。更喜歡紅色的嗎？
黃仁勳：隻有你的家人會喜歡的東西。
主持人：今天是10月4日星期五，我們在Nvidia總部。
黃仁勳：歡迎！
主持人：
謝謝。周一我們將舉行年度投資者會議，我們將在會上討論人工智能的所有影響，以及我們擴展智能的速度。我真的想不出比你更適合開始會議的人了。我很感激。作為股東和思想夥伴，我們來回交流想法，你真的讓我們變得更聰明。我們非常珍視這段友誼，感謝你的到來。
黃仁勳：很高興來到這裏。
主持人：
今年的主題是將智能擴展到AGI。令人難以置信的是，兩年前我們做這件事時，人工智能正處於一個重要時期，而那還是ChatGPT問世的兩個月前。想想所有這些變化。所以我想，我們可以從一個思想實驗和預測開始。
如果我把AGI想象成我口袋裏的私人助理，那將是多麽美妙。是的，它了解我的一切，對我有完美的記憶，它可以與我溝通，幫我預訂酒店或預約醫生。當你看到當今世界的變化速度時，你認為我們什麽時候才能擁有這樣的個人助理？
黃仁勳：
很快，以某種形式，是的。很快就會以某種形式出現，而且隨著時間的推移，這個助手會越來越好。這就是我們所知的技術之美。所以我認為一開始它會非常有用，但並不完美。然後它會隨著時間的推移變得越來越完美，就像所有的技術一樣。
主持人：
當我們觀察變化的速度時，我想起埃隆曾說過，唯一真正重要的是變化的速度。我們確實感受到變化的速度已經顯著加快。這是我們在這些問題上見過的最快速度，因為我們和你一樣，在AI領域已經耕耘了十年。這是您職業生涯中見過的最快速度嗎？
黃仁勳：
這是因為我們重新發明了計算。我們在10年內將計算的邊際成本降低了100,000倍，而摩爾定律的增長約為100倍。我們通過多種方式達成這一目標，包括將CPU上效率不高的工作放在GPU上完成，引入加速計算，發明新的數值精度，以及通過新的架構、張量核心來實現。
係統構建的基礎包括使用NVLink增加超快的內存、HBM，並通過NVLink和InfiniBand擴展整個堆棧。這些創新導致了類似超摩爾定律的增長速度。我們從人工編程轉向機器學習，機器學習能夠快速學習。我們重新分配計算方式，實現了多種並行性，如張量並行性和管道並行性，並在此基礎上發明新算法和新訓練方法。這些創新不斷疊加。
回顧摩爾定律的發展，軟件通常是靜態的，是預編譯和包裝後出售的，而硬件則以摩爾定律的速度發展。現在，整個科技堆棧都在同步增長和創新。因此，我們突然看到係統的擴展。以前，我們討論預訓練模型的擴展，以及如何將模型大小和數據大小翻倍，使得所需計算能力每年增加四倍。這是一個重大變化。如今，我們也看到了後訓練和推理階段的擴展。預訓練再也不被視為艱難，推理也變得複雜。認為人類所有思維都是一次性想法是荒謬的，因此需要快速思考、慢速思考、推理、反思、迭代和模擬的能力。
主持人：
我認為，到目前為止，關於NVIDIA最容易被誤解的一點是它真正的護城河有多深。許多人可能認為隻要有人發明了一種新的更好的芯片，他們就能夠勝出。在過去十年中，你一直致力於構建從 GPU 到 CPU 再到網絡的完整技術堆棧，尤其在軟件和庫方麵，使應用程序能夠在 NVIDIA 上成功運行。
當你思考 NVIDIA 當今的市場護城河時，你認為相比三四年前，它是變得更大還是更小了？
黃仁勳：
我非常欣賞你對計算技術發展變化的認知。許多人認為設計一個更好的芯片就是增加更多的觸發器、位和字節，但這實際上是一種過時的思維。長久以來，我們的理解是，軟件隻是運行在 Windows 上的某個應用程序，而且是靜態的。過去，人們認為提高係統性能的最佳途徑是製造更快的芯片，但我們已經認識到機器學習並非由人類編程，它不僅僅是軟件，它涉及整個數據處理過程。
對我們而言，機器學習的關鍵在於“飛輪效應”。那麽，如何啟用這個飛輪，同時讓數據科學家和研究人員在其中高效工作呢？這個飛輪自一開始就運轉不息。很多人甚至未曾意識到，教會人工智能需要先利用人工智能去整理數據，而人工智能本身極為複雜且在不斷進步。
主持人：
它是否也在加速發展？而這種發展，是所有係統相結合的結果。
黃仁勳：
是的 ，由於智能化的數據整理技術，我們現有合成數據生成及多種數據處理、呈現方式。因此，高效的數據處理在訓練之前就已經開始。人們可能認為 PyTorch 是新時代的起點，但在 PyTorch 出現之前和之後都有大量工作要完成。要專注於飛輪的整體，這是你應該考慮的重點。如何設計計算係統和架構，以利用飛輪並實現最高效運作呢？這並不是應用程序的一部分，也不隻是訓練。這隻是一個過程中的一步。飛輪上的每一步都很艱難。因此，首先要做的不是考慮如何加快 Excel 或 Doom 的運行速度，那都是過去的事情。現在需要思考的是，如何讓飛輪運轉得更快。這個飛輪由許多不同的步驟組成。
正如大家所知，機器學習並不容易。OpenAI、X、Gemini 和 DeepMind 團隊所做的工作都是複雜的。所以，我們決定關注真正值得思考的問題：整個過程如何加速。加速每一部分是目標，而遵循阿姆達爾定律至關重要。阿姆達爾定律指出，如果某個步驟占用30%的時間，即使加速三倍，整體過程的提升也有限。所以，創建一個可以加速每一步的係統是關鍵，隻有這樣才能實質性地改善周期時間。
飛輪和學習率是導致指數級增長的原因。我們對公司及其實際工作的理解最終會體現在產品中。我們的目標是在整個周期中加速飛輪的運轉。當前的主要關注點是視頻領域，很多人專注於物理人工智能和視頻處理。想象一下每秒都有 TB 級數據進入係統，這需要一個能吸收所有數據的管道來首先為訓練做好準備。
整個過程都是通過 CUDA 加速的。
主持人：
今天，人們大多隻考慮文本模型，但未來的視頻模型以及一些文本模型，例如 O1，將能夠在我們到達目標前真正處理大量數據。
黃仁勳：
語言模型將無所不包，訓練這些大型語言模型需要業界巨大的技術努力。現在，我們在每一步中都使用大型語言模型，這非常了不起。
主持人：
雖然不想簡化這個過程，但常常會聽到投資者問，定製 ASIC 的問題呢？是的，但他們的競爭模式將因此受到打擊。
我聽到您說，在組合係統中，優勢會隨著時間的推移而增長。所以，我們的優勢比三四年前更大，因為我們正在改進每個組件，這是組合的效果。
當你考慮，例如，作為一個商業案例研究，英特爾，它擁有主導模式，在堆棧中占據主導地位。
黃仁勳：
他們之所以與眾不同，是因為可能是第一家在製造、工藝工程、製造以及製造之上的芯片製造方麵都非常出色的公司。他們在 x86 架構中設計芯片、構建芯片，並製造出越來越快的 x86 芯片，這就是他們的聰明之處。他們將其與製造融合在一起。
我們公司在這方麵略有不同，我們認識到隨並行處理並不要求每個晶體管都表現出色，而串行處理要求每個晶體管都性能卓越。並行處理需要大量的晶體管才能更具成本效益。我寧願晶體管數量多10倍、速度慢20%，也不願晶體管數量少10倍、速度快20%。這有道理嗎？它們是相反的。
因此，單線程性能、單線程處理和並行處理非常不同。我們觀察到，事實上，我們的世界並不是越往下越好。我們希望變得非常好，盡可能好，但我們的世界實際上是越往上越好。並行計算、並行處理很難，因為每個算法都需要一種不同的方式重構和重新設計架構算法。
人們沒有意識到的是，你可以擁有三個不同的ISA（指令集架構）、CPU ISA。它們都有自己的C編譯器，你可以使用軟件並編譯到該ISA。這在加速計算中是不可能的，這在並行計算中是不可能的。提出架構的公司必須提出自己的OpenGL。
因此，我們憑借名為CUDNN的領域特定庫徹底改變了深度學習。如果沒有CUDNN，就沒有人會談論它，因為它是PyTorch和TensorFlow下麵的一層，在過去，它是CAFE和Theano，現在是Triton。有很多不同的框架。因此，特定領域的庫CUDNN、特定領域的庫Optics，我們有特定領域的庫CuQuantum、Rapids，領域列表繼續增加。
主持人：
行業特定的算法位於所有人都關注的 PyTorch 層之下。正如我常聽到的...
黃仁勳：
如果沒有發明 LLM，那麽上麵的任何應用程序都無法運行。NVIDIA 之所以出色，正是因為我們在數學和算法方麵的優勢。在科學和底層架構的結合上，我們同樣非常擅長。
主持人：
現在，所有注意力終於集中在推理上。我記得，兩年前，布拉德和我與你共進晚餐，曾問了一個問題：你認為在推理方麵的護城河會像在訓練方麵一樣強大嗎？
黃仁勳：我確信它會更大。
主持人：你剛才提到了很多元素，比如可組合性等。對於客戶來說，在兩者之間保持靈活性是非常重要的。既然我們處於推理時代，你能否談談相關內容？
黃仁勳：
推理本質上就是大規模訓練。因此，如果你訓練得好，很可能推理也會很好。如果你在這個架構上構建它，即使沒有特別的考慮，它也會在這個架構上運行。雖然可以針對其他架構進行優化，但由於已經在 NVIDIA 上構建，它至少會在 NVIDIA 上運行。
另一個方麵是資本投資。當你訓練新模型時，自然希望使用最新的設備，這就留下了你昨天使用的設備，而這些設備非常適合推理。與 CUDA 兼容的新基礎設施背後，有一係列免費設備和基礎設施。我們嚴格確保兼容性，以便現有係統保持卓越。
同時，我們投入大量精力重新發明新算法，以確保 Hopper 架構比購買時更好。我們的基礎設施因此持續高效。改進的新算法和新架構提升了每一個已安裝的基礎，包括 Hopper、Ampere，甚至 Volta。Sam 剛剛告訴我，他們最近才停用了 OpenAI 的 Volta 基礎設施。因此，我認為我們已經為安裝基礎打下了痕跡。就像所有計算一樣，安裝基礎非常重要。NVIDIA 的技術存在於每一個雲，並一直延伸到邊緣設備。因此，在雲端創建的 Vela 視覺語言模型無需修改即可在機器人的邊緣完美運行，並且完全兼容 CUDA。
我認為架構兼容性對於大型係統來說至關重要，無論是 iPhone 還是其他設備。我相信安裝基礎對於推理過程非常重要。然而，真正讓我們受益的是，當我們訓練這些大型語言模型及其新架構時，我們能思考如何在未來的某個時機創建在推理方麵表現出色的架構。
因此，我們一直在研究推理模型的迭代模型，以及怎樣為用戶的個人代理創建互動性強的推理體驗。您不希望在說完話之後還要等待片刻才能得到響應，您希望它能快速與您互動。那麽，我們如何創建這樣的係統呢？最終的成果就是 NVLink。
NVLink 讓我們能夠利用這些非常適合訓練的係統，而在您完成訓練後，推理性能也能達到非常出色的水平。因此，優化到第一個標記的時間非常重要。實際上，這一過程非常困難，因為到第一個標記的時間需要大量帶寬。如果您的上下文也很豐富，那麽您會需要大量的觸發器。因此，您需要無限量的帶寬和觸發器才能實現幾毫秒的響應時間。
我們為此發明了 Grace Blackwell NVLink。
主持人：
由於時間關係，這裏還有更多問題。
黃仁勳：聽著。讓我們一直做下去，直到做對為止。
主持人：
我喜歡這種做法。現在我們不必擔心時間了。
本周早些時候我和安迪·賈西碰麵，他提到我們即將推出 Tranium 和 Inferencia。我認為大多數人可能覺得這對 NVIDIA 是個問題。但他接著說，NVIDIA 是我們的重要合作夥伴，並將繼續是我們的重要合作夥伴。據我所知，未來世界將依靠 NVIDIA 的技術運行。
因此，當您考慮構建定製的 ASIC 時，它們將用於特定應用，比如 Meta 的推理加速器、亞馬遜的 Tranium 或者穀歌的 TPU。關於供應短缺的問題，我們需要思考這些新的技術動態是否會改變現狀，或者它們是否隻是對現有係統的一種補充。
黃仁勳：
我們現在正在做的是不同的事情，具體來說，NVIDIA 正在為一個全新的世界構建計算平台，這個世界包括機器學習、生成 AI 和代理 AI 等。
經過 60 年的計算，我們深刻地重塑了整個計算堆棧。無論是從編程到機器學習，還是從 CPU 向 GPU 的轉變，以及從傳統軟件到人工智能的演變，應用程序的形式都在改變。因此，計算堆棧和技術堆棧的各個方麵都發生了劇變。
我們的目標是創建一個可以隨時隨地使用的計算平台，這正是我們工作複雜性的源泉。我們正在構建整個人工智能基礎設施，並將其視作一台完整的計算機。我曾說過，現在的數據中心是計算的單位。當我想到一台計算機時，關注的不僅是芯片，而是整個係統：所有的軟件、編排和內部的機器，構成了我的計算機。
我們每年都在努力創造一台新的計算機，其性能提升兩到三倍，成本降低兩到三倍，能源效率提高兩到三倍。這種進步令人難以置信。因此，我們建議客戶逐年分批購買新設備，以維持在成本上的平均水平，這樣做的好處是在架構上保持兼容性。
目前，以我們這樣的改進速度來構建單獨的係統是非常困難的，而且雙重困難之處在於，我們不僅僅將這些創新作為基礎設施或服務出售，而是將它們全部分解並集成到多個平台中，比如 GCP、AWS、Azure 和其他服務中。這種做法確實是有意義的。每個人的集成都各不相同。我們必須將所有的架構庫、算法和框架集成到他們的係統中，包括我們的安全係統和網絡。我們基本上每年都進行十次這樣的集成。
這就是奇跡。這種每年的嚐試讓我感到瘋狂，想想這件事我就快要瘋了。
主持人：
那麽，是什麽驅使你每年這樣做呢？
克拉克剛剛從台北、韓國和日本回來，與你們所有的供應夥伴會麵，你們與他們有長達十年的關係。這些關係對於構建競爭護城河的組合數學有多重要？
黃仁勳：
當你係統地分解時，越是分解，大家就越驚訝於整個電子生態係統如何致力於與我們合作，以構建一個集成到所有不同生態係統中的計算機立方體，並實現無縫協調。我們向後傳播了 API、方法、業務流程和設計規則，同時向前傳播方法、架構和 API，這些已經固化並隨著我們的發展而不斷演變。
這些 API 必須結合在一起，最後，台灣和世界各地製造的所有東西都會在 Azure 數據中心結合在一起。
主持人：
人們隻需調用 OpenAI API，它就可以工作。
黃仁勳：
沒錯。這是一個完整的鏈條，是我們發明的龐大計算基礎設施。整個地球都在與我們合作，它已經融入每一個地方。
該係統可以通過戴爾和 HPE 銷售，托管在雲端，並一直接近邊緣。現在，人們在機器人係統和自動駕駛汽車中使用它，它們在架構上都是兼容的。相當瘋狂。
克拉克，我不想讓你覺得我沒有回答這個問題。事實上，我回答了。關於ASIC的部分，我指的是我們正在做一些不同的事情。作為公司，我們希望了解具體情況，並且我對公司和生態係統周圍的一切都了如指掌。我清楚其他人在做什麽，有時這對我們有利，有時則不然。我非常清楚這一點，但這並沒有改變公司的目標。公司的唯一目標是構建一個能夠無處不在的平台架構。
NVIDIA的定位是做市商，而非從任何人那裏奪取市場份額。如果你查看我們的幻燈片，會發現我們從不談論市場份額。內部討論的都是我們如何創造下一個事物？下一個可以在飛輪中解決的問題是什麽？如何更好地為人們服務？如何將過去可能需要一年的飛輪縮短到一個月？在考慮這些不同事情的同時，我們確信我們的使命非常獨特。唯一的問題是這項使命是否必要。
所有偉大的公司都應該以使命為核心，關鍵在於你在做什麽，以及這是否必要、是否有價值、是否具有影響力和幫助他人。我相信你作為一家生成式人工智能初創公司的開發人員，正在決定如何成為一家公司。你不必立即選擇支持哪家ASIC，選擇Akuta意味著你可以隨時改變主意，而我們是通往人工智能世界的入口。一旦你決定加入我們的平台，其他決定可以推遲。在與所有GCP、Azure合作時，我們也提前幾年向他們展示我們的路線圖，他們從未向我們展示他們的ASIC路線圖，但這從未冒犯過我們。如果您有一個唯一且有意義的目標，並且您的使命對您和他人都很珍貴，那麽您就可以保持透明。我在 GTC 上的路線圖是公開的，而在 Azure、AWS 等方麵的合作夥伴看到的路線圖則更加深入。我們在這些平台上的工作沒有問題，即使他們也在製造自己的 A6。
主持人：
我認為，當人們關注業務時，會說最近對 Blackwell 的需求是瘋狂的。在工作中，最困難的部分之一是在無法提供足夠的計算資源時對人們說“不”，這會帶來情感上的負擔。然而，批評者認為這隻是暫時現象，就像 2000 年的思科一樣，認為我們在過度建設光纖，預示著繁榮與蕭條並存。
令我想起了 2023 年初的一次晚宴。在 1 月 23 日的晚宴上，NVIDIA 預測 2023 年的收入將達到 260 億美元，然而最終收入為 600 億美元。
黃仁勳：
誠實地說，這是曆史上最大的預測失敗之一，我們是否至少可以承認這一點？這是我的看法。
主持人：
在 2022 年 11 月，我們非常興奮，因為 Inflection.AI 的 Mustafa 和 Character.AI 的 Noah 等人來訪，討論對他們公司的投資。他們提到，如果不能投資他們的公司，那就投資 NVIDIA 吧，因為全球都在使用 NVIDIA 芯片來開發可能改變世界的應用程序。當然，寒武紀時刻出現在 ChatGPT 上。然而，那時的 25 位分析師過於專注於加密貨幣贏家，以至於無法察覺世界上的變化。最終，事情變得更大了。
您以簡單的語言描述了對 Blackwell 的需求極其旺盛，並認為這種情況將持續下去。當然，未來是未知的。那麽，為什麽批評者會錯誤地預判這不會是像思科 2000 年那樣的過度建設呢？
黃仁勳：
思考未來的最佳方式是從第一原則出發進行推理。那麽，我們正在做的事情的第一原則是什麽？首先，我們在做什麽？答案是，我們正在重新發明計算。我們剛才提到，未來的計算方式將高度依賴於機器學習。幾乎我們所做的一切，每一個應用程序，如Word、Excel、PowerPoint、Photoshop、Premiere、AutoCAD等，都會高度機器學習化。不論你現在使用的應用程序多麽手工化，我可以保證，未來它也將轉向機器學習化。
所有這些工具的重要性在於，你將擁有機器和智能代理來幫助你使用它們。我們的計算方式已經被重新發明，不會回頭。整個計算技術堆棧已經被改造。因此，我們預見軟件的開發、內容和使用方式將會有所不同。這是我們當前的基本事實。
接下來我們要思考的是，會發生什麽變化？回顧過去，我們曾經有價值一萬億美元的計算機係統。當時我們可能會思考，這些係統是否是我們需要的？放到未來的背景下，答案顯然是否定的。我們過去的數據中心擁有大量的CPU，我們知道它們的能力和限製。現在，我們需要將這些價值一萬億美元的數據中心進行現代化改革，這是合理和明智的步驟。
在與那些需要進行現代化改革的人進行對話時，他們正在使用GPU進行這一轉變。那麽，如果你有500億美元的資本支出選擇，你會選擇選項A或B？是為未來構建資本支出，還是像過去一樣？現在，過去的資本支出已經擺在那裏，摩爾定律幾乎走到了盡頭。因此，我們需要拿出500億美元，投入到生成式人工智能中，這會使你的公司更具競爭力。我會投入500億美元的全部，因為我已經有了四年的基礎設施，這是過去的投資。現在，我是從第一原理思考出發來推理，這是他們正在做的事情。聰明人做聰明事。接下來，我們有價值一萬億美元的產能可以建設，以及價值數萬億美元的基礎設施。投入1500億美元怎麽樣？對。我們在未來四、五年內有價值一萬億美元的基礎設施要建設。
我們注意到的第二件事是，軟件的編寫和使用方式都在變化。未來，我們將有代理，還有數字員工。在收件箱裏你會看到這些小點和小臉，未來會出現人工智能的小圖標。我不再用C++來編程計算機，而是用提示來編程AI。
這與我日常的溝通方式沒什麽不同。今天早上，我寫了很多電子郵件，提示我的團隊。我要描述背景、基本限製和任務，並充分指導他們，以便了解我的需求，盡可能清楚地溝通預期結果。同時，我留出了足夠的模糊空間和創意空間，讓他們能夠帶給我驚喜。這和我提示人工智能的方式沒有什麽不同。
在我們要現代化的IT基礎設施之上，將會有一個新的基礎設施，即操作這些數字人類的人工智能工廠。它們將全天候運行，我們將為全球各地的公司提供它們。這些人工智能將存在於工廠和自主係統中。因此，世界需要創建一整層計算結構，我稱之為人工智能工廠，而這些在今天是不存在的。問題是，它有多大？目前還不知道，可能有幾萬億美元。雖然還沒有明確答案，但令人振奮的是，我們現在建造的新數據中心的現代化架構與人工智能工廠的架構相同，這是一件好事。
主持人：
你已經說清楚了。你必須更新大約一萬億的舊技術，同時至少有一萬億的新人工智能工作負載即將來臨。
大致來說，今年你的收入將達到1250億美元。有人曾經說過，公司的價值永遠不會超過10億美元。Tam，今天你坐在這裏，如果你的市值是數萬億美元中的1250億美元，那麽未來的收入有什麽理由不達到現在的兩倍或三倍呢？有什麽原因讓你的收入達不到這個水平嗎？
黃仁勳：
如你所知，公司規模受限於市場的大小，就像金魚隻能長到魚塘的大小。那麽，我們的市場是什麽？這需要很多想象力。這就是做市商需要考慮未來並創造新市場的原因。回顧過去並試圖擴大市場份額是很困難的，因為市場份額的占有者隻能做到這麽大。然而，做市商的規模可以相當大。
我認為我們的好運在於，從公司成立之初，我們就必須創造一個市場來發展。當時，我們正處於創造3D遊戲PC市場的起步階段。我們基本上發明了這個市場、生態係統以及顯卡的整個生態。為一個新的市場進行發明以便更好地服務，這對我們來說非常自然。
主持人：
與創造新市場的人對話後，我們稍微轉向模型和OpenAI。正如你所知，OpenAI本周以1500億美元的估值籌集了65億美元。我們都參與了其中，真的為他們感到高興。他們的立場非常出色，團隊也表現得很好。據報道，他們今年的收入或營業收入將達到約50億美元，明年可能會達到100億美元。如果你觀察他們現在的業務，其收入大約是穀歌首次公開募股時的兩倍。他們每周平均有2.5億用戶，我們估計這也是穀歌首次公開募股時的兩倍。
如果你考慮業務的倍數，並相信明年會達到100億美元，那麽大約是預期收入的15倍，類似於穀歌和Meta首次公開募股時的倍數。想象一下，一家22個月前收入為零、每周平均用戶為零的公司。Brad對曆史了如指掌。
請與我們談談OpenAI作為合作夥伴對你的重要性，以及OpenAI作為推動公眾對人工智能認識和使用的重要力量。
黃仁勳：
這是我們這個時代最重要的公司之一，是一家追求AGI願景的純人工智能公司。無論其定義是什麽，我並不認為定義和時機完全重要。我知道，隨著時間推移，人工智能將擁有一個能力路線圖，而這個路線圖會非常壯觀。在此過程中，早在它達到任何人的AGI定義之前，我們就會充分利用它。
現在，我們與數字生物學家、氣候技術研究人員、材料研究人員、物理科學家、天體物理學家、量子化學家，以及視頻遊戲設計師、製造工程師、機器人專家等各行業的重要人物交談，詢問人工智能是否徹底改變了他們的工作方式。然後從中獲取這些數據點，回過頭來問自己，你想保持多大的懷疑態度？因為他們談論的不是人工智能有朝一日的概念性好處，而是現在就正在使用人工智能。
無論是農業技術、材料技術還是氣候技術，你選擇你的技術領域，選擇你的科學領域，人工智能正在幫助他們推進工作。在每一個行業、每一個公司、每一所大學，人工智能正在以某種方式改變商業。這真是難以置信，不是嗎？我們知道這一點。這種變化是如此真實，仿佛今天就正在發生。因此，我認為ChatGPT的引入標誌著人工智能的覺醒，這是難以置信的。我欣賞他們的速度以及推動這一領域發展的獨特目標，這非常重要。
主持人：
他們建立了一個經濟引擎，可以為下一代模型的前沿發展提供資金。
我認為矽穀的很多人都開始一致認為，整個模型層正在走向商品化。Lama讓很多人能夠以非常低的成本建立模型。在早期，我們有很多模範公司，如Character、Inflection、Cohere和Mistral。很多人質疑這些公司是否能在經濟引擎上達到逃逸速度，從而繼續為下一代提供資金。我個人認為，這就是我們看到整合的原因。Open AI顯然已經達到了逃逸速度，他們可以為自己的未來提供資金。我不清楚其他許多公司是否能做到這一點。
這是對模型層現狀的一個公平評估嗎？就像在許多其他市場中一樣，我們將整合提供給那些負擔得起並且擁有經濟引擎和應用程序的市場領導者，讓他們能夠繼續投資？
黃仁勳：
首先，我們要明白，模型和人工智能之間有根本的區別。模型是人工智能的基本要素，它是必要的，但不是充分的。人工智能具備一種能力，但問題是它用於什麽目的。舉例來說，自動駕駛汽車的人工智能與人類或機器人的人工智能相關，但卻並不相同，這與聊天機器人的人工智能相關但也不盡相同。因此，我們必須了解堆棧的分類。
在堆棧的每一層都有機會，但不是每一層都為每個人提供無限的機會。現在，我要說的重點是可以將“模型”這個詞替換為“GPU”。這實際上是我們公司32年前的一項重要觀察。GPU、圖形芯片或GPU與加速計算之間存在著根本的區別。加速計算與我們在AI基礎設施方麵所做的工作不同。兩者有關聯，但並不完全相同，它們是相互疊加的。在每一層的抽象中都需要不同的基本技能。擅長構建GPU的人未必知道如何成為一家加速計算公司，盡管有很多人都在構建GPU。我們發明了GPU，但我們不是唯一一家製造GPU的公司。雖然GPU無處不在，但它們並不是用於加速計算的公司。許多人使用它們來進行應用程序加速，但這與加速計算公司不同。因此，非常專業的AI應用程序可能會非常成功，這就是MTIA。但它可能不是那種擁有廣泛影響力和廣泛能力的公司。你必須決定你想去哪裏。所有這些不同的領域可能都有機會，但就像建立公司一樣，你必須注意生態係統的轉變以及隨著時間的推移哪些東西會被商品化。你需要認識到什麽是功能、什麽是產品、什麽是公司。
主持人：
當然，有新的市場進入者擁有資金、智慧和野心。例如，x.ai就是這樣的一個公司。有報道稱，我和Larry以及Elon共進晚餐，他們說服我提供100,000輛H100。他們在孟菲斯建造了一個大型超級集群。首先，因果關係是存在的。你認為他們建立超級集群的能力如何？
有傳言說他們想要另外100,000台H200，以擴大超級集群的規模。首先讓我們談談x和他們的抱負以及取得的成就。我們是否已經到了200,000和300,000 GPU集群的時代？
黃仁勳：
答案是肯定的。我們應當承認從概念產生，到為NVIDIA準備好設備的數據中心，再到啟動、連接並進行首次訓練，這之間取得的成就是不容小覷的。短時間內建造了一個巨大的工廠，采用液體冷卻、通電和許可，這是非常了不起的。據我所知，世界上隻有一個人能做到這一點，那就是Elon。他對工程、建築、大型係統和資源調配的理解是獨一無二的，令人難以置信。然後，當然，他的工程團隊也很出色。軟件團隊、網絡團隊和基礎設施團隊都非常優秀。埃隆對此深有體會。
從我們決定出發的那一刻起，我們與工程團隊、網絡團隊、基礎設施和計算團隊、軟件團隊一起進行了規劃，提前做好所有準備，包括所有基礎設施、所有物流以及當天運來的大量技術和設備。NVIDIA 的基礎設施和計算基礎設施以及所有這些技術都參與了訓練。
用時19天。毫無疑問，沒有人有充足的休息。但首先，19天是不可思議的。從另一個角度看，你知道19天是多少天嗎？這隻是幾個星期。沒錯。如果你親眼目睹，你會發現使用的技術數量令人驚歎。所有的布線和網絡架構，NVIDIA 設備的網絡與超大規模數據中心的網絡非常不同。
指令集架構）、CPU ISA。它們都有自己的C編譯器，你可以使用軟件並編譯到該ISA。這在加速計算中是不可能的，這在並行計算中是不可能的。提出架構的公司必須提出自己的OpenGL。
因此，我們憑借名為CUDNN的領域特定庫徹底改變了深度學習。如果沒有CUDNN，就沒有人會談論它，因為它是PyTorch和TensorFlow下麵的一層，在過去，它是CAFE和Theano，現在是Triton。有很多不同的框架。因此，特定領域的庫CUDNN、特定領域的庫Optics，我們有特定領域的庫CuQuantum、Rapids，領域列表繼續增加。
主持人：
行業特定的算法位於所有人都關注的 PyTorch 層之下。正如我常聽到的...
黃仁勳：
如果沒有發明 LLM，那麽上麵的任何應用程序都無法運行。NVIDIA 之所以出色，正是因為我們在數學和算法方麵的優勢。在科學和底層架構的結合上，我們同樣非常擅長。
主持人：
現在，所有注意力終於集中在推理上。我記得，兩年前，布拉德和我與你共進晚餐，曾問了一個問題：你認為在推理方麵的護城河會像在訓練方麵一樣強大嗎？
黃仁勳：我確信它會更大。
主持人：你剛才提到了很多元素，比如可組合性等。對於客戶來說，在兩者之間保持靈活性是非常重要的。既然我們處於推理時代，你能否談談相關內容？
黃仁勳：
推理本質上就是大規模訓練。因此，如果你訓練得好，很可能推理也會很好。如果你在這個架構上構建它，即使沒有特別的考慮，它也會在這個架構上運行。雖然可以針對其他架構進行優化，但由於已經在 NVIDIA 上構建，它至少會在 NVIDIA 上運行。
另一個方麵是資本投資。當你訓練新模型時，自然希望使用最新的設備，這就留下了你昨天使用的設備，而這些設備非常適合推理。與 CUDA 兼容的新基礎設施背後，有一係列免費設備和基礎設施。我們嚴格確保兼容性，以便現有係統保持卓越。
同時，我們投入大量精力重新發明新算法，以確保 Hopper 架構比購買時更好。我們的基礎設施因此持續高效。改進的新算法和新架構提升了每一個已安裝的基礎，包括 Hopper、Ampere，甚至 Volta。Sam 剛剛告訴我，他們最近才停用了 OpenAI 的 Volta 基礎設施。因此，我認為我們已經為安裝基礎打下了痕跡。就像所有計算一樣，安裝基礎非常重要。NVIDIA 的技術存在於每一個雲，並一直延伸到邊緣設備。因此，在雲端創建的 Vela 視覺語言模型無需修改即可在機器人的邊緣完美運行，並且完全兼容 CUDA。
我認為架構兼容性對於大型係統來說至關重要，無論是 iPhone 還是其他設備。我相信安裝基礎對於推理過程非常重要。然而，真正讓我們受益的是，當我們訓練這些大型語言模型及其新架構時，我們能思考如何在未來的某個時機創建在推理方麵表現出色的架構。
因此，我們一直在研究推理模型的迭代模型，以及怎樣為用戶的個人代理創建互動性強的推理體驗。您不希望在說完話之後還要等待片刻才能得到響應，您希望它能快速與您互動。那麽，我們如何創建這樣的係統呢？最終的成果就是 NVLink。
NVLink 讓我們能夠利用這些非常適合訓練的係統，而在您完成訓練後，推理性能也能達到非常出色的水平。因此，優化到第一個標記的時間非常重要。實際上，這一過程非常困難，因為到第一個標記的時間需要大量帶寬。如果您的上下文也很豐富，那麽您會需要大量的觸發器。因此，您需要無限量的帶寬和觸發器才能實現幾毫秒的響應時間。
我們為此發明了 Grace Blackwell NVLink。
主持人：
由於時間關係，這裏還有更多問題。
黃仁勳：聽著。讓我們一直做下去，直到做對為止。
主持人：
我喜歡這種做法。現在我們不必擔心時間了。
本周早些時候我和安迪·賈西碰麵，他提到我們即將推出 Tranium 和 Inferencia。我認為大多數人可能覺得這對 NVIDIA 是個問題。但他接著說，NVIDIA 是我們的重要合作夥伴，並將繼續是我們的重要合作夥伴。據我所知，未來世界將依靠 NVIDIA 的技術運行。
因此，當您考慮構建定製的 ASIC 時，它們將用於特定應用，比如 Meta 的推理加速器、亞馬遜的 Tranium 或者穀歌的 TPU。關於供應短缺的問題，我們需要思考這些新的技術動態是否會改變現狀，或者它們是否隻是對現有係統的一種補充。
黃仁勳：
我們現在正在做的是不同的事情，具體來說，NVIDIA 正在為一個全新的世界構建計算平台，這個世界包括機器學習、生成 AI 和代理 AI 等。
經過 60 年的計算，我們深刻地重塑了整個計算堆棧。無論是從編程到機器學習，還是從 CPU 向 GPU 的轉變，以及從傳統軟件到人工智能的演變，應用程序的形式都在改變。因此，計算堆棧和技術堆棧的各個方麵都發生了劇變。
我們的目標是創建一個可以隨時隨地使用的計算平台，這正是我們工作複雜性的源泉。我們正在構建整個人工智能基礎設施，並將其視作一台完整的計算機。我曾說過，現在的數據中心是計算的單位。當我想到一台計算機時，關注的不僅是芯片，而是整個係統：所有的軟件、編排和內部的機器，構成了我的計算機。
我們每年都在努力創造一台新的計算機，其性能提升兩到三倍，成本降低兩到三倍，能源效率提高兩到三倍。這種進步令人難以置信。因此，我們建議客戶逐年分批購買新設備，以維持在成本上的平均水平，這樣做的好處是在架構上保持兼容性。
目前，以我們這樣的改進速度來構建單獨的係統是非常困難的，而且雙重困難之處在於，我們不僅僅將這些創新作為基礎設施或服務出售，而是將它們全部分解並集成到多個平台中，比如 GCP、AWS、Azure 和其他服務中。這種做法確實是有意義的。每個人的集成都各不相同。我們必須將所有的架構庫、算法和框架集成到他們的係統中，包括我們的安全係統和網絡。我們基本上每年都進行十次這樣的集成。
這就是奇跡。這種每年的嚐試讓我感到瘋狂，想想這件事我就快要瘋了。
主持人：
那麽，是什麽驅使你每年這樣做呢？
克拉克剛剛從台北、韓國和日本回來，與你們所有的供應夥伴會麵，你們與他們有長達十年的關係。這些關係對於構建競爭護城河的組合數學有多重要？
黃仁勳：
當你係統地分解時，越是分解，大家就越驚訝於整個電子生態係統如何致力於與我們合作，以構建一個集成到所有不同生態係統中的計算機立方體，並實現無縫協調。我們向後傳播了 API、方法、業務流程和設計規則，同時向前傳播方法、架構和 API，這些已經固化並隨著我們的發展而不斷演變。
這些 API 必須結合在一起，最後，台灣和世界各地製造的所有東西都會在 Azure 數據中心結合在一起。
主持人：
人們隻需調用 OpenAI API，它就可以工作。
黃仁勳：
沒錯。這是一個完整的鏈條，是我們發明的龐大計算基礎設施。整個地球都在與我們合作，它已經融入每一個地方。
該係統可以通過戴爾和 HPE 銷售，托管在雲端，並一直接近邊緣。現在，人們在機器人係統和自動駕駛汽車中使用它，它們在架構上都是兼容的。相當瘋狂。
克拉克，我不想讓你覺得我沒有回答這個問題。事實上，我回答了。關於ASIC的部分，我指的是我們正在做一些不同的事情。作為公司，我們希望了解具體情況，並且我對公司和生態係統周圍的一切都了如指掌。我清楚其他人在做什麽，有時這對我們有利，有時則不然。我非常清楚這一點，但這並沒有改變公司的目標。公司的唯一目標是構建一個能夠無處不在的平台架構。
NVIDIA的定位是做市商，而非從任何人那裏奪取市場份額。如果你查看我們的幻燈片，會發現我們從不談論市場份額。內部討論的都是我們如何創造下一個事物？下一個可以在飛輪中解決的問題是什麽？如何更好地為人們服務？如何將過去可能需要一年的飛輪縮短到一個月？在考慮這些不同事情的同時，我們確信我們的使命非常獨特。唯一的問題是這項使命是否必要。
所有偉大的公司都應該以使命為核心，關鍵在於你在做什麽，以及這是否必要、是否有價值、是否具有影響力和幫助他人。我相信你作為一家生成式人工智能初創公司的開發人員，正在決定如何成為一家公司。你不必立即選擇支持哪家ASIC，選擇Akuta意味著你可以隨時改變主意，而我們是通往人工智能世界的入口。一旦你決定加入我們的平台，其他決定可以推遲。在與所有GCP、Azure合作時，我們也提前幾年向他們展示我們的路線圖，他們從未向我們展示他們的ASIC路線圖，但這從未冒犯過我們。如果您有一個唯一且有意義的目標，並且您的使命對您和他人都很珍貴，那麽您就可以保持透明。我在 GTC 上的路線圖是公開的，而在 Azure、AWS 等方麵的合作夥伴看到的路線圖則更加深入。我們在這些平台上的工作沒有問題，即使他們也在製造自己的 A6。
主持人：
我認為，當人們關注業務時，會說最近對 Blackwell 的需求是瘋狂的。在工作中，最困難的部分之一是在無法提供足夠的計算資源時對人們說“不”，這會帶來情感上的負擔。然而，批評者認為這隻是暫時現象，就像 2000 年的思科一樣，認為我們在過度建設光纖，預示著繁榮與蕭條並存。
令我想起了 2023 年初的一次晚宴。在 1 月 23 日的晚宴上，NVIDIA 預測 2023 年的收入將達到 260 億美元，然而最終收入為 600 億美元。
黃仁勳：
誠實地說，這是曆史上最大的預測失敗之一，我們是否至少可以承認這一點？這是我的看法。
主持人：
在 2022 年 11 月，我們非常興奮，因為 Inflection.AI 的 Mustafa 和 Character.AI 的 Noah 等人來訪，討論對他們公司的投資。他們提到，如果不能投資他們的公司，那就投資 NVIDIA 吧，因為全球都在使用 NVIDIA 芯片來開發可能改變世界的應用程序。當然，寒武紀時刻出現在 ChatGPT 上。然而，那時的 25 位分析師過於專注於加密貨幣贏家，以至於無法察覺世界上的變化。最終，事情變得更大了。
您以簡單的語言描述了對 Blackwell 的需求極其旺盛，並認為這種情況將持續下去。當然，未來是未知的。那麽，為什麽批評者會錯誤地預判這不會是像思科 2000 年那樣的過度建設呢？
黃仁勳：
思考未來的最佳方式是從第一原則出發進行推理。那麽，我們正在做的事情的第一原則是什麽？首先，我們在做什麽？答案是，我們正在重新發明計算。我們剛才提到，未來的計算方式將高度依賴於機器學習。幾乎我們所做的一切，每一個應用程序，如Word、Excel、PowerPoint、Photoshop、Premiere、AutoCAD等，都會高度機器學習化。不論你現在使用的應用程序多麽手工化，我可以保證，未來它也將轉向機器學習化。
所有這些工具的重要性在於，你將擁有機器和智能代理來幫助你使用它們。我們的計算方式已經被重新發明，不會回頭。整個計算技術堆棧已經被改造。因此，我們預見軟件的開發、內容和使用方式將會有所不同。這是我們當前的基本事實。
接下來我們要思考的是，會發生什麽變化？回顧過去，我們曾經有價值一萬億美元的計算機係統。當時我們可能會思考，這些係統是否是我們需要的？放到未來的背景下，答案顯然是否定的。我們過去的數據中心擁有大量的CPU，我們知道它們的能力和限製。現在，我們需要將這些價值一萬億美元的數據中心進行現代化改革，這是合理和明智的步驟。
在與那些需要進行現代化改革的人進行對話時，他們正在使用GPU進行這一轉變。那麽，如果你有500億美元的資本支出選擇，你會選擇選項A或B？是為未來構建資本支出，還是像過去一樣？現在，過去的資本支出已經擺在那裏，摩爾定律幾乎走到了盡頭。因此，我們需要拿出500億美元，投入到生成式人工智能中，這會使你的公司更具競爭力。我會投入500億美元的全部，因為我已經有了四年的基礎設施，這是過去的投資。現在，我是從第一原理思考出發來推理，這是他們正在做的事情。聰明人做聰明事。接下來，我們有價值一萬億美元的產能可以建設，以及價值數萬億美元的基礎設施。投入1500億美元怎麽樣？對。我們在未來四、五年內有價值一萬億美元的基礎設施要建設。
我們注意到的第二件事是，軟件的編寫和使用方式都在變化。未來，我們將有代理，還有數字員工。在收件箱裏你會看到這些小點和小臉，未來會出現人工智能的小圖標。我不再用C++來編程計算機，而是用提示來編程AI。
這與我日常的溝通方式沒什麽不同。今天早上，我寫了很多電子郵件，提示我的團隊。我要描述背景、基本限製和任務，並充分指導他們，以便了解我的需求，盡可能清楚地溝通預期結果。同時，我留出了足夠的模糊空間和創意空間，讓他們能夠帶給我驚喜。這和我提示人工智能的方式沒有什麽不同。
在我們要現代化的IT基礎設施之上，將會有一個新的基礎設施，即操作這些數字人類的人工智能工廠。它們將全天候運行，我們將為全球各地的公司提供它們。這些人工智能將存在於工廠和自主係統中。因此，世界需要創建一整層計算結構，我稱之為人工智能工廠，而這些在今天是不存在的。問題是，它有多大？目前還不知道，可能有幾萬億美元。雖然還沒有明確答案，但令人振奮的是，我們現在建造的新數據中心的現代化架構與人工智能工廠的架構相同，這是一件好事。
主持人：
你已經說清楚了。你必須更新大約一萬億的舊技術，同時至少有一萬億的新人工智能工作負載即將來臨。
大致來說，今年你的收入將達到1250億美元。有人曾經說過，公司的價值永遠不會超過10億美元。Tam，今天你坐在這裏，如果你的市值是數萬億美元中的1250億美元，那麽未來的收入有什麽理由不達到現在的兩倍或三倍呢？有什麽原因讓你的收入達不到這個水平嗎？
黃仁勳：
如你所知，公司規模受限於市場的大小，就像金魚隻能長到魚塘的大小。那麽，我們的市場是什麽？這需要很多想象力。這就是做市商需要考慮未來並創造新市場的原因。回顧過去並試圖擴大市場份額是很困難的，因為市場份額的占有者隻能做到這麽大。然而，做市商的規模可以相當大。
我認為我們的好運在於，從公司成立之初，我們就必須創造一個市場來發展。當時，我們正處於創造3D遊戲PC市場的起步階段。我們基本上發明了這個市場、生態係統以及顯卡的整個生態。為一個新的市場進行發明以便更好地服務，這對我們來說非常自然。
主持人：
與創造新市場的人對話後，我們稍微轉向模型和OpenAI。正如你所知，OpenAI本周以1500億美元的估值籌集了65億美元。我們都參與了其中，真的為他們感到高興。他們的立場非常出色，團隊也表現得很好。據報道，他們今年的收入或營業收入將達到約50億美元，明年可能會達到100億美元。如果你觀察他們現在的業務，其收入大約是穀歌首次公開募股時的兩倍。他們每周平均有2.5億用戶，我們估計這也是穀歌首次公開募股時的兩倍。
如果你考慮業務的倍數，並相信明年會達到100億美元，那麽大約是預期收入的15倍，類似於穀歌和Meta首次公開募股時的倍數。想象一下，一家22個月前收入為零、每周平均用戶為零的公司。Brad對曆史了如指掌。
請與我們談談OpenAI作為合作夥伴對你的重要性，以及OpenAI作為推動公眾對人工智能認識和使用的重要力量。
黃仁勳：
這是我們這個時代最重要的公司之一，是一家追求AGI願景的純人工智能公司。無論其定義是什麽，我並不認為定義和時機完全重要。我知道，隨著時間推移，人工智能將擁有一個能力路線圖，而這個路線圖會非常壯觀。在此過程中，早在它達到任何人的AGI定義之前，我們就會充分利用它。
現在，我們與數字生物學家、氣候技術研究人員、材料研究人員、物理科學家、天體物理學家、量子化學家，以及視頻遊戲設計師、製造工程師、機器人專家等各行業的重要人物交談，詢問人工智能是否徹底改變了他們的工作方式。然後從中獲取這些數據點，回過頭來問自己，你想保持多大的懷疑態度？因為他們談論的不是人工智能有朝一日的概念性好處，而是現在就正在使用人工智能。
無論是農業技術、材料技術還是氣候技術，你選擇你的技術領域，選擇你的科學領域，人工智能正在幫助他們推進工作。在每一個行業、每一個公司、每一所大學，人工智能正在以某種方式改變商業。這真是難以置信，不是嗎？我們知道這一點。這種變化是如此真實，仿佛今天就正在發生。因此，我認為ChatGPT的引入標誌著人工智能的覺醒，這是難以置信的。我欣賞他們的速度以及推動這一領域發展的獨特目標，這非常重要。
主持人：
他們建立了一個經濟引擎，可以為下一代模型的前沿發展提供資金。
我認為矽穀的很多人都開始一致認為，整個模型層正在走向商品化。Lama讓很多人能夠以非常低的成本建立模型。在早期，我們有很多模範公司，如Character、Inflection、Cohere和Mistral。很多人質疑這些公司是否能在經濟引擎上達到逃逸速度，從而繼續為下一代提供資金。我個人認為，這就是我們看到整合的原因。Open AI顯然已經達到了逃逸速度，他們可以為自己的未來提供資金。我不清楚其他許多公司是否能做到這一點。
這是對模型層現狀的一個公平評估嗎？就像在許多其他市場中一樣，我們將整合提供給那些負擔得起並且擁有經濟引擎和應用程序的市場領導者，讓他們能夠繼續投資？
黃仁勳：
首先，我們要明白，模型和人工智能之間有根本的區別。模型是人工智能的基本要素，它是必要的，但不是充分的。人工智能具備一種能力，但問題是它用於什麽目的。舉例來說，自動駕駛汽車的人工智能與人類或機器人的人工智能相關，但卻並不相同，這與聊天機器人的人工智能相關但也不盡相同。因此，我們必須了解堆棧的分類。
在堆棧的每一層都有機會，但不是每一層都為每個人提供無限的機會。現在，我要說的重點是可以將“模型”這個詞替換為“GPU”。這實際上是我們公司32年前的一項重要觀察。GPU、圖形芯片或GPU與加速計算之間存在著根本的區別。加速計算與我們在AI基礎設施方麵所做的工作不同。兩者有關聯，但並不完全相同，它們是相互疊加的。在每一層的抽象中都需要不同的基本技能。擅長構建GPU的人未必知道如何成為一家加速計算公司，盡管有很多人都在構建GPU。我們發明了GPU，但我們不是唯一一家製造GPU的公司。雖然GPU無處不在，但它們並不是用於加速計算的公司。許多人使用它們來進行應用程序加速，但這與加速計算公司不同。因此，非常專業的AI應用程序可能會非常成功，這就是MTIA。但它可能不是那種擁有廣泛影響力和廣泛能力的公司。你必須決定你想去哪裏。所有這些不同的領域可能都有機會，但就像建立公司一樣，你必須注意生態係統的轉變以及隨著時間的推移哪些東西會被商品化。你需要認識到什麽是功能、什麽是產品、什麽是公司。
主持人：
當然，有新的市場進入者擁有資金、智慧和野心。例如，x.ai就是這樣的一個公司。有報道稱，我和Larry以及Elon共進晚餐，他們說服我提供100,000輛H100。他們在孟菲斯建造了一個大型超級集群。首先，因果關係是存在的。你認為他們建立超級集群的能力如何？
有傳言說他們想要另外100,000台H200，以擴大超級集群的規模。首先讓我們談談x和他們的抱負以及取得的成就。我們是否已經到了200,000和300,000 GPU集群的時代？
黃仁勳：
答案是肯定的。我們應當承認從概念產生，到為NVIDIA準備好設備的數據中心，再到啟動、連接並進行首次訓練，這之間取得的成就是不容小覷的。短時間內建造了一個巨大的工廠，采用液體冷卻、通電和許可，這是非常了不起的。據我所知，世界上隻有一個人能做到這一點，那就是Elon。他對工程、建築、大型係統和資源調配的理解是獨一無二的，令人難以置信。然後，當然，他的工程團隊也很出色。軟件團隊、網絡團隊和基礎設施團隊都非常優秀。埃隆對此深有體會。
從我們決定出發的那一刻起，我們與工程團隊、網絡團隊、基礎設施和計算團隊、軟件團隊一起進行了規劃，提前做好所有準備，包括所有基礎設施、所有物流以及當天運來的大量技術和設備。NVIDIA 的基礎設施和計算基礎設施以及所有這些技術都參與了訓練。
用時19天。毫無疑問，沒有人有充足的休息。但首先，19天是不可思議的。從另一個角度看，你知道19天是多少天嗎？這隻是幾個星期。沒錯。如果你親眼目睹，你會發現使用的技術數量令人驚歎。所有的布線和網絡架構，NVIDIA 設備的網絡與超大規模數據中心的網絡非常不同。
一個節點中的電線數量，計算機背後的電線，令人難以置信地複雜。這項技術與所有軟件的整合非常了不起。我非常感謝 Elon 和 X 團隊，他們完成的工程工作、規劃工作以及所有其他內容是獨一無二的，以前從未有人做到過。
簡單來說，使用 100,000 個 GPU 作為一個集群，無疑是地球上最快的超級計算機。建造一台超級計算機通常需要三年的規劃時間，然後需要一年的時間讓設備全部運轉起來。我們在19天內完成了這項工作。
主持人：
這要歸功於 NVIDIA 平台，整個流程都得到了強化。
黃仁勳：
一切都已經正常運轉，還有大量的 X 算法、X 框架、X 堆棧等整合。但規劃工作非常出色。
主持人：
Elon 就是 N of one。在回答問題時，我們提到了200,000 到 300,000 個 GPU 集群。沒錯。可以擴展到500,000嗎？可以擴展到一百萬嗎？你的產品需求是否取決於它擴展到數百萬？
黃仁勳：
最後一部分是否定的。我的感覺是分布式訓練必須有效，並且分布式計算將被發明。某種形式的聯合學習和異步分布式計算將會被發現，我對此非常熱情和樂觀。
當然，要意識到的是，過去擴展定律是針對預訓練的。現在我們已經轉向多模態和合成數據生成。後訓練的規模已經擴大到令人難以置信，包括合成數據生成、獎勵係統和基於強化學習的方法。推理擴展也達到了頂峰。
一個模型在回答之前可能已經進行了10,000次內部推理，完成了樹搜索、強化學習，甚至進行了一些模擬和反思。它可能查找了一些數據和信息，所以它的上下文可能相當大。這種類型的智能就是我們所做的。
因此，如果您進行了計算，並將其與模型大小和計算能力每年增加4倍的趨勢相結合，那麽這種能力和擴展就變得十分重要。另一方麵，需求在使用中持續增長。我們是否認為需要數百萬個GPU？毫無疑問，是的。
問題是，我們如何從數據中心的角度來構建它？這在很大程度上取決於數據中心的功率是千兆瓦還是250兆瓦。我的感覺是，兩者兼而有之。
主持人：
分析師總是關注當前的架構賭注，但這次談話最大的收獲之一是，你正在考慮整個生態係統和未來許多年。
因為NVIDIA正在擴展規模以滿足未來的需求，並不是隻依賴於一個擁有50萬或一百萬個GPU集群的世界。等到有了分布式訓練，就會編寫軟件來實現它。
黃仁勳：
沒錯。記住，如果沒有我們七年前開發的Megatron，這些大型訓練工作的擴展就不可能實現。對。我們發明了Megatron、Nickel、GPU Direct，以及RDMA相關的所有工作。這些進展使得管道並行變得簡單。所有正在進行的模型並行和分布式訓練的突破，所有批處理等等，都是因為我們在早期做出了努力。現在我們正在為未來、下一代進行早期的工作。
主持人：接下來，我想談談Strawberry和O1。我尊重你的時間。
黃仁勳：各位，我有充足的時間。
主持人：
你非常慷慨。
首先，我覺得他們用O1簽證來命名O1是很酷的。O1簽證旨在招募世界上最優秀、聰明的人才並將他們引入美國。我知道我們都對此非常熱衷。我喜歡這個想法，就是建立一個可以思考的模型，把我們帶入可擴展智能的下一個層次。這是對這樣一個事實的致敬：正是那些通過移民來到美國的人，他們的集體智慧造就了我們。當然，這也是關於外星智慧的。
當然，這一切由我們的朋友諾姆·布朗主導。他在Meta工作，曾參與Pluribus和Cicero項目。將推理時間推理作為可擴展智能的全新載體，與僅僅是建立更大的模型相比較，有多大意義？
黃仁勳：
意義重大。我認為很多智能不能先驗完成。很多計算，以及計算的重新排序，都無法先驗完成。所以很多事情隻能在運行時完成。
無論從計算機科學還是智能的角度來看，許多事情都需要背景、具體情況以及你所尋找的答案類型。有時，一個快速答案就足夠了，這取決於答案的影響和使用性質。因此，有些答案可以讓AI思考一個晚上，甚至一周。我完全可以想象自己向人工智能發送一個提示，告訴它，“思考一個晚上，明天再告訴我你的最佳答案和理由。”從產品角度看，現在智能的細分將會有一次性的版本。當然，有些任務可能隻需要五分鍾。智能層會根據正確的用例選擇合適的模型來解決這些問題。
主持人：
昨晚我們使用了高級語音模式和 O1 預覽，我正在輔導我兒子參加 AP 曆史考試。感覺就像世界上最好的 AP 曆史老師就在你身邊思考這些問題，令人驚歎。
今天，你的40%收入來自推理，它在逐步準備好了，因為有推理鏈的出現。這將帶來十億倍的增長。
黃仁勳：
許多人還沒有完全理解這一點。我們談論的行業正如同工業革命，這是智能生產，將實現十億倍的增長。
主持人：
因此，每個人都高度關注 NVIDIA，就像在更大型的模型上進行訓練。即使今天的收入是 50-50，未來將進行更多的推理。訓練雖然重要，但推理的增長將遠超訓練。這幾乎難以想象其他情況。
黃仁勳：
我們的目標是讓人們最終能在社會中有所作為。因此，雖然訓練模型很重要，但更重要的是推斷它們。
主持人：
你是否已經在自己的業務中使用推理鏈和O1之類的工具來改善自己的業務？
黃仁勳：
我們今天的網絡安全係統依賴於其自身的代理來運行。我們有代理幫助設計芯片，比如霍珀和布萊克威爾的出現都是依賴這些代理。我們公司內部有 AI 芯片設計師、AI 軟件工程師、AI 驗證工程師等，因為我們有能力，並希望自行探索技術。
主持人：
當我今天走進大樓時，有人過來說，請詢問 Jensen 關於文化的問題。所有的一切都與文化息息相關。
在業務方麵，我們經常談論適應性、效率，以及能夠快速執行的扁平化組織和小型團隊。NVIDIA 確實行事獨特。每位員工每年創造的收入約為 400 萬美元，利潤或自由現金流約為 200 萬美元。你建立了一種高效的文化，真正釋放了創造力、創新、主人翁精神和責任感，打破了傳統的職能管理模式。大家都喜歡談論你的那些直接下屬。
利用人工智能是否能讓你繼續發揮超強創造力，同時又保持高效？
黃仁勳：
毫無疑問能夠做到。我希望有一天......NVIDIA 目前有 32,000 名員工。我們在以色列的員工有 4,000 家庭，我希望他們一切都好。我希望 NVIDIA 有一天能成為一家擁有 50,000 名員工和 1 億名人工智能助手的公司。這些 AI 將分布在各個群體中。
我們將擁有一個完整的 AI 目錄，這些 AI 在各自領域表現出色。我們的收件箱也會裝滿與我們合作的 AI 目錄，我們知道這些 AI 非常擅長我們的技能。因此，AI 將招募其他 AI 來解決問題。AI 將在 Slack 頻道中相互交流，人類亦是如此。我們將形成一個龐大的員工基礎，其中一些是數字和 AI，另一些是生物的，我甚至希望其中一些是 megatronics 的。
主持人：
從商業角度來看，這還是一個被嚴重誤解的概念。你剛剛描述了一家公司，它的產出相當於一家擁有 15 萬名員工的公司，但你僅用了 5 萬名員工。
黃仁勳：沒錯。
主持人：
現在，你並沒有說要解雇所有員工。你仍在增加組織中的員工數量，但該組織的產出將大幅增加。
黃仁勳：
這常常被誤解。人工智能不會取代人類，而是會改變每一項工作。對，人工智能將對人們對工作的看法產生巨大影響。讓我們承認這一點。對，人工智能有可能帶來令人難以置信的好處。我們必須構建安全的人工智能。許多人忽視了一點，當公司利用人工智能提高生產力時，可能體現為更好的收益或增長，或者兩者都有。當這種情況發生時，首席執行官的下一步可能並不是裁員，因為公司在成長。我們的想法比我們能探索的更多，我們需要 AI 來幫助我們思考，然後再實現自動化。人工智能可以幫助我們完成自動化的部分，也能夠幫助我們思考問題。然而，這仍然需要我們去明確要解決的問題。這家公司需要解決哪些問題？我們要選擇這些想法，並找出自動化和擴展的方法。因此，隨著效率提高，我們將雇傭更多的人。
人們常常忘記這一點。如果你回顧過去，很顯然我們今天的想法比200年前多得多。這就是為什麽盡管我們在瘋狂地實現自動化， GDP 更大，就業更多。
主持人：
這是我們正在進入的這個時期的一個非常重要的點。
第一，幾乎所有人類生產力和繁榮都是過去 200 年自動化和技術的副產品。從亞當·斯密到熊彼特的創造性破壞理論，都可以看出過去 200 年人均 GDP 增長的圖表，它一直在加速。
這讓我想到一個問題。如果你看看 90 年代，美國的生產力增長率大約是每年 2.5% 到 3%。進入 21 世紀後，這一速度放緩到 1.8% 左右。過去 10 年是生產力增長最慢的十年，這是我們有記錄以來最慢的速度。許多人在爭論其原因，但如果世界像你描述的那樣，我們正處於人類生產力急劇擴張的邊緣嗎？
黃仁勳：
這是我們的希望。當然，我們生活在這個世界上，因此我們擁有直接的證據。我們有直接的證據，證明無論是孤立的案例還是個別研究人員，人工智能在以難以想象的超大規模推動科學探索。這體現了生產力的提升。我們以極高的速度設計出令人難以置信的芯片，其複雜性和計算機複雜性呈指數級增長，而公司員工數量卻沒有相應增加，這是生產力的衡量標準。
我們開發的軟件質量持續提升，這依賴於人工智能和超級計算機的支持，而員工數量增長卻幾乎是線性的，這同樣顯示了生產力的提高。在各種行業中，我們可以抽查到相似的現象。我可以親自驗證，我們在商業領域的變化無可否認。雖然我們可能會過度自適應，但這些現象反映了我們觀察到的趨勢，並可能在其他行業中得到體現。
毋庸置疑，智力是世界上最有價值的商品。現在，我們正準備大規模生產它。每個人都需要理解，當被比自己優秀的人工智能包圍時，會發生什麽。這讓我想起自己的職業生涯，我有60個直接下屬，他們之所以加入我的團隊，是因為他們在各自領域中是世界級的，並且他們的表現優於我。但我與他們能夠無障礙地互動，並輕鬆設計和編程這些互動。這意味著每個人都將學會成為首席執行官，成為人工智能代理的首席執行官。他們將利用創造力、意誌力和必要的推理能力來分解問題，從而編程這些人工智能，幫助他們實現目標。
主持人：
你提到了人工智能的協調和安全性，還提到中東正在發生的悲劇。我們在世界各地擁有大量的自主權，許多人工智能正在被廣泛應用。關於人工智能與安全的討論尤為重要，我們需要確保人工智能的發展對人類來說是積極的淨收益，而不是演變成一個沒有目的的反烏托邦。馬克·紮克伯格曾指出，打敗惡意人工智能的方法是讓優良的人工智能更加先進。
你如何描述我們的觀點，即我們如何確保這對人類來說是積極的淨收益，而不是讓我們留在這個沒有目的的反烏托邦世界中？
黃仁勳：
關於安全的對話確實很重要，而且很好。
抽象的觀點，這種將人工智能視為一個龐大的神經網絡的概念性觀點，並不是那麽好。眾所周知，人工智能和大型語言模型是相關的，但並不相同。
首先，開放源碼的人工智能模型非常關鍵，它允許整個研究社區、各行各業的企業共同參與，學習如何利用和應用這種技術。其次，許多人低估了為保障人工智能安全而進行的技術研發。這些技術用於管理數據、訓練和協調人工智能、生成合成數據、擴展知識，並減少誤導信息。此外，還有為繪圖、通知、護欄以及監視其他人工智能所創建的安全係統。
我們正在為整個行業建立必要的基礎設施，包括方法論、紅隊、流程、模型卡、評估和基準測試係統等，所有這些都在迅速發展之中。然而，這些努力常常被低估。
主持人：
外界很少意識到這些沒有受到政府法規的強製，而是行業參與者為應對關鍵問題所自發采取的最佳實踐。
黃仁勳：
我們必須開始將人工智能視為一種工程係統，該係統需要從基礎原理精心設計和徹底測試。
最後，監管也是一大關注點。雖然對重要技術進行適度監管是必要的，但須避免過度監管，特別是應用層麵的監管更為重要。人工智能應該作為一種應用能力來對待，監管應有助於其積極發展，而不是阻礙創新。
首先，各類機構如FAA、NHTSA、FDA等，無論怎麽說，都是為了監管技術應用而設立的。這些不同的生態係統如今必須規範融入人工智能的技術應用。因此，我認為我們不能忽視為人工智能製定的大量法規，也不能依賴某個虛構的宇宙銀河人工智能委員會的管理。所有這些不同的監管機構的成立都是有其原因的。
主持人：
現在回到我們的核心理念。如果我不提及開源點，我的合夥人比爾·格利可能會不高興。你們推出了一個重要且強大的開源模型——Neutron，顯然Meta也在為開源貢獻力量。我在閱讀Twitter時，看到關於開源與封閉的爭論非常熱烈。第一個問題是，你如何看待自己的開源模型保持前沿能力？第二個問題是，你是否認為開源模式和推動商業運營的閉源模式將是未來的發展方向？這兩者是否會在安全上形成健康的緊張關係？
黃仁勳：
開源與閉源確實和安全有關，但不僅限於安全。比如，閉源模型作為經濟模型的引擎毫無疑問是合適的，它對於維持創新是必要的。我完全支持這一點。我認為，把開源與閉源對立起來是不對的，它們應該是相輔相成的。開放是激活許多行業的必要條件。沒開源的話，各類科學領域如何能夠在人工智能上實現突破？
因為他們需要開發特定領域的人工智能，而這需要依賴開源模型的支持。而這些特定的人工智能係統需要開源模型來創建，它們是相關但不同的。僅僅擁有一個開源模型，並不意味著擁有了一個人工智能。因此，金融服務、醫療保健、交通運輸等諸多行業，以及科學領域，因有開源而得以實現創新。
最後，關於對開源模型的需求，我們的開源模型首先是Llama，顯然，Mark和他們的努力成果令人難以置信。Nemotron 的開發讓人感到超乎尋常。我們創建這個模型的目的是為了生成合成數據。表麵上看，一個人工智能坐在那裏循環生成數據以自我學習似乎不太可靠。在那個無限循環中能重複多少次值得懷疑。不過，我設想的情景是，像把一個超級聰明的人關進軟墊房間一個月，結果未必是一個更聰明的人。然而，如果我們將兩三個人放在一起，配合不同的人工智能和知識分布，通過問答互動，每個人都可以變得更聰明。
因此，我們可以讓人工智能模型進行交換、互動和辯論，並通過強化學習和合成數據生成等方式來提升彼此的能力。我們的模型 Nemotron 340B 是世界上最優秀的獎勵係統模型，它在批判分析上也極具優勢。這使它成為增強其他模型的理想選擇。無論其他模型多麽出色，我都建議使用 Nemotron 340B 來進行提升。這款模型已經證明了它能讓 Llama 以及其他所有模型變得更好。
主持人：
作為曾在2016年交付DGX-1的人，這段旅程實在不可思議且令人驚歎。您不但生存下來，而且在早期階段取得這樣的成就是非常了不起的。2022年，我們迎來了科技的寒武紀時刻。我經常被問到您能堅持做多久這樣的問題。作為一個擁有60個直接下屬並推動這場革命的人，您玩得開心嗎？是否還有其他更願意做的事情？
黃仁勳：
我可以肯定地說，我玩得很開心，我無法想象還有什麽比現在所做的事情更讓我願意去做。但這並不意味著我們的工作總是充滿樂趣的，它並非總是這樣，也沒有指望它永遠是如此。我對工作一直都很認真，也很重視我們的責任和貢獻。雖然工作並不總是充滿樂趣，但我一直很享受它。就像生活中的所有方麵，無論是家人、朋友還是孩子，並不總是有趣，但我們一直都深深地喜歡著這一切。
關於工作的持續性，真正的問題在於我能保持相關性多久。而這取決於我如何繼續學習。如今，我對此更為樂觀，部分原因是人工智能的存在。我幾乎每天都在使用人工智能，所有的研究也都涉及到它。即使我已經知道答案，也會通過人工智能反複檢查每個問題，以發現新的見解。
我對目前的生活質量感到難以置信，並無法想象錯過這樣的時刻。
主持人：
這是我們職業生涯中最重要的時刻之一。感謝這種思維夥伴關係，它讓我們變得更聰明。也感謝你作為領導層的一部分，引領這一進程。真的很喜歡這樣的合作。謝謝。
黃仁勳：
謝謝，幹得好。
