美光高管：內存需求爆了，全球再建5座超級晶圓廠也不夠

AI對內存的需求，正在以連美光自己都沒預料到的速度爆炸式增長。

 

The Circuit播客近日發布了一期對話節目，主持人專訪了美光科技數據中心業務部門高級副總裁兼總經理Jeremy Werner。對話圍繞AI時代內存與存儲行業的結構性變化展開。

Werner開門見山地表示，這一輪內存行業的繁榮與以往的周期性波動有本質區別。

內存已經成為數據中心推理環節突破瓶頸的關鍵戰略資產，也是訓練全球最先進模型的核心支撐。我不認為這個趨勢會放緩。

 

 

AI推理的“內存牆”：不夠用就得從頭算

 

Werner用一個直白的邏輯解釋了為什麽推理對內存的需求如此特殊。

訓練和推理對內存的使用方式截然不同。Werner說：“訓練用內存來學習，然後遺忘，最終輸出一個模型。但推理用內存來記憶。”

推理過程分為兩個階段：預填充（prefill）和解碼（decode）。在解碼階段，模型需要不斷調用此前的計算結果——也就是所謂的KV緩存（KV Cache）——來生成更準確的答案。

問題在於：如果內存不夠存下這些曆史狀態，模型就必須從頭重新計算。Werner解釋了這意味著什麽：

每一輪重新計算，所需的算力相當於此前所有輪次的總和。也就是說，算力需求是指數級增長的。而如果你能存下上一輪的狀態，每一輪隻需要線性地多做一步。

換句話說，內存不足會讓GPU的算力利用率急劇下降。反過來，Werner指出：“如果你能提供足夠快、足夠大的內存，理論上可以從GPU中榨取出平方倍的算力。”

推動KV緩存需求膨脹的因素有三個：上下文窗口越來越長、模型參數量越來越大、同時並發使用AI的用戶越來越多。Werner透露，目前上下文長度正以每年30倍的速度增長。

 

內存層級：從HBM到SSD，一條完整的“存儲鏈”

 

Werner詳細梳理了AI數據中心的內存層級結構，從最靠近GPU的高帶寬內存（HBM）到最遠端的海量SSD，構成一條完整的“存儲鏈”。

第一層：HBM，緊貼GPU，典型容量在10至100GB之間，速度最快，但容量有限。

第二層：主內存（Main Memory），連接至CPU，容量通常是HBM的4至20倍，但速度更慢、距離更遠。以英偉達Blackwell係統為例，主內存連接至Grace CPU。

第三層：擴展內存（Expansion Memory），通過光纖連接獨立內存模塊，目前尚未大規模量產部署，但已是業界關注的方向。

第四層：上下文內存存儲（Context Memory Storage），即用SSD來存儲KV緩存。Werner指出，英偉達CEO黃仁勳今年已公開談及這一方向。與HBM相比，SSD的延遲更高、帶寬更低，但容量可達HBM的1000倍。

第五層：數據湖，數據中心底層的海量SSD存儲，以EB（艾字節）計。

Werner表示，目前整個層級從上到下都處於供不應求的狀態：“隻要我們發布產品，他們就會消耗掉。隻要我們提升容量和性能，他們就會找到方法部署。”

 

 

HBM4與245TB SSD：美光的兩張王牌

 

麵對上述需求，美光正在兩個方向同時發力。

HBM4方麵，Werner透露，美光剛剛發布了HBM4產品，帶寬是上一代HBM3e的兩倍以上。他強調，提升帶寬的核心邏輯在於：當瓶頸不是算力而是內存帶寬時，必須加快數據送達GPU的速度。

SSD方麵，美光推出了一款245TB超大容量SSD，Werner形容“這個東西比一副撲克牌大不了多少”。

這款產品的意義不僅在於容量本身。Werner解釋，目前數據中心部署的硬盤容量普遍在30TB出頭，而245TB的SSD意味著同等存儲量所需的設備數量大幅減少，連帶減少了網絡連接、電源、風扇等配套設施，最終將存儲占地麵積壓縮逾80%，同時顯著降低功耗。

“你隻需要為你真正需要的性能付費，而這些性能是以更高效的每瓦特GB來交付的。”Werner說。

這直接回應了數據中心當前最棘手的兩大約束：電力預算和物理空間。Werner表示：“如果電力是限製增長的瓶頸，那我們就必須在固定功耗預算內，找到提供更高效性能的方法。這正是我們大量創新的來源。”

 

產能已經跟不上：全球五座晶圓廠同步開建

 

盡管需求旺盛，Werner坦承，內存行業的產能已經無法跟上需求。

 

“我們沒有在全球建造足夠多的晶圓廠。”他直接說道。

目前美光正在全球同步推進五座晶圓廠的建設：

愛達荷州博伊西：60萬平方英尺潔淨室，相當於10個足球場大小

紐約州北部：已宣布開工建設

弗吉尼亞州：現有晶圓廠擴建

新加坡：南部晶圓廠（Nanfab）破土動工

日本：DRAM生產設施擴建

中國台灣：剛剛從PSMC收購一座晶圓廠

Werner表示，目前整個行業都受製於潔淨室空間，這一狀況短期內難以改變。

我們已經無法跟上需求了，其他所有人也一樣——英特爾、英偉達、台積電都在說，我們已經滿負荷了。晶圓廠不是說長就能長出來的。

 

市場還沒看懂這件事

 

對於市場的擔憂，Werner有不同看法。

他認為，市場目前看到雲服務商（CSP）資本開支大幅增加，就開始擔心這是否可持續。但他的判斷是：“這些企業正在經曆一場巨大的革命，其潛力仍然超出大多數人的想象。”

Werner還指出，AI的應用場景遠未飽和。訓練時代已經過去，推理時代剛剛開始，而Agentic AI（智能體AI）和物理AI（Physical AI）甚至還沒有真正大規模落地。“我真的相信，我們隻是剛剛觸及AI將要帶來的變革的表麵。”

他也承認，矽穀內外對AI的認知存在巨大落差：

在矽穀，大家都非常興奮，很容易陷入自己的信息繭房。但當我和不在這個行業的朋友聊天，他們很多人還沒有意識到未來20年將會發生什麽