作為一名“AI政治家”，山姆·奧特曼頻繁地出現在全球各大科技、經濟活動的演講台，言必稱“算力”。
我在《黃仁勳“人肉快遞”，掀起900億美元算力爭奪戰》中也提到，來源無非兩種路徑：買和自研。現在，矽穀巨頭們基本都是兩條腿走路，一邊買、一邊下場自研，連蘋果也被傳出和台積電搞了4年的推理芯片項目ACDC（Apple Chip in Data Center）。
主流GPU供應商包括英偉達、AMD、Intel這幾家，但每年數百萬顆GPU能夠生產出來的前提，是上遊的供應商能夠提供足夠的零部件，比如最為關鍵的HBM存儲芯片。
以H200為例，1顆邏輯芯片要搭配6顆HBM存儲芯片，到GB200，1顆邏輯芯片要搭配8顆HBM存儲芯片，整體需求會在現有的基礎上增長30%以上。TrendForce預計2025年GB200的出貨量將達到100萬顆，單單這一款產品，對HBM存儲的需求就將達到800萬顆。
01 AI帶火HBM
HBM（High Bandwidth Memory），中文翻譯過來即高帶寬內存，由於這幾年的GPU產品大量的采用而火起來（如下圖），但實際上它也不算特別新的概念，2013年就被固態技術協會定位行業標準。
主要GPU廠商的主流產品對應的HBM型號，來源：TrendForce
2015年，AMD Radeon R9 Fury X全行業首次應用HBM內存，但由於當時深度學習向量計算需求還沒有爆發，且HBM與GPU/CPU封裝在一起，相比DDR內存容量還小，作為早期技術成本太高而無法在消費級產品上大規模的應用。
高到什麽程度呢？AMD RX Vega當時搭載了2顆HBM2內存，BOM成本大概是160美元，單顆成本80美元，數倍於GDDR5 / GDDR5X，TrendForce預估HBM的單價是DDR的5倍，而且HBM的價格隨著算力需求的上升也在不斷上漲，這個差距還會進一步拉大。
貴，還不得不用，問題在於處理器和內存之間的數據交換存在瓶頸。
相比主流的存儲方案，HBM的高帶寬，在解決數據交換瓶頸上具有天然的優勢。根據Embedded整理的數據，16GB的HBM2e每個堆棧的帶寬達到460.8GB/s。
架構上，傳統方案一般為存算分離架構，處理器是處理器，內存是內存，存儲顆粒和邏輯芯片分開，而采用3D堆疊的HBM內存，則通過CoWoS與邏輯芯片封裝在一起。
1GB GDDR5和1GB HBM的die size對比，來源：網絡
從視覺上來看，CoWoS封裝的直接收益就是GPU的尺寸更小，當然HBM內存本身尺寸就很小，同樣是1GB存儲，GDDR5的尺寸大概在672mm²，而HBM隻有35mm²，差距接近20倍。
這種尺寸上的差距，在PCB板上表現的更為明顯，比如R9 290X，芯片+內存搭配的PCB板麵積達到9900mm²，而采用CoWos封裝方案，總麵積不到4900mm²，占PCB板的麵積少了近一半。
GDDR5與HBM存儲性能差異，來源：AMD
基於3D堆疊和CoWoS封裝，HBM的顯存帶寬得到了大幅度的提升，2015年，AMD官方提供了一張HBM和GDDR5對比的PPT（如上圖），AMD將HBM稱之為“一種不同於GDDR5的內存”，清楚的描述了基於矽通孔（TSV）技術的HBM內存，在位寬、帶寬以及工作電壓上二者的差異。
一句話簡要總結，HBM解決了大量數據計算麵臨的最核心的帶寬問題，同時在尺寸和功耗上比GDDR5也有明顯的優勢。
02 3000美元，HBM成本占一半
單純說HBM內存價格貴，你可能沒有概念，如果將其放在整個GPU的成本裏來看，就直觀了。
H100的BOM成本預計在3000美元左右，80GB的HBM存儲大致1500美元，即18.75美元/GB，核心的邏輯芯片大致300美元左右，SXM模組成本在300美元以下，封裝基板和CoWoS大約300美元。
也就是說，存儲的總成本占一顆GPU物料成本的一半。
目前，主流供應商都加快擴產節奏，SK海力士預計今年產能會翻一倍。三星則最為激進，今年CES上，三星預計全年HBM產能將提升2.4倍，到3月底的MEM大會上，又將這一預期拉高到了2023年的2.9倍，而2026年和2028年，分別將提升至2023年的13.8倍和23.1倍。
SK海力士、三星和美光們拉高HBM的產能應對GPU客戶的需求，但今年和明年的現有產能基本都被搶空。
去年12月份，韓國媒體披露稱英偉達向SK海力士和美光下了13億美元的訂單，而知名硬件網站tomshardware援引這則消息，推算稱這筆預算大致在10.8 億美元到 15.4 億美元之間，並且是為了保證H200這款產品的HBM供應安全。
按前麵的BOM成本，一顆GPU搭配的6顆HBM成本為1500美元，這筆預算也隻能滿足86.6萬顆H200的HBM內存需求。
2022-2024 HBM市場份額，來源：TrendForce
TrendForce去年8月份梳理過近三年HBM的市場份額情況（如上表），SK海力士和三星一直是市場上的主角，其中SK海力士是英偉達HBM3的主力供應商，三星則主要服務於其他雲廠，但也剛剛通過了英偉達的供應商認證，兩者占據了絕大部分的市場份額，美光的整體市場份額大致在5%左右。
拆分到具體產品上，TrendForce認為，今年HMB3仍然是市場主流，市占率將在60%以上，8層和12層HBM3e的累計份額大概在25%左右。
此前SK海力士對外公布，今年Q2開始少量出貨12層堆疊的HBM3e，美光確認3月份開始交樣，三星則將於9月份開始向英偉達供貨（GTC上黃仁勳還給三星的12層堆疊HBM3e簽名：Jensen huang認證）。
這意味著，三家供應商將於三季度打響HBM3e市場爭奪戰，大規模供貨相關產品。
需求量大，價格也隨之跟著起飛。
TrendForce的分析師Avril Wu援引產業鏈的消息稱，2025年的HBM定價談判已經在今年第二季度開始，受限於DRAM產能的不足，主要供應商已經確定漲價，漲幅預計在5%-10%之間。而漲價的理由可以歸結為三個：客戶的需求旺盛、HBM3e的良率偏低成本高以及供應商的產能和可靠性差別。
不過，基於DRAM的HBM大幅擴產，也會間接地壓縮其它產品的產能，這也意味著消費級市場也可能會麵臨衝擊，TrendForce預測最高漲幅可能達到20%，所以接下來AI PC如果漲價，意味著你也在為AI產業的發展埋單。
03 國產HBM最快明年問世
HBM又是擴產，又是漲價，國產現狀如何，這應該是很多人關心的話題。
這個問題大致可以從兩個方麵來看，首先，是國產GPU是否能夠采購到HBM內存；其次，是國產HBM進展怎麽樣？
根據公開資料，已經有國產GPU在使用HBM內存，不過先進產品產能有限，國產采購的主要還是前兩代產品為主，比如HBM2e。另外，受製於BIS的限製，相關產品無法直接通過SK海力士、三星和美光直接供貨，但可以通過一些特殊手段從上述供應商在全球的代理商的渠道采購，然後搭配控製器、邏輯芯片，利用CoWoS完成GPU的封裝。
CoWoS封裝橫截麵，其中藍色為3D堆疊的HBM內存，綠色為主控芯片，粉色為邏輯芯片，橙色為矽中介層，灰色為封裝基板，來源：Rambus
除了特殊手段采購HBM內存，也可以直接采購DRAM顆粒，但這需要原廠預留TSV孔，以便於利用國產線進行堆疊封裝HBM，當然也可以直接采購裸晶封裝成DRAM顆粒，然後利用TSV矽通孔技術，堆疊封裝成為HBM內存，再利用國產CoWoS產能，完成GPU封裝。
和台積電等少數廠商的全鏈條CoWoS封裝能力不同，大陸的封裝分為CoW和WoS兩個部分，由不同廠商完成。不過，在產能不足的情況下，台積電的部分CoWoS也會拆成這種形式，比如台積電完成CoW部分，然後由日月光，Amkor等廠商完成WoS的部分。
根據此前產業鏈消息，Amkor已經進入到英偉達的供應商體係當中，拿到L40S的封裝訂單，也在布局CoWoS封裝，如果未來英偉達的訂單在台積電亞利桑那工廠生產，又由於台積電在美國還沒有先進封裝產線，這部分訂單很有可能被Amkor拿到。
回歸正題，將CoWoS拆成CoW和WoS兩部分，核心在於工藝的成熟度，其次是兩部分的良率的同步，這可能是目前的挑戰之一，需要長時間的Know how以及協作，來提升良率、降本。
關於國產HBM進展如何的問題，本質上是回答國產HBM DRAM顆粒純自研的進展，目前合肥、武漢、泉州和深圳都有相關企業在布局，前三地的廠商很多人應該熟悉，深圳昇維旭屬於新晉入局者。
2022年3月份，深圳昇維旭成立，聚焦通用型DRAM芯片的研發生產，同年6月官宣日本半導體教父、爾必達社長阪本幸雄出任首席戰略官，遺憾的是阪本幸雄已於今年2月14日因心肌梗塞去世，享年76歲。
據芯事重重專欄作者Morris Zhang透露，昇維旭預計最快明年可以拿出相關產品化SKU，初代產品可能會在較高的節點堆疊，顆粒密度小一些，頻率/位寬/帶寬規格小一些。
與此同時，一些國產廠商也在進行更先進的晶體管結構研究，比如在去年底69屆IEEE國際電子元件年會上，長鑫發布了一篇概述環繞式閘極結構GAA（三星3nm節點導入的架構）技術的論文，被解讀為突破3nm工藝。
客觀地說，論文本質上隻是一種技術展示，與技術突破不能畫等號，且長鑫也發表聲明，稱論文描述了與DRAM結構和4F²存儲單元結構設計可行性相關的基礎研究（相比當前6F²結構，利用4F²結構，在不改變工藝節點的情況下，可以實現芯片尺寸微縮30%），與當前的生產工藝無關。
長鑫的回應符合國產芯片現狀的客觀邏輯，現在就追平SK海力士、三星這些存儲巨頭幾乎不可能，但其反映出來的趨勢很關鍵——國產廠商在麵對諸多挑戰的情況下，仍然在持續投入先進存儲技術的研發，這可能是真正應該感到高興的點，畢竟這才是國產存儲，乃至國產芯片產業的火苗和希望。