一、為什麽需要 Wafer-scale 架構
傳統芯片存在一個核心瓶頸:
麵積與互連限製
一顆常規芯片通常隻有:
-
幾百 mm² 麵積
-
幾十億晶體管
-
有限的IO帶寬
但生物大腦規模大約為:
-
約 (10^{11}) 神經元
-
(10^{14}–10^{15}) 突觸
如果使用普通芯片實現,就需要成千上萬顆芯片互連,導致:
-
延遲增加
-
功耗暴漲
-
網絡複雜
因此一種思路是:
把整片晶圓變成一顆計算芯片
晶圓麵積通常:
-
300mm wafer ≈ 70,000 mm²
是普通CPU芯片麵積的100–300倍。
二、典型 wafer-scale 神經形態結構
一個典型的架構可以分為四個層次:
wafer
├── neuron tile
│ ├── neuron circuits
│ └── local synapse memory
│
├── synapse crossbar arrays
│
├── routing network
│
└── global learning engine
1 神經元計算單元(Neuron Tile)
晶圓被劃分為成千上萬個 tile。
每個 tile 包含:
-
神經元電路
-
突觸陣列
-
本地緩存
-
通信接口
例如一個 tile 可以包含:
-
1024 neurons
-
1M synapses
整片 wafer 可能達到:
-
數百萬神經元
-
數十億突觸
2 突觸矩陣(Crossbar Synapse Array)
核心結構是 crossbar matrix。
word line → presynaptic neuron
bit line → postsynaptic neuron
intersection → memristor synapse
電流自然實現:
[
I = V times W
]
即模擬矩陣乘法。
優點:
-
並行
-
能耗低
-
計算與存儲合一
3 Spike Communication Network
大腦通信是 spike event。
芯片采用:
AER (Address Event Representation)
結構類似:
neuron fires spike
↓
address packet
↓
on-wafer network
↓
target neuron
網絡通常是:
-
mesh network
-
hierarchical tree
-
packet-switched network
這樣可以在晶圓內實現百萬級神經元通信。
三、關鍵技術:3D 神經形態堆疊
真正接近大腦的結構需要:
3D stacking
因為大腦是三維連接網絡。
一種可能結構:
Layer 1 CMOS neuron circuits
Layer 2 memristor synapse arrays
Layer 3 routing network
Layer 4 learning circuits
使用:
-
TSV(Through Silicon Via)
-
hybrid bonding
-
wafer bonding
垂直連接密度可達:
10^6 interconnects / mm²
遠超傳統封裝。
四、關鍵材料與器件
1 CMOS 神經元
模擬電路實現:
-
integrate
-
threshold
-
reset
優點:
-
工藝成熟
-
穩定
2 Memristor 突觸
材料包括:
-
HfO?
-
TaOx
-
TiO?
機製:
氧空位遷移
conductive filament
實現:
-
可調權重
-
STDP學習
3 Phase-change memory
材料:
-
GeSbTe
通過:
晶態 ↔ 非晶態
改變電阻。
五、晶圓級互連網絡
Wafer-scale 係統必須解決:
長距離通信
通常采用:
1 層級網絡
neuron cluster
↓
regional router
↓
global router
類似:
大腦皮層結構
2 光互連
未來方向:
silicon photonics
優勢:
-
高帶寬
-
低延遲
-
長距離通信
結構:
laser
waveguide
photodetector
六、容錯設計
整片晶圓使用意味著:
不可避免存在缺陷
解決方案:
1 冗餘 neuron
active neuron
backup neuron
2 可重構網絡
壞塊可以被繞過:
faulty tile
→ routing bypass
3 自學習適應
神經網絡可以自動適應部分硬件損壞。
七、功耗問題
生物大腦功耗:
≈ 20 W
超級計算機模擬大腦需要:
> 1 MW
Neuromorphic wafer 目標:
< 1 kW
原因:
-
event-driven
-
analog compute
-
local memory
八、現實中的典型係統
Cerebras wafer-scale engine
由
Cerebras Systems
開發。
特點:
-
850,000 cores
-
2.6 trillion transistors
-
wafer-scale chip
麵積:
46,000 mm²
Intel neuromorphic chip
Intel 的
Loihi
特點:
-
spike neural network
-
on-chip learning
IBM 神經形態係統
IBM
開發:
TrueNorth
-
1 million neurons
-
256 million synapses
九、未來架構:真正的“矽基大腦”
理想結構可能是:
Wafer-scale 3D neuromorphic stack
包含:
1
神經元層
CMOS neuron arrays
2
突觸層
memristor crossbars
3
通信層
optical network
4
學習層
local plasticity circuits
十、理論規模
如果使用:
-
300 mm wafer
-
3D stack
-
memristor synapse
理論可實現:
10^8 – 10^9 neurons
10^12 – 10^13 synapses
接近:
小型哺乳動物大腦規模
十一、終極方向
未來可能出現:
Brain-scale computer
結構類似:
rack
└── wafer brain modules
└── optical interconnect
規模:
10^11 neurons
10^15 synapses
功耗可能:
1–10 kW
???? 一個重要結論
真正接近生物大腦的計算機不會是 GPU 或 CPU 的延伸,而是:
物理動態係統
特點:
-
模擬計算
-
事件驅動
-
分布式學習
-
極高連接密度
更多我的博客文章>>>