AI 硬件讀書筆記

1.  AI 硬件需要10X/year 的性能提升。這個隻有靠scaling 實現（multi-core; multi-chip; multi-cluster, etc.)。靠製程縮小（比如5nm) 和 構架創新(architecture innovation)是達不到的。

2.  在DATA CENTER （TRAINING）領域，NVIDIA 一人獨大。沒有人能夠挑戰。INTEL 可能挑戰。但是目前還不行。

3.  目前所有的初創公司，都是在EDGE領域做 INFERENCING。而不是在DATA CENTER （TRAINING）領域。原因：挑戰NVIDIA，機會太渺茫。

4.  各大公司都在發展自己的SOC 構架協議: memory interconnect protocol; memory protocol; network fabric.  比如：INTEL， NVIDIA。小一些的聯合起來做：

Rivals AMD, Arm, IBM, and Xilinx ganged together around CCIX and GenZ, a cache-coherent interconnect for accelerators and a link for memory, respectively. Recently, Intel countered with a more open processor interconnect for accelerators and memory called CXL, but so far, it lacks the third-party support of CCIX and GenZ.

6.  各大公司研發自己的accelerator （穀歌，百度，亞馬遜，阿裏巴巴，臉書）。同時，減小精度（4位，2位，甚至1位的數據寬度。浮點變定點），減少存儲。

7.  性能評判標準很不成熟。還在發展中。  MLPerf 由穀歌起草；百度也有一個。

8.  深度學習這個領域還處在早期階段，所以，保持硬件的靈活性很重要。研發者應該在可編程(programmability) 和性能（performance) 之間找到平衡。

[天涯追夢]

為什麽那時候沒有想到投資NVDA股票呢？
查了一下。APRIL/1/2019, 也就是這個文章寫的之後，NVDA 是 $45.26.
今天是：NVDA ： $547.10.
547.10/45.26 = 12.087936368

難怪我發不了！太不敏感了！