AI 學習筆記之二：IBM 在 AI 方麵的研究

1.  在大型training方麵，每3.5月，算力需求就增加一倍。目前根本跟不上這個需求。

如果沒有S/W 和H/W ARCHITECTURE INNOVATION，這個問題是無解的！

2.  解決方法有兩個：

   A） Approximate Computing:就是FP8，4-bit, 2-bit inferencing（weight and activiation uses reduced precision).  需要在誤差和性能之間找到平衡。

  B） Analog AI (in-memory computing): 把計算搬到memory 裏麵。從而解決了Von Neuman bottleneck。目前在實驗階段。有信心商業化。