AI 學習筆記之二:IBM 在 AI 方麵的研究

天涯追夢 (2020-04-08 10:16:39) 評論 (0)

1.  在大型training方麵,每3.5月,算力需求就增加一倍。目前根本跟不上這個需求。

如果沒有S/W 和H/W ARCHITECTURE INNOVATION,這個問題是無解的!

2.  解決方法有兩個:

   A) Approximate Computing:就是FP8,4-bit, 2-bit inferencing(weight and activiation uses reduced precision).  需要在誤差和性能之間找到平衡。

  B) Analog AI (in-memory computing): 把計算搬到memory 裏麵。從而解決了Von Neuman bottleneck。目前在實驗階段。有信心商業化。