記者從中國科學院自動化研究所獲悉,該所李國齊、徐波課題組與國內科技企業等單位合作,近日設計了一套能夠實現動態計算的算法-軟件-硬件協同設計的類腦神經形態SOC(System
onChip)係統Speck(圖1),展示了類腦神經形態計算在融合高抽象層次大腦機製時的天然優勢,相關研究在線發表於《自然·通訊》(Nature
Communications)。
圖1.類腦神經形態SOC係統Speck設計框架
人腦能夠運行非常複雜且龐大的神經網絡,總功耗卻僅為20瓦,遠小於現有的人工智能係統。因此,在算力比拚加速,能耗日益攀升的今日,借鑒人腦的低功耗特性發展新型智能計算係統成為極具潛力的方向。
該研究提出了“神經形態動態計算”的概念,通過設計了一種類腦神經形態係統Speck來實現基於注意力機製的動態計算,在硬件層麵做到“沒有輸入,沒有功耗”,在算法層麵做到“有輸入時,根據輸入重要性程度動態調整計算”,從而在典型視覺場景任務功耗可低至0.7毫瓦,進一步挖掘了神經形態計算在性能和能效上的潛力。
Speck是一款異步感算一體類腦神經形態SOC,采用全異步設計,在一塊芯片上集成了動態視覺傳感器(DVS相機)和類腦神經形態芯片,具有極低的靜息功耗(僅為0.42毫瓦)。Speck能夠以微秒級的時間分辨率感知視覺信息,以全異步方式設計拋棄了全局時鍾控製信號,避免時鍾空翻帶來的能耗開銷,僅在有事件輸入時才觸發稀疏加法運算。
針對脈衝神經網絡(SNN)在更高層麵,比如時間維度中不能根據輸入難易度調整其脈衝發放等“動態失衡”問題,該研究基於注意力機製的神經形態脈衝動態計算框架(圖2),在多種粒度上實現對不同的輸入進行有區分地動態響應;
圖2.人腦中的注意力機製
同時Speck軟件工具鏈Sinabs編程框架支持動態計算SNN算法訓練和部署。實驗結果表明,注意力機製可使得SNN具備動態計算能力,即根據輸入難易度調整其脈衝發放模式解決“動態失衡”問題,在顯著降低功耗的同時,提升任務性能。在DVS128Gesture數據集上,融合脈衝動態計算的Speck在任務精度提升9%的同時,平均功耗由9.5毫瓦降低至3.8毫瓦(圖3)。
圖3.融合了注意力脈衝動態計算的Speck
該工作的實踐證實高、低抽象層次大腦機製的融合能進一步激發類腦計算潛力,為未來將大腦進化過程中產生的各種高級神經機製融合至神經形態計算提供積極啟發。