未來異型自動插件機技術(shù)趨勢發(fā)展分析
作者：wenwen
發(fā)布時間：2018-12-14
點擊數(shù)：
目前主流異型自動插件機AI芯片的核心主要是利用MAC（MultiplierandAccumulation，乘加計算）加速陣列來實現(xiàn)對CNN（卷積神經(jīng)網(wǎng)絡）中最主要的卷積運算的加速。這一代AI芯片主要有如下3個方面的問題。
（1）異型自動插件機深度學習計算所需數(shù)據(jù)量巨大，造成內(nèi)存帶寬成為整個系統(tǒng)的瓶頸，即所謂“memorywall”問題。
（2）與第一個問題相關(guān)，內(nèi)存大量訪問和MAC陣列的大量運算，造成AI芯片整體功耗的增加。
（3）異型自動插件機深度學習對算力要求很高，要提升算力，最好的方法是做硬件加速，但是同時深度學習算法的發(fā)展也是日新月異，新的算法可能在已經(jīng)固化的硬件加速器上無法得到很好的支持，即性能和靈活度之間的平衡問題。
因此，可以預見異型自動插件機下一代AI芯片將有如下的五個發(fā)展趨勢。
（1）更高效的大卷積解構(gòu)/復用
在標準SIMD的基礎(chǔ)上，CNN由于其特殊的復用機制，可以進一步減少總線上的數(shù)據(jù)通信。而復用這一概念，在超大型神經(jīng)網(wǎng)絡中就顯得格外重要。異型自動插件機如何合理地分解、映射這些超大卷積到有效的硬件上成為了一個值得研究的方向，
（2）更低的Inference計算/存儲位寬
AI芯片最大的演進方向之一可能就是神經(jīng)網(wǎng)絡參數(shù)/計算位寬的迅速減少——從32位浮點到16位浮點/定點、8位定點，甚至是4位定點。在理論計算領(lǐng)域，2位甚至1位參數(shù)位寬，都已經(jīng)逐漸進入實踐領(lǐng)域。
（3）更多樣的存儲器定制設(shè)計
當計算部件不再成為神經(jīng)網(wǎng)絡加速器的設(shè)計瓶頸時，如何減少存儲器的訪問延時將會成為下一個研究方向。通常，異型自動插件機離計算越近的存儲器速度越快，每字節(jié)的成本也越高，同時容量也越受限，因此新型的存儲結(jié)構(gòu)也將應運而生。
（4）更稀疏的大規(guī)模向量實現(xiàn)
神經(jīng)網(wǎng)絡雖然大，但是，實際上有很多以零為輸入的情況，此時稀疏計算可以高效的減少無用能效。來自哈佛大學的團隊就該問題提出了優(yōu)化的五級流水線結(jié)，在最后一級輸出了觸發(fā)信號。在Activation層后對下一次計算的必要性進行預先判斷，如果發(fā)現(xiàn)這是一個稀疏節(jié)點，則觸發(fā)SKIP信號，避免乘法運算的功耗，以達到減少無用功耗的目的。
（5）計算和存儲一體化
異型自動插件機計算和存儲一體化（process-in-memory）技術(shù)，其要點是通過使用新型非易失性存儲（如ReRAM）器件，在存儲陣列里面加上神經(jīng)網(wǎng)絡計算功能，從而省去數(shù)據(jù)搬移操作，即實現(xiàn)了計算存儲一體化的神經(jīng)網(wǎng)絡處理，在功耗性能方面可以獲得顯著提升。
以上就是小編關(guān)于未來異型自動插件機技術(shù)趨勢發(fā)展分析的介紹，希望對大家有用哦！
責編：文文
