在過(guò)去的兩年里，為了滿(mǎn)足機(jī)器學(xué)習(xí)的需要，特別是深度神經(jīng)網(wǎng)絡(luò)的需要，出現(xiàn)了一股對(duì)創(chuàng)新體系架構(gòu)研究的熱潮。我們已經(jīng)在《The Next Platform》中報(bào)道了無(wú)論是用于訓(xùn)練側(cè)還是推理側(cè)的許多架構(gòu)可選方案，并且正是因?yàn)樗龅倪@些，我們開(kāi)始注意到一個(gè)有趣的趨勢(shì)。一些面向機(jī)器學(xué)習(xí)市場(chǎng)定制 ASIC 的公司似乎都在沿著同一個(gè)思路進(jìn)行開(kāi)發(fā)——以存儲(chǔ)器作為處理的核心。

存儲(chǔ)器內(nèi)處理（PIM）架構(gòu)其實(shí)不是什么新東西，但是因?yàn)榇鎯?chǔ)器內(nèi)相對(duì)簡(jiǎn)單的邏輯單元很好地迎合了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需求（特別是卷積網(wǎng)絡(luò)），所以存儲(chǔ)器正變成未來(lái)下一個(gè)平臺(tái)。我們已經(jīng)介紹過(guò)了很多公司的深度學(xué)習(xí)芯片，比如 Nervana Systems（2016 年被英特爾收購(gòu)）和 Wave Computing，以及其它有望碾壓 AlexNet 等 benchmark 的新架構(gòu)，存儲(chǔ)器都是其性能與效率的關(guān)鍵驅(qū)動(dòng)因素。

今天，我們還要為這種存儲(chǔ)器驅(qū)動(dòng)的深度學(xué)習(xí)體系架構(gòu)家族再介紹一個(gè)新成員。那就是 Neurostream，它由博洛尼亞大學(xué)提出，在某些方面與 Nervana、Wave、以及其它采用下一代存儲(chǔ)器（比如 Hybrid Memory Cube （HMC） 和 High Bandwidth Memory （HBM））的深度學(xué)習(xí)架構(gòu)很相似。而且該架構(gòu)還提供了一種新思路，可以進(jìn)一步深入了解我們剛才提到的那些公司是如何設(shè)計(jì)深度學(xué)習(xí)架構(gòu)的。在過(guò)去的介紹里，我們已經(jīng)從 Nervana、Wave 等發(fā)布的架構(gòu)中提取出了一些設(shè)計(jì)細(xì)節(jié)，而這次架構(gòu)的設(shè)計(jì)團(tuán)隊(duì)為我們帶來(lái)了有關(guān)為什么存儲(chǔ)器驅(qū)動(dòng)型設(shè)備將會(huì)成為未來(lái)深度學(xué)習(xí)定制硬件主流更深入的見(jiàn)解。

“雖然卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算密集型算法，但它們的可擴(kuò)展性和能量效率被主存儲(chǔ)器極大地限制住了，而這些網(wǎng)絡(luò)中的參數(shù)和通道都比較大，所以都需要存儲(chǔ)在主存中。鑒于上述原因，僅僅改進(jìn)卷積網(wǎng)絡(luò)加速器的性能和效率而不考慮主存儲(chǔ)器的瓶頸將會(huì)是一個(gè)錯(cuò)誤的設(shè)計(jì)決策。”

Neurostream 把它的存儲(chǔ)器內(nèi)處理方法用在擴(kuò)展卷積神經(jīng)網(wǎng)絡(luò)上。該設(shè)計(jì)采用了一種 Hybrid Memory Cube 的變種，他們稱(chēng)之為“Smart Memory Cubes”。“Smart Memory Cubes”增強(qiáng)了被稱(chēng)為 NeuroCluster 的多核 PIM 平臺(tái)。NeuroCluster 采用了基于 NeuroStream 浮點(diǎn)協(xié)處理器（面向卷積密集型計(jì)算）和通用處理器 RISC－V 的模塊化設(shè)計(jì)。他們同樣也提到了一種易于 DRAM 陣列化的機(jī)制及其可擴(kuò)展的編程環(huán)境。該架構(gòu)最吸引人的地方在于它用僅占晶片面積 8％ 的 HMC 獲得了 240GFLOPS 的性能，而其總功耗僅為 2．5 瓦。

“該平臺(tái)能夠以較小的系統(tǒng)功耗使得卷積神經(jīng)網(wǎng)絡(luò)計(jì)算任務(wù)能完全下放到存儲(chǔ)器組中。這意味著主 SoC 中的計(jì)算邏輯能夠被釋放出來(lái)干其它事。而且，相對(duì)于一個(gè)基本 HMC 系統(tǒng)，其額外的開(kāi)銷(xiāo)幾乎可以忽略不計(jì)。”

該設(shè)計(jì)團(tuán)隊(duì)正在大肆宣傳其 Neurostream 架構(gòu)的每瓦特性能指數(shù)。“在單個(gè)三維堆疊封裝中我們達(dá)到了每瓦特 22．5GFLOPS（每秒浮點(diǎn)計(jì)算數(shù) 22．5G 次）的計(jì)算能量效率，這是當(dāng)前能買(mǎi)到最好 GPU 性能的 5 倍以上。”他們同樣提到“少量的系統(tǒng)級(jí)功耗升高和可以忽略不計(jì)的面積增長(zhǎng)使得該 PIM 系統(tǒng)成為一種既節(jié)約成本又高效利用能量的解決方案，通過(guò)一個(gè)連接 4 個(gè) SMC 的網(wǎng)絡(luò)，其可以輕松擴(kuò)展到 955 GFLOPS。”他們用來(lái)對(duì)比的 GPU 是 Nvidia Tesla K40，該 GPU 在 235 瓦功率下可以達(dá)到 1092 GFLOPS 的處理速度。“Neuro 陣列可以在 42．8 瓦達(dá)到 955GFLOPS，且超過(guò)了其對(duì)手 4．8 倍的能量使用效率，”該團(tuán)隊(duì)同時(shí)評(píng)論說(shuō)，由于降低了對(duì)串行鏈路的需求，該架構(gòu)還可以擴(kuò)展至更多節(jié)點(diǎn)。

Neurostream 的創(chuàng)造者們期望通過(guò)進(jìn)行一些面向應(yīng)用的調(diào)優(yōu)和降低算術(shù)計(jì)算精度的方法來(lái)使它的能效對(duì)比獲得進(jìn)一步增長(zhǎng)。就像他們著重提到的，“降低計(jì)算精度有望使功耗降低達(dá) 70％。”在他們的下一次改進(jìn)里，他們將著重在硅片上實(shí)現(xiàn)帶有四個(gè) NeuroClusters 的架構(gòu)，這將使它能夠監(jiān)控其自身是如何反向傳播和訓(xùn)練的。

我們已經(jīng)介紹過(guò)了許多協(xié)處理器、ASIC、GPU、以及采用針對(duì)深度學(xué)習(xí)框架進(jìn)行額外軟件優(yōu)化的 x86 處理器的性能和效率的 benchmark 比分。盡管我們對(duì)這些都半信半疑，盡我們可能地去對(duì)比，但時(shí)間最終會(huì)告訴我們哪種體系架構(gòu)會(huì)最終勝出。這里想說(shuō)的不在于 benchmark 比分，而在于體系結(jié)構(gòu)本身。Neuro 陣列就像 Nervana、Wave、以及其它方法一樣，都把 HMC 和 HBM 用到了極致——利用有限的存儲(chǔ)器內(nèi)處理能力，結(jié)果已經(jīng)差不多能很好地處理卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算了。

不僅如此，對(duì)該類(lèi)架構(gòu)的更深入觀察，還能幫助我們更好地評(píng)估我們提到的機(jī)器學(xué)習(xí)芯片初創(chuàng)公司正在做的事。我們期待經(jīng)過(guò)初創(chuàng)公司和學(xué)術(shù)研究的共同努力，2017 年將開(kāi)辟設(shè)計(jì)許多在深度學(xué)習(xí)框架領(lǐng)域內(nèi)的存儲(chǔ)器驅(qū)動(dòng)型處理器。