人工智能芯片測(cè)評(píng)研究現(xiàn)狀及未來(lái)研究趨勢(shì)

王晨，鄧昌義，李嘉偉，李郁佳

（國(guó)家工業(yè)信息安全發(fā)展研究中心，北京 100043）

0 引言

隨著人工智能熱潮迅速席卷全球，作為人工智能時(shí)代技術(shù)核心的“人工智能芯片”變得炙手可熱，人工智能芯片遍布數(shù)據(jù)中心、移動(dòng)終端、安防、自動(dòng)駕駛以及智能家居等眾多領(lǐng)域。2019年全球人工智能芯片市場(chǎng)規(guī)模為110億美元[1]，預(yù)計(jì)2025年將達(dá)到726億美元。對(duì)于如何衡量和評(píng)價(jià)人工智能芯片的性能，全球范圍內(nèi)尚未建立完善的基準(zhǔn)測(cè)評(píng)體系。缺少成熟的人工智能芯片測(cè)評(píng)體系，成為制約人工智能芯片的發(fā)展的一個(gè)重要原因。

1 人工智能芯片測(cè)評(píng)研究概述

1.1 人工智能芯片的分類

人工智能芯片按照應(yīng)用場(chǎng)景可分為云端（服務(wù)器側(cè)）和移動(dòng)端（邊緣側(cè)）兩類。按照芯片功能可分為訓(xùn)練和推理兩類。按照技術(shù)架構(gòu)可分為通用處理器、專用處理器和可重構(gòu)處理器三類。

通用處理器是基于馮·諾依曼體系結(jié)構(gòu)的，常見(jiàn)的有CPU、GPU 和DSP。CPU具有很強(qiáng)的通用性，能夠提供復(fù)雜的控制流，但對(duì)于人工智能芯片而言，深度神經(jīng)網(wǎng)絡(luò)算法的運(yùn)行過(guò)程幾乎不需要控制，數(shù)據(jù)流才是計(jì)算的主要部分，因此 CPU 的并行計(jì)算處理能力并不高。與CPU相比，GPU的處理器架構(gòu)擁有數(shù)量龐大的算數(shù)邏輯單元（ALU），使得其在大規(guī)模并行計(jì)算過(guò)程中能夠充分發(fā)揮優(yōu)勢(shì)，在模擬大型人工神經(jīng)網(wǎng)絡(luò)時(shí)，GPU架構(gòu)更具有優(yōu)勢(shì)。

圖1 CPU 與GPU 架構(gòu)圖

專用處理器是指專用集成電路（ASIC），ASIC是定制的專用人工智能芯片，它針對(duì)特定的計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)采用了硬件電路實(shí)現(xiàn)的方式。在網(wǎng)絡(luò)模型算法和應(yīng)用需求固定的情況下，算法的“硬件化”帶來(lái)了高性能、低功耗等突出優(yōu)點(diǎn)，但缺點(diǎn)也十分明顯。一方面，ASIC芯片的開(kāi)發(fā)需要很高的成本和較長(zhǎng)的研發(fā)周期，另一方面，ASIC芯片一旦開(kāi)始批量生產(chǎn)，就無(wú)法改變硬件架構(gòu)。

可重構(gòu)處理器是基于可配置處理單元的處理器，借助處理器自身實(shí)時(shí)動(dòng)態(tài)配置來(lái)改變存儲(chǔ)器與處理單元之間的連接，從而實(shí)現(xiàn)軟硬件協(xié)同設(shè)計(jì)。深度神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)多樣、數(shù)據(jù)量大、計(jì)算量大等特點(diǎn)，可重構(gòu)處理器允許硬件架構(gòu)和功能隨軟件變化而變化，既具備通用處理器的靈活性，又具備專用處理器的低功耗和高性能，可以滿足人工智能芯片“軟件定義芯片”這一特性，符合人工智能芯片未來(lái)發(fā)展趨勢(shì)。

1.2 人工智能芯片的衡量和評(píng)價(jià)指標(biāo)

對(duì)于不同應(yīng)用場(chǎng)景的人工智能芯片，衡量和評(píng)價(jià)的指標(biāo)完全不同。用于云端服務(wù)器的人工智能芯片追求低延時(shí)和低功耗，更加關(guān)注精度、處理能力、內(nèi)存容量和帶寬；而邊緣設(shè)備則需要功耗低、面積小、響應(yīng)時(shí)間短、成本低、安全性高的人工智能芯片。人工智能芯片的性能衡量指標(biāo)[2]應(yīng)該覆蓋以下8類。

（1）時(shí)延：時(shí)延指標(biāo)對(duì)于邊緣側(cè)人工智能芯片非常重要，5G邊緣計(jì)算和自動(dòng)駕駛領(lǐng)域均對(duì)人工智能芯片提出了低時(shí)延高性能的要求。

（2）功耗：功耗不僅包括了芯片中計(jì)算單元的功率消耗，還包括了片上和片外存儲(chǔ)器的功耗。

（3）芯片成本/面積：芯片成本/面積指標(biāo)對(duì)于邊緣側(cè)人工智能芯片十分重要。人工智能芯片的成本包括了芯片的硬件成本、設(shè)計(jì)成本和部署運(yùn)維成本。

（4）精度：識(shí)別或分類精度，反映了實(shí)際需求任務(wù)上的算法精度，體現(xiàn)了這個(gè)人工智能芯片的輸出質(zhì)量，精度指標(biāo)直接影響了推斷的準(zhǔn)確度。

（5）吞吐量：吞吐量對(duì)用于訓(xùn)練和推理的云端人工智能芯片來(lái)說(shuō)，是最重要的衡量指標(biāo)。吞吐量表示單位時(shí)間能夠有效處理的數(shù)據(jù)量，除了用每秒操作數(shù)來(lái)定義外，也有的定義為每秒完成多少個(gè)完整的卷積，或者每秒完成多少個(gè)完整的推理。

（6）熱管理：隨著單位面積內(nèi)的晶體管數(shù)量不斷增加，芯片工作時(shí)的溫度急劇升高，為了達(dá)到足夠的散熱效果，需要有考慮周全的芯片熱管理方案，可以考慮暗硅、微型水管、制冷機(jī)、風(fēng)扇葉片、碳納米管等芯片冷卻技術(shù)[3]。

（7）可擴(kuò)展性：可擴(kuò)展性是指人工智能芯片具有可以通過(guò)擴(kuò)展處理單元及存儲(chǔ)器來(lái)提高計(jì)算性能的架構(gòu)，可擴(kuò)展性決定了是否可以用相同的設(shè)計(jì)方案部署在多個(gè)領(lǐng)域（如在云端和邊緣側(cè)）。

（8）靈活性：靈活性指的是這個(gè)人工智能芯片對(duì)不同應(yīng)用場(chǎng)景的適應(yīng)程度，即該芯片所使用的架構(gòu)和算法對(duì)于不同的深度學(xué)習(xí)模型和任務(wù)的適用性。

1.3 人工智能芯片測(cè)評(píng)技術(shù)難點(diǎn)

人工智能芯片的測(cè)評(píng)方法有兩條路線，分別是基于架構(gòu)層面的測(cè)評(píng)方法和基于應(yīng)用層面的基準(zhǔn)測(cè)試。基準(zhǔn)測(cè)試不僅可以真實(shí)反映人工智能芯片的使用情況、引入評(píng)估和選型的標(biāo)準(zhǔn)，還可以對(duì)人工智能芯片的架構(gòu)定義和優(yōu)化指引方向。

由于人工智能芯片衡量和評(píng)價(jià)指標(biāo)的復(fù)雜性，人工智能各種各樣的應(yīng)用、算法、體系結(jié)構(gòu)、電路和器件均對(duì)建立這一基準(zhǔn)提出了巨大的挑戰(zhàn)。基準(zhǔn)測(cè)試的技術(shù)難點(diǎn)主要在于以下三方面[4]：①具有普適性的最佳測(cè)評(píng)指標(biāo)難以建立。基于通用芯片設(shè)計(jì)領(lǐng)域的經(jīng)驗(yàn)可以得知，很難找到普適的最佳器件、架構(gòu)或算法。②其他操作對(duì)人工智能芯片測(cè)試結(jié)果造成的影響。除了基本的計(jì)算，一個(gè)公平的基準(zhǔn)測(cè)試必須考慮到諸如輸入、輸出和存儲(chǔ)器訪問(wèn)等其他操作帶來(lái)的性能損失和功耗。③基準(zhǔn)測(cè)評(píng)體系對(duì)算法迭代的包容性。在人工智能領(lǐng)域，不論是理論研究還是應(yīng)用需求，都在不斷引入新的算法，基準(zhǔn)測(cè)評(píng)體系必須考慮到算法迭代跟進(jìn)的問(wèn)題。

2 人工智能芯片測(cè)評(píng)研究現(xiàn)狀

2.1 架構(gòu)層面的測(cè)評(píng)研究現(xiàn)狀

從架構(gòu)層面來(lái)說(shuō)，目前國(guó)內(nèi)外對(duì)于人工智能芯片架構(gòu)級(jí)測(cè)評(píng)方法還比較少。國(guó)內(nèi)外的測(cè)評(píng)方法主要有麻省理工學(xué)院及英偉達(dá)開(kāi)發(fā)的專門的架構(gòu)層面人工智能芯片評(píng)價(jià)工具Accelergy和Timeloop。Accelergy主要用于評(píng)估架構(gòu)級(jí)的能耗，對(duì)基于處理單元的數(shù)量、存儲(chǔ)器容量、片上連接網(wǎng)絡(luò)的連接數(shù)量及長(zhǎng)度等參數(shù)進(jìn)行評(píng)估。Timeloop是一個(gè)DNN的映射工具及性能仿真器，根據(jù)輸入的架構(gòu)描述，評(píng)估出這個(gè)人工智能芯片的運(yùn)算執(zhí)行情況。通過(guò)架構(gòu)級(jí)人工智能芯片的測(cè)評(píng)，可以實(shí)現(xiàn)不同架構(gòu)的芯片之間進(jìn)行公平的比較。

2.2 應(yīng)用層面的測(cè)評(píng)研究現(xiàn)狀

從應(yīng)用層面來(lái)說(shuō)，國(guó)內(nèi)外對(duì)于人工智能芯片的基準(zhǔn)測(cè)試方法較為豐富。目前主流的基準(zhǔn)測(cè)評(píng)方法如表1所示。

2.3 測(cè)評(píng)研究綜合分析

對(duì)于人工智能芯片的測(cè)評(píng)，雖然基于應(yīng)用層面的基準(zhǔn)測(cè)試方法更為豐富，但是這類測(cè)評(píng)主要是靠運(yùn)行一些常見(jiàn)的神經(jīng)網(wǎng)絡(luò)或者其中使用較多的基本運(yùn)算來(lái)進(jìn)行評(píng)價(jià)，具有一定的局限性。以Fathom和DeepBench為例：Fathom雖然提出了一套比較完整的方法來(lái)對(duì)網(wǎng)絡(luò)模型進(jìn)行比較，但是Fathom并沒(méi)有對(duì)反卷積、下采樣等其他類型的神經(jīng)網(wǎng)絡(luò)進(jìn)行分析，且提供的測(cè)評(píng)指標(biāo)只有延遲時(shí)間，不適合用于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)芯片的全面評(píng)估。DeepBench的局限在于其只使用基本運(yùn)算來(lái)作為測(cè)評(píng)的工具，但實(shí)際上神經(jīng)網(wǎng)絡(luò)中層與層之間是需要進(jìn)行數(shù)據(jù)傳輸?shù)模嗷ヂ?lián)系緊密，把神經(jīng)網(wǎng)絡(luò)分解成單獨(dú)的基本運(yùn)算來(lái)作為測(cè)試集，不能反映出深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)芯片在整個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的性能。

表1 國(guó)內(nèi)外基準(zhǔn)測(cè)試方法

從測(cè)評(píng)角度來(lái)看，人工智能芯片要兼顧在架構(gòu)級(jí)、算法級(jí)、電路級(jí)在各種工作負(fù)載時(shí)都能保持最佳性能和能效是非常困難的，因此，人工智能芯片的最優(yōu)設(shè)計(jì)方法是跨越這三個(gè)層級(jí)進(jìn)行“跨層”設(shè)計(jì)，這樣可以對(duì)各種參數(shù)和主表進(jìn)行總體的權(quán)衡。

3 未來(lái)研究趨勢(shì)

未來(lái)，人工智能芯片的測(cè)評(píng)研究應(yīng)該針對(duì)以下三方面開(kāi)展：

（1）架構(gòu)層面的測(cè)評(píng)研究：針對(duì)建立公正、全面的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)芯片基準(zhǔn)測(cè)評(píng)體系目標(biāo)而言，不應(yīng)局限在建立測(cè)試集對(duì)人工智能芯片運(yùn)行神經(jīng)網(wǎng)絡(luò)的能力進(jìn)行測(cè)試，更應(yīng)在芯片架構(gòu)層面對(duì)人工智能芯片開(kāi)展基準(zhǔn)測(cè)試。可以通過(guò)收集一組架構(gòu)級(jí)功能單元，確定定量和定性的優(yōu)值（Figures of Merits，F(xiàn)oM），開(kāi)發(fā)測(cè)量 FoM 的統(tǒng)一方法[4]，定義具有可量化參數(shù)的通用功能單元，建立架構(gòu)層面人工智能芯片的基準(zhǔn)測(cè)評(píng)體系。

（2）靈活的基準(zhǔn)測(cè)評(píng)方法研究：針對(duì)不同場(chǎng)景下的使用需求，可以對(duì)人工智能芯片的八大評(píng)價(jià)指標(biāo)采用多目標(biāo)優(yōu)化的方式，建立靈活的基準(zhǔn)測(cè)評(píng)體系，為芯片供應(yīng)商和需求商提供靈活的針對(duì)特殊場(chǎng)景的人工智能芯片選型參考。

（3）基于新興器件的測(cè)評(píng)研究：當(dāng)前大部分的人工智能芯片是基于傳統(tǒng)的硅基CMOS電路設(shè)計(jì)和制造的，此類芯片由于受到馮·諾依曼架構(gòu)、暗硅等現(xiàn)象的影響，發(fā)展上受到很大限制。隨著新興器件的日益成熟，人工智能芯片的測(cè)評(píng)研究也應(yīng)著眼于未來(lái)，積極開(kāi)展針對(duì)基于模擬計(jì)算和存內(nèi)計(jì)算、以非易失性存儲(chǔ)器為基本架構(gòu)的人工智能芯片的基準(zhǔn)測(cè)評(píng)研究。

4 結(jié)語(yǔ)

建立完善的人工智能芯片測(cè)評(píng)體系對(duì)于中國(guó)人工智能芯片市場(chǎng)競(jìng)爭(zhēng)力的提升有著舉足輕重的作用，這迫切需要算法研究人員、架構(gòu)師、電路設(shè)計(jì)人員和器件專家聯(lián)合發(fā)力，共同開(kāi)展人工智能芯片基準(zhǔn)測(cè)評(píng)研究。本文從行業(yè)發(fā)展需求出發(fā)，深入分析了國(guó)內(nèi)外人工智能芯片測(cè)評(píng)研究的發(fā)展現(xiàn)狀，剖析了現(xiàn)有測(cè)評(píng)方法存在的不足，在此基礎(chǔ)上提出了人工智能芯片測(cè)評(píng)研究未來(lái)的趨勢(shì)，為人工智能芯片開(kāi)發(fā)和測(cè)試人員提供一定的參考。