人工智能芯片的性能如何評(píng)估？

CPS中安網(wǎng)

［摘要］如何評(píng)估芯片的AI性能？對(duì)于芯片來(lái)說(shuō)，PPA指標(biāo)尤為重要，包括Power（功耗），Performance（性能），Aera（面積）。

TOPS是不是能夠真實(shí)的反映芯片的AI性能？這是地平線乃至行業(yè)都在思考的問(wèn)題。

伴隨著對(duì)這個(gè)問(wèn)題的思考，2019年，地平線聯(lián)合創(chuàng)始人兼副總裁黃暢在全球人工智能和機(jī)器人峰會(huì)上表示，地平線希望定義真實(shí)的AI芯片性能。

時(shí)隔一年，地平線再次亮相于2020全球人工智能和機(jī)器人峰會(huì)，并提出了一種新的芯片AI性能評(píng)估方式——MAPS，即Mean Accuracy-guaranteed processing speed（在精度有保障范圍內(nèi)的平均處理速度），意思是在精度有保障的范圍，測(cè)AI芯片的平均效能如何，得到一個(gè)全面、完整、客觀、真實(shí)的評(píng)估。

如何評(píng)估芯片的AI性能？

對(duì)于芯片來(lái)說(shuō)，PPA指標(biāo)尤為重要，包括Power（功耗），Performance（性能），Aera（面積）。

黃暢表示，我們需要針對(duì)應(yīng)用場(chǎng)景進(jìn)行設(shè)計(jì)，可以指導(dǎo)研發(fā)調(diào)整優(yōu)化防線，引導(dǎo)客戶進(jìn)行正確選擇，同時(shí)能夠促進(jìn)行業(yè)有序協(xié)同向前發(fā)展。

歷史上有很多常用的性能評(píng)估指標(biāo)，比如CPU用MIPS，傳統(tǒng)GPU用Textur和Pixel，在高性能計(jì)算上，GPU開始使用TFLOPS，進(jìn)入到NPU時(shí)代，業(yè)內(nèi)普遍使用TOPS。

不過(guò)，當(dāng)提到TOPS的時(shí)候，往往說(shuō)的都是芯片的峰值算力，體現(xiàn)的是整個(gè)芯片的理論上限，但這顯然不能代表AI芯片的全部性能。

地平線曾表示，真正的AI芯片性能還包括算法處理速度和精度，算力的有效利用率以及算力轉(zhuǎn)化為AI性能的效率等。

那么，如何評(píng)估芯片的AI性能？黃暢表示，可以從準(zhǔn)、快、省這三個(gè)維度來(lái)看。

黃暢進(jìn)一步指出，準(zhǔn)是反映實(shí)際需求任務(wù)上的算法精度，比如說(shuō)圖像分類里面我們用Top-1或者Top-5的精度判斷它是不是準(zhǔn)，還有COCO里面可以用mAP這樣的指標(biāo)描述它，不同的任務(wù)里面，在學(xué)術(shù)界已經(jīng)有比較多共識(shí)的指標(biāo)描述它。在快的方面，通常有兩個(gè)維度，一個(gè)是延遲，一個(gè)是吞吐率，前者更側(cè)重于處理單個(gè)任務(wù)的最快反應(yīng)時(shí)間，后者應(yīng)用于你可以在服務(wù)器層面上用最大的處理方式處理它的吞吐率。省就是看它的成本和功耗。對(duì)于AI芯片的性能評(píng)估來(lái)講，準(zhǔn)和快是兩個(gè)非常重要的因素。

更具包容性、更開放的評(píng)估標(biāo)準(zhǔn)

基于對(duì)AI芯片的深刻理解，地平線提出一個(gè)更有包容性、更開放的評(píng)估標(biāo)準(zhǔn)——MAPS。

黃暢表示，MAPS對(duì)行業(yè)有以下六大點(diǎn)創(chuàng)新之處，第一，能夠可視化芯片的Benchmark，可以通過(guò)可視化的圖形更精確的表達(dá)。第二，關(guān)注真實(shí)、面向結(jié)果的需求，只在乎精度和速度，不在乎中間任何關(guān)于算法的取舍和選擇。第三，可以統(tǒng)一表示精度與速度，關(guān)注主流精度區(qū)間。第四，隱藏與最終結(jié)果無(wú)關(guān)的中間變量，包括模型、輸入大小、批處理。第五，通過(guò)這種方法可以在算力之外幫助用戶理解芯片到底能跑多快以及多好，最終留有最大的空間引導(dǎo)客戶使用最優(yōu)的方式使用這顆芯片。

作為AI領(lǐng)域的奧林匹克競(jìng)賽，ImageNet比賽產(chǎn)生了幾乎所有機(jī)器視覺中最重要的模型，它們?cè)贗mageNet上的精度可充分遷移到其他機(jī)器視覺任務(wù)（如物體檢測(cè)、語(yǔ)義分割等）。在ImageNet的主流精度范圍（75～80%）下，速度最快的模型所代表的點(diǎn)（由精度和幀率確定）所圍多邊形面積大小即為芯片處理ImageNetAI任務(wù)的能力大小，其公式為MAPS=所圍面積（/最高精度-最低精度）。在演講現(xiàn)場(chǎng)，黃暢還展示了MAPS評(píng)估方式在在ImageNet上的定義與主流芯片測(cè)試結(jié)果。

黃暢表示，MAPS由三個(gè)要素構(gòu)成，更能真實(shí)反映AI性能指標(biāo)。

第一是TOP/Watt、TOPS/$，即理論峰值計(jì)算效能這是傳統(tǒng)的方式。

第二是芯片有效利用率，把算法部署在芯片上，根據(jù)它的架構(gòu)特點(diǎn)，動(dòng)用編譯器等系統(tǒng)化地解決一個(gè)極其復(fù)雜的帶約束的離散優(yōu)化問(wèn)題，而得到一個(gè)算法在芯片上運(yùn)行的實(shí)際的利用率，實(shí)際上是軟硬件計(jì)算架構(gòu)的優(yōu)化目標(biāo)。

第三是AI算法效率。我們每消耗一個(gè)TOPS算力，能帶來(lái)多少實(shí)際的AI算法的性能，它體現(xiàn)的是AI算法效率的持續(xù)提升，也是算法研發(fā)、算法工程師、算法科學(xué)家始終努力在提升的，在過(guò)去幾年里面，這個(gè)提升速度是非常快的。

黃暢指出，這三個(gè)要素中，理論峰值計(jì)算效能反映的是舊摩爾定律，AI算法效率反映的是新摩爾定律，就是AI算法持續(xù)快速發(fā)展提升得到的結(jié)果。我們希望有更多的軟件、算法工作者，在MAPS評(píng)估指導(dǎo)體系的啟發(fā)下，從自己最擅長(zhǎng)的能力上持續(xù)推動(dòng)AI芯片能力的發(fā)揮。