多處理引擎的異構(gòu)系統(tǒng)引領(lǐng)邊緣AI高效部署

Rob Fisher

在過去的兩年里，邊緣人工智能（Edge AI）實(shí)現(xiàn)了加速發(fā)展，這主要得益于小型化神經(jīng)網(wǎng)絡(luò)架構(gòu)的進(jìn)步，從而可以在微控制器級(jí)（MCU）的器件上實(shí)現(xiàn)高精度。這增加了邊緣 AI應(yīng)用和設(shè)備的數(shù)量，這些應(yīng)用和設(shè)備可以通過這項(xiàng)技術(shù)以較低的成本實(shí)現(xiàn)。這方面的一個(gè)示例就是關(guān)鍵字識(shí)別，它已經(jīng)成為智能家居設(shè)備交互的標(biāo)準(zhǔn)方式。

邊緣AI可以體現(xiàn)為多種形態(tài)，從非常小型的、低功耗的推理引擎，到高功耗的、具有特定功能的、與基站或智慧城市視頻監(jiān)控等數(shù)據(jù)源同處一方的大型方案。在這些更大型的裝置中，異構(gòu)架構(gòu)（即針對(duì)特定任務(wù)的專業(yè)加速器）正在提高效率，通過減少設(shè)計(jì)復(fù)雜性來降低功耗。Imagination Technologies公司的圖形處理器（GPU）、AI加速器和即將推出的RISC-V中央處理器（CPU）的IP產(chǎn)品組合，將為這些邊緣AI應(yīng)用提供全新的功能。

許多用于邊緣AI應(yīng)用的系統(tǒng)級(jí)芯片（SoC）將包含許多不同的處理引擎，這些引擎能夠高效地劃分和卸載工作負(fù)載。分離工作負(fù)載還有一個(gè)好處，就是可以使用不同的加速器并行執(zhí)行多項(xiàng)任務(wù)，從而實(shí)現(xiàn)高效的多任務(wù)處理性能。這種多處理引擎的異構(gòu)系統(tǒng)旨在提供不同的計(jì)算架構(gòu)來有效地執(zhí)行整個(gè)系統(tǒng)所需的特定任務(wù)。用于現(xiàn)代個(gè)人電腦（PC）中的GPU就是一個(gè)很好的示例，它們使用一種高度并行的計(jì)算架構(gòu)，從而可以更高效地進(jìn)行圖形處理，并支持主機(jī)CPU將該任務(wù)“卸載”到更高效的引擎上。在開發(fā)邊緣AI系統(tǒng)時(shí)，這一原則也同樣適用。

邊緣AI要求在保持或提高計(jì)算性能的同時(shí)降低功耗，這一壓力始終存在。伴隨著異構(gòu)架構(gòu)的使用和處理器技術(shù)的優(yōu)化，機(jī)器學(xué)習(xí)算法的進(jìn)步也為提高能效提供了途徑，同時(shí)也提高了計(jì)算性能。二進(jìn)制神經(jīng)網(wǎng)絡(luò)（BNN）的引入就是一個(gè)示例。BNN試圖通過將網(wǎng)絡(luò)權(quán)重和激活量化到單個(gè)比特來實(shí)現(xiàn)更高的效率，從而減少內(nèi)存需求和計(jì)算單元的大小。

實(shí)現(xiàn)最低功耗推理系統(tǒng)的一種策略是在各種低功耗模式下運(yùn)行，這些模式可以逐級(jí)推理出周圍的環(huán)境情況。例如，一只帶有語音控制功能的智能手表可能具有三個(gè)功耗級(jí)別：0、1和2。在0級(jí)功耗模式（即最低功耗模式）下，手表無法執(zhí)行明顯的推理功能，因此只能監(jiān)聽可能預(yù)示即將發(fā)生活動(dòng)的高環(huán)境噪聲。

當(dāng)監(jiān)聽到出現(xiàn)明顯的活動(dòng)時(shí)，手表將切換到模式1。模式1會(huì)消耗更多的電量，但仍不能完全滿負(fù)荷運(yùn)行。這種模式支持手表監(jiān)聽一個(gè)關(guān)鍵字，然后觸發(fā)最終模式，即模式2，該模式將使用捕獲到的音頻來推理和執(zhí)行命令。使用這種逐級(jí)增加電能消耗的方法，每次都會(huì)增加對(duì)周圍環(huán)境的推理，支持系統(tǒng)管理電能，以便只有在高度確信是必要的情況下才增加電能消耗。

機(jī)器學(xué)習(xí)和人工智能的發(fā)展正在推動(dòng)全球的創(chuàng)新和發(fā)展。中國(guó)作為人工智能發(fā)展和應(yīng)用超前的重要市場(chǎng)，為經(jīng)驗(yàn)豐富的機(jī)器學(xué)習(xí)工程師提供了與來自世界各地的產(chǎn)品開發(fā)和工程團(tuán)隊(duì)合作的機(jī)會(huì)，從而獲得開展全球性業(yè)務(wù)的經(jīng)驗(yàn)。