多處理引擎的異構系統引領邊緣AI高效部署

Rob Fisher

在過去的兩年里，邊緣人工智能（Edge AI）實現了加速發展，這主要得益于小型化神經網絡架構的進步，從而可以在微控制器級（MCU）的器件上實現高精度。這增加了邊緣 AI應用和設備的數量，這些應用和設備可以通過這項技術以較低的成本實現。這方面的一個示例就是關鍵字識別，它已經成為智能家居設備交互的標準方式。

邊緣AI可以體現為多種形態，從非常小型的、低功耗的推理引擎，到高功耗的、具有特定功能的、與基站或智慧城市視頻監控等數據源同處一方的大型方案。在這些更大型的裝置中，異構架構（即針對特定任務的專業加速器）正在提高效率，通過減少設計復雜性來降低功耗。Imagination Technologies公司的圖形處理器（GPU）、AI加速器和即將推出的RISC-V中央處理器（CPU）的IP產品組合，將為這些邊緣AI應用提供全新的功能。

許多用于邊緣AI應用的系統級芯片（SoC）將包含許多不同的處理引擎，這些引擎能夠高效地劃分和卸載工作負載。分離工作負載還有一個好處，就是可以使用不同的加速器并行執行多項任務，從而實現高效的多任務處理性能。這種多處理引擎的異構系統旨在提供不同的計算架構來有效地執行整個系統所需的特定任務。用于現代個人電腦（PC）中的GPU就是一個很好的示例，它們使用一種高度并行的計算架構，從而可以更高效地進行圖形處理，并支持主機CPU將該任務“卸載”到更高效的引擎上。在開發邊緣AI系統時，這一原則也同樣適用。

邊緣AI要求在保持或提高計算性能的同時降低功耗，這一壓力始終存在。伴隨著異構架構的使用和處理器技術的優化，機器學習算法的進步也為提高能效提供了途徑，同時也提高了計算性能。二進制神經網絡（BNN）的引入就是一個示例。BNN試圖通過將網絡權重和激活量化到單個比特來實現更高的效率，從而減少內存需求和計算單元的大小。

實現最低功耗推理系統的一種策略是在各種低功耗模式下運行，這些模式可以逐級推理出周圍的環境情況。例如，一只帶有語音控制功能的智能手表可能具有三個功耗級別：0、1和2。在0級功耗模式（即最低功耗模式）下，手表無法執行明顯的推理功能，因此只能監聽可能預示即將發生活動的高環境噪聲。

當監聽到出現明顯的活動時，手表將切換到模式1。模式1會消耗更多的電量，但仍不能完全滿負荷運行。這種模式支持手表監聽一個關鍵字，然后觸發最終模式，即模式2，該模式將使用捕獲到的音頻來推理和執行命令。使用這種逐級增加電能消耗的方法，每次都會增加對周圍環境的推理，支持系統管理電能，以便只有在高度確信是必要的情況下才增加電能消耗。

機器學習和人工智能的發展正在推動全球的創新和發展。中國作為人工智能發展和應用超前的重要市場，為經驗豐富的機器學習工程師提供了與來自世界各地的產品開發和工程團隊合作的機會，從而獲得開展全球性業務的經驗。