低功耗異構計算架構的高光譜遙感圖像分類研究

劉鵬飛，朱健晨，萬良易，江波

（中國電子科技集團公司第三十二研究所，上海 201808）

0 概述

高光譜遙感圖像可在獲取目標場景二維空間信息的同時對一維光譜波段信息進行感知，因此高光譜遙感圖像具備分辨率高、波段多、豐富的輻射空間和光譜信息、連續成像等特點［1-3］。當前主流的高光譜成像儀通過掃描目標場景來構建空間高光譜三維數據立方體，無論是在光譜上還是在空間上，均與所需的空間或光譜分辨率成正比。隨著高光譜成像儀硬件技術的進步，使得探測波段范圍逐漸從可見光延伸至紅外光，光譜分辨率從毫米級細化至納米級，波段數從百個增至千個。隨著高光譜成像儀硬件輕量化的發展，使得搭載成像儀的平臺載體涵蓋衛星、偵察機/船、無人機。近些年來，作為新興遙感技術的基于無人機平臺載體的高光譜遙感成像技術成為主流的研究熱點［4］。利用目標場景中不同物體與其關聯的分子組成相關的獨特模式反射、散色、吸收和發射電磁能，能夠幫助人類對所觀測到的物質表面的細微差別進行區分和識別。因此，高光譜圖像作為遙感應用的一個重要分支被廣泛應用于農業［5］、城市規劃［6］、礦業［7］、戰場環境分析［8-9］等實際場景，根據不同材料的反射光譜或像素（也稱為光譜像素）的光譜特征來檢測和分類不同的材料。

高光譜遙感圖像分類技術依據數據標簽的使用可以分為監督和非監督分類方法。監督分類方法對具有高維屬性的遙感數據進行貼標簽操作，屬于非確定性多項式完全問題，也稱為維度災難問題［10］。因此，非監督分類方法在無需先驗知識的條件下可以直接對圖像樣本進行分類識別［11］。迄今為止，研究人員已提出了諸多不同類型的高光譜遙感聚類方法。現有聚類方法大致可以分為基于迭代、基于代數、基于統計和基于譜聚類［12-13］4 類。其中，基于譜聚類的方法實現簡單，具有更為顯著的聚類性能，因此受到廣泛關注。基于譜聚類的方法主要包含兩個步驟：首先通過將圖像中每個像素點是其他點的線性組合構建相鄰矩陣；其次將質心聚類算法應用于由相鄰矩陣誘導的拉普拉斯矩陣完成像素點的分割。具體而言，基于局部譜聚類的方法利用每個數據點近鄰的局部信息來構建相似矩陣，但無法處理兩個子空間交點附近的點。因為該方法無法辨別這些點應屬于哪個子空間，導致聚類模型存在較大的誤差。基于全局譜聚類的方法通過全局信息來更好地建立數據點之間的相似矩陣。然而，作為先驗知識的子空間對此類方法在很大程度上起到了限定的作用，例如子空間的數量和維度，不同子空間具有相同的維度。因為高光譜遙感圖像的光譜強變異性導致特征點的均勻分布，使得多數基于譜聚類的方法均存在嚴重的錯誤分類。為解決上述問題，當前提出的稀疏子空間聚類方法引入自稀疏表示機制，將圖像中的數據點分至對應的子空間中構建鄰接矩陣，之后對該矩陣使用譜聚類方法獲得較高的聚類精度［14］。總而言之，因為固有的數據復雜性和計算成本使得高光譜遙感分類是一項非常困難的任務，其計算復雜度正比于遙感數據集的維度。此外，處理高維、多源數據需要消耗巨大的計算資源和存儲容量，這意味著現有的單一平臺計算資源無法對這些數據和圖像分類算法進行有效支撐［15］。因此，需要引入異構計算資源對基于譜聚類的方法進行加速，完成數據的實時處理。

隨著高光譜遙感應用中圖像數據的規模和分辨率的提高，利用基于譜聚類的方法實時處理圖像數據成為關鍵要素之一。考慮到圖像分類方法因固有的高計算復雜度和長時間運算在實時性要求較高的遙感應用領域受到極大限制，那么具備高性能計算、高可擴張性、高資源利用率等性能的異構計算為算法實時性問題的解決帶來了契機。異構計算的核心思想是整合了不同類型的指令集和數據驅動并行計算架構的所有計算單元，尤其對大容量圖像、視頻類數據進行實時處理，從根本上解決了能耗高、可擴展性差等問題，實現了計算性能的飛躍式提升。常見的計算單元類別包括CPU、GPU［16-17］、TPU 等。雖然GPU 具有多核并行計算、高訪問速度、高浮點運算等特點，可以支持海量數據的并行計算，然而存在功耗高、體積大、價格貴等缺陷，使得其在中小型設備中的使用受到極大的制約。因此，需要引入一種體積小、功耗低、計算能力高、計算效率高的ASIC 專用芯片NPU。當今前沿的NPU 異構計算模式采用基于big.LITTLE 計算范式的CPU+NPU 架構［17］，其分別利用CPU 和NPU 各自的優勢對海量的圖像數據以高性能及高效能的方式進行采集、觀測和分析，其中，CPU 負責復雜的邏輯任務處理，NPU 作為協處理器將負載均衡、任務遷移等電源管理技術融合到計算架構中對功耗進行全局優化，并負責數據密集型并行任務的處理，共同發揮異構計算模式在高性能計算領域的獨特優勢，利用該計算模式的加速能力提升圖像算法性能。目前，國內外市場針對CPU、NPU 等器件開展領域優化、異構編程、高速互聯等研究，并將研究成果投入到實際計算平臺進行量產，例如：Google Edge TPU 包含4K MAC 單元，該單元由8 bit 64×64 NPU 構成［18］；三星面向嵌入式的NPU 使用6K MAC 單元［18］。此外，還有集成在Apple 的M1芯片特定域芯片上和英特爾Nervana 中的神經計算引擎［19］。大量研究表明在市場推動下NPU 在速度、內存和性能方面取得了巨大的進步，可用于可視化大型數據集的處理。

本文使用編碼孔徑快照光譜成像（Coded Aperture Snapshot Spectral Imaging，CASSI）技術將高光譜三維數據立方體經過編碼孔徑、色散元件的共同作用后得到具有低維空間特性的二維壓縮測量值，有效避免了數據重構過程。假設具有相似特征的測量值存在于同一子空間中，利用低秩稀疏子空間聚類（Low-Rank Sparse Subspace Clustering，LRSSC）算法對空間像素點進行精確分割，顯著提升聚類性能。通過提高NPU 中的乘法累加單元，使得系統能耗降低的同時改善網絡的響應時間，大幅提升數據處理能力及算法性能。

1 低秩稀疏子空間聚類算法整體設計流程

高光譜遙感圖像的感知和處理在現代軍事領域中發揮著關鍵的作用，成為當前軍事情報來源的重要途徑之一。高光譜遙感在軍事領域的應用包括軍事目標的定位和識別、地形分析與測繪、戰爭潛力評估和戰時氣象保障等。如圖1 所示（彩色效果見《計算機工程》官網HTML 版），通過搭載編碼孔徑高光譜成像系統的海、陸、空、天遙感探測設備對目標場景進行感知，從而獲取具備高空間、高光譜、高時間分辨率特性的三維數據立方體。將獲取的遙感數據傳輸到作戰指揮系統對海量且多源的數據進行實時分析，其中圖像分類識別算法選用基于異構計算架構的稀疏子空間聚類算法，為作戰人員提供了便利，極大縮短作戰系統“觀察-判斷-決策-行動”閉環周期，成為贏取現代化數字戰場的重要因素。

圖1 高光譜遙感圖像分類在軍事領域中的應用Fig.1 Application of hyperspectral remote sensing image classification in military field

1.1 編碼孔徑快照光譜成像

如圖2 所示（彩色效果見《計算機工程》官網HTML 版），編碼孔徑快照光譜成像系統可以對目標場景中的空間信息和光譜信息進行編碼，分別經過編碼孔徑的透射作用和色散棱鏡的分光作用后將三維數據立方體投影到探測器陣列上，從而獲得壓縮測量值［20-21］。首先，定義目標場景中的高光譜密度函數為f1(x，y，λ)，其中，x，y表示空間坐標，λ表示光譜坐標，透射函數是T(x，y)，得到經過編碼孔徑后的高光譜密度函數的數學表示如下：

圖2 編碼孔徑高光譜成像系統結構Fig.2 CASSI system structure

編碼后得到的密度函數經過色散元件的光譜色散作用后，最終在聚焦平面陣列探測器上完成了二維壓縮測量值的獲取，整個過程可以表示如下：

其中：h(x′-aλ-x，y′-y)是光譜濾波函數，a是由棱鏡引起的線性色散率。因此，數據立方體的每個光譜切片都由編碼孔徑進行調制，并由色散元件進行色散。考慮到探測器陣列的像素特性，假設密度函數f1(x，y，λ)的離散形式為Fi，j，l，其中，i和j均是空間坐標索引，l是第l個光譜平面，透射函數T(x，y)的離散形式為Ti，j。探測器上的離散化輸出表示如下：

其中：YS∈是的向量 表示；f∈是Fi，j+l的向量表示；Hs∈是CASSI系統的感知矩陣。考慮到光譜豐富的場景或者非常詳細的空間場景，單次的曝光測量無法提供足夠數量的壓縮測量值，需要增加額外的曝光次數從而提供所需的測量值，彌補了CASSI 系統高壓縮性的缺陷，其中多次曝光是通過數字微反射鏡（Digtial Micromirror Device，DMD）或基于微型壓低裝置的移動彩色光刻掩模實現的。因此，單次曝光感知模型（如式（3）所示）可以擴展至多次曝光感知模型，整個過程可以表示如下：

如圖3 所示（彩色效果見《計算機工程》官網HTML 版），假設N=5、L=4、S=2，感知矩陣H是通過隨機編碼孔徑和散色棱鏡的分光作用共同構建的，可以觀察到該矩陣具備高稀疏和高結構性，其中編碼孔徑（藍線部分）依次分布于H的主對角線并且編碼孔徑中的所有元素均服從于高斯隨機分布。注意到白色方塊（像素點）表示值為1 的元素，黑色部分表示值為0 的元素。在實際場景中，矩陣H的維數是很大的，在此僅為舉例說明。

圖3 感知矩陣H 結構Fig.3 Structure of perception matrix H

1.2 低秩稀疏子空間聚類算法

根據式（7），向量表示的壓縮測量值可以排列成數據矩陣的表示，即Y∈RS×NV，其中Y中的每一列均對應特定的光譜特征信息。如圖4 所示（彩色效果見《計算機工程》官網HTML 版），假設矩陣中的所有數據點位于k=4 線性子空間中，利用稀疏、低秩子空間等聚類算法將這些數據點分割為不同的組或者集群。具體而言，當給定壓縮數據矩陣Y，子空間聚類算法依據低維子空間特性完成數據點的分割。首先，是相似度矩陣的構造W∈RNV×NV，W=|C|T+|C|，其中矩陣中的所有元素表示數據點之間的關聯程度，一個理想的相似度矩陣是分塊對角矩陣。然后，譜聚類算法應用于相似度矩陣，以獲取數據點與子空間的隸屬關系。

圖4 譜聚類算法示意圖Fig.4 Schematic diagram of spectral clustering algorithm

低秩表示（Low Rank Representation，LRR）旨在通過解決以下凸優化問題來找到輸入數據矩陣Y的低秩系數矩陣［22-23］：

其中：核范數用來近似系數矩陣C。假設Y=UΣVT為Y的奇異值分解（Singular Value Decomposition，SVD）。問題式（8）的閉式解表示如下：

考慮到實際場景中系統噪聲存在的必然性，因此數據點會受到噪聲的擾動，問題式（8）重新表示如下：

其中：β1是低秩約束條件下的正則化常數；E是噪聲引起的表示誤差。問題式（10）的最優解表示如下：

其中：U=[U1U2]；V=[V1V2]。

稀疏子空間聚類（Spare Subspace Clustering，SSC）算法將每個數據點表述為其他數據點的稀疏線性組合，并解決以下凸優化問題：

其中：約束diag(C)=0 用于避免每個數據表示為自身特殊情況的出現，從而消除問題式（12）的平凡解。對于被噪聲污染的數據，通過解決如下最小化問題得到稀疏系數矩陣的近似表示：

其中：τ是稀疏約束條件下的正則化常數。一般而言，LRR 表示通過對稀疏矩陣施加低秩約束來捕獲數據的全局結構，而SSC 表示通過對系數矩陣進行稀疏化來獲取數據的局部線性關系。因此，需要考慮LRR 和SSC 表示的各自優勢，從而為本文提出的子空間聚類算法的設計提供保障。

低秩稀疏子空間聚類要求系數矩陣C是低秩且稀疏性的，LRSSC 解決了以下問題（含噪聲）：

其中：正則化參數α用于在稀疏、低秩、噪聲三者之間取得平衡；參數β2表示空間信息的權重；空間正則項用于減少LRSSC模型中的表示誤 差，從而增強數據對噪聲的魯棒性。式（14）中的最小化問題通過交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）［24］來解決。

1.3 基于低功耗異構計算架構的高光譜圖像像素點切割

根據式（14），通過ADMM 算法求得的優化系數矩陣Copt可以用于相似度矩陣Wopt的構造。然而，考慮到遙感數據的高維特性，譜聚類算法因為自身計算復雜度的缺陷無法對這些數據進行實時處理且會消耗過多的計算資源。NPU 從更簡單的邏輯中受到啟發，表現為它們的工作負載在各類圖網絡的計算模式中具有高規律性。因此，通過NPU 來加速網絡的運行可以有效解決其他主流芯片GPU 在網絡運算時效率低下等問題。

圖5 給出了低功耗CPU+NPU 異構計算架構。在設計時，從電路層級開始，使用電子設計自動化（Electronic Design Automation，EDA）執行脈沖MAC 陣列芯片，這一設計思路來源于Google TPU 微架構。相比于傳統的8 bit NPU，通過低位寬（例如6或7 bit）MAC陣列使其具備更低的能耗。又因為MAC 單元的縮放功能，在使用異構網絡加速周期精確級仿真器進行網絡推演期間，低精度NPU 在響應時間上具有顯著的優勢。在運行時，采用快速高效的量化后策略和網絡-NPU調度策略，使得網絡工作負載隊列的引入可以彌補低位寬NPU 和精度損失之間的差距。在滿足規定精度閾值的情況下，網絡-NPU 調度策略可以最大化NPU 的性能，以減少網絡響應時間。

圖5 低功耗CPU+NPU 異構計算架構Fig.5 Low-power heterogeneous CPU+NPU computing architecture

類似于網絡工作負載隊列在邊緣服務器場景的應用，服務器可處理各種各樣的網絡請求。因此，網絡的響應時間會隨著到達率的波動而變化。例如，無人駕駛飛行器通過使用無人機來協助和加速基于遙感的應用程序。在這種情況下，無人機配備了硬件加速器，從而對邊緣端內容的傳輸和分析速度進行提升，同時滿足低功耗需求。可以看出，許多基于無人機的服務嚴重依賴對并發網絡的使用，例如用于軍事任務的目標檢測和分類。

譜聚類算法的特點反映了其對指定計算和功耗的需求。當具有不同特征的多個網絡作為輸入傳輸至異構架構時，利用網絡的容錯性來滿足特定的閾值精度，同時顯著降低服務器上使用加速器的能耗并提高平均網絡響應時間，最終實現像素點的實時分割。

2 實驗結果與分析

將本文提出的基于低功耗異構計算架構的LRSSC 算法在具有特定成像環境的真實高光譜遙感數據集上進行測試，為了評估所提計算架構的有效性，以基于CPU 和CPU+GPU 計算架構的LRSSC 算法作為基準算法用于數據集的測試。Pavia University 數據集由德國制造的機載反射光學光譜成像儀（Reflective Optics Spectrographic Imaging System，ROSIS-03）于2003 年在意大利帕維亞城對目標區域上空拍攝獲取［25-26］。圖像數據的空間維度為610×340 像素，具有115 個連續的波段。此外，需要從原來的115 波段中剔除總共12 個噪聲的波段，保留剩余的103 個波段。為測試數據選取一個特定區域，大小為140 × 80 像素，包含8 個主要的地標類別，如圖6 所示（彩色效果見《計算機工程》官網HTML 版）。因為大量背景像素的干擾，使得聚類成為一項非常具有挑戰性的任務。

圖6 Pavia University 遙感數據集Fig.6 Pavia University remote sensing dataset

在實驗中，類別數k=8 被設定為LRSSC 算法的輸入。此外，正則化參數是需要手動調整的。具體而言，參數λ是系數矩陣的稀疏、低秩與噪聲大小之間的權衡，可以表示如下：

其中：β是校準參數；μ是與當前數據集關聯的參數，y是數據矩陣Y的任意列。式（14）中的參數λ的設定情況會直接影響聚類結果，這表明空間信息在聚類過程中起到非常重要的作用。簡單起見，本文對參數α和β的值進行設定，即α=30×105，β=2 000。將信噪比為25 dB 的高斯白噪聲添加到數據矩陣中用于模擬數據采集中存在的系統噪聲。

每種類別的視覺聚類結果通過總體準確率（OA）、平均準確率（AA）、Kappa 系數進行定量評估，其中，總體準確率是正確分類的像素點與需要分類的像素點的比值，平均準確率是正確分類的每個類別的準確率總和與類別數量的比值，Kappa 系數是一個用于一致性檢驗的指標，可用于衡量分類效果。運行時間用以計算基于不同計算架構的LRSSC算法（包括CN-LRSSC、CG-LRSSC、C-LRSSC）完成聚類所需的時間，其中，CN-LRSSC 表示基于低功耗異構計算架構的LRSSC 算法；CG-LRSSC 表示基于CPU+GPU 異構計算架構的LRSSC 算法；C-LRSSC表示基于CPU 計算架構的LRSSC 算法。

仿真實驗在Intel Core i7 18 GHz、32 位CPU 處理器以及Google TPUv4i 處理器上執行，并使用Windows 11 操作環境下的Matlab 2019b。本文使用的TPU 總共由4 個NPU 組成，因為4 個NPU 可以通過2 個接口控制信息快速訪問附近的芯片內存從而獲得較高的整體性能，其中每個NPU 分別包含7 bit 72×72 MAC陣列、6 bit 72×72 MAC 陣列、6 bit 80×80 MAC 陣列來獲得更多的功率增益。

為測試編碼孔徑（包括高斯隨機、伯努利、藍噪聲）對聚類性能的影響，本文給出特定高光譜場景的聚類圖和定量評估結果，其中曝光次數設定為S=20用于編碼孔徑的構建。LRSSC 算法直接作用于壓縮數據（通過不同種類的編碼孔徑的壓縮采樣和色散棱鏡的分光作用后得到的壓縮測量值）完成聚類過程，其中，高斯隨機策略為將LRSSC 算法直接作用于高斯隨機測量值得到的聚類結果，伯努利策略為將LRSSC 算法直接作用于伯努利測量值得到的聚類結果，藍噪聲策略為將LRSSC 算法直接作用于藍噪聲測量值得到的聚類結果。圖7 和表1 分別給出了Pavia University 數據集的視覺聚類效果和定量評估結果，可以看出高斯隨機策略的聚類結果存在偏差，伯努利和藍噪聲策略相比于高斯隨機策略明顯減少了錯誤分類，從而獲得更好的聚類效果，其中在OA 評估指標中分別提升了16.67 和8.4 個百分點。因此，本文選取伯努利編碼孔徑對高光譜遙感數據進行壓縮，之后利用CN-LRSSC、CG-LRSSC、C-LRSSC 算法實現聚類。表2 給出了3 種基于不同計算架構的LRSSC 算法的時間損耗，通過低比特MAC 陣列的引入，LRSSC 算法的計算速度得到了提升。此外，通過表2 的實驗數據可以看出，與64×64 MAC 陣列相比，72×72 MAC 陣列的延遲增益為9%，80×80 MAC 陣列的增益為18%。可見，片上存儲器空間大小嚴重制約圖網絡加速器的性能，因此大型片上存儲器廣泛用于現代網絡加速器。

表1 定量評估聚類結果Table 1 Clustering results of quantitative evaluation

表2 基于不同計算架構的LRSSC 算法運行時間Table 2 Running times of LRSSC algorithms based on different computing architectures 單位：s

圖7 視覺聚類結果Fig.7 Visual clustering results

3 結束語

高光譜遙感數據處理本質上屬于復雜計算任務，本文闡述了低功耗異構計算架構在高光譜遙感數據處理領域的應用與研究，通過優化計算機系統并行處理、AI 協處理、互操作等能力，實現基于譜聚類圖像分類算法性能的提升。實驗結果表明，與基于CPU+GPU 異構計算架構和CPU 計算架構的LRSSC 算法相比，基于低能耗異構計算架構的LRSSC 算法降低了網絡響應時間和系統能耗。后續將考慮LRSSC 算法的負載均衡問題，進一步提升數據處理能力及算法性能，從而擴展其適用范圍。