面向高光譜遙感圖像分類的連續空間依賴增強型空—譜卷積神經網絡

周 子 涵，倪 歡，馬 林 飛

(南京信息工程大學遙感與測繪工程學院，江蘇 南京 210044)

0 引言

高光譜遙感圖像分類旨在利用其豐富的空—譜信息為每個像元分配一個地表覆被類型[1]，可為自然資源調查提供支撐[2]。但由于高維度特征和訓練樣本匱乏問題，使高光譜圖像分類仍存在局限[3,4]。傳統高光譜圖像分類研究引入經典機器學習方法[5](如支持向量機[6]和隨機森林[7]等)，但這種依賴于人工設計特征的分類方法很難取得較高的分類精度[8,9]，且難以應對少量樣本支持下的高維度特征[10,11]。卷積神經網絡(Convolutional Neural Network,CNN)[12]可實現特征維度的快速變換，并有效改善高層次語義的表達能力[13]，已應用于高光譜遙感圖像分類研究[14]中。其中，DFFN(Deep Feature Fusion Network)[15]和MSKNet(Multibranch Selective Kernel Networks)[16]等二維CNN框架僅挖掘了高光譜圖像的光譜特征，未能充分利用其中蘊含的空—譜信息。近年提出了各具特色的三維CNN網絡結構[17]以解決上述問題，如SSRN(Supervised Spectral-spatial Residual Network)[18]、FDSSC(Fast Dense Spectral-Spatial Convolution)[19]、DPyResNet(Deep Pyramidal Residual Network)[20]和A2S2K-ResNet(Attention-Based Adaptive Spectral-Spatial Kernel ResNet)[21]。其中，具有代表性的A2S2K-ResNet采用卷積核選擇思想[22]，詳細探討卷積核尺寸對特征表達的重要性,通過設計一種為波段間關系建模的模塊EFR(Efficient Feature Recalibration)，充分發揮高光譜圖像的高維度優勢，對基于三維CNN的殘差網絡(ResNet)[23]進行改進，以增強空—譜聯合特征的提取能力。A2S2K-ResNet的精度雖然較高，但其引入的卷積核選擇思想類似于不同預設卷積核特征的加權求和，在訓練過程中不能完全自適應選擇卷積核，且該過程預先定義的兩個卷積核尺寸(3×3×7和1×1×7)，并未充分增大或細化CNN的感受野；其次，雖然該過程引入注意力機制輔助概括語義，但其采用均值池化方式提取一維注意力向量，再經過卷積變換形成權值以增強卷積特征，不足以充分表達圖像空間依賴關系，導致分類結果存在噪聲。鑒于此，本文提出一種連續空間依賴增強(Continuously Spatial Dependency Enhancement,CSDE)模塊，替代A2S2K-ResNet中的卷積核選擇過程，以彌補A2S2K-ResNet在以上理論方面的不足，并改善分類結果。

1 研究方法

1.1 A2S2K-ResNet

A2S2K-ResNet[21]的整體網絡框架由1個基于注意力機制的自適應空—譜核模塊(A2S2K)和4個嵌入EFR的三維ResNet模塊(EFR-ResNet)構成，利用1個由池化層和全連接層相結合的預測層，實現從特征到類別的預測。

(1)

(2)

[za,zb]=softmax([za,zb])

(3)

(4)

三維ResNet多用于高光譜圖像處理，其經過多組卷積層、歸一化層、ReLU激活層處理后，通過殘差連接的方式增強輸入特征的表達能力[24]。EFR-ResNet將EFR過程融入三維ResNet中，利用3組卷積層(圖1)使三維ResNet更有效地建立波段相關性。假設EFR的輸入是F∈RB×Cin×S×S×C，則EFR用于捕捉F在Cin維度各波段間的相關性。EFR首先通過三維均值池化操作壓縮F，生成s∈RB×Cin×1×1×1，然后在Cin維度對s的各波段進行線性變換(式(5))，最后將ω與F進行逐像素相乘，以增強F的波段相關性。在兩個ERF-ResNet執行完成后，引入兩個三維卷積層，在不同維度上實現卷積，以增強卷積特征的表達能力。

圖1 EFR-ResNet框架示意Fig.1 Framework of EFR-ResNet

(5)

1.2 連續空間依賴增強(CSDE)模塊

當前A2S2K使用的自適應加權機制(式(4))是對兩個卷積特征圖譜進行整體加權，對感受野的擴充作用有限。為增大CNN的感受野并顧及細節特征，本文提出CSDE模塊(圖2)以替換A2S2K模塊，該模塊采用自注意力矩陣為圖像塊整體空間依賴關系建模，并進行逐像素加權。

圖2 面向高光譜遙感圖像的連續空間依賴增強(CSDE)模塊Fig.2 Continuously spatial dependency enhancement (CSDE) module for hyperspectral imagery

(6)

(7)

(8)

(9)

式中：Conv3×3×7(·)和Conv1×1×7(·)分別為具有3×3×7和1×1×7卷積核的三維CNN層；EFR(·)為式(5)所示的EFR；Conv3×3為具有3×3卷積核的二維CNN層。

(10)

(11)

(12)

1.3 本文方法網絡結構

圖3 本文方法整體網絡結構示意Fig.3 Overall network architecture of the proposed method

表1 本文方法各卷積層、池化層、全連接層參數和結構詳情Table 1 Parameters and structure information of the convolutional,pooling and fully-connected layers in the proposed method

2 實驗

本文方法采用Python語言并結合PyTorch，引入高光譜研究領域廣泛使用的4組標準測試數據集(Indian Pines(IP)、Salinas、Pavia University(PU)和Pavia Centre(PC))對本文方法和A2S2K-ResNet進行性能評估，并采用整體精度(OA)、平均精度(AA)和Kappa系數(K)對兩種方法進行精度對比。其中，OA表示全部正確分類的像素比例，AA表示各類別正確分類像素比例的平均值。

2.1 實驗配置

本文方法與A2S2K-ResNet方法的實驗配置[21]相同：在訓練過程中采用Adam優化方法，學習率初始值設置為0.01，衰減策略采用文獻[25]方法，Batch大小設置為16；為分析模型穩定性，在每組數據集上訓練5次，根據每次訓練完成得到的模型獲取分類結果，并統計分類結果精度的標準差。

為充分驗證本文方法性能，將整體樣本劃分為互不相交的訓練集、驗證集和測試集，并設置訓練集和驗證集樣本數量相等。其中，訓練集用于模型訓練，測試集用于測試模型分類精度，驗證集在訓練過程中實時計算當前模型的損失函數和驗證精度，以選擇模型。因訓練樣本數量直接影響模型的預測精度，本文限定訓練樣本數量占比分別為0.5%、1%、2%和4%，進而確定4組數據集訓練集、驗證集和測試集樣本數量(表2)。訓練集樣本和測試集樣本數量均以像素為單位，以當前像素為中心在9×9窗口內的像素值參與當前訓練樣本的特征計算，不參與損失函數計算、后向傳播和模型參數優化過程；在預測過程中，同樣以每個待預測的像素為中心，將其9×9窗口內的像素值輸入訓練好的模型中進行特征計算(窗口內的所有像素均不包含類別信息)，再根據深度學習模型的預測層實現該像素類別的預測。

表2 4組數據集訓練集、驗證集和測試集樣本數量Table 2 Details of the training,validation and testing samples for the four datasets

2.2 模型訓練

為檢驗本文實驗訓練過程的有效性，計算訓練集和驗證集隨循環訓練不斷推進的訓練損失、驗證損失和精度(OA、AA和K)(圖4)，訓練過程的循環次數限定為200次，圖4中每點均對應每次循環后整個訓練集的損失和精度，以及當前模型作用于驗證集上的損失和精度。限于篇幅，這里僅列舉IP數據集取4%訓練樣本時的情況。

圖4 模型訓練過程的損失、訓練精度和驗證精度Fig.4 Loss,training and validation accuracy values in the training procedure of the proposed method

由圖4a可知，驗證集和訓練集的損失變化規律類似，即前幾次訓練循環大幅減小了損失值，當循環次數達到30次時，損失趨于平穩，在后續循環中，訓練損失和驗證損失緩慢減小。由圖4b-圖4d可知，訓練精度和驗證精度的變化趨勢相同，雖然驗證精度略低于訓練精度，但二者均超過0.95，因此，該訓練過程不存在訓練精度高而驗證精度未達到任務需求的過擬合問題，模型訓練有效。

3 實驗結果分析

3.1 可視化分析

考慮到分類結果規律相同，本文只列舉2%訓練樣本情況下的分類結果(圖5-圖7彩圖見附錄1，圖8彩圖見附錄2)。可以看出，IP數據集分辨率較低，類別多(16個)，類間樣本數量差異大，在2%訓練樣本下，其包含的9個類別的訓練樣本量極少，導致A2S2K-ResNet分類結果存在大量噪聲(圖5c)，而本文方法增強了空間依賴信息，有效抑制了噪聲(圖5d)；與IP數據集類似，在Salinas數據集上本文方法也有效抑制了噪聲，且比A2S2K-ResNet的誤判現象少(圖6d左上角)；PU和PC數據集樣本數量較多、類別較少(9個)，兩種方法分類結果接近，但A2S2K-ResNet方法誤分類現象更多，如在圖8e和圖8f標記區域，其分類結果存在單個像素形式的誤判點，本文方法則不存在該問題。整體而言，本文方法優于A2S2K-ResNet。

圖5 數據集IP的實驗結果及可視化對比Fig.5 Experimental results and visual comparison of the IP dataset

圖6 數據集Salinas的實驗結果及可視化對比Fig.6 Experimental results and visual comparison of the Salinas dataset

圖7 數據集PU的實驗結果及可視化對比Fig.7 Experimental results and visual comparison of the PU dataset

圖8 數據集PC的實驗結果及可視化對比Fig.8 Experimental results and visual comparison of the PC dataset

3.2 定量化分析

由表3可知，在取0.5%、1%、2%和4%訓練樣本情況下，本文方法于4組數據集上均取得了比A2S2K-ResNet更高的分類精度和較低的分類精度標準差，表明本文方法性能較穩定。如圖9所示，隨著訓練樣本數量增加，兩種方法的OA、AA、K值均呈上升趨勢且逐漸接近，在訓練樣本占比達到4%時，兩種方法的分類精度均較高，在數據集Salinas、PU和PC上，OA、AA、K值均超過0.99，但在數據集IP上，精度偏低，這與圖5中的可視化結果相吻合。當訓練樣本數量極少時(0.5%)，兩種方法的分類精度下降明顯，尤其是在數據集IP上，A2S2K-ResNet的K值低于0.6，而本文方法降幅較小，優于A2S2K-ResNet。

表3 4組數據集測試精度(精度均值±標準差)對比分析Table 3 Comparison analysis on the testing accuracy (mean value±standard deviation) of the four datasets

3.3 空間一致性后處理的影響分析

本文采用3×3窗口對兩種方法的分類結果進行空間一致性后處理(圖10)，以消除分類結果中的噪聲。對比圖9的初始分類結果可以看出，空間一致性后處理均提高了兩種方法的分類精度，但兩種方法的精度差異未發生明顯變化，本文方法分類結果依然更佳，進一步證實了本文方法的優越性。

圖9 分類結果精度對比Fig.9 Comparison of the accuracy values of classification results

圖10 分類結果經空間一致性處理后的精度對比分析Fig.10 Comparison analysis on the accuracy of results processed by the spatial consistency post-processing

3.4 綜合性能評價

FLOPs(the number of floating-point operations)是衡量深度學習模型計算復雜度的指標，其值越大，說明模型計算復雜度越高。對兩種方法的參數量和計算復雜度進行統計：本文方法的參數量為0.371 M，與A2S2K-ResNet并無差別；但在并行輸入16個大小為9×9×204的圖像塊(窗口)時，A2S2K-ResNet的FLOPs值為2.807 G，本文方法的FLOPs值為2.768 G，在不斷擴大輸入圖像塊大小時，該差異更突出。因此，相比A2S2K-ResNet，本文方法在未增加參數量的前提下可提高分類精度，降低計算復雜度。

4 結論

A2S2K-ResNet作為一種面向高光譜遙感圖像的深度學習分類方法，具有精度高、速度快等優點，但其A2S2K不能有效優化CNN感受野，進而影響分類結果。本文提出的面向高光譜圖像的連續空間依賴增強(CSDE)模塊，可有效建立圖像空間依賴關系，消除人為選定預設感受野尺寸帶來的不確定因素。引入4組高光譜遙感圖像標準分類測試數據集進行實驗，并結合國際通用的3種精度評價指標進行方法驗證和對比分析。可視化對比分析表明，本文方法有效抑制了A2S2K-ResNet分類結果中存在的噪聲，減少了分類誤判現象；定量化對比分析表明，本文方法的分類性能更穩定，且隨著訓練樣本數量遞減，優勢逐漸增大。此外，兩種方法參數量和計算復雜度的統計結果顯示，相比A2S2K-ResNet，本文方法在未增加參數量的前提下降低了模型計算復雜度。

本文方法雖然解決了A2S2K-ResNet潛在的部分問題，但仍具備改進空間，如CSDE模塊僅考慮了當前像素周圍鄰近區域的連續空間依賴關系，未能將其拓展到整個圖像空間，未來將在不增加計算復雜度的前提下解決該問題；同時，將聚焦極少訓練樣本支持下的高光譜圖像分類任務，以全面提升高光譜圖像分類模型的實用性。