基于三維注意力與混合卷積的高光譜圖像分類

趙曉楓, 牛家輝,*, 劉春桐, 夏玉婷

(1. 火箭軍工程大學導彈工程學院, 陜西 西安 710025;2. 兵器發射理論與技術國家重點學科實驗室, 陜西 西安 710025)

0 引 言

高光譜遙感技術是利用高光譜成像光譜儀在不直接接觸目標的情況下對地面物體進行探測同時收集其空間信息和光譜信息的技術[1]。成像光譜儀在對目標的空間特征成像的同時,對每個空間像元以連續的幾十個甚至上百個波段進行光譜覆蓋,從而生成光譜分辨率達到納米級的高光譜圖像[2]。由于高光譜圖像“圖譜合一”的特點,其表征目標特征的能力比傳統圖像高很多[3],通過充分利用這一特點可以精確地區分地物目標。因此,高光譜圖像在軍事偵察[4]、環境監測[5]、目標識別[6]等方面都具有較高的研究價值。

高光譜圖像分類技術通過分析每一個像元的空間特征和光譜特征將該像元劃分到對應的地物類別[7],是眾多應用領域的基礎研究環節[8]。傳統的基于光譜特征匹配的分類方法通過將像素的光譜特征與光譜庫中已知的樣本進行匹配從而實現分類。顯然,光譜庫的建立制約了分類精度的提高。隨著理論研究的不斷深入,基于統計學理論和機器學習的分類方法被研究應用于高光譜圖像分類,其中支持向量機是其中的典型代表。例如, Campsvalls等人利用復合核將空間和光譜信息結合,實現高光譜圖像分類[9]。Li等人將多特征組合學習應用于高光譜圖像分類[10]。

近年來,卷積神經網絡(convolutional neural network, CNN)在機器視覺領域取得了巨大的成功[11-12]。其通過不同大小、不同權重的卷積核對圖像每個像素進行卷積操作從而獲取圖像的底層特征和高級特征。很多研究者將基于CNN的方法應用于高光譜圖像分類領域,取得了良好的分類效果。基于深度學習的高光譜圖像分類方法按照提取特征維度的不同主要可以分為基于光譜特征、空間特征以及空譜聯合特征的方法。基于光譜特征的方法主要是通過學習高光譜圖像像素點的光譜特征從而實現分類。例如,Hu等人設計模型通過卷積神經網絡學習高光譜圖像光譜維度信息從而實現圖像分類[13],Boulch等人通過半監督的一維CNN提高了模型在小樣本條件下的分類精度[14],Mou等人首次將循環神經網絡(recurrent neural network, RNN)應用于高光譜圖像分類,并設計了新的激活函數進行參數校正,展現了RNN在高光譜圖像分類領域的巨大潛力[15]。相關的研究表明,空間特征信息的加入有利于提高模型的分類性能。因此,研究者們考慮使用高光譜圖像的空間特征來實現高光譜圖像分類。例如,Makantasis等人首先提出使用主成分分析(principal component analysis, PCA)減小原始圖像的光譜維度,并使用二維CNN提取高光譜圖像的空間特征信息,取得了良好的分類效果[16]。此類方法為后續研究者們提供了較為廣闊的思路。隨著深度學習模型的不斷進步,不同的深度學習模型如殘差網絡(residual network, ResNet)[17],GoogLeNet[18]等也被嘗試用于高光譜圖像分類,并取得了較高的分類精度[19-20]。然而,由于上述基于光譜特征和空間特征的分類方法沒有充分利用高光譜圖像的空譜信息,其分類性能還有一定的提升空間。因此,基于空譜特征提取的分類方法被陸續提出。例如,Hamida等人構建了一個基于空譜特征提取的三維CNN(three-dimen-sional CNN, 3D-CNN)模型減小了模型的參數量并驗證了3D-CNN實現高光譜圖像分類的優勢[21]。Chen等人在3D-CNN的基礎上采用正則化等策略解決了模型過擬合的問題[22]。采用三維卷積的方法由于其能夠同時利用高光譜圖像的空間特征和光譜特征從而實現了較高的分類精度,但是由此帶來的高復雜度的計算增加了網絡模型的訓練時間。為了在保持較高分類精度的基礎上具有較小模型的復雜度,Roy等人設計了混合網絡模型,混合CNN(Hybrid-CNN)通過結合3D-CNN和2D-CNN的優點,提高了模型的分類效果[23]。張祥東等人通過引入擴張卷積核和注意力機制提升了混合卷積模型的分類精度[24]。近年來,隨著圖卷積網絡(graph convolution network, GCN)模型和Transformer模型的興起,兩種模型也被研究者們應用于高光譜圖像分類。例如, Ding等人通過構建局部區域的圖結構并嵌入圖注意機制和多尺度信息來實現高光譜圖像分類[25]。Liu等人通過結合CNN和GCN的特點,使用不同類型的卷積網絡同時提取空譜特征,然后將特征融合信息送入分類器進行分類,取得了良好的分類效果[26]。Hong等人設計了基于Transformer模型的Spectral-Former網絡模型,通過分組譜嵌入和跨層自適應融合的方法同時學習高光譜圖像的光譜和空間特征實現高光譜圖像分類[27]。

為了使分類模型更加有效的利用和關注高光譜圖像的空譜特征,受Hybrid-CNN與傳統通道注意力機制的啟發,本文設計了基于三維注意力機制的混合卷積模型,不同于傳統的空間注意力機制和通道注意力機制通過兩次施加注意力實現不同維度特征的關注和激活,該模型通過三維注意力實現了對高光譜圖像的底層空譜特征的關注和激活,有效提升了模型的分類精度。此外,采用混合卷積的特征提取方式還減小了模型的運算復雜度。本文的主要工作如下:

(1) 設計了基于三維卷積核和二維卷積核的特征提取模塊,充分利用高光譜圖像的空譜特征信息;

(2) 設計了三維卷積階段的注意力機制,實現在三維卷積階段同時對空間特征和光譜特征的關注和激活,使得模型在訓練過程中更多地關注高光譜圖像有效的空譜特征,抑制譜噪聲信息;

(3) 在兩個公開數據集上的對比實驗和消融證明了文章提出方法的有效性。

1 研究方法

1.1 高光譜圖像預處理

高光譜圖像的數據立方體由I∈RH×W×C表示,其中H代表圖像高度,W代表圖像寬度,C代表圖像的維度,即光譜通道數。對于高光譜圖像中的每一個像素P,其都由一個向量(p1,p2,…,pC)∈R1×1×C表示其光譜特征。然而由于高光譜圖像類內變異性的存在,對同一個類別內的像素P其光譜特征并不完全相同,因此這要求模型在提取特征時要避免高光譜圖像高維度的光譜特征信息造成的特征冗余。為了解決這一問題,本文使用PCA方法降低數據維度。假設S∈RH×W×B代表經過PCA降維后的高光譜圖像數據,其中B代表選取的主成分個數。通過PCA降維后使用向量(p1,p2,…,pB)∈R1×1×B來表征每個像素的光譜特征。降維后的高光譜圖像數據,減小了光譜維度的數據冗余,保留了像素的主要光譜特征,并且保留了像素的空間信息。

為了適用CNN的輸入,需要將降維后的高光譜數據S處理成為多個數據立方體組成的Patch,每一個數據立方體的大小F∈Rm×m×B,其中m×m代表數據立方體的高度和寬度,B代表降維后的光譜通道數。對于每一個數據立方體F,以其中心像素的標簽作為數據立方體的標簽。

1.2 多維度卷積特征提取

傳統的2D-CNN使用二維卷積核在圖像上進行操作,卷積核只能在二維平面內兩個方向進行移動,同時對數據進行卷積運算,而后通過激活函數來增加非線性表達能力,生成的特征圖為二維特征圖。其卷積的運算過程如下:

(1)

由式(1)可以推出,對于每一個像素點的特征值,可以通過如下方式計算:

(2)

需要說明的是,Pi,Qi,Ri為第i層三維卷積核的大小。

由式(2)和式(3)的對比可以看出,三維卷積的運算量要大大高于二維卷積的運算量。考慮到高光譜圖像的特點,本文提出的方法首先使用三維卷積,同時提取空譜特征,以達到底層特征提取的效果。但由于三維卷積的運算復雜度高,為了減少模型復雜度,使用二維卷積進一步提取圖像的空間特征。

1.3 三維卷積注意力機制

Hu等人在2017年提出的SENet(Squeeze-and-Excitation Networks)在計算機視覺領域有相當突出的表現,其模擬人眼在觀看圖像時的注意力機制,通過對不同的特征信息賦予權重從而使得模型更加關注有價值的信息,有效抑制噪聲及干擾[28]。然而,由于先前提出的有關注意力的網絡都是基于視覺領域,所以大多數研究都是集中在二維卷積階段[29],通過在二維卷積階段施加空間和通道注意力機制實現對有效特征的激活。受此啟發,本文提出了基于三維卷積階段的注意力機制,由于三維卷積同時提取空譜特征的特點,將注意力機制應用于三維卷積階段可以同時對空間和光譜維度的有效特征進行關注和激活。

如圖1所示,對于給定的三維卷積的特征圖X∈RN×H×W×C,其中N代表三維卷積核的個數,H、W、C分別代表生成特征圖的高、寬和通道數。首先,通過三維全局平均池化和三維全局最大池化得到兩個N×1×1×1的兩個全局特征圖Xmax,Xavg。

圖1 三維注意力機制Fig.1 Three-dimensional attention mechanism

Xmax=fmax(X)

(4)

Xavg=favg(X)

(5)

式中:fmax和favg分別代表三維全局最大池化操作和三維全局平均池化操作。然后,將這兩個全局特征圖分別送入兩個共享參數的卷積核大小為1×1×1的三維卷積層從而實現不同通道的特征權值的學習,每一個卷積層都過Relu函數激活。兩個卷積層的計算如下:

Yout=Relu(f1×1×1(Relu(f1×1×1(Xin))))

(6)

式中:Xin為卷積層的輸入;f1×1×1表示卷積核大小為1×1×1的卷積運算;Xmax和Xavg通過卷積運算后,得到了新的輸出Ymax和Yavg。而后,將輸出的特征相加并通過Sigmod函數得到值為0～1之間的權重系數WS:

WS=Sigmod(Ymax+Yavg)

(7)

最后,通過權重系數與輸入的特征圖相乘,得到最終輸出的特征圖Xout:

Xout=WSX

(8)

通過上述過程,給三維卷積過程中每一個特征圖中不同的特征賦予了不同的權重系數。在模型訓練過程中,通過反向傳播算法不斷調整權重系數使得重要特征的權重系數逐漸增大,而非重要特征和干擾信息的權重系數逐漸縮小。三維階段注意力機制的構建,使得模型在底層特征提取時更加關注有效特征。

1.4 模型的網絡結構

高光譜圖像經過預處理后,網絡模型的處理對象是高光譜數據立方體F∈Rm×m×B。模型首先通過三維卷積核同時提取數據的空譜特征,依次使用步長為1的8個3×3×7的卷積核,16個3×3×5,以及32個3×3×3的卷積核來逐步提取高光譜數據立方體的空譜特征,每個三維卷積層通過Relu函數激活,且在卷積核個數分別為16和32時,通過三維注意力機制實現重要空譜特征的激活以及干擾噪聲的抑制。數據通過三維卷積階段后,得到F3D∈R32×z×b×b的特征圖。其中,z代表通道數,b代表特征圖的大小。考慮到二維卷積能在不損失大量光譜信息的情況下進一步提取空間特征從而進行類別區分,且二維卷積的計算復雜度遠小于三維卷積。因此,對特征圖進行重構以適應二維卷積的輸入。重構操作將F3D∈R32×z×b×b特征圖壓縮成3個維度(32×z,b,b),雖然失去了特征圖數量的索引值,但是重構操作不損失任何空譜特征信息,不增加模型的運算復雜度。在二維卷積空間特征提取階段,使用步長為1的64個3×3卷積核,同樣使用Relu函數激活最終得到F2D=R64×n×n的特征圖。模型的最后,特征圖在通過扁平化操作后,依次輸入具有3個線性層的全連接層中,每個線性層后都使用參數為0.4的Dropout操作以防止模型過擬合,最終通過Softmax分類器進行分類。本文提出的基于三維注意力與混合卷積(3D attention fusion CNN, 3DA-FCNN)的分類方法,具體網絡結構如圖2所示。

圖2 3DA-FCNN網絡結構Fig.2 Network structure of 3DA-FCNN

2 實驗設置

2.1 實驗環境與數據集

模型由Python語言在深度學習框架Pytorch1.8.1編程實現,使用Windows10操作系統,配備有Intel Core i7-10750H處理器,Nvida Quadro P620顯卡以及16 G內存,通過CUDA11.6和cudnn8.3進行加速訓練。

本文使用平均精度(average accuracy,AA),總體精度(overall accuracy,OA),和卡帕系數(Kappa)作為評價模型分類性能的3個指標。其中,AA表示每一類別分類正確率的平均值,OA表示總的分類正確數與總的測試樣本數的比值,Kappa系數是基于混淆矩陣的計算值,用來表征模型預測結果和實際分類結果是否一致。為了確保實驗結果的可靠性,每組實驗結果都是模型10次運行結果的平均值。

本文選取了兩個經典的用于評價高光譜分類模型分類精度的數據集,印地安松樹林(Indian pines, IP)數據集和岶維亞大學(Pavia University, PU)數據集,作為實驗數據。IP數據集是最早用于高光譜圖像分類測試的數據集,其由AVIRIS機載成像光譜儀對美國印第安納州的一片松樹林成像,然后截取了大小為145×145的部分作為基本數據。AVIRIS的成像波長范圍為0.4～2.5 μm的連續220個波段,成像分辨率為20 m,由于其中20個波段不能被水反射,因此在剔除掉干擾譜段后,共有200個有效波段,16種地物類別。PU數據集是由ROSIS成像光譜儀對意大利的帕維亞城成像獲得的,數據的大小為610×340,ROSIS的成像波長范圍為0.43～0.86 μm的連續115個波段,成像分辨率為1.3 m,在剔除因噪聲干擾的12個波段后,共有103個有效波段,9種地物類別。圖3展示了兩個數據集的偽彩圖以及真實地物圖。

圖3 數據集偽彩圖和真實地物圖Fig.3 Pseudo-color maps and ground truth maps of the datasets

2.2 參數設置

由于不同的實驗參數設置會影響模型的分類精度,因此在本節設計了兩組實驗來確定模型中重要參數的設置以獲得最佳的分類效果。由于模型在進行高光譜圖像預處理時應用了PCA方法降低高光譜圖像的維度,損失了一部分光譜信息,因此選取的主成分數量B是首先需要考慮的參數。第一組實驗討論選取的主成分數量即數據立方體的通道數B對實驗精度的影響,在控制其他實驗條件相同的情況下,選取前20～40個主成分以5為間隔進行了5組實驗。實驗結果如圖4所示,隨著主成分數量的不斷增加,模型的分類精度不斷提高,當選取的主成分數量超過30后,主成分數量的提升對模型精度的提升效果不再明顯。從實驗結果可以看出,若選擇的主成分數量較少,高光譜圖像的光譜信息會有較大的損失,模型在分類過程中損失了重要的光譜特征,最終導致分類精度較低。但若選取的主成分數量過多,由于高光譜圖像的特性,會引入過多的干擾和噪聲,使得其每一類的特征不再明顯,對于分辨率較低的IP數據集來講,選取過高的主成分數量還可能降低模型的分類精度。綜合考慮模型的計算數據量和分類精度等因素,統一設置主成分數量B=30。

圖4 不同主成分數量下模型的分類精度Fig.4 Classification accuracy of the model with different numbers of principal components

第二組實驗設計6種不同尺寸的數據立方體窗口大小m,m的大小從17～27間隔為2進行了6組實驗,模型的分類精度如圖5所示。隨著m的不斷增大,模型的精度不斷提升,但對于尺寸較小的數據集IP來講,當m的值超過25時,其分類精度反而略有下降。通過數據分析,對于精度較小的數據集,過大的窗口大小導致了不同類別的標簽也包含其中,從而造成了噪聲干擾,使得模型精度下降。考慮到模型的魯棒性,為了能夠公平地進行對比實驗,對于不同的數據集,統一設置高光譜數據立方體m=25。通過上述兩組實驗,確定了高光譜數據立方體大小F∈R25×25×30。

圖5 不同窗口大小設置下模型的分類精度Fig.5 Classification accuracy of the model under different window size settings

對于模型其他參數設置,先前的工作[23-24]進行了卓有成效的研究,具有很大的參考價值。為了優化模型的運行并進行公平的比較,本文實驗中將模型的學習率設置為0.001并加入學習率衰減機制防止模型不收斂,訓練輪次設置為100并加入早停機制防止模型過擬合。為了驗證模型在小樣本條件下的表現,采用10%的數據作為訓練集,其余數據作為測試集。

3 實驗結果與分析

3.1 對比實驗

為了驗證模型的有效性,本文選取了其他5種高光譜分類方法來進行對比實驗以證明提出方法的有效性,分別是基于二維卷積的深度特征提取方法(depth feature extraction method based on 2D CNN,2D-CNN-DF)[22],基于三維卷積的高光譜圖像特征提取和分類方法(feature extraction and classification of hyperspectral images based on 3D CNN,FE-3D-CNN)[30],通過多尺度三維卷積提取特征的高光譜分類方法(hyperspectral classification of multi-scale 3D CNN extraction features,Multi-3DCNN)[31],基于擴張卷積和注意力機制的分類方法(classification method based on extended convolution and attention mechanisms, 3D-2D-ADCNN)[24],以及光譜空間注意網絡(spectral spatial attention network, SSAN)[32]。為了達到每個方法最好的效果,所有的實驗參數都是按照公開文章的推薦設置進行的。

表1和表2分別展示了在兩個數據集上進行的實驗結果。從實驗結果可以看出,本文提出的方法可以更加有效地提取高光譜圖像的空譜特征,并通過注意力機制激活有效特征實現較高的分類精度。在IP數據集上,相對于近年提出的3D-2D-ADCNN在OA、AA、Kappa 3個指標上分別提升了0.48%、0.35%、1.09%,相對于SSAN在OA、AA、Kappa 3個指標上分別提升了0.47%、0.36%、1.11%。由于IP數據集本身存在的數據集樣本分布不均,圖像分辨率低等實際問題,其他不采用注意力機制的分類方法在IP數據集上的精度與所提出的方法都有一定的差距。對于PU數據集,幾種分類方法都有相當優秀的表現,本文提出的方法相對進行比較的2D-CNN-DF、FE-3D-CNN、Multi-3DCNN、3D-2D-ADCNN以及SSAN方法在OA上分別提升了5.46%、6.44%、2.04%、0.87%、0.49%,在AA上分別提升了4.73%、7.47%、4.27%、0.03%、0.93%,在Kappa系數上分別提升了8.23%、10.78%、6.38%、0.88%、1.37%。通過對比可以看出,在3種評價指標上本文提出的方法相對其他經典的方法都有一定的提升。

表1 不同模型在IP數據集上的分類精度Table 1 Classification accuracy of different models on IP dataset %

表2 不同模型在PU數據集上的分類精度Table 2 Classification accuracy of different models on PU dataset %

如圖6所示,為了更直觀地展示每個模型的分類效果,展示了每個模型在兩個數據集上的預測結果圖。可以直觀看出,3DA-FCNN方法在分類精度上更高,錯分類的數目最少,其生成的分類結果圖更接近于真實地物圖。基于2D-CNN-DF、FE-3D-CNN、Multi-3DCNN 3種方法生成的預測結果圖產生了比較嚴重的椒鹽現象,在樣本數目較多且較集中的位置也產生了誤分類現象。基于3D-2D-ADCNN與SSAN的分類方法雖然在整體效果上與本文提出的方法相差不多,但是對于樣本數目較小且分散的像素點的預測還存在誤分類的現象。反觀本文提出的方法,即使對于樣本數量較少的類別,依然表現出出色的分類性能。尤其在樣本數量不均衡的IP數據集上,3DA-FCNN的表現明顯優于其他方法。

圖6 不同模型在所選數據集上的分類效果Fig.6 Classification effect of different models on selected datasets

從實驗結果來看,本文提出的3DA-FCNN方法實現了空譜特征的有效提取和利用,從而獲得了較高的分類精度。

3.2 消融實驗

在本節中,設計實驗驗證文章提出的三維卷積注意力機制的有效性。在保持其他實驗設置不改變的情況下,將模型中的三維注意力機制去除并將新的模型命名為混合卷積模型(即FCNN),具體的實驗結果如表3所示。在IP數據集上,三維注意力機制的加入使得模型在OA、AA、Kappa系數3個指標上分別提高了2.89%、4.35%、3.32%。在PU數據機上,三維注意力機制的加入使得模型在OA、AA、Kappa系數3個指標上分別提高了0.42%、0.9%、0.55%。對于IP數據集來講,三維注意力機制的加入對模型的提升效果比較明顯。這是由于IP數據集本身分辨率較低,造成每一類別光譜特征的類內變異性較大,注意力機制的加入使得模型能夠對有效特征進行注意和激活,從而提高分類精度。從PU數據集的實驗結果來看,不加注意力機制的FCNN方法在PU數據集上的分類精度已經處于較高的水平,雖然注意力機制的加入對方法精度的提升不明顯,但多次實驗結果最終證明,三維注意力機制的加入依然提升了模型的分類能力。

表3 消融實驗結果Table 3 Ablation experiments results %

如圖7和圖8所示,為了更直觀地表示模型對不同標簽種類的分類結果,我們將混淆矩陣進行了可視化。綜合實驗結果可以看出,三維注意力機制的加入有效提升了模型的分類精度。

圖7 IP數據集混淆矩陣Fig.7 Confusion matrix for IP dataset

圖8 PU數據集混淆矩陣Fig.8 Confusion matrix for PU dataset

4 結 論

針對現有高光譜圖像分類方法對空譜有效特征關注不足的問題,本文提出了一種基于三維注意力機制與混合卷積的高光譜圖像分類方法。

該方法采用混合卷積結構提取高光譜圖像的空譜特征,相比單一使用三維卷積結構的模型減小了模型的運算復雜度。通過設計并在三維卷積階段實施注意力機制從而使得模型在提取底層空譜特征的同時實現了對高光譜圖像有效特征的關注和激活,以及對干擾噪聲抑制。實驗結果證明了三維注意力機制的引入對模型特征關注能力提升的有效性以及本方法在高光譜圖像分類問題上的良好表現。

由于高光譜圖像的人工標注需要耗費大量的人力物力,標簽數據量不足往往成為制約模型分類精度提升的重要原因。因此,如何提升小樣本條件下的分類精度是需要進一步研究考慮的問題。