兩階段密集特征學習的高光譜圖像分類方法

李 達,劉睬瑜,韓 睿,宋梅萍

(1.南方電網綜合能源股份有限公司 新能源事業部， 廣州 510075；2.大連海事大學 信息科學技術學院， 遼寧 大連 116026)

高光譜(hyperspectral，HSI)遙感數據包含豐富的輻射、空間和光譜數據，是多種信息的綜合載體。其中，定量化的連續光譜曲線數據為圖像提供光譜信息，像元及周邊像元間的相互空間位置關系則為圖像提供空間信息[1]。高光譜分類(hyperspectral classification，HSIC)技術一直是高光譜圖像處理中的熱點研究內容，其最終目標是根據光譜特征和空間特征的相似性對圖像中的每個像元進行類別的劃分，在農業、林業識別、環境監測、海洋目標探測等領域有著越來越廣泛的應用價值。近年來隨著機器學習技術的興起，出現了一系列基于流形學習、稀疏理論、深度學習等框架的HSIC方法[2-14]，這些分類方法主要包括分類訓練與特征提取2個部分，其基本框架是將提取到的分類特征進行訓練以得到分類模型。在分類訓練方面，Du等[15]基于流形學習原理，利用面向類別優化策略提出了一種稀疏多項式邏輯回歸分類器； Ma等[16]采用半監督分類方式，利用樣本的局部類別標簽和深度學習框架得到的全局類別標簽，采用自學習方式進行高光譜圖像分類；Paoletti等[17]提出了基于一種三維深度卷積神經網絡的高光譜分類框架，利用空間和譜間2種信息作為訓練特征，并在圖形處理器(graphic processing unit，GPU)上加以實現。在特征提取與增強方面，高光譜圖像可以利用的空間特征有形態學特征、差分形態輪廓、Gabor特征和灰度共生矩陣等紋理特征。其中，Benediktsson等[18]通過多種尺度的形態學分解方法提取空間特征，成功地應用于城市遙感圖像分類；Chen等[19]利用稀疏表示高光譜圖像中的像元和鄰域像元間的區別，提出的空譜分類器獲得了局部平滑的分類效果，引發了基于稀疏理論表示的高光譜分類方法的研究浪潮；馬爾可夫隨機場模型能有效地模擬像元在空間上深層次相關性，在高光譜分類領域也有著大量的應用，Cao等[20]利用高斯-馬爾可夫隨機場模型提取高光譜遙感影像的空間特征，取得了較好的分類效果；另外，也有學者利用頻域信號增強的方式提升高光譜數據的分類特征，例如Xie等[21]提出一種基于閉合式解摳圖模型空間光譜特征增強方法，該方法利用邊緣信息與預估的前景、背景信息線性組合以實現分類特征的增強。這些已有分類特征表示方法為高光譜分類的特征提取提供了大量理論支持與技術保障。在過去20年中，卷積神經網絡(CNN)能自動提取具有分層架構的深層特征，在計算機視覺等領域有著非常廣泛的應用，例如圖像去噪、圖像檢測、目標識別和分類。基于CNN框架的分類方法為高光譜分類任務提供了豐富的解決方案，研究者也對CNN的框架進行了各種改進，現有的基于CNN的高光譜分類框架中存在3類卷積運算，分別是一維(1D)卷積、二維(2D)卷積和三維(3D)卷積，目前來說這3種模式通常獨立執行。一方面，采用單一的卷積計算模式成為譜空分類特征無法深度提取的主要原因；另一方面，也造成了譜空特征融合的單一性，缺少譜間特征與空間特征的深層融合，導致分類精度不高。同時，高光譜圖像的高維性帶來的信息冗余也給分類增加了一定的困難，因此采用波段預處理的方式進行降維也逐漸成為解決這一問題的主要途徑，目前特征提取和波段選擇是2種主要的降維方法，而前者通常算法復雜，計算量較大，后者能比較完整地保留信息，是當前采用較多的波段處理方法。

針對以上問題，提出了一種基于顯著性波段選擇與密集譜-空特征融合的高光譜圖像分類網絡(HSIC CNN base on band selection and dense feature fusion，CNNBSDFF)，如圖1所示。該方法首先構建第一階段深度學習網絡，分別構建2D和3D Dense深度卷積模塊，用于提取高光譜圖像的空間特征及譜空一體化特征；接著將提取到的兩部分特征進行疊加，得到深層融合特征，并且在這個階段中還采用了顯著性波段選擇(BS)技術來進行數據壓縮，降低特征復雜度，提高HSIC的訓練效率；第二階段利用深度學習原理，構建含有卷積層、池化層和全連接層的深度卷積分類模塊，進一步提取譜空融合數據的深層特征；最后采用反向傳播的方式進行分類模型的訓練，獲取分類結果。本文所提出的融合模型利用兩階段深度學習集成策略可以有效地提取深層地物特征，一方面采用空間特征和光譜特征集成融合的方法提取高光譜數據的空譜特征，另一方面以兩階段學習模式逐步提取深層分類特征，增加空譜信息融合之后的表達性，獲取更具有判別性的特征，提高網絡的性能。

圖1 CNNBSDFF方法的網絡結構圖

1 顯著性波段選擇

高光譜圖像的主要特點是其數據由豐富的波段組成，包含了地物豐富的空間、輻射和光譜信息。實踐表明，結合空間與光譜信息的圖像分類方式比只利用單一的空間或者譜間信息有顯著優勢，而波段間不可避免地會存在一定的冗余，在有效利用光譜信息的同時不得不對波段的冗余信息進行處理，因此在高光譜數據處理應用中需要進行數據壓縮以降低冗余干擾并提高處理速度。目前來說，主要有數據降維與波段選擇2種壓縮模式，其中數據降維主要從抽取特征子集和通過線性或非線性的方式將原來高維空間變換到新的空間2個角度出發，這在一定程度上忽略了數據本身的關聯性。基于波段選擇方法因為未改變高光譜數據的物理屬性而備受關注，有助于保持數據類別之間和類別內部的客觀聯系。本文中提出一種基于波段相關性的顯著性波段選擇方法，用于選擇信息量較大的波段組數據進行樣本訓練。考慮到最接近其他波段的波段蘊含著顯著判別信息，構建2層前饋全連接網絡來計算波段顯著性系數，具體的波段選擇流程如圖2所示。其中，由Kullback-Leible(KL)散度計算出的初始波段相似度作為輸入，每個節點的輸出用于測量波段選擇策略。具體為，若已知bi和bj為高光譜的2個波段，則2個波段間的相關性系數可以表示為KL(i_j)，其計算公式為：

(1)

式中：bik表示第i個波段的第k個像元；n表示高光譜圖像的像元總數。

全連接網絡中采用前向反饋結構，其中權重設置為1，偏置設置為0，輸出節點yi{1-L}表示第i個波段與其他波段的顯著相關性，將所有波段的顯著相關性進行降序排序，根據波段數目選取算法選擇出顯著性波段子集。經過波段選擇的預處理之后，一方面較好地保留了波段顯著數據，在一定程度上減小數據冗余帶來的影響，保證分類精度；另一方面降低了數據冗余，可以減少CNN分類網絡的訓練數據量，進而提高模型的處理速度。

圖2 波段選擇流程圖

2 兩階段CNN的高光譜圖像分類模型

提出的融合模型利用兩階段深度學習集成策略可以有效地提取深層地物特征，首先采用稠密連接的空間和光譜特征集成融合的方法來聯合提取高光譜數據的空譜特征用于分類，而且充分利用深度學習原理，以兩階段學習模式進一步提取深層特征，增加空譜信息融合之后的表達性，獲取更具有判別性的特征，增加了網絡結構的復雜度，通過這2種方式有效提升特征表達質量，提高分類精度，這將在真實高光譜圖像分類的實驗中得以驗證。

2.1 基于Dense CNN的譜空特征提取階段

特征提取架構采用CNN網絡，避免了傳統復雜的特征提取過程，通過簡單的非線性模型從原始圖像中提取出更加抽象的特征。本文采用的網絡結構流程如圖3所示，網絡主要包括2個階段，聯合特征提取階段和深層特征提取階段，在聯合特征提取階段首先采用波段選擇的方法對高光譜數據進行壓縮。

圖3 CNNBSDFF方法流程框圖

CNN結構對于圖像的多層次結構、特征局部性、平移不變性具有良好的適應性，通過增加網絡的深度可以在一定程度上提高分類效果，但也會增加數據處理的復雜度，增加訓練的難度，尤其是對于復雜性較高的高光譜圖像。因此，在本文中，采用了2D和3D Dense CNN 2種結構來分別提取空間特征和光譜特征，Dense CNN結構可以有效增加特征的表達，提高特征的可重用性，在保證網絡中層與層之間最大程度的信息傳遞的前提下，直接將所有層連接起來，為了保證前饋的特性，每一層將之前所有層的輸入進行拼接，再將輸出的特征圖傳遞給之后的所有層，這可以有效避免梯度消失，并且將每層得到的特征圖進行最大程度的利用，同時由于不需要重復學習特征，很大程度上減少了網絡的參數數量，起到緩解網絡過擬合的作用。由于在Dense網絡中需要對特征連接，因此不同層的輸出特征大小需要保持一致，采用Dense CNN網絡提取特征的過程如圖1所示。

2.1.12DDenseCNN模塊

(2)

式中：w2D和b2D表示二維卷積的權重與偏置參數；符號Θ代表2D卷積操作；σ(·)表示ReLU激活函數。為了提升空間分類特征的判別性，本文構建密集的2D CNN網絡將前序的特征進行連接作為后續卷積層的輸入，采用了三層密集連接層提取空間特征，采用3×3卷積核大小，每一層的密集結構中包含卷積層、最大池化層、ReLU激活函數。實驗中的2D Dense網絡的超參數設置如表1所示，采用三層密集連接的CNN卷積神經網絡，卷積核的大小均為3*3，且連接最大池化層和ReLU激活層，每層的特征圖均保持一致。其網絡的密集特征連接方式定義如式(3)所示。

(3)

表1 超參數設置

2.1.23D Dense CNN模塊

(4)

式中：w3D和b3D分別為3D卷積的權重與偏置參數；符號⊙表示3D卷積操作；N為3D卷積核個數；σ(·)表示ReLU激活函數。

與空間特征增強的實現類似，在光譜特征提取階段，也利用密集連接方式，如圖1所示，采用了兩層密集網絡將所有先前層提取到的特征作為后續卷積層的輸入。此模塊的實驗參數設置如表1所示，在兩層密集連接的CNN網絡中，采用卷積核的大小是1*1*3，且連接最大池化層和ReLU激活層。相應地，對光譜信息的密集運算為：

(5)

2.2 譜空特征融合挖掘

光譜和空間特征作為高光譜圖像分類的重要依據，決定著分類性能的好壞，目前高光譜分類框架的關鍵是聯合光譜和空間特征共同進行分類，以改善框架的性能，提高分類精度。本文提出的框架中，第二階段的CNN模塊主要用于實現空間特征和光譜特征的融合與特征深度優化。

首先在特征融合方面，將第一階段采用Dense CNN模型提取的空間和光譜特征進行組合以構建融合特征。該過程如式(6)所示。

(6)

式中：“+”表示連接操作；L為卷積操作個數。

將融合的光譜和空間特征作為第二階段特深層征優化網絡的輸入，如圖3所示，進行2D卷積操作捕獲更加精細化的特征表達用于分類，網絡搭建方面，由1個卷積層、1個池化層和2個完全連接層組成。其中卷積層的核大小設置為3*3，采用的2層全連接層節點數大小分別為300和100。在這個階段中，對融合的空譜聯合特征進行更進一步的深入挖掘，對類別的特征描述更加精細。

3 實驗結果與分析

對所提出的CNNBSDFF方法在廣泛使用的高光譜數據集Purdue和KSC上進行了實驗，并和其他方法進行了比較，對實驗結果進行了比較，分析了各個網絡的性能。

3.1 數據集介紹

采用廣泛使用的高光譜數據集進行實驗，第一個數據集是Purdue數據集，該數據集是使用機載可見光AVIRIS成像光譜儀在印第安納州西北部的印度松樹測試場地收集的場景，圖像空間分辨率是20 m，共有220個波段，每個波段大小為145×145像素點，波長范圍在0.4～2.5 μm。該場景主要包括農業區和森林，還有一些建筑物以及道路，通用數據集選用其中16類用于分類應用，圖4(a)和圖4(b)分別為Purdue圖像顯示和地物分布。

圖4 Purdue數據集

第2個數據集為肯尼迪航天中心(KSC)數據，該數據是采集于佛羅里達州的肯尼迪航天中心的高光譜圖像，涉及的數據類別主要是13種沼澤類型。KSC場景去除噪聲和水波段外，共有176個波段，數據分辨率大小為512×614。圖5(a)和圖5(b)分別為KSC圖像顯示和地物分布。

圖5 KSC數據集

3.2 實驗參數與CNN網絡配置

為了分析提出的波段選擇和密集卷積網絡的可行性，本文利用不同的CNN模型與CNNBSDFF模型進行比較，其中將沒有波段選擇的CNNBSDFF模型表示為CNNDFF模型。所有用于比較的網絡都按照表1中列出的相同的超參數設置。此外，該模型的實現在TensorFlow平臺上完成，批量大小初始化為100，對所有網絡均進行5 000次迭代訓練，學習率設為0.001。其他比較的現有方法包括EPF[22]、MFASR[23]、CNNDH[24]，所有網絡執行重復5次，OA為計算結果的平均值。其中，EPF是一種典型的保持圖像邊緣信息的特征表示方法；MFASR中采用了多尺度空間卷積對高光譜數據進行稀疏特征表示；CNNDH的模型由2個卷積層，1個反卷積層和1個嵌入的哈希語義特征提取模塊組成來提取圖像的特征。在實驗中，各個模型均采用表1所示的超參數設置以便于更加準確的比較各個模型的性能。

根據VD算法[25]，所提出的模型從Purdue和KSC數據集中選擇的波段數目分別為18和21，選擇的波段序列和數據壓縮大小列于表2，其中Purdue的壓縮率達到了91.8%，KSC的壓縮率達到了88.1%。

表2 不同數據集波段選擇號與壓縮率

3.3 結果分析

3.3.1Purdue結果對比分析

Purdue數據集實驗的OA值實驗結果如表3所示。可以看出CNNBSDFF模型獲得了最高的OA值，為99.37%。根據實驗結果，一方面可以證實密集塊對網絡模型有一定的積極影響，另一方面通過CNNBSDFF模型的性能優于CNNDFF模型也進一步說明了提出的顯著性波段選擇方法的必要性，能夠緩和高光譜數據中的冗余信息帶來的干擾。

表3 Purdue數據集的分類結果

在對Purdue數據集的實驗中，從原始數據常用的200個波段中采用基于波段相關性的顯著數據提取方式選擇出18個波段，隨機選擇10%的訓練樣本，drop out的值設置為0.2，輸入數據塊大小為19×19×18。Purdue數據集實驗的結果如圖6所示，可以明顯看出采用CNNBSDFF模型更接近真實地物分布，而采用EPF的網絡結構得到的地物分布與圖4(b)所展示的真實地物分布圖相差最大。

圖6 Purdue實驗結果圖

3.3.2KSC數據結果對比分析

從表4列出的KSC數據集分類結果中可以準確地看出采用CNNBSDFF模型達到最高的OA值，且在很多類別上的準確率都達到了100%，而CNNDFF的OA值只有94.54%，主要原因是KSC數據集相對稀疏的特征分布，對于傳統網絡通常在譜間和空間特征的表示上更困難。采用文中的顯著性波段選擇方法之后，CNNBSDFF模型獲得的OA為99.53%，比CNNDFF高出5%左右，進一步表明，采用顯著性波段提取的方法對KSC數據集的訓練效果有很大提高，這也進一步驗證了CNNBSDFF模型在樣本分布稀疏的數據集上更具有優越性。

表4 KSC數據集的分類結果

在對KSC數據集的實驗中，從原始數據常用的176個波段中采用基于波段相關性的顯著數據提取方式選擇出21個波段，訓練樣本百分比依舊設置為10%，經過顯著性波段選擇之后的數據樣本大小為19×19×21，將drop out的值固定為0.1。KSC數據集的實驗結果如圖7所示，可以明顯看出采用CNNBSDFF模型得到的地物分布圖更接近圖5(b)所展示的KSC真實地物分布圖。

圖 7 KSC實驗結果圖

3.3.3波段選擇結果分析

為了評估本文的BS方法，實驗中與其他數據壓縮方法進行了比較，比較的方法包括主成分分析(PCA)壓縮數據方法和均勻選擇波段方法。其中，PCA方法選取的主要成分的數目分別為3個和5個，針對Purdue和KSC數據的均勻選擇方法的步長分別設為11和8。表5展示了不同方法對OA值的影響。

表5 不同波段壓縮方法的分類結果

由表5可以明顯看出，Purdue和KSC采用顯著性波段選擇方法的OA值比平均選擇方法分別提高了0.53%和6.35%，比PCA(5個主成分)改善了1.42%和30.53%。PCA的5個主成分結果較優于3個主成分，這也說明了在進行數據壓縮時來降低冗余度的同時也會丟失部分信息，使用平均選擇法的效果略高于PCA，但與本文所采用的顯著性波段選擇方法相比還存在一定的差距。

3.3.4實驗參數分析

分析3個參數(包括drop out，圖像樣本大小和樣本訓練比)對CNNBSDFF模型性能的影響(圖8)。Purdue數據和KSC數據訓練樣本的大小和樣本訓練比設為19×19和10%。

圖8 實驗結果

圖8(a)展示了由所提出的網絡在2個數據集上由不同的drop out率所獲得的OA值，當drop out為0.2時，Purdue數據的最高OA值為99.37%，而KSC的最佳OA值為99.55%，drop out比率為0.1，由此可見，所提出的模型可以以較低的drop out率產生最佳性能。并且在drop out率為0.2，訓練比為10%的情況下進行了樣本大小影響的實驗。改變樣本訓練比的實驗結果如圖8(b)所示，訓練樣本的比例從1%到10%不等，可以看出，KSC的精度高于Purdue，并且2條曲線都反映了隨著百分比的增加而增加的趨勢，這也反映了神經網絡需要足夠訓練數據的事實。具體來說，OA獲得的最高值是99.37%，Purdue數據的比例為10%，最佳OA值是99.58%，比例為9%。當百分比為1%時，Purdue和KSC均達到最低的OA值，分別為96.61%和97.90%。圖8(c)顯示了數據集上具有不同樣本大小對應的OA值。可以看出，Purdue和KSC數據的最佳分類結果分別為99.57%和99.66%，此時樣本大小為19×19。在樣本大小為12×12的情況下，Purdue數據和KSC數據顯示的最低OA值分別為98.02%和98.70%。訓練時間比較結果如圖8(d)所示。可以進一步看出，在相同的參數設置下，所提出的CNNBSDFF結構是最高效的模型。

4 結論

提出了一種基于兩階段CNN的高光譜分類方法，首先通過使用顯著性波段選擇進行數據壓縮以減少數據冗余度，減小計算復雜度，再通過兩階段CNN對高光譜圖像的空間和譜間分類信息進行深度挖掘。提出的CNNBSDFF模型在第1階段CNN分別采用2D Dense及3D Dense嵌入模塊進行空間和譜間的特征提取；在第2階段CNN對譜空特征進行融合及進一步挖掘，增強分類特征表達能力。在2個經典高光譜數據集Purdue和KSC上的實驗和分析表明，所提出的CNNBSDFF模型在準確度和對公共數據集的計算方面均展示出優越的性能。由于高光譜圖像標記困難并且存在嚴重的樣本不平衡問題，而網絡通常需要大量的數據來學習更加精細的特征用于分類，在少量標記樣本的情況下保持模型性能的優越性對高光譜圖像分類方面的研究有重大意義，這也是下一步的研究方向。