卷積神經網絡在高光譜圖像分類中的應用綜述

萬亞玲，鐘錫武，劉 慧，錢育蓉

1.新疆大學 軟件學院，烏魯木齊 830046

2.新疆大學 信息工程學院，烏魯木齊 830046

近年來，隨著我國“高分五號”衛星的成功發射，研究者們對高光譜遙感技術的關注達到了新的高度。高光譜遙感圖像（Hyperspectral Imagery，HSI）是通過高光譜成像儀獲取的圖像，它的空間信息和光譜信息十分豐富。與普通圖像相比，高光譜遙感圖像還具備更多的波段數以及極高的分辨率。因此，對于地物鑒別而言，對它的光譜特征和空間特征進行分析，就可以得到詳細的地物特征。目前，高光譜遙感對地觀測技術的應用十分普遍，例如精準農業[1]、海洋水文檢測[2]、大氣環境監測[3]等領域，高光譜遙感及應用也必將在我國經濟、農業、環境監測等各個方面發揮越來越重要的作用。高光譜遙感圖像的應用實質就是高光譜遙感圖像分類。如何對高光譜圖像中的每個像元進行快速準確的判別是這個問題的核心。

目前，對于高光譜遙感圖像分類任務，一種是采用傳統的方法，例如利用光譜特征的分類方法和數據的統計特征的分類方法，包括常用的K近鄰算法[4]以及支持向量機（Support Vector Machine，SVM）[5]。但是，傳統的方法一方面是沒有考慮到高光譜圖像豐富的空間信息，導致特征提取不夠完整；另一方面是大多數方法基于手工特征，需要人工判別和標注，會花費較多的人力和時間。傳統的淺層學習方法的局限性在于：它主要是提取分類器所需要的特征，而且提取的特征是面向領域知識的，這些都會造成分類精度不佳。

近些年，一些深度學習模型也被應用在高光譜遙感圖像分類中，如深度信念網絡（Deep Belief Network，DBN）[6]和棧式自編碼器（Stacked Autoencoder，SAE）[7]網絡，但是這兩個網絡的局限性在于：均要求輸入為一維向量，由于光譜信息本身為一維，需要對空間信息拉伸成一維向量，這樣就會造成空間信息的丟失。而卷積神經網絡（Convolutional Neural Network，CNN）[8]通過局部連接有效提取特征，通過共享權值顯著地減小參數量，而且它在圖像分類[9]、圖像超分辨率重建[10]、目標檢測[11]、醫學圖像處理[12-13]等領域獲得廣泛應用，為卷積神經網絡在高光譜遙感圖像分類任務中的應用奠定了基礎。

1 高光譜遙感圖像分類

1.1 高光譜遙感圖像分類概述

高光譜遙感圖像利用成像光譜儀獲取連續的、多波段狹窄的遙感圖像。與普通的遙感圖像相比，第一，它能達到納米級別的分辨率，第二，它是一個能夠充分反映地物目標的光譜特征的數據立方體，且包含豐富的空間信息和光譜信息。高光譜遙感圖像分類的過程主要由數據輸入、數據預處理、特征提取和特征選擇、分類模型、精度評價、分類結果這幾大步驟組成。高光譜遙感圖像的分類過程如圖1所示。

圖1 高光譜圖像分類框架

（1）數據預處理主要包括圖像格式轉換、幾何校正、降噪、降維等處理，目的是盡可能地消除噪聲對高光譜圖像的影響，為后續的分類模型提供數據。

（2）特征提取和特征選擇是尋找最優解的過程，其本質就是降維，一般使用PCA（Principal Component Analysis）降維[14]的方法，它運用線性變換來提取特征，但是高光譜數據本質上是非線性的，因此PCA 等線性變換方法會丟失大量有用的信息。

（3）分類模型。選擇適合于高光譜遙感圖像的分類模型是實現精準分類的關鍵。相比于傳統的方法，基于卷積神經網絡的分類方法[8，15]一方面能夠自動提取淺層和深層次的特征，通過淺層提取紋理和邊緣信息，通過深層提取高級語義信息，并進行有區分度的特征學習，而傳統的方法只能提取有限的淺層信息。對于高光譜遙感圖像這種高維的數據，能夠有效地擬合高光譜遙感圖像的分類標簽與高光譜圖像數據特征之間的非線性關系，減少了繁重的人工標注，同時節約了計算時間，更好地提高分類精度。另一方面，卷積神經網絡將特征提取和特征分類集成到一個框架中，可以實現端到端的訓練。

1.2 高光譜遙感圖像分類存在的問題

高光譜遙感圖像具有“圖譜合一”的特點，同時包含大量的數據信息，具有巨大的信息潛力，但是如何從大量的信息中高效準確地完成分類任務，做到省時省力，一直是人們的研究熱點，因此在解決這個問題時還有以下困難需要克服：

（1）缺乏大型、公開、已標記的數據集。高光譜遙感圖像的獲取、處理、標記比較困難，它無法像普通RGB圖像那么容易獲取，而利用深度學習訓練模型時需要大量的樣本，如果數據量不足，會對模型和算法的研究帶來一定的局限性。如何在少量的訓練樣本下充分挖掘未標記數據和已標記數據之間的聯系，提高分類模型的普適性和分類精度，也是亟待解決的問題。

（2）小樣本和高維度的問題。高光譜圖像的光譜分辨率高，光譜數量多，而現實中高光譜數據的標簽采集比較困難，且進行人工標注成本高，在高光譜數據標注時，具有高標注代價的特點。小樣本和高維度的問題，增大了高光譜圖像的分類難度，容易造成“維度災難”的現象。深度學習的很多模型方法都依賴于大量的標記樣本進行有效訓練，而小樣本和高維特性往往制約著深度學習模型在高光譜圖像分類上的應用。

（3）高維特性使數據的存儲和處理變得困難。高光譜遙感圖像的高維度特性使得在對其進行處理時，增加了計算的復雜度，如何有效地對高光譜進行降維、圖像預處理、特征提取和特征選擇，才能夠降低數據存儲和分類模型的開銷，提高分類精度，也是值得思考的問題之一。

2 卷積神經網絡

卷積神經網絡（CNN）廣泛應用于圖像處理和模式識別等方面。與DBN和SAE相比，CNN是高光譜圖像分類使用最多的深度學習模型。卷積神經網絡卷積層的工作原理是利用卷積核進行特征的提取，這種提取是自主完成的；而池化層的工作原理是對來自卷積層的數據進行下采樣處理，這種方式的好處是使感受野變得更大，數據量被不斷壓縮，參數量明顯降低；全連接層也是卷積神經網絡很重要的部分，它的主要作用是將數據以一維的形式輸出。CNN 的基本結構如圖2 所示。隨著數據的維度和數量不斷地增加，比如高光譜遙感這類數據，早期的卷積神經網絡的“卷積-池化-全連接”結構已經不能滿足現在的需求，于是研究者又提出了基于卷積神經網絡改進的網絡模型，例如GoogleNet[16]、VGGNet[17]、ResNet[18]、DenseNet[19]等。

圖2 CNN基本結構

目前卷積神經網絡有三種不同形式的卷積核，包括1D-CNN、2D-CNN、3D-CNN，它們具有相同的元素計算過程，都采用反向傳播算法對網絡的參數進行修改，并訓練網絡。對于高光譜遙感圖像分類而言，它們的本質區別就是分別代表了不同形式的特征。基于CNN的分類方法主要是基于光譜特征、基于空間特征、基于空譜特征聯合的方法，以下分別介紹這三種方法。

2.1 基于光譜特征的分類方法

高光譜包含大量光譜信息，因此光譜信息在高光譜分類任務中尤為重要。光譜信息為一維向量，通常使用一維卷積神經網絡（1D-CNN）對其進行分類。Hu 等人[20]采用一個包含權重的五層一維CNN網絡直接在高光譜圖像的光譜域進行分類。1D-CNN 的缺點是只能提取到光譜向量，不能提取到豐富的空間上下文信息。但是1D-CNN 是研究者們使用卷積神經網絡在高光譜圖像分類上的踴躍嘗試，為后續研究高光譜圖像分類打開了新的思路。

基于光譜特征的分類方法主要是利用1D-CNN 提取光譜特征，但它并非主流方法，其局限性在于：1DCNN只能提取到光譜向量，沒有考慮空間信息，而高光譜圖像中存在“同譜異物”和“異物同譜”現象，僅僅利用光譜信息分類難以得到較好的分類效果。

2.2 基于空間特征的分類方法

空間信息也是在高光譜遙感圖像分類時需要考慮的一個方面，利用1D-CNN 可以提取光譜信息，但是無法提取空間信息，于是研究者們開始思考利用在普通圖像領域使用的二維卷積神經網絡來進行高光譜遙感圖像的分類。2D-CNN與1D-CNN最本質的區別在于2DCNN 的卷積和池化都是二維的操作。利用2D-CNN 可以提取高光譜遙感圖像目標像素周圍的局部空間信息。二維卷積操作的時候，采用的公式如下：

基于空間特征的分類方法，利用2D-CNN作為分類模型對高光譜遙感圖像進行分類。首先對原始的圖像進行PCA 降維處理[21]，然后以目標像素為中心點，對這個目標像素的領域范圍進行信息提取，最后利用卷積、池化等進一步提取更深層次的特征，完成分類任務。很多研究者采用2D-CNN 作為分類模型對高光譜遙感圖像進行分類。Liu等人[22]提出了一個半監督的2D-CNN用于高光譜圖像分類，它能夠自動從復雜的高光譜圖像數據結構中學習特征，半監督的方式能夠很好地解決標記的樣本量有限的情況。Xu等人[23]提出一種有效的基于深度學習的方法RPNet（Random Patches Network）用于高光譜圖像分類，首先通過PCA 降維對高光譜圖像進行預處理，然后直接將從圖像中得到的隨機塊視為卷積核而無需任何訓練，通過結合淺層和深層卷積特征，使其具多尺度、耗時少的優點。

基于空間特征的分類方法，在使用2D-CNN作為分類模型進行分類時具有一定的局限性[24]。它的局限性在于：在處理之前，必須對原始圖像進行降維處理，試圖將高光譜圖像轉變為類似于RGB 的圖像。一方面，如果不進行降維處理，就會導致參數量非常大，再加上樣本數量少，容易出現過擬合現象。另一方面，高光譜圖像通常含有上百個波段，在降維過程中，可能會破壞光譜的結構，造成光譜信息的丟失，浪費高光譜圖像的一些特定屬性。

2.3 基于空譜特征聯合的分類方法

基于空譜特征聯合的分類方法，主要是結合高光譜圖像豐富的光譜信息和不可或缺的空間信息完成分類任務，一般有兩種方法，如圖3所示。

2.3.1 1D+2D-CNN的空譜分類方法

圖3 基于空譜特征的CNN分類方法

這種分類方法引入兩種CNN，先對輸入的高光譜數據進行PCA 降維或者其他方式的壓縮降維，提取待分類像素點的領域信息，然后利用2D-CNN對提取出來的信息進行進一步的加工，提取更深層次的空間信息，利用1D-CNN或傳統方法提取譜信息，結合提取的空間信息和譜信息從而完成分類任務。Yang 等人[25]提出了一種雙通道卷積神經網絡（Two-CNN），該方法采用光譜通道學習譜域特征，用空間通道學習空間域特征，然后將學習到的特征串聯起來，輸入全連接層，完成分類任務。胡麗等人[26]利用空洞卷積的一維卷積神經網絡（1D-CNN）和二維卷積神經網絡（2D-CNN）提取高光譜圖像的光譜和空間特征，采用加權融合方法對特征進行融合。

2.3.2 基于3D-CNN的空譜分類方法

3D-CNN使用三維卷積在三個維度上同時工作，直接提取高光譜圖像的光譜信息和空間信息。相比于2D-CNN 需要對原始圖像進行壓縮降維，3D-CNN 直接從原始的高光譜遙感圖像中提取空間信息和光譜信息，三維卷積核具有提取三維信息的能力，其中兩個維度為空間維，剩下的一維為光譜維，而高光譜遙感圖像正好是一個三維立方體，因此可以直接提取信息，這些優點都使3D-CNN 更加適合作為高光譜圖像分類的模型。3D-CNN進行三維卷積操作的公式如下所示：

其中，在三維卷積核中，Rl表示光譜維數，Hl表示高度，Wl表示寬度。此外，表示在(h,w,r)位置上第l層中第i個卷積核輸出的數據。Li等人[27]提出了基于三維卷積神經網絡框架（3D-CNN），利用其特性可以進行HSI 的高準確性分類。Chen 等人[8]提出了一種基于3D-CNN的有限元模型，并結合了正則化以提取高光譜圖像的有效光譜空間特征。He等人[28]提出了一種用于HSI 分類的多尺度3D 深層卷積神經網絡（Multi-scale 3D Deep CNN，M3D-DCNN），它可以以端到端的方式從HSI 數據中共同學習空間特征和光譜特征，用1DCNN提取光譜信息。

目前，利用3D-CNN對高光譜的空譜特征進行分類的方法主要有以下四種：

（1）改進的3D-CNN模型。一般利用DenseNet或者ResNet 作為骨干網絡，利用三維卷積核進行提取，它們的網絡更深，提取的特征更加豐富，而且可以有效地緩解梯度消失的問題。Zhong等人[29]設計了一個端到端的光譜-空間殘差網絡（Spectral-Spatial Residual Network，SSRN），它選擇7×7×200 的三維立方體作為輸入數據，不需要特征工程來進行高光譜圖像分類。在該網絡中，通過構建光譜殘差塊和空間殘差塊提取光譜特征和空間特征，使得識別準確率更進一步提升。或者使用密集連接或者殘差連接的改進網絡。Wang 等人[30]提出一個端到端、快速且密集的光譜-空間卷積（Fast Dense Spectral-Spatial Convolution，FDSSC）框架，它選擇9×9×L（其中L為數據集的光譜數）的三維像素數據作為輸入。該框架通過構建密集譜塊和密集空間塊自動提取HSI 中豐富的空間特征和光譜特征。密集連接加深了網絡，減少了梯度消失的問題。

（2）加入注意力機制的3D-CNN模型。采用現在主流的注意力模塊，例如SENet（Squeeze-and-Excitation Network）[31]、CBAM（Convolutional Block Attention Module）[32]等注意力機制或者改進的注意力機制，來構建構建網絡，關注更加有用的空間光譜信息。Lu等人[33]提出了一種新的基于三維通道和空間注意力的多尺度空間譜殘差網絡（3D Channel and Spatial Attention Based Multi-scale Spatial Spectral Residual Network，CSMS-SSRN）。該框架使用三層并行殘差網絡結構，通過使用不同的三維卷積核從它們各自的殘差塊中連續學習頻譜和空間特征，然后將提取的深度多尺度特征進行疊加，輸入到三維注意模塊中，從通道和空間域兩方面增強圖像特征的表現力，從而提高分類的準確性。Li 等人[34]提出了一種用于HSI 分類的雙分支雙注意機制網絡（Double-Branch Dual-Attention Mechanism Network，DBDA），使用兩個分支來分別提取光譜和空間特征，以減少這兩種特征之間的干擾，并分別應用兩種類型的注意機制，確保更有區別地利用光譜和空間特征，最后融合提取的特征進行分類。

（3）基于遷移學習的3D-CNN模型。為了解決高光譜圖像的樣本量較少的缺點，采用遷移學習的方法，在含有標注良好的樣本的源高光譜數據集中預訓練一個模型，然后將其轉移到樣本量較少的目標高光譜數據集中，然后進行微調，完成分類任務。Zhang等人[35]提出了一個端到端的三維輕量級卷積神經網絡，用于基于有限樣本的HSI分類。為了進一步緩解小樣本問題，還提出了兩種轉移學習策略：一是跨傳感器策略，在包含大量標記樣本的源HSI數據集上預處理三維模型，然后將其轉移到目標HSI 數據集上；二是跨模態策略，在包含大量樣本的二維RGB 圖像數據集上預處理三維模型，然后將其轉移到目標HSI 數據集上。Jiang 等人[36]提出了一個三維可分離的ResNet（3-DSRNet）來進行跨傳感器轉移學習。使用所提出的3-DSRNet在具有足夠的訓練樣本的源HSI 數據集上對目標HSI 數據集進行分類模型預處理。然后，將預處理后的模型轉移到目標HSI數據集進行微調，完成分類任務。

（4）基于2D-CNN和3D-CNN混合的模型。單一的網絡模型往往提取到的特征有限，將二維和三維卷積相結合，提取空譜信息，可以有效彌補特征提取不全面的缺陷。Roy 等人[37]提出的混合頻譜卷積神經網絡（HybridSN）是一個光譜空間3D-CNN，然后是空間2D-CNN。3D-CNN有助于從高光譜圖像中聯合表示空間-光譜特征。在3D-CNN 之上的2D-CNN 進一步學習了更多抽象級別的空間表示，與單獨的3D-CNN 相比，混合CNN的使用降低了模型的復雜性。Feng等人[38]從網絡優化的角度設計了一個11層的Residual-HybridSN網絡。通過3D-2D-CNN、殘差學習和深度可分離卷積的有機結合，該網絡可以用很少的訓練數據更好地學習深度分層空間-光譜特征，有效地解決“小樣本問題”。Fang 等人[39]提出了一個端到端的ASU-3D/2D 密集網絡，多個中間分類器的設計使得使用自適應頻譜分解來促進分類成為可能。與傳統的三維卷積相比，它集成了3D/2D 密集網絡，能夠更好地處理空譜特征，同時包含更少的參數，并且利用有限的訓練樣本進一步提高了網絡性能。

但是這些基于3D-CNN 的模型都有一定的局限性。它們的局限在于：參數量較大，訓練時間過長，網絡模型較為復雜。

綜上所述，基于深度學習的分類方法的概述、優缺點和應用場景具體情況如表1所示。

基于CNN的方法是高光譜圖像分類中最常用的方法，也是目前研究最為廣泛的方法。相比于傳統的方法以及早期的深度學習方法SAE 和DBN，CNN 具有強大的特征提取能力，利用1D-CNN 提取光譜特征，用于作物分類和土地覆蓋，但是它只考慮到光譜信息，對空間信息沒有考慮，因此分類精度不理想。2D-CNN在普通圖像上的表現優異，利用2D-CNN提取以目標像素為中心的領域空間信息，但需要對高光譜數據進行壓縮降維，因此會損失一部分有用信息，并且會有大量的參數，容易出現過擬合現象。利用3D-CNN 能夠直接對高光譜圖像進行處理，同時提取空間信息和光譜信息。利用改進3D-CNN 網絡和加入注意力機制、遷移學習、2DCNN 和3D-CNN 混合的網絡，都取得了不錯的效果，但是基于3D-CNN 網絡的局限性在于參數量巨大。在今后需要對3D-CNN的網絡進行剪枝，或者對模型進行輕量化的改進。

除了CNN 網絡，最近還有一些深度學習模型活躍在高光譜圖像分類領域，例如圖卷積神經網絡（Graph Convolutional Net，GCN）[40-41]用于高光譜圖像分類，因為它可以對任意結構的非歐幾里德數據進行卷積，并且適用于由圖形拓撲表示的不規則圖像區域。傳統的GCN 只能利用高光譜圖像的光譜特征，不能合并具有重要意義的空間信息，如果參數量過大，傳統的GCN的復雜度是無法接受的。因此，Wan等人[42]提出的GCN與常用的固定圖形GCN 模型不同，它能夠隨著圖形卷積過程而動態更新，設計不同鄰域尺度的多輸入圖，以廣泛利用多尺度下多樣化的光譜空間相關性，逐漸產生有區別的嵌入特征以及細化的圖形。Hong等人[43]提出由CNN 和GCN 共同提取高光譜圖像的不同類型的特征，然后將特征融合，實現分類。Mou等人[44]提出了一種基于圖的端到端的半監督網絡（Nonlocal GCN），首先計算非局部圖，然后給定這種圖形表示，使用兩個圖卷積層來提取特征，網絡的半監督學習通過在所有標記的實例上使用交叉熵誤差來完成，它具有精細的邊界和高質量的分類圖。

表1 基于深度學習的高光譜圖像分類方法總結

GCN能夠適當地表示高維空間中高光譜圖像底層的數據結構，能夠應用于像高光譜圖像這樣的非線性的數據表示和分析，但是它會不可避免地引入一些問題，例如計算鄰接矩陣的高存儲性，計算成本高，容易產生梯度爆炸和梯度消失等問題。

由于深度學習模型，例如CNN、GCN等在遙感圖像處理上的優異表現[45-46]，可以將許多方法落地于生產應用。CNN 在農業研究領域，大多是對靜態圖像進行分類，而高光譜圖像可以獲取到農作物的圖像和光譜信息，從而反映出農作物的生長情況和品質特性。通過高光譜圖像所反映出的本質屬性，利用CNN 進行模型構建，可以快速有效地對農作物的病蟲害進行分類，從而進行無損檢測等任務。

3 常用的數據集和評價指標

3.1 常用數據集

高光譜遙感圖像分類中常用的公開數據集有Pavia University 數據集、Indian Pines 數據集、Salians 數據集、Kennedy Space Center 數據集、Botswana 數據集等，如表2所示，其中波段數指的是可用于訓練的波段數量。常用高光譜數據集下載地址為：http：//www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes。

3.2 評價指標

對于高光譜遙感圖像而言，僅僅從視覺的角度來評判分類模型的好壞往往是不合適的，因此有必要引入一些評價指標對分類模型的優劣進行評判。若要將這些評價指標進行定量的對比，正確的樣本是必不可少的，因此下面所列的評價指標往往是針對有監督的算法的。常用的評價指標主要有三個：總體分類精度（Overall Accuracy，OA）、平均分類精度（Average Accuracy，AA）、Kappa 系數。這些評價指標對于高光譜圖像分類算法能力的判斷起到關鍵性的作用，它們的值越大，表示分類的能力就越強。

（1）總體分類精度：表示將正確分類的像元數目比上被標記的總體像元數目得到的值，一般以小數表示。具體情況見式（3）：

其中，n是高光譜圖像地物目標的類別數目，Ni是第i個類像元的數目，hii為第i類被正確分類的像元數目。從總體分類精度可以簡單直觀地看出分類效果，但是它沒有考慮到每一類的分類情況，如果樣本數量分布不均勻，這個指標就不再可靠。

（2）平均分類精度：是指先求出每一種類別被正確分類的像元數目占該類別像元總數目的比值，然后把得到的總體類別的比值進行求和，得到的求和數值除以總體類別數目就得到平均分類精度，如式（4）所示：

其中，N代表總的訓練樣本中進行測試的樣本像元數目，n代表類別的個數，hii為第i類被正確分類的像元數目。從公式中可以看出，如果某一類的分類精度過低，平均分類精度就會被拉低。相比于總體分類精度，平均精度相對來說比較客觀。

（3）Kappa 系數：表示一種以分類混淆矩陣判定分類精度的指標，在高光譜圖像分類方面運用比較廣泛，具體情況如下：

其中，M表示混淆矩陣，mij表示第i類的像元被錯分到第j類中的數目，i和j的值一樣，就代表被正確分類的樣本數量，i和j不一樣，就代表被分類錯誤的樣本數量。從混淆矩陣可以看出，如果想讓分類的效果更好，那么對角線上得到的數目就更大。Kappa系數的計算方式如式（6）所示，N為總訓練樣本中進行測試的像元數目，“+”是指可以在行或者列上進行求和。相比于總體分類精度和平均分類精度，它利用了混淆矩陣，因此所反映的數據更加全面。

表2 高光譜圖像分類常用的數據集

4 實驗結果與分析

本文選用了高光譜數據集中的Pavia University 數據集、Indian Pines 數據集和Salians 數據集作為實驗數據集，實驗使用Pytorch深度學習框架，硬件配置為Intel Core i7-10700 CPU，內存為16 GB，顯卡為NVIDIA GeForce RTX 2060。分別比較了1D-CNN[20]、2D-CNN[22]、3D-CNN[27]、SSRN[29]、FDSSC[30]，其中 1D-CNN、2D-CNN、3D-CNN分別是使用一維、二維、三維卷積的分類模型，而SSRN 是基于殘差網絡改進的3D-CNN 模型，FDSSC是基于密集連接網絡改進的3D-CNN模型。

在實驗中，1D-CNN、2D-CNN、3D-CNN使用了以上三個數據集的30%的樣本作為訓練樣本，選擇70%的樣本作為測試樣本，SSRN和FDSSC使用了10%的樣本作為訓練樣本，選擇90%的樣本作為測試樣本，SSRN使用200個epoch，FDSSC使用80個epoch。表3、表4、表5分別為三個數據集的分類結果，其中包含評價指標OA、AA和Kappa。圖4、圖5、圖6為分類后的可視化效果圖。

表3 Pavia University數據集的分類結果

表4 Indian Pines數據集的分類結果

表5 Salians數據集的分類結果

對 Pavia University 數據集、Indian Pines 數據集、Salians數據集的分類結果進行如下分析：

（1）從表4 和圖 5 中可以看出，Indian Pines 數據集的樣本分布不均衡，該數據集最多的一類Soybean-mintill為2 455 個樣本數量，而最少的Oats 類為20 個，從地物分布圖中也能明顯地看出這一點。并且這個數據集有著非常低的空間（20 m/pixel），這會導致數據集上的每個像素實際上為地物的混合物。該數據集專注于農作物的分類，從相鄰的像素中獲取到的信息并不能真正提高模型的分類辨別能力，因此分類難度稍大。

圖4 Pavia University數據集分類圖

圖5 Indian Pines數據集分類圖

圖6 Salians數據集分類圖

（2）從圖5 中Indian Pines 數據集的可視化效果圖中可以看到標紅框的類，2D-CNN對于邊緣信息處理不是很好，因為2D-CNN 未提取光譜信息，而3D-CNN 和SSRN和FDSSC，也就是三維卷積處理的效果還是不錯的，因為它同時提取光譜信息和空間信息，在相同的30%訓練樣本的條件下，3D-CNN 的 OA 比 2D-CNN 高1.8個百分點。從實驗結果可以分析出，對于2D-CNN，由于高光譜圖像的高維度特性，一般需要降維操作，但是如果進行降維操作，可能會破環光譜信息，而光譜信息又是區分不同地物的重要信息。如果不進行降維，再加上高光譜遙感圖像一般都具有數百個波段，那么二維結構的模型就會產生巨大的參數量，會影響最后的分類結果。從表3、表4、表5中也可以看出，三個數據集中基于空譜特征的方法3D-CNN、SSRN 和FDSSC 相比于僅使用光譜信息或者僅使用空間信息的分類效果都好，這說明考慮光譜特征和空間特征能夠充分發揮高光譜圖像的本質優勢。

（3）通過Salians數據集的實驗結果表5和圖6來看，SSRN 和FDSSC 僅僅使用10%的訓練樣本比3D-CNN使用30%的訓練樣本的OA分別高4.83個百分點和5.36個百分點，比2D-CNN分別高7.45個百分點和7.98個百分點，而僅僅使用80個epoch的FFDSC方法的OA僅僅比使用 200 個 epoch 的 SSRN 方法高 0.53 個百分點。由于1D-CNN 只提取光譜信息，OA 只有85.31%。Pavia University 數據集和 Indian Pines 數據集的 SSRN 和FDSSN的效果也是好于使用30%的訓練樣本的2D-CNN和3D-CNN。從實驗結果可以分析出，三維卷積比二維卷積更加適合高光譜遙感圖像分類，三維卷積充分考慮了圖像的光譜特征和空間特征，得到了較好的分類效果。但是現有的基于三維卷積的方法仍然有缺陷，例如三維的卷積需要更多的參數，而且它的計算是密集型的。

5 總結和展望

隨著遙感技術的不斷更新發展，高光譜遙感圖像應用也變得更加廣泛，高光譜遙感圖像分類一直是計算機領域和遙感領域的研究重點，這項工作具有良好的應用前景和較為扎實的理論基礎。高光譜遙感圖像分類這項基礎性的重要工作如果完成得較好，將會對后續的高光譜遙感圖像處理打下堅實基礎，將會完成很多有意義的實際工作。本文對近幾年卷積神經網絡在高光譜遙感圖像分類中的應用進行了總結和歸納：

（1）傳統的高光譜圖像分類方法，一方面只利用光譜信息進行分類，沒有充分考慮高光譜遙感圖像中所包含的豐富的空間信息，另外需要專家知識作基礎，只能提取特定種類的淺層特征，丟失了空間信息的多樣性；另一方面，模型的泛化能力不佳，普適性不強，因此分類效果不甚理想。

（2）卷積神經網絡作為一種深度學習模型，能夠處理原始數據和特定類標簽之間的復雜關系，輸入網絡的數據在模型中進行訓練，可以獲取更深層次的光譜空間特征。比起早期使用的SAE網絡和DBN網絡要求輸入為一維向量的限制，卷積神經網絡能夠處理二維甚至三維的數據，使得卷積神經網絡成為完成高光譜圖像分類任務常用的網絡。從目前的方法來看，基于三維卷積神經網絡的方法發展迅速，它充分考慮空間信息和光譜信息，使得高光譜圖像的優勢能夠更好地發揮，另外結合注意力機制、遷移學習、混合網絡等策略，很好地彌補了高光譜數據自身的高維特性、訓練樣本稀缺、數據非線性等缺點，更好地提升了分類效果。

雖然卷積神經網絡在高光譜遙感分類領域已經取得了不錯的效果，分類精度也在不斷提高，但是仍然還有以下幾個努力的方向：

（1）提高分類模型的訓練效率和泛化能力

目前常用的基于CNN 的高光譜圖像的分類方法，都是基于特定、公開的數據集，雖然很多已經達到了98%、99%的分類精度，但是這些方法往往參數量大，訓練時間長，需要的訓練樣本較多，而且算法復雜度高，超參數調整不方便。這些缺陷受限于算法的理論研究和高光譜圖像本身的高維特性。因此，這些方法的泛化能力和模型的魯棒性應該如何提升也是未來需要考慮的方向。

（2）解決標記樣本少的問題

高光譜數據由于標記的樣本較為缺乏，這也限制了深度學習方法在高光譜數據分類上的應用。為了解決樣本量少的問題，一方面，人們不僅可以使用現在常用的遷移學習、數據增強等方法，也可以用生成對抗網絡（Generative Adversarial Network，GAN）[47]來豐富高光譜數據。利用生成對抗網絡對高光譜圖像中的某一個類別進行學習，從而生成和該類別的特征相符合的新的數據樣本，達到增加該類別的數據量，擴充數據的目的。另一方面，可以采用無監督的分類方法[48]，使用端到端的編碼器-解碼器的方式進行構建網絡，無監督的方法能夠很好地從源頭上解決深度學習的模型依賴大量學習樣本的問題，因此無監督的分類模型也是后續可以考慮的方向之一。

（3）提高高光譜遙感圖像的應用競爭力

深度學習的模型層出不窮，但是人們要做的不僅僅是對高光譜遙感圖像進行單純的數據分析及分類任務，而是要回歸于它的本質特性和優勢，重點對高光譜遙感圖像的實際意義進行詳細剖析，比如分類的結果是否有具體的學習意義，分類中所采用的深度學習模型在今后是否能夠得到實際應用等。現有的基于深度學習的高光譜圖像分類算法，往往是一些通用的分類方法，對于特定領域的方法研究不夠，不利于高光譜圖像分類算法真正落地應用于工業界和產業界。例如巖石識別、棉花產量估計、精細農業、農作物害蟲檢測、海洋遙感等，應該研究針對性的深度學習分類算法，這些方法應當以實際的應用為導向，這樣將使得高光譜遙感圖像的應用競爭力得到極大的提升。

（4）提高高光譜數據的處理能力

高光譜成像儀越來越先進，獲取到的圖像維度和分辨率都在顯著提高，同時獲取到的高光譜遙感數據呈爆炸式增長，遙感大數據的時代已經來臨。一方面，如何將神經網絡、深度學習等一些技術和高光譜遙感技術相結合，借助大數據、云計算平臺，基于用戶生產中的具體要求和應用，提高高光譜數據的處理能力，構建具有對遙感數據實時處理的智能系統。另一方面，高光譜儀器價格昂貴且高光譜數據處理往往需要專業人士，因此人們不僅需要從硬件方面考慮采用小型且輕量化的儀器，還需要做到降低高光譜數據處理的門檻，使信息處理能達到真正的智能化和自動化，讓高光譜遙感真正地服務于大眾。