基于三維殘差網絡和虛擬樣本的高光譜圖像分類方法研究

劉雪峰 孟月 王浩 付民

摘 ?要： 利用高光譜數據所包含的豐富信息，可以實現對地物的精細準確分類和目標檢測。目前，深度學習方法已應用于高光譜圖像的分類，但是高光譜圖像的維度高和樣本少，仍然是對目標精確分類的瓶頸。殘差網絡通過從輸入到輸出添加跳躍連接，可以更方便地優化參數并提取更多功能信息。文中提出一種基于三維殘差網絡的分類方法，利用三維卷積核同時獲取高光譜圖像的空間和光譜信息。為了減少網絡對參數初始化的依賴并在一定程度上提高模型的泛化能力，文中使用批量歸一化方法來優化網絡。同時，為了解決訓練樣本不足的問題，還提出引入虛擬樣本以增加樣本數量。通過在真實的高光譜圖像上進行實驗驗證，證明所提方法在高光譜圖像分類方面具有一定的應用前景。

關鍵詞： 高光譜圖像; 圖像分類; 深度學習; 參數優化; 三維殘差網絡; 實驗驗證

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）12?0145?06

Abstract： The accurate classification of ground objects and target detection can be realized by means of the rich information contained in the hyper?spectral data. The deep learning method has been applied to the classification of hyper?spectral images， but the high dimension and few samples of hyper?spectral images are still the bottleneck of accurate classification of objects. The residual networks can more easily optimize parameters and extract more functional information by adding the jump connections from input to output. A classification method based on 3D residual network is proposed to obtain spatial and spectral information of hyper?spectral images simultaneously by using 3D convolution kernel. The batch normalization method is used to optimize the network o reduce the dependence of the network on parameter initialization and improve the generalization ability of the model to some extent. The virtual samples are introduced to increase the number of samples， so as to improve the insufficient training samples. The experimental verification performed on the real hyper?spectral images show that the proposed method has a certain application prospect in the hyper?spectral image classification.

Keywords： hyper?spectral image; image classification; deep learning; parameter optimization; 3D residual network; experimental verification

0 ?引 ?言

20世紀80年代以來，隨著多光譜遙感技術的不斷發展進步，進一步帶動了高光譜遙感技術的不斷發展[1]。隨著傳感器技術的不斷提高，能夠獲取到更高質量的遙感圖像，對圖像的研究帶來了極大的幫助。高光譜圖像因其高維特性，以及特有的光譜特征，再結合具有的空間特征，能夠對各種不同地理類別進行精確的分析、定位，以及對精細特征提取進行分類[2?3]。利用高光譜圖像（Hyperspectral Image，HSI）獨特的優勢，能夠提高對于地物的精細分類能力。高光譜遙感已廣泛應用于當前許多遙感圖像處理的研究領域中[3]。目前對HSI的分類研究已成為遙感圖像領域的熱點問題。

高光譜圖像是一個具有高維度的圖像，含有豐富的光譜特征信息和空間特征信息，因此與普通圖像有很大不同[3]。通過將反射目標輻射的光譜波段信息與反映目標二維空間的圖像信息整合在一起，能夠獲得統一的地物信息[4]。HSI數據空間中的每個波段都可以作為一個二維空間圖像，光譜空間中的每個像素都可以反射為連續的光譜響應曲線[5]。目前，對HSI分類的常用方法主要有支持向量機（Support Vector Machine，SVM）[6]、深度信念網絡（Deep Belief Network，DBN）、卷積神經網絡（Convolutional Neural Network，CNN）[5]。

高光譜圖像輸入數據采用三維立體的形式，具有空間維度和光譜維度[7?8]。現有的基于光譜和空間融合的方法用于對HSI分類還較少，多數采用獨立的處理空間特征或者光譜特征，或者對圖像進行降維后采用融合的光譜和空間特征[9]。因此，它們無法利用聯合的空間光譜信息[9]。目前，二維和三維CNN在許多問題上都表現出了良好的性能。一些深度學習的2D模型能夠根據圖像的空間特征信息或者光譜波段特征單獨進行分類，會破壞圖像不同像素點之間具有的相關性，進而破壞了光譜特征信息。但是，對HSI中光譜特征信息的獲取是很重要的[10]。

基于殘差網絡（Residual Network，ResNet）在圖像處理方面展示出的優勢以及HSI分類當前存在的一些問題，提出3D?ResNet用于HSI分類。三維卷積層作為網絡的基本單元，批量歸一化在每一個卷積層的后面，歸一化加快網絡的訓練速度，采用批量歸一化對網絡進行數據處理，從而也增加了網絡的泛化能力，使模型更加穩定[11]。圖像樣本大小及其不平衡的HSI中，通過向具有少量目標的訓練樣本添加虛擬樣本，增加樣本總數。通過所提出的改進方法，減小了樣本數目不足對網絡分類結果帶來的影響，從而保證了網絡的分類效果。

1 ?殘差網絡

1.1 ?深度學習

對遙感圖像的分類研究是當前圖像處理方面的熱門探討問題[12]，由于深度學習方法的不斷發展變化，基于深度學習的HSI分類方法得到快速發展，已經有許多學者將深度學習的方法應用到HSI的分類研究中，而且已經證實其具有準確的特征提取能力和高效的處理性能[10]。深度學習的優勢在圖像處理的過程中，減少了手工提取特征的過程，能夠自動地從原始數據中學習、提取特征。它只關注輸入和輸出的內容，不考慮中間步驟。在圖1中將傳統方法與深度學習方法進行簡明的比較。

CNN是目前最受歡迎的監督深度學習方法[13?14]，它在各類圖像分類、檢測中表現出了極強的特征提取能力[15]。然而在深度學習領域，為了實現更好的網絡效果，網絡層數的不斷加深，會導致網絡運算的錯誤率不斷上升，這種現象稱為過擬合現象[8]。為了解決由于網絡深化所導致的性能下降的問題，提出了殘差網絡，通過添加一個捷徑或者跳躍連接，構成殘差塊，在訓練更深網絡的同時，保證良好的性能[15?16]。

1.2 ?殘差網絡

ResNet由何凱明等人提出，它的提出在ImageNet競賽中獲得了巨大成功，對圖像分類、檢測、定位等方面都有突出表現[16]。ResNet相對于目前用于圖像分類方面的網絡來說具有更容易優化的特點，而且將網絡增加到相當程度的深度時，還能夠繼續提高準確率。它通過連接每個卷積層進行身份映射，在多個計算機視覺任務中展現出良好的結果[16?17]。

普通的卷積神經網絡，由于網絡層數的不斷加深，在誤差反向傳播的過程中梯度會不斷的衰減，導致信息的丟失，造成誤差不斷增大。然而ResNet通過增加的跳躍連接可以減少反向傳播過程中的衰減，便于梯度傳播，具有較強的魯棒性和較深的體系結構[15]。ResNet的特殊之處在于它比普通網絡在結構上多了一個跳躍連接，構成殘差塊單元，在圖2中展示了殘差塊的基本結構單元，輸入值為x，經過第一層線性化并激活后的輸出為F（x），在經過第二層線性變化之后，在激活函數ReLu之前，添加了短連接Identity，此時獲得輸出為F（x）+x，再利用激活函數ReLu激活，最后得到此殘差塊的輸出值。

2 ?基于三維殘差網絡的高光譜圖像分類

本文提出的基于三維殘差網絡的分類方法能夠提取HSI的光譜特征和空間特征聯合信息，因為HSI在空間上和光譜波段上都具有一定的相關性和聯合性，對于地物的分類識別有一定的作用。所提方法對于HSI的分類有明顯的優勢，對其分類研究帶來一定影響。為了加快網絡的訓練速度，減少網絡參數變化對分類結果的影響，在網絡中采用了批量歸一化的方法，進而也增加了網絡的穩定性。為了能夠獲得更好的圖像分類結果，分析圖像中每一個類別的樣本數目，根據不同樣本數目依次對應加入虛擬樣本進行實驗。

2.1 ?三維卷積核

三維卷積是通過將一個三維核與多個相鄰幀疊加而成的立方體進行卷積來實現的[18]。由于獨特的構造特點，卷積核對每一個波段的圖像分別進行卷積，提取各自的信息[19]。將圖像輸入到網絡中，三維卷積核的運算公式如下： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[vxyzij=Gnh=0Hi-1l=0Li-1d=0Di-1whldijnv（x+h）（y+l）（z+d）（i-1）n+bij] （1）

式中：i為當前操作所在的層;j表示特征圖的數量;[vxyzij]表示在第i層第j個特征圖（x，y，z）處的輸出;b是偏差;G代表激活函數;n表示在i-1層上與當前特征圖相連的特征圖集;[whldijn]表示在位置（h，l，d）處連接到第n個特征圖的權值;Hi，Li，Di是卷積核的高度、寬度和深度。

2.2 ?批量歸一化

批量歸一化（Batch Normalization，BN）是神經網絡的標準化方法，它具有非常強大的作用和效果，可以加快訓練過程并提高性能、解決梯度消失的問題等等[11，15]。在網絡訓練過程中，各層輸入的數據分布隨前一層的變化而變化，而BN的作用就是為了解決在網絡訓練過程中，中間層數據分布發生改變的情況[20]。歸一化的公式為：

2.3 ?虛擬樣本

在HSI圖像中，不同種類的樣本像素個數一般是不同數目的，這在分類中往往會造成誤差，為了減小誤差的影響，通過引入虛擬樣本來平衡此問題。通過對成像過程的仿真，得到了虛擬樣本。在訓練像素數據[mi]中加入隨機噪聲n，乘以隨機因子β，得到虛擬樣本[sn]，公式為：