一種改進多尺度三維殘差網絡的高光譜圖像分類方法

鄭姍姍,劉 文,單 銳,趙靜一,江國乾,張 智

(1.燕山大學 a.理學院; b.機械工程學院; c.電氣工程學院,河北 秦皇島 066004; 2.北京航天研究所,北京 100094)

0 概述

成像光譜儀在進行特征成像時,以數十至數百個連續細分的波段對目標區域成像得到以像素為單位的高光譜圖像[1],其中三維(Three-Dimensional,3D)數據塊包含大量空間與光譜信息,能有效反映成像目標情況。然而高光譜圖像標記訓練樣本數量有限,且存在光譜維度高、信息冗余等問題,因此,高光譜圖像分類問題亟待進一步研究。

在對高光譜圖像分類研究早期,研究人員提出多種特征提取方法[2-3]和判別學習方法[4],但是這些方法僅利用光譜信息,并未深入研究圖像數據的內在空間結構信息。針對該問題,研究人員將空間信息引入高光譜圖像分類方法[5-6]。文獻[7]提出基于獨立空譜殘差融合的聯合稀疏表示高光譜分類方法,對空間特征進行有效提取,并提高圖像分類精度。

近年來,包括卷積神經網絡(Convolutional Neural Networks,CNN)和堆疊自動編碼器(Stacked Auto-Encoder,SAE)[8-9]在內的深度學習網絡模型被應用于高光譜圖像分類領域。文獻[10]考慮上下文深度CNN,利用相鄰單個像素向量的局部空間與光譜關系聯合優化圖像的空間和光譜信息。由于基于CNN的方法可能無法從高光譜圖像(Hyperspectral Image,HSI)的復雜場景中有效提取并辨別特征,因此文獻[11]提出基于雙路徑網絡(Dual Path Networks,DPN)的HSI分類方法并得到良好的分類結果。文獻[12]提出基于圖像分割方法DeepLab的深度學習框架,通過獲取多個尺寸特征有效避免空間分辨率降低,然而其中基于2D-CNN的方法不能充分利用聯合空間和光譜信息,導致部分信息丟失。文獻[13]提出殘差網絡SSRN,使用連續空間和光譜殘差模塊分別提取空間和光譜信息,但單獨設計特征提取模塊造成網絡設計冗余。文獻[14]為減少訓練時間并提高準確性,提出用于HSI分類的端到端快速密集光譜空間卷積(Fast Dense Spectral-Spatial Convolution,FDSSC)框架,使用不同卷積核分別提取空間和光譜特征,利用有效卷積方法降維并得到較好的分類結果。文獻[15]基于最大化高光譜影像空間和譜間信息利用率的思想,提出一種改進的三維卷積神經網絡分類框架,可很好地適應高光譜遙感影像三維結構。

考慮到高光譜圖像樣本數量有限以及光譜維度高對分類精度的影響,本文提出一種深度三維卷積神經網絡(M3RCNN)分類方法。使用串聯的三維卷積濾波器塊代替原始濾波器,先后在空間區域和光譜維度上采樣減少參數量,同時利用批量歸一化(Batch Normalization,BN)層和隨機失活層(Dropout)防止過度擬合,解決學習過程中的退化和梯度彌散問題,并對M3RCNN首層卷積步長和相鄰像素塊尺寸的選取進行對比分析。

1 M3RCNN框架

1.1 三維卷積濾波器塊

在HSI分類中,對輸入數據執行三維卷積操作可同時提取高光譜數據的空間和光譜信息。M3RCNN采用三維卷積濾波器,不需對原始高光譜數據進行降維等預處理,可避免丟失光譜信息。三維卷積計算公式如下:

(1)

由于線性整流(ReLU)函數可有效加速隨機梯度下降收斂,因此選擇ReLU函數作為激活函數,其表達式為:

f(x)=max(0,x)

(2)

開發深度三維CNN所需計算成本和存儲需求較高,因此,M3RCNN采用特殊的三維卷積濾波器塊,其結構如圖1所示。該網絡使用v1×v2×1和1×1×v3卷積濾波器串聯替換v1×v2×v3濾波器,在一定程度上減少模型參數量與訓練時間,此外,這兩個濾波器可在同一個路徑中相互影響,光譜濾波器連接到下一級輸出。

圖1 三維卷積濾波器塊結構Fig.1 3D convolutional filter block structure

1.2 多尺度三維濾波器組

多尺度三維濾波器組[16]與Inception模塊類似,利用輸入圖像局部稀疏結構從不同尺度中提取抽象特征,其結構如圖2所示,虛線部分為三維卷積濾波器塊結構。由于最大池化層在不增加網絡計算量的同時,可減少網絡訓練參數量并促進模型收斂,因此為避免造成空間尺寸不相等的問題,M3RCNN添加最大池化層將空間尺寸調整為相同大小,并將多尺度濾波器組與三維卷積濾波器塊結合。在多尺度三維濾波器組中,1×1×1、3×3×1、5×5×1這3種尺度的濾波器主要利用輸入圖像的局部空間相關性,1×1×3、1×1×5這2種尺度的濾波器用于解決光譜相關性,且3×3×1與1×1×3、5×5×1與1×1×5尺度的濾波器在同一路徑下相互影響,將光譜維度拼接后得到豐富的多尺度空間和光譜信息。

圖2 多尺度三維濾波器組結構Fig.2 Multi-scale 3D filter bank structure

1.3 三維殘差單元

本文受ResNet[17]成功應用于圖像識別任務的啟發,考慮到M3RCNN模型深度可能導致梯度彌散,因此,使用三維殘差加深網絡以避免弱信號丟失并提高效率,從而在不引入額外參數的情況下提取更佳的深層抽象特征。一般地,殘差單元表示為:

xt+1=h(xt)+F(xt)

(3)

其中,xt和xt+1分別為第(t+1)殘差單元的輸入與輸出,h(xt)=xt為恒等映射,F為非線性殘差函數。

M3RCNN用三維殘差單元取代ResNet的殘差單元,可增加殘差結構多樣性并提高訓練效率,其結構如圖3所示,虛線部分為三維卷積濾波器塊結構。為使殘差單元不受濾波器數量的限制,在最下方加入1×1×1卷積層,以調整濾波器數量并減小特征圖尺寸。

圖3 三維殘差單元結構Fig.3 3D residual unit structure

1.4 M3RCNN結構

M3RCNN主要由濾波器組、三維殘差單元和若干卷積層構成,其結構如圖4所示。由于高光譜圖像光譜維度較高,存在信息冗余問題,因此模型首層使用步長卷積降維。多尺度三維濾波器組使用16通道,因為在光譜維度進行拼接,所以增加卷積層(Conv)進行步長降維,濾波器尺寸為3×3×3,卷積步長為1×1×3,通道數量為32,采用三維殘差單元,通道數量為64,卷積層和全連接層的濾波器數量為128。上述模塊均經過BN層,并在全連接層(Dense)層后加入Dropout層以防止發生過擬合,Dropout率設置為0.5。

圖4 M3RCNN結構Fig.4 M3RCNN structure

M3RCNN采用反向傳播算法進行訓練,選取Softmax函數作為訓練分類器損失函數完成高光譜圖像的多種地物分類任務,表達式為:

(4)

其中,xi表示在Softmax層中輸入樣本的第i類別,f(xi)表示樣本預測為第i類別的概率。

2 實驗數據集

本文選擇美國印第安納松樹林(Indian Pines)數據集和意大利帕維亞大學(Pavia University)數據集兩個較流行的高光譜數據集進行M3RCNN性能評估,以總體分類精度(OA)、平均分類精度(AA)和Kappa系數作為分類指標。

Indian Pines數據集由機載可視紅外成像光譜儀對美國印第安納州的印度松樹進行成像得到,空間尺寸為145像素×145像素,光譜覆蓋范圍為400 nm～2 500 nm,空間分辨率為20 m,除去被吸水效應破壞的20個光譜波段,采用剩余200個波段進行分類。該數據集共有10 249個標記像素,由16個類別的地表物組成,主要為農作物、植物等自然景觀。

Pavia University數據集來自德國機載反射光學光譜成像儀對意大利帕維亞城進行成像所得的部分高光譜數據,光譜覆蓋范圍為430 nm～860 nm,空間分辨率為1.3 m,除去受噪聲影響的光譜波段,采用剩余103個光譜波段進行分類。Pavia University數據集中數據尺寸為610×340×103,含有42 776個標記像素,由9類地物組成,包括礫石、金屬板等城市景觀。

在Indian Pines數據集中,隨機選擇每個類別數量的20%作為訓練樣本。在Pavia University數據集中,訓練集和測試集的樣本數量比例為1∶9。

3 實驗結果與分析

3.1 網絡參數

本文選擇分類交叉熵函數作為損失函數,采用隨機梯度下降法SGD作為優化器,通過網格搜索與交叉驗證分別得到學習率、衰減值、動量的最優值分別為0.04、0.000 5和0.8。由于訓練樣本較少,因此批尺寸設置為16。實驗硬件平臺采用i5-7500 CPU和GTX960 GPU。

3.1.1 三維卷積濾波器塊有效性

三維CNN通常使用v1×v2×v3濾波器同時在空間和光譜上采樣。M3RCNN采用三維卷積濾波器塊先后在空間和光譜上采樣,大幅降低參數量和訓練時間,且v1×v2×1和1×1×v3在同一路徑相互影響,有利于網絡模型收斂。

表1和表2分別為在Indian Pines和Pavia University數據集上未使用與使用三維卷積塊時模型參數量、訓練時間及總體分類精度情況。可以看出,在Indian Pines數據集上使用三維卷積塊后,參數量下降約7 100 000個,訓練時間和測試時間分別減少445.30 s和1.33 s,OA值提高0.25個百分點。在Pavia University數據集上使用三維卷積濾波器塊后,參數量、訓練時間及測試時間均有所下降,且OA值無明顯提高,這是因為Pavia University數據集比Indian Pines數據集更大,特征提取更充分。

表1 Indian Pines數據集上未使用與使用三維卷積塊所得實驗結果Table 1 Experimental results without and with3D convolution blocks on Indian Pines dataset

表2 Pavia University數據集上未使用與使用三維卷積塊所得實驗結果Table 2 Experimental results without and with3D convolution blocks on Pavia University dataset

3.1.2 多尺度濾波器組有效性

為驗證共同利用空間和光譜信息的多尺度濾波器組有效性,將含有多尺度濾波器組的M3RCNN方法與不含多尺度濾波器組的3RCNN方法在Indian Pines數據集和Pavia University數據集上的OA值進行對比,結果如表3所示。可以看出,在兩個數據集上M3RCNN的OA值均高于3RCNN,這是因為3RCNN未進行多尺度拼接,無法實現局部區域數據增強。

表3 2種方法在2個數據集上的OA值Table 3 OA value of two methods on two databases %

3.1.3 殘差單元有效性

為驗證殘差單元的有效性,將含有殘差單元的M3RCNN方法與不含殘差單元的M3CNN方法在Indian Pines數據集和Pavia University數據集上的OA值進行對比,結果如表4所示。可以看出,在兩個數據集上M3RCNN的OA值較M3CNN分別提高1.21和0.36個百分點。

表4 2種方法在2個數據集上的OA值Table 4 OA value of two methods ontwo databases %

3.1.4 首層卷積光譜采樣步長對網絡模型的影響

由于高光譜圖像光譜維度高,存在信息冗余,直接對輸入圖像進行卷積處理計算量較大,因此需對數據進行降維。在M3RCNN結構中,通常使用卷積步長進行降維。首層卷積核尺寸為1×1×11,空間步長卷積為1,確保對每個像素點都進行卷積操作。

表5和表6分別為在Indian Pines數據集和Pavia University數據集上由不同光譜采樣步長所得模型參數量、訓練時間、測試時間及總體分類精度情況。可以看出,當步長從1增加到7時,兩個數據集上的參數量、訓練時間、測試時間均逐漸下降,且降幅逐漸減小。在Indian Pines數據集上,當步長為3或5時,與步長為1相比,總體分類精度雖然有一定的損失,但是參數量、訓練時間與測試時間降幅較大,可降低對計算機硬件與內存的要求,而當步長為7時,OA值又有所上升。在Pavia University數據集上,當步長為1時,總體分類精度最低,這可能是因為參數量過大導致過擬合概率增加。綜上考慮,由于光譜采樣步長為7時M3RCNN的參數量、訓練時間、測試時間均最低且OA值較高,因此在兩個數據集上M3RCNN模型首層光譜卷積步長選擇7。

表5 Indian Pines數據集上不同光譜采樣步長所得實驗結果Table 5 Experimental results of different spectralsampling steps on Indian Pines database

表6 Pavia University數據集上不同光譜采樣步長所得實驗結果Table 6 Experimental results of different spectralsampling steps on Pavia University database

3.1.5 相鄰像素塊尺寸對網絡模型的影響

在數據處理階段,由于原始圖像尺寸較大,直接進行數據處理對硬件和內存要求很高,因此對H×W×B圖像進行邊緣填充,得到(H+s-1)×(W+s-1)×B圖像,再從中選取s×s×B相鄰像素塊,從而得到邊緣特征。其中,s為像素塊空間尺寸,H、W分別為原始高光譜圖像的兩個空間維度,B為光譜維度。但是像素塊尺寸不能過小,否則會導致感受野較小,不能充分提取圖像特征。

表7和表8分別為在Indian Pines數據集和Pavia University數據集上由不同的相鄰像素塊尺寸所得模型參數量、訓練時間及總體分類精度情況。可以看出,在兩個數據集上,隨著相鄰像素塊尺寸的增加,OA值均明顯提升,但訓練時間和測試時間也相應延長。

表7 Indian Pines數據集上不同的相鄰像素塊尺寸所得實驗結果Table 7 Experimental results of different adjacentpixel block sizes on Indian Pines database

表8 Pavia University數據集上不同的相鄰像素塊尺寸所得實驗結果Table 8 Experimental results of different adjacentpixel block sizes on Pavia University database

3.2 對比實驗分析

以下將本文M3RCNN方法分別與SVM[18]、SAE[19]、CNN[20]和3DCNN[21]方法在不同數據集上的分類效果進行對比實驗分析。

3.2.1 Indian Pines數據集實驗

在Indian Pines數據集上,輸入圖像尺寸為9×9×200。上述5種方法在Indian Pines數據集上對地表實物的分類效果如圖5所示。可以看出:SVM、SAE受噪聲影響較大,分類效果較差;CNN、3DCNN在Indian Pines數據集每個類別中由于訓練樣本有限,因此分類效果不理想;M3RCNN受噪聲影響較小,與其他方法相比具有更好的分類性能,且分類效果穩定。

圖5 Indian Pines數據集上不同方法所得分類效果圖 Fig.5 Classification effect images obtained by differentmethods on Indian Pines dataset

表9和表10分別為上述5種方法在Indian Pines數據集上對不同類別的分類精度及分類指標結果。

表9 Indian Pines數據集上5種方法對不同類別的分類精度Table 9 Classification accuracy of five methods onIndian Pines dataset for different categories %

表10 Indian Pines數據集上5種方法的分類指標結果Table 10 Classification indexes results of five methodson Indian Pines dataset %

可以看出,與SVM相比,CNN由于可以主動學習深層次特征,因此其OA值和AA值更高。對于無監督的SAE方法,由于其可利用標簽信息取得判別性分類特征,因此M3RCNN的OA值和AA值比SAE更高。CNN采取原始堆疊卷積,參數量多且訓練時間長,M3RCNN相較CNN使用三維卷積塊參數量更少且訓練時間更短,同時OA值更高。與使用雙卷積池化結構3DCNN相比,使用改進多尺度濾波器的M3RCNN可提取更深層次的多尺度空間和光譜特征,并使用殘差單元改善網絡深層對分類精度造成的影響,其OA值和AA值更高。對單個類別分類精度而言,M3RCNN對15個類別的分類精度都高于其他方法,其中在Stone-steel-towers和Oats上分類精度均達到100%。

3.2.2 Pavia University數據集實驗

在Pavia University數據集上,輸入圖像尺寸為9×9×103。上述5種方法在Pavia University數據集上對地表實物的分類效果如圖6所示。可以看出,SVM、SAE方法受噪聲影響分類效果不理想,雖然CNN、3DCNN方法的分類精度較高,但M3RCNN的分類效果圖更接近真實地物。

圖6 Pavia University數據集上不同方法所得分類效果圖 Fig.6 Classification effect images obtained by differentmethods on Pavia University dataset

表11和表12分別為上述5種方法在Pavia University數據集上對不同類別的分類精度及分類指標結果。可以看出,M3RCNN的OA值達到99.83%,比其他5種方法分別提高9.04、5.16、1.26和0.57個百分點,其AA值達到99.76%,具有更好的分類性能。

表11 Pavia University數據集上5種方法對不同類別的分類精度Table 11 Classification accuracy of five methods onPavia University dataset for different categories %

表12 Pavia University數據集上5種方法的分類指標結果Table 12 Classification indexes results of five methodson Pavia University dataset %

4 結束語

本文結合三維卷積、多尺度濾波器與殘差結構,提出一種用于高光譜圖像分類的端到端M3RCNN方法。采用三維卷積塊改進多尺度三維濾波器和殘差單元,以降低參數量與加速模型收斂,并選出M3RCNN首層卷積步長和相鄰像素塊尺寸的最優值。實驗結果表明,該方法可有效學習分類判別特征,較SVM、SAE等方法分類精度更高。后續將在無監督環境中使用生成式對抗網絡以進一步提升高光譜圖像分類精度。