融合棧式自編碼與CNN的高光譜影像作物分類方法

郭 交 李儀邦 董思意 張偉濤

(1.西北農林科技大學機械與電子工程學院， 陜西楊凌 712100；2.陜西省農業信息感知與智能服務重點實驗室， 陜西楊凌 712100；3.西安電子科技大學先進遙感技術研究院， 西安 710071)

0 引言

通過遙感技術對農作物進行精準分類，對于指導農業生產具有重要的意義。在遙感技術方面，涌現出普通光學遙感、多光譜遙感、微波遙感等一系列遙感技術。其中高光譜遙感技術作為一種新型的對地觀測方法，相較于普通光學遙感，具有空間信息與光譜信息合一、光譜分辨率高的特點，可提供豐富的觀測信息，進而實現精準的作物參數反演、病蟲害檢測、作物估產與精細分類。高光譜遙感技術逐漸在農業遙感及精準農業領域獲得了廣泛的應用[1-4]。

高光譜遙感地物分類的過程中，原始光譜數據維度高，若直接使用完整的原始光譜信息進行分類，會導致Hughes現象[5]，嚴重影響高光譜遙感影像地物分類的精度。此外，在大尺度的高光譜影像地物分類任務中，難以完整獲取準確的地面真實分布信息，存在訓練樣本過少的問題，無法有效地發揮神經網絡技術的分類能力。如何有效利用原始影像數據中豐富的光譜信息，在盡可能使用少量的訓練樣本下提升分類精度，同時避免Hughes現象，成為研究熱點[6]。對于傳統的高光譜影像，地物分類方法都采用先降維后分類的處理思路。在高光譜影像特征降維方面，通常采用主成分分析(Principal component analysis，PCA)、獨立分量分析(Independent component analysis，ICA)等算法[7-8]進行特征降維，但這類方法僅利用了光譜信息，沒有利用空間信息。為了更好地利用高光譜影像中的空譜信息，形態學特征、空間變換域特征等空間信息的加入，優化了高光譜影像的降維效果[9-11]。在分類方法方面，K最近鄰(K-nearest neighbor，KNN)算法、支持向量機(Support vector machine，SVM)算法等在高光譜影像分類方面取得了較好的效果。基于人工神經網絡(Artificial neural network，ANN)的深度學習方法憑借其出色的特征提取能力，在高光譜影像處理領域得到了廣泛應用[12-17]。除了直接應用于數據分類外，棧式自編碼網絡(Stacked autoencoder，SAE)作為一種典型的深度學習網絡，在高光譜影像特征降維方面也體現出一定優勢。HINTON等[18]研究表明深層的自編碼器(Autoencoder，AE)可以有效地對高維特征進行低維表征，取得了很好的降維效果[19-21]。

在實際使用深度學習方法進行高光譜影像分類過程中，這種先特征降維，后分類的數據處理方式將特征降維與分類2個步驟割裂開，而且理論上無法保證降維后的特征一定適應分類網絡的要求，從而影響分類效果。文獻[22]提出了直接使用SAE對高光譜影像進行分類的方法，通過SAE的“微調”(Fine-tuning)過程，優化網絡參數，提高分類精度。但該方法的分類方法較為簡單，并未較好地利用降維后的數據進行分類。

針對以上問題，本文充分利用SAE的數據降維優勢與卷積神經網絡(CNN)的分類優勢，通過對這2種神經網絡結構的有機融合，構建用于高光譜影像作物分類的統一架構，僅通過一次監督訓練，即可實現原始高光譜影像的直接分類，從理論上確保降維后的特征與分類器需求完全一致，以期簡化傳統高光譜影像作物分類的處理流程，提高分類精度。

1 研究方法

針對高光譜影像分類中訓練樣本不足，特征降維與分類過程割裂等問題，本文結合SAE高效的降維能力與CNN網絡的分類能力[23]，提出了一種融合棧式自編碼網絡與CNN的高光譜影像作物分類方法，構建了一種降維與分類為一體的融合網絡。

1.1 棧式自編碼網絡

SAE是一種多層網絡結構，它由簡單的自編碼器棧式連接而成[24]。圖1為單層自編碼器結構圖，包括輸入層、中間隱層與輸出層。自編碼器盡可能使輸入數據等于輸出數據，在中間隱層中重構輸入信號，實現數據的有效降維[25]。

在自編碼器中，數據會通過編碼與解碼過程，實現數據降維。規定輸入數據為x={x1,x2,…,xn}，中間隱層輸出為h={h1,h2,…,hm}，自編碼器輸出為y={y1,y2,…,yn}。在自編碼器的編碼與解碼過程中，輸入數據分別經過變換

h=f(Wyx+by)

(1)

y=g(Wzh+bz)

(2)

式中f(·)、g(·)——激活函數，一般取sigmoid函數

Wy——輸入層神經元與中間隱層神經元間的權重矩陣

by——輸入層神經元與中間隱層神經元間的偏置

Wz——輸出層神經元與中間隱層神經元間的權重矩陣

bz——輸出層神經元與中間隱層神經元間的偏置

自編碼網絡的訓練可以概括為通過反向傳播算法(Backpropagation algorithm)，不斷訓練參數{Wy,Wz}與{by,bz}來最小化損失函數，本文規定損失函數為均方誤差(Mean square error，MSE)。

SAE由簡單的自編碼網絡棧式連接而成，每層自編碼器均進行單獨訓練，將前一層自編碼的輸出作為下一層自編碼器的輸入，構成SAE，具備更好的數據低維特征提取能力，如圖2所示。

在完成SAE的無監督訓練后，提取編碼器網絡。將編碼器網絡與Softmax分類器連接，使用少量的樣本進行簡單的有監督訓練，實現編碼器網絡參數的微調(Fine-tuning)，使編碼器網絡的泛化能力更強[26-28]，得到更好的數據降維效果，其訓練模式如圖3所示。

1.2 SAE與CNN融合的可行性分析

高光譜遙感影像作為一種高維遙感數據，采用SAE對高維遙感數據進行特征降維并使用CNN對降維后數據進行分類，在分類精度上具有較大的優勢[24]，但是數據的特征降維過程與數據的分類過程仍然是兩步的割裂過程。

首先，通過深入分析SAE與CNN 2種網絡結構可以看出，二者均采用原理相同的前向傳播和基于梯度下降的誤差反向傳播，在訓練的過程中存在共性，具備網絡融合的理論基礎。其次，在完成SAE的訓練后，可以提取編碼器網絡，結合Softmax分類器對SAE監督訓練，實現網絡參數的微調和更好的數據降維效果。基于以上分析，利用CNN網絡代替原先網絡中的Softmax分類器，進一步對降維后的數據進行特征提取。最終在同一個網絡中同時實現高維數據的降維與分類，充分利用SAE的數據降維能力與CNN的特征提取與分類能力，構建融合網絡，簡化數據處理流程，并且使降維后的低維特征更加適合CNN進行分類，提高分類精度，2種網絡的融合示意圖如圖4所示。

1.3 整體網絡結構

結合SAE較強的數據特征提取能力與CNN網絡的分類能力，提出了如圖5所示的網絡融合結構，完成2個網絡結構的有機融合，簡化數據處理流程，并提高數據分類精度。

本文構建的網絡整體上由數據輸入、數據降維、CNN特征提取及數據分類4部分組成。在數據降維部分，構建了一個4層的SAE，實現單個像素點原始光譜數據的x-220-64-32-24降維；在CNN特征提取部分，構建了一個3分支并行結構的一維卷積神經網絡(1 dimensional convolutional neural networks，1d-CNN)，該結構借鑒了Inception模塊結構[24]，通過多個并行的CNN分支來實現不同感知野的特征提取，其中分支1首先采用了20個1×3卷積核進行卷積，隨后采用60個1×3卷積核進行卷積；分支2則采用了60個1×3卷積核進行卷積；分支3采用了50個1×3卷積核完成卷積。上述每個卷積操作后均加入批量標準化(Batch normalization，BN)層與線性整流函數(Rectified linear units，ReLU)層；在數據分類部分，即在3個分支網絡結構后，使用Add操作將3個分支所提取的特征激活值進行累加，最終由Softmax分類器得到n類的概率結果，完成分類。

在模型使用中，首先選取一定數量或比例的已知像素點作為訓練集，采用逐層貪婪式訓練算法預訓練SAE，并提取編碼器網絡，其次將提取的編碼器網絡與CNN網絡連接，使用有監督訓練方式對整體網絡進行學習，實現對CNN參數的訓練以及預編碼器網絡參數的微調，最終完成模型訓練。

1.4 數據集選擇

選擇了Pavia University和雄安地區2組公開的高光譜遙感影像數據集進行實驗驗證。Pavia University數據集由ROSIS成像光譜儀在意大利Pavia University上空采集。對應的觀測場景中包含9種地物類別。數據集共包含115個光譜波段信息，其波長范圍為400～860 nm，空間分辨率為1.3 m。去除12個干擾噪聲波段，最終剩下103個有效波段信息，圖像尺寸為610像素×340像素。Pavia University數據集信息如圖6所示。

雄安新區馬蹄灣村航空高光譜遙感影像分類數據集由中國科學院空天信息創新研究院發布[29]，對應場景中包含20種地物類別。數據集包含了400～1 000 nm的250個有效光譜波段信息，空間分辨率為0.5 m，圖像尺寸為3 750像素×1 580像素，雄安數據集信息如圖7所示。

2 實驗與結果分析

2.1 實驗設計與評價

將本文方法與文獻[14]提出的1d-CNN方法、文獻[22]提出的SAE方法進行對比，其中對文獻[14]中的1d-CNN方法進行了修改，實現類似x-220-64-32-24的降維過程。在分類效果評估中，使用了總體分類精度(Overall accuracy，OA)與Kappa系數(Kappa)作為分類性能的評估指標。此外，本實驗采用的硬件環境為Intel i7-8750H CPU，Quadro P600 GPU，使用的軟件環境為Python 3.8.2，TensorFlow 2.3.1。

其它實驗參數設置：訓練集均采用隨機方式進行選取，對于Pavia University數據集，每一類的訓練集數量為該類像素數的10%；對于雄安數據集，訓練集樣本數量約為每一類像素數目的1%。 對于本文提出的方法，在訓練的過程中，預訓練采用的損失函數為均方誤差損失函數(MSE)，采用的優化器為自適應矩估計(Adaptive moment estimation，Adam)，學習率設定為0.001；整體訓練采用損失函數為交叉熵損失函數(Categorical cross entropy)，采用的優化器為Adam，學習率設定為0.000 1。預訓練階段采用較大的學習率，用于加速網絡的收斂，節約預訓練的時間。在整體訓練的過程中，采用較小的學習率，讓網絡參數均得到最優解，優化參數微調效果[30]。

2.2 Pavia University數據集實驗與結果分析

圖8為Pavia University數據集在3種不同方法下的分類結果，表1為分類精度結果統計。由圖8、表1可以看出，在采用相同測試集的情況下，本文提出的方法優于其他方法，其OA與Kappa系數分別為98.73%和0.983 1，其中OA相較于SAE和1d-CNN分別提高了9.25個百分點和8.79個百分點，Kappa系數分別提升了0.126 1和0.118 8。

2.3 雄安數據集實驗與結果分析

雄安地區高光譜遙感數據集共包含了20種地物，圖9為該數據集在不同方法下的分類結果，表2為分類精度指標統計結果。在采用相同測試集的情況下，本文方法的OA與Kappa系數分別達到了98.04%和0.977 3，其中OA相較于其它方法分別提高了9.00個百分點和7.07個百分點，Kappa系數分別提高了0.104 9和0.082 4。

2.4 實驗結果分析

通過以上實驗結果可以看出，本文所提出的高光譜影像作物分類方法相較于其它方法在分類精度上均有所提升，對于Pavia University數據集與雄安數據集，在選用訓練集僅占全部像素點數目10%與1%的情況下，其整體分類精度最高分別提升了8個百分點和7個百分點，而且對于觀測場景中的每一類作物，本文所提出的算法均取得了較優的分類精度。

表1 不同方法在Pavia University數據集的分類效果Tab.1 Classification results with different methods of Pavia University dataset

表2 不同方法在雄安數據集的分類效果Tab.2 Classification results with different methods of Xiong’an dataset

3 結論

(1)提出了一種融合棧式自編碼網絡與CNN的高光譜影像作物分類方法，該方法結合了SAE與CNN的優點，只需經過簡單的無監督預訓練和一次有監督訓練，即可在一個網絡中同時實現高光譜遙感數據的有效降維與分類，簡化了傳統高光譜影像分類的復雜流程。

(2)通過本文所提出的分類方法，在數據量較小的Pavia University數據集中，分類精度達到了98.73%，相對于傳統方法提高了約8個百分點，在數據量較大的雄安數據集中，分類精度達到了98.04%，相對于傳統方法提高了約7個百分點。實驗結果表明，本文提出的方法適用于高光譜影像作物分類任務，能夠提高農作物的識別分類精度。