神經網絡敏感性分析的高光譜遙感影像降維與分類方法

高紅民 李臣明 周 惠 張 振 陳玲慧 何振宇

?

神經網絡敏感性分析的高光譜遙感影像降維與分類方法

高紅民 李臣明*周 惠 張 振 陳玲慧 何振宇

(河海大學計算機與信息學院 南京 211100)

高光譜遙感影像由于其巨大的波段數直接導致信息的高冗余和數據處理的復雜，這不僅帶來龐大的計算量，而且會損害分類精度。因此，在對高光譜影像進行處理、分析之前進行降維變得非常必要。神經網絡敏感性分析可以用于對模型的簡化降維，該文將該方法運用于高光譜遙感影像降維中，通過子空間劃分弱化波段之間的相關性，利用差分進化算法(DE)優化神經網絡結構，采用Ruck敏感性分析方法剔除掉對分類貢獻較小的波段，從而實現降維。最后，采用AVIRIS影像進行實驗，所提算法相比其他相近的降維與分類方法能獲得更高的分類精度，達到85.83%，比其他相近方法中最優方法高出0.31%。

高光譜遙感影像降維；神經網絡敏感性分析；子空間劃分；差分進化；Ruck敏感性分析

1 引言

高光譜遙感影像不同于一般的多光譜遙感影像，它除了能夠表達地球表面的2維空間信息之外，還增加了1維的光譜信息，因此整個高光譜遙感影像可以看作是一個“圖像立方體”。隨著波段數目的增加，高光譜遙感影像數據呈幾何級數增長。高光譜遙感影像具有光譜分辨率高、波段數目多、數據量龐大、信息冗余度高等特點。這給存儲、傳輸和處理高光譜遙感影像帶來麻煩。因此，在對高光譜影像處理之前進行降維十分必要。降維分為特征提取和特征選擇。波段選擇減少一些不必要的波段，不僅可以降低分類過程的計算量，而且能夠有效地避免“Hughes”現象。然而普遍采用的特征提取方法是將原始的特征空間經過線性或非線性的變換，投影到一個低維特征空間，是對各光譜波段間重新組合和優化，如主成分分析法，獨立成分分析法等。其在投影之后原始波段的排列順序發生了改變，波段與波段間的相關性也同樣發生了變化。這就改變了原始的波段順序，破壞了光譜的物理特性，導致光譜信息的丟失，影響了后續的分類精度。高光譜影像波段選擇方法是從高光譜影像的全部波段中選擇若干個波段出來代表所有波段，選擇出來的波段組合要能在隨后的分類處理中有效地提高分類精度。本文從波段對分類影響程度大小的角度出發來對高光譜影像實施降維。

神經網絡敏感性分析是一種能定量地描述一個模型的輸入端對輸出端的影響程度。依據實際對這種影響程度進行排序，篩選出影響較大的輸入屬性而剔除掉對模型輸出結果影響很小的輸入屬性從而簡化模型，降低模型的復雜度。神經網絡分類器是高光譜遙感影像分類方法中常用的分類器，它對于高維的、非線性結構的高光譜遙感影像具有良好的分類效果。因此，本文結合BP神經網絡分類器[8,9]，采用神經網絡敏感性分析方法定量地評價波段對于分類精度的影響大小，選擇其中影響較大的波段組合從而實現降維。

2 神經網絡敏感性分析

敏感性分析(sensitivity analysis)是神經網絡研究領域中一個很重要的研究方面。其定義是假設模型表示為(為模型的第個屬性值)，令每個屬性在可能的取值范圍內變動，研究和預測這些屬性的變動對模型輸出值的影響程度[10,11]。這種影響程度又可以被稱為敏感性系數，敏感性系數可以定量地描述屬性對輸出值的影響。根據實際問題的需要，可以對敏感性系數進行排序，篩選出敏感性系數較大的屬性而剔除掉對模型輸出結果影響很小的屬性，從而簡化模型降低計算復雜度，也就是達到了降維的效果。

3 神經網絡敏感性分析的高光譜波段選擇

神經網絡敏感性分析方法結合BP神經網絡分類器可以在全波段空間內進行波段選擇，挑選出那些對分類貢獻大的波段組合從而實現高光譜影像的降維。為了能使得敏感性分析結果更準確，在執行敏感性分析之前，對高光譜遙感影像數據進行預處理，使用子空間劃分方法來預選一些相關性弱的波段組合。為了避免BP神經網絡初始權值閾值選擇的盲目性，采用差分進化算法對BP神經網絡進行優化。最后再利用優化后的BP神經網絡執行敏感性分析，采用綜合評判函數把所有測試樣本點的敏感性分析結果綜合起來，最終選擇出對分類結果影響大的波段。具體實現如下。

3.1數據預處理

在進行神經網絡敏感性分析之前，需要對原始的高光譜遙感影像進行預處理。原始的高光譜遙感影像波段數目眾多，各波段之間存在著很強的相關性，因此選擇相關性弱的波段作為輸入端對于敏感性分析最終結果非常重要。解決上述問題的基本思路就是將全部波段劃分為若干個子空間，然后再進行波段選擇。文獻[12]采用基于相關性過濾的自適應子空間分解(Adaptive Subspace Decomposition, ASD) 劃分數據源的方法，該方法首先計算出兩波段間的相關系數R,j，其中，和分別表示第和波段。R,j的取值范圍為。相關系數的絕對值越大，表明波段間的相關性越強；越接近于0，相關性越弱。R,j的定義為

其中，對角線上是自相關系數，其值為1。設定相應的閾值，將的連續波段組合成新的子空間。通過調整的大小可以自適應地改變每個子空間的波段數量和子空間個數。隨著的增加，每個空間內的波段數目減少，子空間個數將隨之增加。由于高光譜影像波段間的相關性具有分塊的特征。因此根據相關系數矩陣可以定量地反映出這種分塊特征從而可以把相關性強的連續波段劃分在一個子空間內。然后，再在各個子空間內選取波段構成波段組合從而降低波段之間的相關性。

3.2 差分進化算法優化BP神經網絡

傳統的BP神經網絡存在一些缺陷和不足，如網絡的學習收斂速度慢，隱含層的層數和隱含層神經元個數的選擇沒有理論依據，網絡中的連接權值和閾值初始化選擇具有盲目性等。為了給神經網絡敏感性分析求取敏感性系數提供穩定的連接權值和閾值，需要對神經網絡初始連接權值和閾值進行優化。通常采用遺傳算法(GA)來優化BP神經網絡，差分進化算法[16]與遺傳算法非常相似，但差分進化算法涉及的參數更少，全局搜索能力強而且收斂速度快。因此，為了能使BP神經網絡實際輸出和期望輸出之間的誤差絕對值最小化，采用差分進化算法來優化BP神經網絡。具體算法步驟如下：

步驟1 數據預處理。由數據預處理劃分子空間，確定BP神經網絡拓撲結構。

步驟2 種群初始化。由BP神經網絡拓撲結構可以確定整個網絡中的權值和閾值個數。假設網絡中的權值和閾值總和為，差分進化初始種群個體的維數即為網絡權值和閾值總和，對種群個體初始化。以BP神經網絡訓練誤差的絕對值作為適應度函數并計算初始種群的適應度函數值。

步驟3 算法迭代。依次執行差分進化算法的變異操作、交叉操作。用變異個體包含的權值閾值進行BP神經網絡訓練，計算訓練誤差絕對值即適應度函數值。執行選擇操作時變異個體的適應度值與原個體的適應度值做比較，選擇較優個體作為種群的下一代。

步驟4 獲取最優權值閾值。算法迭代結束后用最優個體包含的權值閾值初始化BP神經網絡。其實現流程圖如圖1所示。

圖1 差分進化算法優化BP神經網絡流程圖

3.3敏感性分析降維

基于輸出變量對輸入變量的偏導敏感性分析是一種針對前饋型神經網絡(如BP神經網絡)而提出的方法。該方法利用網絡中的激活函數求偏導，計算輸入數據對輸出值的影響，具有計算簡單、快捷的優勢。本文采用文獻[17]提出的一種基于偏導的敏感性分析方法(簡稱Ruck敏感性分析)來進行高光譜影像降維。

其中，w和v1分別表示輸入層神經元到隱含層神經元的連接權值以及隱含層神經元到輸出層神經元=1的連接權值。分別表示隱含層神經元的激活函數和輸出層神經元=1的激活函數的偏導函數。由于輸出神經元的激活為線性函數，即可以將式(3)改寫為

以上Ruck敏感性分析只是針對單個樣本測試點輸入值對輸出值的敏感性分析，需要一個綜合評判函數把各個單樣本點的敏感性分析結果綜合起來。此處選擇由文獻[18]提出的MSA度量指標作為綜合評判函數。設S為所有測試樣本輸入變量對輸出變量的敏感性系數。為第個測試樣本輸入變量對輸出變量的敏感性系數。綜合評判函數表示為

其中，表示樣本的總數目，S為非負數。利用S可以對輸入的波段對輸出類別敏感性進行排序，從而確定輸入變量對輸出結果的影響程度的先后次序。

基于Ruck敏感性分析的高光譜影像降維的實現步驟如下，其流程圖如圖2所示。

圖2 基于Ruck敏感性分析的高光譜影像降維實現流程圖

(1)對原始的高光譜遙感影像進行預處理，剔除干擾波段、預選地物類型，子空間劃分等，確定BP神經網絡的拓撲結構；

(2)差分進化算法對BP神經網絡權值閾值進行優化；

(3)Ruck敏感性分析，根據敏感性系數進行排序，剔除掉敏感性系數較小的波段，篩選出對分類結果影響大的波段組合；

(4)使用BP神經網絡分類器對篩選后的波段組合進行分類，驗證降維的效果。

4 實驗仿真與結果分析

本實驗選取1992年6月在美國印第安納州西北部遙感實驗區拍攝的一部分AVIRIS高光譜遙感數據，波段數目為224。從原始波段中去除掉受水汽噪聲等污染嚴重的波段(波段1~4, 78, 80~86, 103~110, 149~165, 217~224)，保留剩余的179個波段來進行試驗。圖3為試驗選取第89, 5, 120波段合成假彩色圖像。圖4為原始地物分類定標圖。選取影像中7類地物的樣本參與分類實驗。表1示出了7類地物的編號，名稱，訓練和測試樣本數量。Ruck敏感性分析的前提條件是網絡輸出神經元只有1個，由于是對多類地物進行分類，因此輸出變量采用的是實數形式而非二進制，這樣一個輸出神經元可以實現多個類別的分類。所有實驗使用的波段組合均在相同的子空間劃分下選擇相同的波段進行。

圖3 由89, 5, 120波段合成的假彩色圖像???圖4 原始地物分類定標圖

表1訓練樣本和測試樣本

類別編號類別名稱訓練樣本測試樣本 c1免耕玉米地 239 717 c2玉米幼苗 139 417 c3草地、樹林 124 373 c4免耕大豆地 161 484 c5大豆幼苗 4111234 c6整理過的大豆地 102 307 c7木材 216 647 -總計13924179

采用基于相關性過濾的自適應子空間分解，求出各個波段間的相關系數值，由于數值過多，只列出其中部分波段的相關系數值如表2所示，AVIRIS相關系數矩陣灰度圖如圖5所示，AVIRIS相關系數曲線圖如圖6所示。灰度圖中較亮的點表示相關系數較高的點，最亮的點代表相關系數為1，矩陣對角線的相關系數均為1，從相關系數矩陣灰度圖來看，高光譜影像有明顯的分塊特性，因此利用波段間的相關性進行子空間分解可以合理地將波段分組，而在子空間內進行后續處理也可以有效地提高高光譜數據的處理速度。

圖5 AVIRIS相關系數矩陣灰度圖????????圖6 AVIRIS相關系數曲線圖

為了使高光譜影像的分組特性較為明顯，設定分解后的子空間數目為5，各子空間包含的波段集如表3所示，具體實驗分組如表4所示。

表2 5～15波段的相關系數值

表3 子空間分解維數及所含波段

表4 對比實驗

每組實驗各做3種不同波段數目情況的比較，前期本項目組研究發現，所選波段是總波段的時易達到分類精度的峰值，因此從劃分好的子空間內按比例選取波段，波段總數大約為20, 30, 40構成實驗所需的波段組合。BP神經網絡的拓撲結構滿足Ruck敏感性分析中的網絡拓撲結構。設置輸入端神經元個數等于每組實驗的波段數目。輸出層神經元個數= 1。隱含層設置為單隱層，其神經元個數設置為，其中為1~10之間的調節常數。BP神經網絡訓練和差分進化算法相關參數設置如表5和表6所示。

表5 BP神經網絡訓練參數設置

表6差分進化參數設置

參數名稱參數值 個體維數DIDI=NL+L+LM+M 種群規模NdNd=20 迭代次數MaxDTMaxDT=50 雜交參數CRCR=0.9 差分進化變異模式DE/best/1/bin

圖7為C和D兩組實驗在不同波段數目情況下，分別采用差分進化算法和遺傳算法優化BP神經網絡最優個體適應度值變化情況。

圖7 最優個體適應度值變化

從圖7的3幅折線圖可以直觀地看出，在各種不同波段數目情況下，多次迭代后基于差分進化算法優化的BP神經網絡訓練誤差絕對值更小，說明采用差分進化算法優化BP的效果要優于使用遺傳算法。

除了A組實驗之外，其余3組實驗都需要計算敏感性系數，考慮到敏感性系數值較多，表7~表9僅給出D組實驗3種不同波段數目下經過Ruck敏感性分析后的敏感性系數值，按從大到小的順序排列。

由表7~表9可以看到排在最后面的波段對應的敏感性系數已經很小，幾乎不到排在最前面的敏感性系數的1/20。決定剔除掉敏感性系數值低于0.3的波段。再對降維后的不同波段組合進行BP神經網絡分類，以驗證經敏感性分析降維是否有助于提高分類精度。表10所示A, B, C, D 4組實驗降維后波段組合參與分類實驗得到分類精度。

從表10可以看出，在同一波段數目下C組和D組的分類精度比B組高，意味著對BP神經網絡的權值閾值進行優化有助于提高敏感性系數的準確性，即敏感性系數更能真實地反映各個波段對分類結果的影響。其中，D組的分類精度又要高于C組，說明采用的差分進化算法優化BP神經網絡最終得到的敏感性系數比C組使用遺傳算法優化最終得到的敏感性系數更準確。A組不經過降維直接利用BP神經網絡分類，其分類精度不如B, C, D組實驗。說明采用40波段的神經網絡敏感性分析降維較為有效。采用圖8~圖10給出實驗20, 30, 40波段的分類結果圖。

表7 20波段敏感性系數值

表8 30波段敏感性系數值

表9 40波段敏感性系數值

表10 4組實驗最終分類精度結果(%)

在確定40波段的敏感性分析降維較為有效之后，將本文提出的敏感性分析波段選擇和BP神經網絡分類的方法(SA-BP)與現有的幾種常用的降維與分類方法進行比較以對比其效果。這些方法包括：直接采用支持向量機(SVM)分類方法，遺傳算法波段選擇和SVM分類方法(GA-SVM)，及粒子群算法波段選擇和SVM分類方法(PSO-SVM)，實驗得到的最佳波段組合參與地物分類實驗得到的生產者精度、用戶精度和總體分類精度如表11所示，其中，PA表示生產者精度，UA表示用戶精度。

從表11可以看出，SA-BP實驗在生產者精度和用戶精度總體上要優于其他3組實驗，這就說明本文方法產生的漏分誤差和多分誤差相對較小。對比SVM和GA-SVM實驗，雖然兩者的總體分類精度僅相差0.1%，但是比較每一類地物的生產者精度和用戶精度可以看出GA-SVM的分類方法要優于SVM的分類方法。對比GA-SVM和PSO-SVM，這兩種算法在總體分類精度，生產者精度和用戶精度上接近，并且均不如SA-BP分類方法有效。綜上，神經網絡敏感性分析降維與分類是有效的。

表11分類實驗的生產者精度、用戶精度和總體分類精度(%)

地物類別SVMGA-SVMPSO-SVMSA-BP PAUAPAUAPAUAPAUA c10.81230.83130.82390.82590.82650.82710.83420.8377 c20.81800.84730.80800.84040.83670.84650.83820.8516 c30.88620.86450.85770.86180.85470.86120.89790.8723 c40.81180.83810.81220.83840.82540.82950.81390.8424 c50.84880.82250.84230.82280.84300.83600.85420.8481 c60.82430.82440.83420.84200.82870.84420.85240.8608 c70.89320.89810.89240.89200.89380.89410.89580.8996 總體分類精度84.1884.2884.3385.83

圖8 20波段分類結果圖

圖9 30波段分類結果圖

圖10 40波段分類結果圖

5 結論

結合敏感性分析的基本原理，本文提出將神經網絡敏感性分析方法運用到高光譜遙感影像降維當中。考慮到盡可能地降低輸入屬性之間的相關性，采用自適應的子空間劃分來選擇波段組合，并利用差分進化算法優化BP神經網絡，為神經網絡敏感性分析提供穩定的網絡連接權值和閾值，采用基于偏導的敏感性分析方法快速計算出敏感性系數，剔除掉系數很小的波段實現降維。通過設計多組對比實驗，驗證了提出方法的有效性。

[1] 杜培軍, 譚琨, 夏俊士. 高光譜遙感影像分類與支持向量機應用研究[M]. 北京: 科學出版社, 2012: 6-35.

DU Peijun, TAN Kun, and XIA Junshi. Classification of Hyperspectral Remote Sensing Images and Applied Research of SVM[M]. Beijing: Science Press, 2012: 6-35.

TONG Qingxi, ZHANG Bing, and ZHENG Lanfen. Hyperspectral Remote Sensing-Principles, Techniques and Applications[M]. Beijing: Higher Education Press, 2006: 33-56.

[3] 吳倩, 張榮, 徐大衛. 基于稀疏表示的高光譜數據壓縮算法[J]. 電子與信息學報, 2015, 37(1): 78-84. doi: 10.11999/ JEIT140214.

WU Qian, ZHANG Rong, and XU Dawei. Hyperspectral data compression based on sparse representation[J].&, 2015, 37(1): 78-84. doi: 10.11999/JEIT140214.

[4] GAO Hongmin, XU Lizhong, LI Chenming,. A new feature selection method for hyperspectral image classification based on simulated annealing genetic algorithm and choquet fuzzy integral[J]., 2013: 1-14. doi: 10.1155/2013/537268.

[5] GAO Lianru, LI Jun, KHODADADZADEH M,. Subspace-based support vector machines for hyperspectral image classification[J]., 2015, 12(2): 349-353. doi: 10.1109/LGRS.2014. 2341044.

[6] GURRAM P and KWON H. Coalition game theory based feature subset selection for hyperspectral image classification [C]. IEEE International Geoscience and Remote Sensing Symposium, Quebec, Canada, 2014: 3446-3449.

[7] FALCO N, BENEDIKTSSON J A, and BRUZZONE L. A study on the effectiveness of different independent component analysis algorithms for hyperspectral image classification[J]., 2014, 7(6): 2183-2199. doi: 10.1109/JSTARS.2014.2329792.

[8] 姜宇, 肖鴻, 劉興鵬, 等. BP神經網絡在異向介質基本結構分析中的應用[J]. 電子與信息學報, 2010, 32(1): 195-198. doi: 10.3724/SP.J.1146.2008.01703.

JIANG Yu, XIAO Hong, LIU Xingpeng,. Applications of BP neural network in analyzing metamaterials elemental basic structure[J].&, 2010, 32(1): 195-198. doi: 10.3724/SP.J.1146. 2008.01703.

[9] 張兵, 高連如. 高光譜圖像分類與目標探測[M]. 北京: 科學出版社, 2011: 85-101.

ZHANG Bing, GAO Lianru. Hyperspectral Image Classification and Target Detection[M]. Beijing: Science Press, 2011: 85-101.

[10] 蔡毅, 邢巖, 胡丹. 敏感性分析綜述[J]. 北京師范大學學報(自然科學版), 2008, 44(1): 9-16.

CAI Yi, XING Yan, and HU Dan. On sensitivity analysis[J].(), 2008, 44(1): 9-16.

[11] 張軍, 劉祖強, 張正祿, 等. 基于神經網絡和模糊評判的滑坡敏感性分析[J]. 測繪科學, 2012, 37(3): 59-62.

ZHANG Jun, LIU Zuqiang, ZHANG Zhenglu,. Susceptibility of landslide based on artificial neural networks and fuzzy evaluating model[J]., 2012, 37(3): 59-62.

[12] ZHANG Junping, ZHANG Ye, ZOU Bin,. Fusion classification of hyperspectral image based on adaptive subspace decomposition[C]. IEEE International Conference on Image Processing, Vancouver, BC, Canada, 2000, 3: 472-475.

[13] YU Feng and XU Xiaozhong. A short-term load forecasting model of natural gas based on optimized genetic algorithm and improved BP neural network[J]., 2014, 134: 102-113. doi: 10.1016/j.apenergy.2014.07.104.

[14] LIU Ruixin, ZHANG Xiaodong, ZHANG Lu,. Bitterness intensity prediction of berberine hydrochloride using an electronic tongue and a GA-BP neural network[J]., 2014, 7(6): 1696-1702. doi: 10.3892/etm.2014.1614.

[15] 錢文江, 李同春, 丁林. 基于改進BP神經網絡的庫區滲漏量敏感性分析[J]. 三峽大學學報(自然科學版), 2012, 34(6): 23-27.

QIAN Wenjiang, LI Tongchun, and DING Lin. Sensitivity analysis of reservoir’s seepage discharge based on improved BP network[J].(), 2012, 34(6): 23-27.

[16] WANG Lin, ZENG Yi, and CHEN Tao. Back propagation neural network with adaptive differential evolution algorithm for time series forecasting[J]., 2014, 42(2): 855-863. doi: 10.1016/j.eswa.2014. 08.018.

[17] RUCK D W, ROGERS S K, and KABRISKY M. Feature selection using a multilayer perceptrons[J]., 1990, 2(2): 40-48.

[18] ZURADA J M, MALINOWSKI A, and USUI S. Perturbation method for deleting redundant inputs of perceptron networks[J]., 1997, 14(2): 177-193. doi: 10.1007/978-3-662-45652-1_35.

Dimension Reduction and Classification of Hyperspectral Remote Sensing Images Based on Sensitivity Analysis of Artificial Neural Network

GAO Hongmin LI Chenming ZHOU Hui ZHANG Zhen CHEN Linghui HE Zhenyu

(,,211100,)

The high dimensions of hyperspectral remote sensing images will cause the redundancy of information and complexity of data processing, which also brings tremendous computing workload and damages application accuracy. Therefore, before the analysis of hyperspectral image processing, it is necessary to reduce the high dimensions of hyperspectral data. The Sensitivity Analysis (SA) of artificial neural network can be used in dimension reduction of the model. Now the Sensitivity Analysis of artificial neural network is applied to dimension reduction for hyperspectral remote sensing images in the paper. First of all, all bands are divided into several groups as long as a lower correlation exists between adjacent bands. Furthermore, Differential Evolution (DE) algorithm is used for optimizing neural network structure. Moreover, the bands which make small contribution will be given up based on Ruck sensitivity analysis method. Finally, experiments are conducted with AVIRIS images. The results show that the proposed method can get high classification accuracy of 85.83% at small training samples, 0.31% higher than the best one among other similar methods of dimension reduction and classification.

Dimension reduction for hyperspectral remote sensing images; Sensitivity Analysis (SA) of artificial neural network; Subspace decomposition; Differential Evolution (DE); Ruck Sensitivity Analysis (SA)

TP751.2

A

1009-5896(2016)11-2715-09

10.11999/JEIT160052

2016-01-13；改回日期：2016-06-08；

2016-09-01

李臣明 lichenming55@163.com

中央高校基本科研業務費項目(2014B13214, 2015B 26914)，十二五國家科技支撐計劃項目(2015BAB07B03)，河海大學國家級大學生創新訓練計劃項目(201610294061)

The Fundamental Research Funds for the Central Universities (2014B13214, 2015B26914), The Projects in the National Science & Technology Pillar Program during the Twelfth Five-year Plan Period (2015BAB07B03), The National Undergraduate Training Program for Innovation and Entrepreneurship of Hohai University (201610294061)

高紅民： 男，1983年生，博士，講師，研究方向為圖像處理與模式識別.

李臣明： 男，1969年生，副教授，碩士生導師，研究方向為圖像處理、圖像識別等.

周 惠： 女，1977年生，博士，講師，研究方向為模式識別與人工智能.

張 振： 男，1985年生，博士，講師，研究方向為圖像處理與模式識別.