基于多視圖邊界判別投影的高光譜圖像分類

潘 恒，何進榮，凌 宇，任思霖

?

基于多視圖邊界判別投影的高光譜圖像分類

潘 恒，何進榮，凌 宇，任思霖

(西北農(nóng)林科技大學信息工程學院，陜西 楊凌 712100)

高光譜圖像分類是遙感領(lǐng)域研究的熱點問題，其關(guān)鍵在于利用高光譜圖譜合一的優(yōu)勢，同時融合高光譜圖像中各個像元位置的光譜信息和空間信息，提高光譜圖像分類精度。針對高光譜圖像特征維數(shù)高和冗余信息多等問題，采用多視圖子空間學習方法進行特征降維，提出了圖正則化的多視圖邊界判別投影算法。將每個像元處的光譜特征看作一個視圖，該像元處的空間特征看作另一個視圖，通過同時優(yōu)化每個視圖上的投影方向來尋找最優(yōu)判別公共子空間。公開測試數(shù)據(jù)集上的分類實驗表明，多視圖學習在高光譜圖像空譜融合分類方面具有顯著的優(yōu)越性，在多視圖降維算法中，該算法具有最高的分類準確性。

多視圖學習；判別降維；高光譜分類；空譜融合

高光譜圖像分類是高光譜遙感技術(shù)研究的關(guān)鍵問題之一，被廣泛應(yīng)用于農(nóng)業(yè)種植、城市規(guī)劃、礦物識別等領(lǐng)域。由于高光譜圖像特征維數(shù)高、冗余信息多，容易降低分類器的泛化能力，因此人們常常通過降維處理來消除其譜間相關(guān)性。經(jīng)典的降維方法包括主成分分析(principal component analysis，PCA)[1]等無監(jiān)督方法和線性判別分析(linear discriminant analysis，LDA)[2]等有監(jiān)督方法。經(jīng)過降維之后，再使用支持向量機(support vector machine，SVM)[3]進行高光譜圖像分類，分類精度可得到顯著提升。但是傳統(tǒng)的光譜降維分類算法僅考慮了像元的光譜特征，卻忽視了其空間信息。由于圖像分布具有區(qū)域內(nèi)連續(xù)、區(qū)域邊界跳躍的特點，因此近年來基于空譜特征融合的高光譜圖像分類算法成為研究熱點。常用的空間特征提取方法有鄰域空間特征提取、離散Gabor變換[4]、離散小波變換等。空譜特征融合策略有多種，例如，文獻[5]提出了一種基于PCA與移動窗小波變換的高光譜決策融合分類方法；文獻[6]從鄰域提取空間特征，然后采用修正張量局部保持投影方法進行高光譜空譜特征融合。除此思路，近年來也有研究將卷積神經(jīng)網(wǎng)絡(luò)等深度學習方法引入到高光譜圖像分類問題中[7-9]，并取得了優(yōu)異的變現(xiàn)。

本文采用多視圖學習方法研究高光譜圖像空譜特征融合問題，將所有像元的光譜特征看作一個視圖，將空間特征看作另一個視圖，在特征融合的過程中，同時減少視圖間和視圖內(nèi)的信息冗余。多視圖學習方法可分為3類[10]，即協(xié)同訓練(co-training)[11]、多核學習(multiple kernel learning)[12]和公共子空間學習(common subspace learning)[13]。由于公共子空間學習致力于發(fā)掘多視圖數(shù)據(jù)之間的共性，尋找其潛在的公共子空間，引起了學者們的廣泛關(guān)注。經(jīng)典的無監(jiān)督子空間學習方法包括典型相關(guān)分析(canonical correlation analysis，CCA)[14]，即通過最大化投影后視圖間的相關(guān)系數(shù)來進行多視圖降維。CCA只能處理兩幅視圖的情況，于是學者們提出了多視圖的CCA(multiview canonical correlation analysis，MCCA)[15]。經(jīng)典的有監(jiān)督多視圖學習方法包括多視圖判別分析(multiview discriminant analysis，MvDA)算法[16-17]，MvDA通過同時考慮視圖間和視圖內(nèi)的判別信息來尋找一個統(tǒng)一的公共判別子空間。SHARMA等[18]提出了一種高效、泛化、領(lǐng)域無關(guān)的多視圖學習框架——廣義多視圖分析(generalized multiview analysis，GMA)，并將LDA和邊界Fisher分析(marginal fisher analysis，MFA)[19]擴展為多視圖方法。本文在GMA的框架下，將邊界判別投影(marginal discriminant projection，MDP)[20]擴展為多視圖邊界判別投影(multiview marginal discriminant projection，MMDP)，并加入圖正則化約束[21]，提出了圖正則化的多視圖邊界判別投影(graph regularized multiview marginal discriminant projection，GMMDP)。

本文將多視圖學習思想應(yīng)用到高光譜圖像分類領(lǐng)域，首先提取高光譜圖像的光譜和空間特征，構(gòu)建兩幅視圖，然后對數(shù)據(jù)進行歸一化和PCA降維處理，接著應(yīng)用多視圖學習方法尋找視圖間的公共子空間，并在子空間中對數(shù)據(jù)進行分類。為處理同一像元在不同視圖中被分為不同類別的問題，本文最后對兩個視圖的分類結(jié)果進行決策融合。公開數(shù)據(jù)集上的實驗證明了多視圖學習在高光譜圖像分類問題上的有效性和魯棒性。本文算法具體流程如圖1所示。

圖1 多視圖學習方法下的高光譜圖像分類

1 高光譜圖像的多視圖特征

1.1 光譜特征

1.2 空間特征

隨著對地物真實空間分布的研究的深入，越來越多的空間特征提取方法被提出，其中主要有融合像元鄰域、Gabor變換、小波變換、形態(tài)學剖面[22]等。本文探討其中兩種空間特征提取策略，作為后續(xù)多視圖學習的空間視圖。

1.2.1 鄰域空間特征

1.2.2 離散小波特征

2 多視圖降維

2.1 多視圖判別分析(MvDA)[16-17]

MvDA通過同時考慮視圖間和視圖內(nèi)的變量關(guān)系，在多幅視圖間尋找潛在的判別公共子空間，最大化不同類別樣本之間的差異。對于幅視圖，MvDA的目標函數(shù)為

MvDA是一種有監(jiān)督的學習方法，能夠處理兩幅視圖以上的問題。

2.2 廣義多視圖分析(GMA)[18]

2.3 圖正則化的多視圖邊界判別投影

MDP是一種有監(jiān)督線性降維算法，其能夠最小化同類樣本間的最大距離，最大化異類樣本間的最小距離，同時保持數(shù)據(jù)流形的幾何形狀。本文將GMA多視圖框架應(yīng)用到MDP上，提出了MMDP。

根據(jù)GMA的多視圖框架，MMDP的目標函數(shù)為

為了提升MMDP的分類性能，引入流形學習理論，為每一幅視圖建立近鄰圖，在同類樣本之間連邊，邊權(quán)定義為

即同類樣本兩兩之間距離的平均值。由此得到每幅視圖的圖正則化項為

式(17)所示模型可以通過特征值分解的方法求解。對于高光譜圖像光譜和空間兩個視圖，GMMDP的目標函數(shù)為

其中，為光譜特征數(shù)據(jù)矩陣；為空間特征數(shù)據(jù)矩陣。

經(jīng)過多視圖降維算法，像元的光譜特征和空譜特征被投影至公共判別子空間，此時選取合適的分類器對子空間中的樣本點進行分類，即可得到像元的預測類別。SVM是一種有監(jiān)督的機器學習算法，已在高光譜圖像分類中有著廣泛的應(yīng)用，本文使用SVM作為該任務(wù)的分類器。

3 實驗

3.1 數(shù)據(jù)集

3.1.1 Indian Pines數(shù)據(jù)集

3.1.2 Salinas Valley數(shù)據(jù)集

3.2 實驗設(shè)置

實驗中分別使用鄰域法和小波變換法獲取不同形式的空間信息，作為一組對照。之后對光譜數(shù)據(jù)和空間數(shù)據(jù)進行標準差標準化以及PCA降維，通過多視圖學習投影視圖到公共子空間。為減少參數(shù)，實驗保持子空間維數(shù)與PCA維數(shù)一致。實驗中，像元的光譜特征和空間特征被視為兩個數(shù)據(jù)樣本，存在同一像元被分為不同類別的情況。決策時，實驗將空譜視圖下的分類結(jié)果作為該像元的最終分類結(jié)果，因為在圖像中，空間幾何上相鄰的像素點更加有可能屬于同一類，而由于“異物同譜”現(xiàn)象存在，光譜相似的像素不一定是同一種物質(zhì)。對于高光譜圖像像素分類問題，相比之下空間特征的貢獻更大。

表1 不同參數(shù)下的GMMDP總體分類精度

此外，實驗使用MvDA、GMMFA作為多視圖學習的對比算法，使用傳統(tǒng)的LDA-MLE、SVM-RBF作為單視圖對比算法。對于子空間中的數(shù)據(jù)，統(tǒng)一選擇高斯核的SVM作為分類器。為減小實驗過程中偶然誤差的影響，每組實驗重復20次，取平均值作為最終結(jié)果。實驗源代碼：https:// github.com/Penn000/GMMDP_for_HIC。

圖2 不同α下的GMMDP總體分類精度

圖3 不同λ下的GMMDP總體分類精度

3.3 實驗結(jié)果與分析

Indian Pines數(shù)據(jù)集上的實驗結(jié)果見表3，對比方法包括傳統(tǒng)的單視圖算法和本文介紹的多視圖方法。由表3可知，不論是哪種空間特征提取方式，多視圖學習方法明顯提升了高光譜圖像分類的準確性，其中采用鄰域法提取空間特征的GMMDP比傳統(tǒng)的LDA-MLE方法的分類精度高出35.22%，Kappa系數(shù)高出42.17%，比SVM-RBF方法的分類精度高出了18.79%，Kappa 系數(shù)高出了22.49%。這一方面說明了空間信息的重要性以及空譜融合的必要性，同時也證明了多視圖學習可顯著提升高光譜圖像分類精度。比較各有監(jiān)督的多視圖學習算法，雖然各算法間的性能差異不大，但GMMDP仍以96.58%和956.48%的準確率取得最好的分類精度。GMMDP的Kappa系數(shù)也是各多視圖降維算法中最高的。另外，不同的空間特征提取方式將會影響多視圖學習的分類精度。不論從總體分類精度上看，還是從Kappa系數(shù)上看，本文提出的基于鄰域的空間提取方式都比小波變換提取特征的方式要好。這是因為本文采用的空間特征提取方式考慮周圍不同像元對目標像元的影響大小，而小波變換對窗口內(nèi)的像元使用同樣的權(quán)重。圖4從視覺上展現(xiàn)了各高光譜分類算法的性能差異。

表2 Indian Pines數(shù)據(jù)的分類結(jié)果

表3 Salinas Valley數(shù)據(jù)的分類結(jié)果

圖4 Indian Pines數(shù)據(jù)的分類圖

Salinas Valley數(shù)據(jù)集上的實驗結(jié)果見表3，結(jié)果表明多視圖學習方法提升了高光譜圖像分類的準確性，其中采用鄰域法提取空間特征的GMMDP比傳統(tǒng)的LDA-MLE方法的分類精度高出8.8%，Kappa系數(shù)高出9.83%，比SVM-RBF方法的分類精度高出了5.93%，Kappa 系數(shù)高出了6.63%。此外，本文提出的基于鄰域的空間提取方式比小波變換提取特征的方式更能取得高的分類精度。圖5從視覺上展現(xiàn)了各高光譜分類算法的性能差異。LDA-MLE和SVM-RBF這兩個單視圖方法相比于多視圖方法存在更多的錯分像元，視覺上噪聲更加明顯。

圖5 Salinas Valley數(shù)據(jù)的分類圖

為了驗證GMMDP等多視圖降維算法對于訓練集規(guī)模變化的穩(wěn)定性，在Indian Pines數(shù)據(jù)集上，保持其他參數(shù)不變，僅改變訓練樣本和測試樣本的比例進行實驗，結(jié)果如表4和圖6所示。所有算法的分類精度都會隨著訓練樣本的增加而呈上升趨勢，符合人們的直觀認識。而在不同規(guī)模的訓練集上，GMMDP始終保持最優(yōu)的性能，表明其穩(wěn)定性較強。在只有10%的訓練樣本情況下，GMMDP依然有超過95%的準確率，顯示了GMMDP在小樣本問題上的優(yōu)良性能。

表4 不同訓練集規(guī)模下的分類性能

圖6 不同訓練集規(guī)模下的分類性能

4 結(jié) 論

本文采用多視圖學習方法融合高光譜圖像的光譜信息和空間信息進行降維與分類。在已有多視圖學習方法基礎(chǔ)上，提出了圖正則化的多視圖邊界判別投影算法。該算法在對高光譜空譜特征融合降維的同時，保持原始高維特征集的流形結(jié)構(gòu)，從而提升其多視圖特征降維的泛化性能。實驗證明，多視圖學習是處理高光譜圖像分類問題的一種有效方法，且與傳統(tǒng)的多視圖學習算法相比，圖正則化的多視圖邊界判別投影算法具有較高的高光譜圖像分類準確率。

[1] MOORE B. Principal component analysis in linear systems: controllability, observability, and model reduction [J]. IEEE Transactions on Automatic Control, 1981, 26(1): 17-32.

[2] ZHAO W, PHILLIPS P J. Subspace linear discriminant analysis for face recognition [EP/OL]. [2018-01-09]. https://www.researchgate.net/publication/2306824_Subspace_Linear_Discriminant_Analysis_for_Face_Recognition.

[3] BAESENS B, VIAENE S, GESTEL T V, et al. Least squares support vector machine classifiers: An empirical evaluation [EB/OL]. [2018-02-02]. https:// core.ac.uk/display/34312128.

[4] 葉珍, 白璘, 粘永健. 基于Gabor特征與局部保護降維的高光譜圖像分類算法[J]. 光學學報, 2016, 36(10): 504-513.

[5] 葉珍, 何明一. PCA與移動窗小波變換的高光譜決策融合分類[J]. 中國圖象圖形學報, 2015, 20(1): 132-139.

[6] DENG Y J, LI H C, PAN L, et al. Modified tensor locality preserving projection for dimensionality reduction of hyperspectral images [J]. IEEE Geoscience & Remote Sensing Letters, 2018, 15(2): 277-281.

[7] HU W, HUANG Y, WEI L, et al. Deep convolutional neural networks for hyperspectral image classification [EB/OL]. [2018-03-01]. https://www.hindawi.com/ journals/js/2015/258619/.

[8] LIN L, SONG X. Using CNN to classify hyperspectral data based on spatial-spectral information [M]// Advances in Intelligent Information Hiding and Multimedia Signal Processing. Berlin: Springer International Publishing, 2017: 61-68.

[9] MEI S H, JI J Y, HOU J H, et al. Learning sensor-specific spatial-spectral features of hyperspectral images via convolutional neural networks [J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 55(8): 4520-4533.

[10] XU C, TAO D C, XU C. A Survey on Multi-view learning[EB/OL]. [2018-01-09]. http://cn.arxiv.org/abs/ 1304. 5634.

[11] BLIM A, MITCHELL T. Combining labeled and unlabeled data with co-training [C]//Eleventh Conference on Computational Learning Theory. New York: ACM Press, 1998: 92-100.

[12] WANG H Q, SUN F C, CAI Y N, et al. On multiple kernel learning methods [J]. Acta Automatica Sinica, 2010, 36(36): 1037-1050.

[13] YANG P P, HUANG K Z, LIU C L. A multi-task framework for metric learning with common subspace [J]. Neural Computing and Applications, 2013, 22(7-8): 1337-1347.

[14] HARDOON D R, SZEDMAK S , SHAWE-TAYLOR J. Canonical correlation analysis: an overview with application to learning methods [J]. Neural Comput. 2004, 16(12): 2639-2664.

[15] RUPNK J, SHAWE-TAYLOR J. Multi-view canonical correlation analysis [EB/OL]. [2018-02-17]. https://www. researchgate.net/publication/228836443_Multi-View_Canonical_Correlation_Analysis.

[16] KAN M, SHAN S G, ZHANG H H, et al. Multi-view discriminant analysis [C]//European Conference on Computer Vision. Berlin: Springer, 2012: 808-821.

[17] KAN M, SHAN S G, ZHANG H H, et al. Multi-view discriminant analysis [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(1): 188-194.

[18] SHARMA A, KUMAR A, DAUME H, et al. Generalized multiview analysis: a discriminative latent space [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Computer Society, 2012: 2160-2167.

[19] MIKA S, R?TSCH G, WESTON J, et al. Fisher discriminant analysis with kernels [C]//Neural Networks for Signal Processing IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop. NewYork: IEEE Press, 2002: 41-48.

[20] 何進榮, 丁立新, 李照奎, 等. 基于邊界判別投影的數(shù)據(jù)降維[J]. 軟件學報, 2014, 25(4): 826-838.

[21] HUANG S, YANG D, ZHOU J, et al. Graph regularized linear discriminant analysis and its generalization [J]. Pattern Analysis & Applications, 2015, 18(3): 639-650.

[22] 鮑蕊, 夏俊士, 薛朝輝, 等. 基于形態(tài)學屬性剖面的高光譜影像集成分類[J]. 遙感技術(shù)與應(yīng)用, 2016, 31(4): 731-738.

Hyperspectral Images Classification Based on Multiview Marginal Discriminant Projection

PAN Heng, HE Jinrong, LING Yu, REN Silin

(College of Information Engineering, Northwest A&F University, Yangling Shaanxi 712100, China)

Hyperspectral images classification is a research hotspot in the remote sensing field. The key point is to improve the classification accuracy by taking the advantage of spectral-spatial features of hyperspectral images, which fuse the spectral information and spatial information of each pixel in the hyperspectral image simultaneously. This paper employed multiview subspace learning for feature reduction with the problems of high feature dimension and redundant information of hyperspectral images, and proposed a graph regularized multiview marginal discriminant projection (GMMDP) algorithm. The multiview feature reduction algorithm took the spectral features of each pixels as a view and spatial features as another view, then searched the optimal discriminant common subspace by optimizing the projection direction of each view. Experiments on the open dataset showed that multiview learning had a significant advantage in spectral-spatial classification of hyperspectral images. Among all multiview dimensionality reduction algorithms, our GMMDP had the highest classification accuracy.

multiview learning; discriminant reduction; hyperspectral classification; spectral-spatial fusion

TP 391

10.11996/JG.j.2095-302X.2018061062

A

2095-302X(2018)06-1062-07

2018-04-16；

2018-07-25

中國博士后科學基金項目(2018M633585)；陜西省自然科學基金項目(2018JQ6060)；西北農(nóng)業(yè)科技大學大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目(201710712064)

潘 恒(1996-)，男，浙江嘉興人，本科生。主要研究方向為多視圖學習、圖神經(jīng)網(wǎng)絡(luò)。E-mail：panheng@nwafu.edu.cn

何進榮(1984-)，男，甘肅民勤人，講師，博士。主要研究方向為機器學習、計算機視覺。E-mail：hejinrong@163.com