融合主動學習的高光譜圖像半監督分類

王立國，李陽

(哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001)

融合主動學習的高光譜圖像半監督分類

王立國，李陽

(哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001)

針對高光譜數據維數高、有標簽樣本少等特點，采用半監督分類利用未標記樣本信息提高高光譜圖像分類精度。主動學習研究訓練樣本的選擇方法，以少量的標記樣本得到盡可能好的泛化能力。本文提出了一種結合主動學習算法的半監督分類算法。該方法使用支持向量機作為基本的學習模型，通過主動學習方法選取訓練樣本，以偽標記的形式加入到分類器的訓練中，結合驗證分類器迭代選出置信度較高的偽標記樣本，通過差分進化算法交叉變異偽標記樣本擴充標記樣本群。在兩個數據集上進行仿真實驗，與傳統分類算法相比，所提算法的總體分類精度分別提高了1.97%、0.49%，表明該算法能夠有效地提升主動學習樣本選擇的效率，在有限帶標記樣本情況下提高了分類器精度。

高光譜圖像； 半監督分類； 支持向量機； 主動學習； 差分進化

隨著高光譜成像技術及相關數據的不斷發展，高光譜圖像分類技術已成為遙感領域的研究熱點問題[1-2]。相對于其他遙感圖像，高光譜圖像高維非線性、波段間相關性高以及訓練樣本標記難以獲得等特點，給分類工作帶來了巨大的挑戰。因此，在已標記樣本比較少的情況下，如何快速、準確地對高光譜遙感圖像地物目標進行分類日益成為數據挖掘、機器學習和模式識別等領域的熱點研究問題之一。針對此類問題，半監督分類[3-4]結合監督學習和無監督學習，同時運用已標記數據的信息和未標記數據的信息來提高分類器泛化性能，能夠更好地反映出整個地物目標的樣本集合的空間分布，從而使訓練得到的分類器具有更好的性能。主動學習[5]也是從未標記樣本中選取“有價值”的樣本從而提高分類器性能，目前已經廣泛應用于遙感圖像處理[6-10]。因此，融合主動學習的半監督學習為解決高光譜遙感圖像地物分類識別提供了新的研究思路。

1974年，Simon最早提出主動學習概念[11]。在主動學習中，主動學習算法作為構造有效訓練集的方法，通過迭代抽樣，分類器主動選擇包含信息量大的未標記樣本，更新訓練集，在已標記樣本少的前提下提高分類算法的效率。主動學習廣泛應用于文本分類、語音識別、圖像檢索、遙感圖像分類等領域。支持向量機是基于統計學習理論的常用的機器學習方法，具有較強的泛化能力，應用廣泛。Simon較早地提出了SVMactive算法[12]，該算法迭代選取距離超平面最近的樣本，這些樣本可能改變超平面位置，選取這類樣本能夠有效地改善分類器性能。主動學習與SVM相結合，能夠得到更有價值的訓練樣本，提高分類性能的同時保持了SVM的泛化性。主動學習算法大致可以分為三類：1)基于邊緣采樣[13]，2)基于后驗概率估計，3)基于委員會[14]。主動學習通過特定的啟發式選擇函數隨機選擇置信度較低的樣本增加了訓練集的擾動性，這類樣本信息量較高有利于增加基分類器間的差異性。而半監督分類通常選擇高置信度的樣本并對其標記，更新訓練集。主動學習和半監督學習均是最大可能的挖掘有價值的無標記樣本，因此利用主動學習和半監督學習的差異互補，可以在增加多分類器差異性的同時又提高學習模型分類精度。大量研究表明，融合主動學習和半監督學習的算法具有更好的魯棒性和更快的學習能力[15-17]。

如何引入偽標記樣本是融合半監督學習和主動學習的一個重要技巧[18]。如果加入了錯誤的偽標記樣本，可能會降低學習模型的泛化能力。大部分的研究工作通過加入偽標記樣本彌補帶標簽樣本不足的概況，往往忽視偽標記樣本正確性的問題，因而如何獲取可信度高的偽標記樣本也是一個值得研究的問題。

傳統的半監督算法中，無標記訓練樣本錯分帶來的錯誤累積問題非但不會利用好無標記樣本信息反而會導致分類器性能下降，針對此類問題進行改進，提出了一種新的融合主動學習和半監督學習的分類算法(semi-supervised and active learning framework based on DE algorithm, SemiALDE)，該算法能夠提高無標記樣本標簽的準確性，增強訓練集可靠性。對Indian和Pavia高光譜數據集進行實驗證明所提算法能夠有效提高分類精度。

1 SVM基本理論

支持向量機(support vector machine，SVM)是一種典型的監督分類模型，在解決小樣本、非線性以及高維模式識別中表現出良好的泛化性能，已成為機器學習領域研究熱點。SVM是一種基于結構風險最小化原則的機器學習方法，邊緣采樣策略 (margin sampling, MS)是一種非常適合SVM模型的主動學習方法。SemiALDE算法采用SVM作為學習模型，邊緣采樣(MS)作為基本采樣方法。

支持向量機的基本原理是尋找分類超平面使得兩類樣本點能夠分開，實際上是求解一個凸優化問題。設xi∈Rd為訓練樣本，yi∈{+1,-1}為相應的類別標簽，SVM的優化問題可描述為

(1)

式中：w是權向量，b是決策函數的截距，ξi是松弛變量，C是懲罰系數，φ(·)是非線性映射函數。

代入拉格朗日函數得到原始問題的對偶問題，求解對偶問題，得到判別函數為

(2)

式中：b*可由Kuhn-Tucher定理推得，K(xi,x)為高斯徑向基核函數

(3)

對于二分類問題的SVM算法，最優超平面位于兩個不同的類的最大Margin中間。越靠近最優超平面的樣本點越有可能作為一個支持向量。因此，選擇這些樣本點更有可能改進當前學習模型，MS算法更適合SVM學習模型。

MS算法可以描述為選擇符合以下條件的樣本：

(4)

2 結合偽標記技術與DE算法的半監督分類

在SemiALDE算法中，首先利用偽標記技術選擇信息量豐富的無標記樣本，然后利用DE算法從偽標記樣本中選擇多樣性的樣本并對其進行標記，最終加入到有標記樣本集中對SVM分類器訓練。

在高光譜圖像分類中，如何有效地從無標記樣本中獲取有價值的信息是樣本選擇的關鍵。為了盡可能地利用無標記樣本信息，SemiALDE算法采取偽標記技術從無標記樣本中篩選有價值的偽標記樣本來擴充有限的帶標記樣本集。加入偽標記的優點在于在有標記樣本很少的情況下，盡可能構造具有代表性的訓練集，偽標記技術利用學習模型自動賦予置信度高的樣本偽標記，極大減少了人工標記的成本。然而，偽標記技術比較依賴初始有標記樣本的分布，訓練樣本的空間分布特性會對學習模型產生一定的影響。因此完全依賴偽標記技術篩選無標記樣本會造成一定的錯誤累積。針對半監督學習作為偽標記技術的不足，SemiALDE算法使用DE算法進一步改善偽標記樣本的準確度。在眾多啟發式優化方法中，差分進化是一種基于群體差異的啟發式隨機搜索算法，并且DE算法原理簡單、受控參數少，表現出高可靠性、強魯棒性和良好的優化性能。DE算法在偽標記策略篩選的基礎上進一步篩選最優的偽標記樣本，提高了偽標記樣本的準確度和多樣性，偽標記技術結合DE算法是本文算法的關鍵。

2.1 偽標記技術

SemiALDE算法的關鍵是偽標記技術，該方法通過結合迭代驗證技術改進偽標記的準確性。利用學習模型在迭代過程中的差異性來修正錯誤的偽標記樣本提高偽標記的準確性，從而提升學習模型的學習能力。

主動學習過程中，SVM學習模型利用新加入的偽標記樣本迭代改進，經過新一輪的采樣，學習模型在改進過程中產生的差異性將會進一步修正偽標記樣本集，提高了偽標記樣本的可靠性。

半監督學習作為偽標記技術的不足通常體現在兩點。1)從未標記樣本中選擇偽標記樣本的評估準則往往難以給出確定的方案。偽標記樣本的數量和閾值選取總是和當前的學習模型密切相關，數量或閾值選取不當可能會導致大量錯誤標記樣本的產生，無法提升算法性能。2)初始帶標記樣本的空間分布特性也會對偽標記樣本的選取產生影響，難以構造較好的學習模型。

本文采取迭代驗證思想獲得偽標記樣本，首先基于有標記樣本集和偽標記樣本集來創建分類器h1。然后利用MS采樣方法從無標記樣本集中選擇樣本，并對其標記加入到有標記樣本集中，更新有標記、無標記樣本集。然后基于有標記樣本集創建驗證分類器h2。用分類器h1和h2給偽標記樣本和無標記樣本標記。在h1和h2中具有相同標記類別的無標記樣本會被加入到偽標記樣本集中同時更新偽標記樣本集。

2.2 差分進化(DE)算法

差分進化 (differential evolution algorithm，DE)算法是一種基于群體進化的全局搜索優化算法, 根據父代個體間的差分矢量進行編譯、交叉、選擇操作探索整個種群空間, 并利用貪婪競爭機制選擇下一代個體, 尋求最優解[19]。

設D問題維數，NP為種群規模，G為進化代數，第i個種群向量為

(5)

1)差分變異：

基本的變異方式 DE/rand/1 的方程為

(6)

2)交叉操作：

交叉操作通過隨機選擇，使得實驗向量至少有一位是變異向量

(7)式中:jrand∈[1,2,…,D]為隨機整數，Cr為交叉概率。

3)選擇：

DE采用“貪婪”搜索策略, 根據目標向量和實驗向量的適應值選擇最優個體為下一代目標:

(8)

式中f(X)為適應度函數。

在DE算法中, 種群內個體的差分向量經過縮放后, 與種群內另外的相異個體相加得到變異向量，根據變異向量生成方法的不同, 形成了多種變異策略[20]。SemiALDE算法使用式(6)的一種改進形式：

(9)

式中λ是縮放因子。

對于多分類問題，通常對二分類模型的支持向量機進行組合使用，主要有一對多和一對一兩種策略，本文通過“one-against-rest”轉化為多個二分類問題。

2.3 算法流程

1)在有標記樣本集SL和偽標記樣本集Up上構建SVM分類器h1；

2)利用MS抽樣從無標記樣本中選擇靠近SVM超平面邊緣的r個樣本并對其標記，組成集合SR：

3)更新有標記、無標記樣本集:SL=SL∪SR、SU=SUSR；

4)利用更新后的有標記樣本集訓練驗證SVM分類器h2；

5)分類器h1、h2分別對新的無標記樣本進行標記，記為Label1和Label2；

6)更新偽標記樣本，分類器h1、h2分類結果相同的無標記樣本計入偽標記樣本集:

Up={(xi,Label1(xi))|Label1(xi)=Label2(xi)}

7)重復步驟1～6直至滿足迭代次數，獲得最新的偽標記樣本Up；

8)利用改進的DE算法從Up中篩選出一定量最優偽標記樣本記為UpDE；

9)對UpDE進行標記，加入到有標記樣本集中，訓練SVM學習模型。

10)利用所得分類器開始對測試樣本進行標記，測評分類精度。

3 實驗數據與分析

3.1 實驗數據

為驗證算法有效性，本文選取兩個高光譜圖像數據，印第安納高光譜AVIRIS圖像數據和Pavia工程學院高光譜數據，從中選取8個主要類別參與實驗。兩個數據集的地物圖如圖1所示，圖像大小均設為144×144，其中，印第安納高光譜AVIRIS圖像參與處理的圖像波段數為200個，Pavia工程學院原始數據集包含125個波段，去除噪聲后，參與實驗的波段數為103。

圖1 監督信息圖Fig.1 Supervised information map

3.2 實驗仿真

本實驗的仿真條件：電腦處理器為Intel(R)Core(TM)i3-2310M，6G的RAM，電腦系統為64位windows8操作系統，仿真軟件為Matlab2015b。

評價準則：總體分類精度(overall accuracy, OA)，平均分類精度(average accuracy, AA)，Kappa系數。

設N是樣本總數，m為類別數，mii是i類正確分類的樣本數，Ai為第i類的分類精度。

總體分類精度OA為

(10)

第i類分類精度Ai：

(11)

平均分類精度AA：

(12)

Kappa系數：

(13)

在實驗中，偽標記部分迭代次數N設為5，差分進化算法的參數為NP=20,F=0.5,λ=0.5,Cr=0.8。采用標準SVM作為基分類器，核函數為徑向基核函數。多分類方法：one-against-rest方式。SVM懲罰因子C、核參數σ通過網格搜索法在從[10,103] 和 [10-2,102]中選取最優值。

3.3 仿真結果分析

通過實驗對比標準SVM、SVM_MS、所提算法三種分類算法的優劣。實驗隨機選取10%為訓練樣本，剩下的是測試樣本。首先對印第安納高光譜圖像進行分類，表1給出了平均分類精度(AA)，總體分類精度(OA)、Kappa系數以及運行時間，從中可以看出SVM_MS算法的分類性能明顯好于SVM，AA提高了5.16%，OA提高了6.52%，Kappa提高了0.069 9。對比SVM_MS算法，SemiALDE算法分類性能明顯提升了， AA提高了1.87%，OA提高了1.97%，Kappa提高了0.028。SemiALDE算法通過融合主動學習半監督分類，產生富含信息且置信度較高的偽標記樣本，DE算法又對其擇優選出最優樣本引入訓練樣本集，明顯提高了分類精度。從時間上分析，本文算法的運行效率較低，算法采用迭代的方式選擇訓練樣本造成一定的時間消耗。圖2為三種算法分類結果的灰度圖表示，可以直觀的觀察到圖2(c)的錯分樣本數量明顯少于圖2(a)和圖2(b)，由圖可知SemiALDE算法可以有效提高高光譜圖像的分類精度。

對Pavia高光譜圖像進行相同的實驗，同樣選取10%作為訓練樣本，剩余的為測試樣本。表2列出了標準SVM、SVM_MS和SemiALDE算法的仿真結果，從表2可以看出SVM_MS算法的AA比SVM提高了1.94%，OA提高了0.29%，Kappa提高了0.0337。而所提出的SemiALDE算法比SVM_MS算法的分類結果有進一步的提高，其中AA、OA 和Kappa 分別提高1.19%，0.49%和0.017。針對Pavia數據集的實驗結果，本文算法的時間消耗較大。標準SVM、SVM_MS和SemiALDE算法的仿真結果灰度圖如圖3所示，圖3(c)所示的SemiALDE算法表現了明顯的優越性。

表1 印第安納高光譜圖像分類結果

Table 1 Classification results for the AVIRIS data of Indian Pine

算法AA/%OA/%Kappat/sSVM75496921066391994SVM＿MS816577730733824050SemiALDE835279700761843577

表 2 Pavia工程學院高光譜圖像分類結果

Table 2 Classification results for the data of University of Pavia

算法AA/%OA/%Kappat/sSVM87568381075421469SVM＿MS895084100787923055SemiALDE906984590804536161

此外圖4、圖5分別展示了兩個數據集帶標簽樣本數目s與總體分類精度(OA)的關系曲線，帶標簽樣本數目s分別取5、10、15、20、25、30。由曲線圖可以看出，SemiALDE算法優于SVM和SVM_MS算法。在樣本數目很少的情況下，SemiALDE算法加入新的偽標記樣本擴充訓練樣本集，帶來的優勢更為明顯。

圖2 印第安納高光譜圖像三種方法的分類結果圖Fig.2 Classification maps for the AVIRIS data of Indian Pine obtained by SVM, SVM_MS，SemiALDE

圖3 Pavia工程學院高光譜圖像三種方法的分類結果圖Fig.3 Classification maps for the data of University of Pavia obtained by SVM, SVM_MS，SemiALDE

圖4 帶標簽樣本數s與OA的關系曲線印第安納高光譜圖像Fig.4 Influence of s on the overall accuracy (OA) for the AVIRIS data of Indian Pine

圖5 帶標簽樣本數s與OA的關系曲線Pavia工程學院高光譜圖像Fig.5 Influence of s on the overall accuracy (OA) for the data of University of Pavia

4 結論

本文利用融合半監督學習的主動學習思想，提出了一種新的半監督算法(SemiALDE)。不同于其他傳統的分類算法，SemiALDE算法優勢體現在兩個方面：1)融合主動學習算法、半監督分類模型協同篩選富含信息量且置信度較高的樣本；2)偽標記技術結合DE算法構造具有差異性的訓練樣本集。綜述過往研究可知，標記樣本的可靠性及噪聲問題是影響半監督學習性能的關鍵因素，錯誤的標記樣本會使學習機性能顯著下降，這里SemiALDE算法將偽標記策略與DE算法相結合，有效地減少錯誤標記樣本對學習過程產生的不良影響。

為證明本章算法的有效性，對兩個高光譜數據集分別進行了仿真實驗，實驗結果表明，SemiALDE算法的分類精度和Kappa系數都有明顯提高。尤其是在帶標記樣本少的情況下，SemiALDE算法能夠高效地選取準確性較高、具有代表性的樣本擴充帶標簽樣本，有效地提升了主動學習選擇樣本的效率和學習模型的性能，與標準SVM_MS算法相比具有明顯的優勢。研究表明，偽標記技術比較依賴初始有標記樣本的分布，訓練樣本的空間分布特性會對學習模型產生一定的影響。

今后的研究工作將關注偽標記樣本與標記樣本分布性問題，提高偽標記樣本對小樣本學習性能的改善效果。另外，本文算法的復雜度較高，時間消耗較大，減少樣本篩選環節的復雜度也是今后研究工作的重點。

[1] MATHER P M, KOCH M. Computer processing of remotely-sensed images: an intruction[M]. New York: John Wiley & Sons, 2011: 229-285.

[2] SHAHSHAHANI B M, LANGGREDE D A. The effect of unlabeled samples in reducing the small sample size problem and mitigating the hughes phenomenon [J]. IEEE transactions on geoscience and remote sensing, 1994, 32(5): 1087-1095.

[3] MILLER D J, UYAR H S. A mixture of experts classifier with learning based on both labeled and unlabeled data[J]. Journals of processing systems,1997,12 (9): 571-577.

[4] CHAPELLE O, ZENT A. Semi-supervised classification by low density separation[C]//Proceeding of the tenth international workshop on artificial intelligence and statistics, Barbados, 2005: 57-64.

[5] SETTLES B. Active learning literature survey [J]. University of Wisconsin Madison, 2010, 39(2): 127-131.

[6] CAMPBELL N, CRISTIANINI A S. Query learning with large margin classifiers[C]//Proc 17th ICML, 2000: 111-118.

[7] SCHOHN D A C. Less is more: active learning with support vector machines[C]//In Proc 17th ICML, 2000: 839-846.

[8] LUO T, KRAMER K, GOLDGOF D B, et al. Active learning to recognize multiple types of plankton[C]//J Mach Learn Res, [S.l.],2005: 589-613.

[9] MITRA P, SHANKAR B U, PAL S K. Segmentation of multispectral remote sensing images using active support vector machines[J]. Pattern recognition letters, 2004, 25(9): 1067-1074

[10] XU Z, YU K, TRESP V, et al. Representative sampling for text classification using support vector machines[C]//Proc 25th Eur Conf Inf Retrieval Res, [S.l.],2003: 393-407.

[11] SIMON H A, LEA G. Problem solving and rule education: A unified view knowledge and organization[J]. Erbuam, 1974,15(2): 63-73.

[12] SIMON T. Active learning: theory and application[M]. Stanford University, 2001: 24-31.

[13] SCHOHN G，COHN D. Less is more: active learning with support vectors machines[C]//Proc 17th ICML, Stanford, 2000: 839-846.

[14] FREUND Y, SEUNG H S, SHAMIR E, et al. Selective sampling using the query by committee algorithm[J]. Machine learning, 1997， 28(2/3)： 133-168.

[15] MING Li, ZHANG Hongyu, WU Rongxin, et al. Sample based software defect prediction with active and semi-supervised learning[J]. Automated software engineering, 2012, 19 (2): 201-230.

[16] DING Ni, MA Hongbing. Active learning for hyperspectral image classification using sparse code histogram and graph-based spatial refinement[J]. International journal of remote sensing, 2017(3):

[17] JUN Xu, HANG Renlong, LIU Qingshan. Patch-based active learning (PTAL) for spectral-spatial classification on hyperspectral data[J]. International journal of remote sensing, 2014, 35 (5): 1846-1875.

[18] LI M, WANG R, TANG K．Combining semi-supervised and active learning for hyperspectral image classification[C]//Proceedings of Computational Intelligence and Data Mining(CIDM)．[S.l.],2013.

[19] STORN R, PRICE K. Differential evolution-a simple and efficient heuristic for global optimization over continuous spaces[J]. Journal of global optimization, 1997, 11(4): 341-359.

[20] BREST J, MAU EC M S. Population size reduction for the differential evolution algorithm[J]. Applied intelligence, 2008, 29(3): 228-247.

本文引用格式：

王立國，李陽. 融合主動學習的高光譜圖像半監督分類[J]. 哈爾濱工程大學學報， 2017， 38(8): 1322-1327.

WANG Liguo, LI Yang. Semi-supervised classification for hyperspectral image collaborating with active learning algorithm[J]. Journal of Harbin Engineering University， 2017， 38(8): 1322-1327.

Semi-supervised classification for hyperspectral image collaborating with active learning algorithm

WANG Liguo, LI Yang

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

High-dimensional dataset and limited labeled samples are characteristics of a hyperspectral image. Semi-supervised methods can improve classification accuracy by using the information of unlabeled samples. An active learning model is commonly used to select training samples, and it aims to improve generalization ability with a small number of labeled samples. In this paper, a semi-supervised classification framework that collaborates with an active learning algorithm was proposed. In this framework, support vector machine (SVM) was used as a basic learning model. The proposed algorithm first uses active learning methods to select informative unlabeled samples and adds them to the training dataset in the form of pseudo-label. Then, the methods iteratively select samples with a high-confidence degree from pseudo-labeled samples that collaborate with verification classifiers. Finally, the labeled sample group is expanded by new pseudo-samples after the optimization process using a differential evolution algorithm. Compared with the traditional classification algorithm, the overall classification accuracy of the proposed algorithm was improved by 1.97% and 0.49%, respectively. Experimental results show that this method can effectively improve the selection efficiency of active learning and improve the accuracy of a classifier with limited labeled samples.

hyperspectral imagery; semi-supervised classification; support vector machine; active learning; differential evolution algorithm algorithm

2016-06-15.

日期：2017-04-26.

國家自然科學基金項目(61675051); 黑龍江省自然科學基金項目(F201409).

王立國(1974-)，男，教授，博士生導師.

王立國，E-mail:wangliguo@hrbeu.edu.cn.

10.11990/jheu.201606046

TP75

A

1006-7043(2017)08-1322-06

網絡出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20170426.1801.068.html