基于核函數的聯合稀疏表示高光譜圖像分類

陳善學, 周艷發, 漆若蘭

(重慶郵電大學移動通信技術重慶市重點實驗室, 重慶 400065)

0 引 言

高光譜圖像具有較高的空間與光譜分辨率的這一特點使其被廣泛的應用于各個領域,例如在軍事、環境、海洋、地理、農業等領域。在以上的這些領域里,高光譜圖像的分類已經成為一個非常重要的研究內容之一。在高光譜圖像中,每個像元(或像素)都是一個高維的光譜曲線向量。在一定光譜波段,不同的地物具有不同的反應(吸收或反射)。因此,人們可以根據它們的光譜曲線對地物進行識別和分類。

基于高光譜圖像的光譜特征,各種分類方法被提出,例如支持向量機(support vector machine, SVM)方法和其他基于核的分類方法[1-4],人工神經網絡(artificial neural network, ANN)[5]。最近,基于稀疏表示(sparse representation, SR)的分類方法[6-8]越來越多地被應用于高光譜圖像的分類,稀疏表示分類(sparse representation classification, SRC)方法通過全部訓練樣本的稀疏線性組合來重構表示一個測試樣本,然后通過最小表示殘差來分類測試樣本。通過一種協同表示機制,在高光譜圖像的分類中,SRC表現出了比較良好的分類性能。文獻[9]提出一種基于稀疏表示的任務驅動字典學習算法,該算法僅僅用了少量的訓練樣本。文獻[10]通過利用相鄰像元之間具有相似的特性,將其最近的相鄰像素對所有像素進行空間平均,形成一種聯合協作表示形式,極大地提高了算法的分類精度。通過加入空間信息,文獻[11]提出一種聯合稀疏表示模型(joint sparse representation model, JSM)，或者同時正交匹配追蹤(simultaneous orthogonal matching pursuit, SOMP),在該模型中待測試像元與其空間鄰域的像元通過少量共同的訓練樣本稀疏線性組合同時稀疏表示。在JSM框架中,待測試像元與其鄰域像元共享同一個稀疏模型并且鄰域像元對中心像元有同等的貢獻。在待測試像元分類過程中通過并入空間鄰域信息,JSM分類方法能夠實現很好的分類效果,然而,該算法對待測試中心像元鄰域的像元均予以相同的權重,對于同構區域是非常合適的,對于異構區域就會導致錯誤的分類,尤其是邊界部分。基于文獻[11]提出聯合稀疏模型框架思想,文獻[12]提出一種聯合魯棒性稀疏表示分類算法,在聯合稀疏模型的基礎上充分利用殘差波段中包含的特征信息對分類的影響,通過套索[13]萊斯塔特絕對收縮和選擇算子(least absolute shrinkage and selection operator,LASSO)算法最優化稀疏系數與殘差,從而分類待測樣本。考慮到鄰域像元的獨特性,文獻[14]提出了非局部權重聯合稀疏表示分類(nonlocal weigth joint sparse representation classification, NLW-JSRC)算法,主要創新在于在鄰域像元上引入非局部權重來反映中心測試像元與鄰域像元的相關性。上述兩種聯合稀疏表示分類模型第一次定義中心測試像元周圍的鄰域像元為與其最近的n×n正方形內的鄰域像元并且在中心測試像元所在的局部區同時聯合稀疏表示中心像元與鄰域像元來分類中心測試像元。JSM對鄰域像元均予以相同的權重,而NLW-JSRC對不同鄰域像元予以不同權重。此外,聯合稀疏表示模型也經常被用于目標檢測與生物識別等領域[15]。

基于NLW-JSRC算法的思想,提出基于核函數的聯合稀疏表示分類方法。主要方法在于考慮到在中心測試像元分類過程中不同的鄰域像元對其分類有不一樣貢獻。與以上兩種聯合稀疏模型不同之處在于對每個中心測試像元與其周圍所有的鄰域像元均求一次權重,然后取權重最大的T個不規則鄰域像元為最優鄰域窗口。本文采用3種核函數[16]來自適應對待測中心像元的鄰域像元賦予權重。這種自適應加權方案不僅可以計算待測中心像元的局部鄰域像元權重大小,還可以計算整個圖像的鄰域像元權重大小。

1 相關工作

1.1 JSRC

在高光譜圖像,通常相鄰像元由相似地物組成,它們存在極大的可能屬于同一地物,因此可以共享同一個稀疏模型。假設有C類不同的地物,每類均有n個訓練樣本,則由所有訓練樣本組成的字典可以表示為A=[A1,A2,…,AC]∈RB×N,其中,B表示高光譜圖像的光譜波段數;N為C類訓練樣本字典組成的訓練樣本總數;AC為第C類字典。待測中心像元與其鄰域像元可以表示為Y=[y1,y2,…,yT]∈RB×T,其中,y1為待測的中心像元;其余像元為y1的鄰域像元;T為待測中心像元與其鄰域像元數量的總和。

因此在聯合稀疏表示模型中,Y可以表示為

Y=[Aα1,Aα2,…,AαT]=AS

(1)

式中,S=[α1,α2,…,αT]∈RN×T為稀疏矩陣;ai(i∈[1,T])為只有K(K

(2)

式中,‖·‖F表示Frobenius范數;‖S‖row,0表示S矩陣非零行的行數;K為稀疏系數的上限值。SOMP算法能夠用于解決式(2)的優化問題。稀疏系數矩陣S可通過式(2)求得,則待測中心像元便可以根據重構殘差被分類出來,其表達式為

(3)

1.2 NLW-JSRC

在JSM中,在局部鄰域內的像元均相似并被予以相同的權重。然而,不是所有的局部鄰域像元都是同一類地物,尤其是圖像邊界地區由不同種類的地物組成。為了更好的區分鄰域像元,文獻[14]提出NLW-JSRC分類算法,其表達式為

(4)

式中,W=diag{w1,w2,…,wT}為對角權重矩陣。在論文中一種非局部權重聯合稀疏表示分類算法被用于測量中心像元與鄰域像元的相似度。

2 K-JSRC

在JSRC分類算法中,利用像元間的空間位置信息,即相鄰像元具有相似性,可以共享同一稀疏模型,從而建立一個JSM。在NLW-JSRC分類算法中,基于JSM框架提出非局部權重思想,充分利用鄰域像元間的相似性與獨特性。文獻[9]提出的聯合核函數表示方法計算鄰域像元權重的基礎上,提出一種改進核函數的聯合稀疏表示分類算法。算法主要創新在于將測量像元空間信息的核函數與測量像元光譜信息的核函數以一定比例結合并采用JSM框架來聯合稀疏表示分類,即相鄰且相似的像元共用同一稀疏表示模型來進行地物的分類。最終根據改進的聯合核函數計算待測中心像元與鄰域像元的權重來自適應的選擇每個待測像元的最優鄰域。核函數的選擇如文獻[16]所示的3種核函數,其表達式為

(5)

式中,Ep,q、Gp,q、Cp,q分別為指數核函數、高斯核函數、余弦核函數,其中xp、xq、μd分別表示待測中心像元的像素坐標、鄰域像元的像素坐標、像素空間距離標準差,μd的求解由文獻[9]可知。式(5)中的3種核函數用于計算待測中心像元與鄰域像元空間距離權重。

在高光譜圖像中,由于每種地物邊界部分均可能存在多種其混合地物以及基于測量空間距離的核函數K對距離待測中心像元較近的地物會賦予較大的權重而造成類別的錯分。針對以上問題本文提出對空間距離權重K與光譜距離權重GS(p,q)予以1:λ(λ>0)的比重,其表達式為

(6)

wp,q=K*GS(p,q)

(7)

式(6)中,GS(p,q)表示待測中心像元與鄰域像元的光譜相似權重;xp、xq、μs分別表示待測中心像元光譜值、鄰域像元光譜值以及光譜標準差;μs亦可由文獻[9]得知。式(7)中,wp,q是由兩種核函數結合,即空間距離與光譜距離結合并用于度量待測中心像元與鄰域像元的相似性,即計算鄰域權重。當權重wp,q小于某一閾值δ(0<δ)時,像元xp與xq屬于不同地物,當權重wp,q大于δ時,像元xp與xq權重為wp,q。因此，采用文獻[14]提出的權重改善方案,并在此基礎上進行改進,其表達式為

(8)

通過式(6)～式(8)計算得到的權重Wp,q可以計算出每個待測中心像元的最優鄰域T,求每個待測中心像元鄰域大小的基本流程如圖1所示。

圖1 聯合核函數算法流程圖Fig.1 Block diagram of combined kernel function

由圖1可知,該算法不同于JSRC分類算法和NLW-JSRC分類算法均以待測試像元為中心取周圍的n×n像元作為鄰域窗口大小,而是通過聯合核函數算法計算每個待測中心像元的鄰域像元權重來選擇鄰域窗口,窗口是不規則且大小不同,并且每個鄰域窗口大小都是此算法下最優鄰域。

根據兩個數據集地物分布的特點:Indian Pines數據集的地物比較集中,而University of Pavia相對分散。測量距離權重選擇高斯核函數對University of Pavia數據集分類比較合適,而指數核函數對Indian Pines數據集分類較為合適,通過文獻[16]對3種核函數進行了分析,提出將指數型核函數與余弦型核函數結合來強化高斯核函數加權不足和弱化指數型核函數過度加權,其表達式為

(9)

KK表示兩種核函數結合后的空間距離核函數,即余弦型指數核函數。KK與其他核函數的曲線圖如圖2所示。

圖2 4種核函數權重曲線圖Fig.2 Weight curves of four kinds of kernel functions

分析圖2可知,隨著像元之間的歐氏距離增大,指數核函數下降很快以至于加權過重,高斯核函數和余弦核函數的曲線下降得較為緩慢。而本文改進的余弦型指數核函數在距離較小時權重很大,隨著距離的增大而權重減小,余弦型指數核函數的這一特點彌補了高斯型核函數加權不足而指數型核函數加權過度的缺點。

通過分析,將式(7)轉化成式(10)為

(10)

式中,權重wp,q可以通過如上3種聯合核函數求得,基于光譜與空間距離的聯合核函數的聯合稀疏表示分類算法的基本模型如式(4)所示。其中W=diag{w1,w2,…,wT}為對角權重矩陣,它的對角元素wp,q表示周圍鄰域像元對中心像元xp貢獻的大小即權重,權重Wp,q如式(10)所示。通過以上權重公式計算出每個待測中心像元與周圍所有鄰域像元權重Wp,q的大小來選擇最優的鄰域T的大小,最終通過JSM計算出如下所示的重構殘差來分類中心測試像元y為

(11)

將上述基于JSM算法框架而改進聯合核函數聯合稀疏表示分類算法的具體流程總結成如算法1所示。

算法1基于核函數的聯合稀疏表示分類算法

輸入在每類地物中隨機選取同樣大小樣本組成訓練類字典A=[A1,A2,…,AC]

初始化初始歸一化字典A

For高光譜圖像中的每個像元y:

(2) 構建聯合信號矩陣Y=[y1,y2,…,yT]∈RB×T,并且歸一化聯合信號矩陣Y;

(3) 通過式(4)計算系數稀疏矩陣S;

(4) 通過式(10)計算殘差r,并標記測試樣本y;

(5) 返回下一個待測像元。

End For

輸出一個所有像元均帶標簽的二維矩陣

3 實驗與討論

3.1 數據集

Indian Pines:Indian Pines圖像是在1992年通過AVIRIS傳感器獲得的。圖像大小為145×145個像素,共有220個波段,把其中水吸收和噪聲波段去掉,最終剩下200個波段,獲得的數據共包含16個類別。本次實驗集選取其中的9個樣本較多的類進行分類實驗。這9類分別為:免耕玉米(Corn-notill),少耕玉米(Corn-mintill),草牧場(Grass-pasture),草樹(Grass-trees),干草勻堆料(Hay-windrowed),免耕大豆(Soybean-notill),少耕大豆(Soybean-mintill),凈耕大豆(Soybean-clean),木材(Woods)。

University of Pavia:University of Pavia圖像是在2001年通過ROSIS傳感器獲得的,圖像大小為610×340個像素,共有115個波段,除去其中水吸收和噪聲波段去掉,剩下其中103個波段,該圖像總共包含9個類別地物分別為:瀝青(Asphalt),草地(Meadows),礫石(Gravel),樹(Trees),金屬板材(Painted metal sheets),裸露土壤(Bare Soil),柏油屋頂(Bitumen),自擋磚(Self-Blocking Bricks),陰影(Shadows)。

3.2 算法的對比與參數的設置

仿真實驗在主頻3.7 GHz,內存8 GB的PC機上進行,操作系統為Window(64位),仿真平臺為Matlab2014a(64位)。本文提出的核函數聯合稀疏表示(K-JSRC)算法對比于其他算法,例如NLW-JSRC、SOMP、SRC、SVM算法。本文將在Indian Pines和University of Pavia兩個數據集上進行不同的仿真對比。在Indian Pines數據集上,通過對比幾組在訓練樣本大小不同的條件下的總體分類精度、Kappa系數(K)來評估算法的分類性能。在University of Pavia數據集上,通過對比每類的分類精度、總體分類精度、Kappa系數(K)來評估算法的分類性能。

參數設置:在Indian Pines數據集中NLW-JSRC、JSRC、SRC訓練樣本的大小的取值如表1所示。SVM算法中的RBF核的γ值設置為高光譜數據維度的倒數,正則化參數c實驗時設置為林智仁教授libsvm工具包中的默認參數1。由文獻[11,14]可知，JSRC算法與NLW-JSRC算法的最優鄰域大小T為5×5和9×9。

圖3 University of Pavia數據集上參數λ對總體分類精度的影響Fig.3 Effects of upper parameters λ on the overall classification accuracy of the

圖4 University of Pavia數據集上參數w1和w2對總體分類精度的影響 Fig.4 Effects of upper parameters w1 and w2 on the overall classification accuracy of the University of Pavia dataset

3.3 分類結果

在Indian Pines數據集上,通過5組在不同訓練樣本的精度對比,每類訓練樣本均隨機選,其余作為測試樣本。在University of Pavia數據集上,我們在每類原子中隨機選取30個作為訓練樣本,其余為測試樣本。實驗重復10次取平均值,在兩個數據集上的實驗結果如表1和表2所示。

對比表1與表2分類結果和圖5與圖6的分類效果可知,我們可以得出如下幾點結論:

(1) 在兩個數據集上,對比于其他算法,本文提出的3種K-JSRC算法展現了更好的分類效果,而其中CEK-JSRC算法在3種K-JSRC算法中分類效果最好。從效果圖也能看出本文提出的核算法分類效果最好,由于CEK-JSRC算法只比其他兩種核函數算法的精度高1至2個百分點,所以效果圖并不是很明顯,但相對其他對比算法還是要明顯一些。

(2) 在Indian Pines數據集上EK-JSRC算法的分類精度要好于GK-JSRC算法,而在University of Pavia數據集上要差于GK-JSRC算法。主要原因在于Indian Pines數據集上地物更集中,在一定的鄰域范圍內,距離待測中心像元越近權重越大更有利于提高分類精度,而University of Pavia數據集上的地物較之為分散。

(3) 基于空間-光譜的分類算法(JSRC,NLW-JSRC,K-JSRC)明顯要優于基于光譜分類算(OMP,SVM)。

(4) 對比JSRC算法,本文提出K-JSRC算法加入了光譜權重,對鄰域像元特別是邊界的不同地物像元的判別有了很大改進。對比于NLW-JSRC算法,本文提出的3種K-JSRC算法對每個待測像元求鄰域權重和最優鄰域大小,因此,K-JSRC算法分類精度要于NLW-JSRC算法和JSRC算法。

表1 Indian Pines數據集分類精度

圖5 Indian Pines數據集分類結果Fig.5 Classification result in Indian Pines data set

類#樣本訓練測試分類算法SVMOMPJSRCNLW?JSRCK?JSRCGaussianExponentialCosineExponentialAsphalt30663176．1556．6788．3787．5991．5592．1193．09BareSoil301864972．0668．8980．5188．9382．0480．9391．46Bitumen30209970．4265．5488．6179．3679．7078．8397．44Bricks30306493．3092．0980．8286．3593．9493．2495．39Gravel30134599．1199．391199．7099．8599．75Meadows30502984．2463．3976．5178．8497．2897．3477．14Metalsheets30133091．7883．8595．2480．4699．4699．8599．00Shadows30368279．3461．9454．6845．9569．1765．9949．14Trees3094799．7890．0865．5477．2183．8682．7794．77總體分類精度/%78．6670．1081．6084．0287．3686．7988．41稀疏度K71．0660．5474．5876．2779．9780．7181．93

圖6 University of Pavia數據集分類結果Fig.6 Classification result University of Pavia data set

4 結 論

本文提出的基于核函數的聯合稀疏表示分類算法改善了JSRC算法對邊界像元分類不完全及NLW-JSRC算法未充分挖掘每個待測像元的最優鄰域像元的不足。改進傳統核函數對權重計算上的不足,引入余弦型高斯核函數來改善權重,測量每個待測中心像元鄰域像元相似度并自適應的得到每個待測中心像元最優鄰域T的大小。在兩個數據集上的仿真實驗結果表明,該算法在精度與穩定性上要優于同類算法與傳統的分類算法。但是,研究工作還有幾處待改進的地方,例如,如何進一步優化權重與比重,如何進一步增強算法的自適應性和穩定性等。

[1] FARID M, LORENZO B. Classification of hyperspectral remote sensing images with support vector machines[J]. IEEE Trans.on Geoscience and Remote Sensing, 2004, 42(8): 1778-1790.

[2] BOR-CHEN K, HSIN-HUA H, Hsuan C A. Kernel-based feature selection method for SVM with RBF kernel for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(1): 317-320.

[3] GUSTAVO C V, LORENZO B. Kernel-based methods for hyperspectral image classification[J]. IEEE Trans.on Geoscience and Remote Sensing, 2005, 43(6): 1351-1362.

[4] LIU T Z, GU Y F, JIA X P, et al. Class-specific sparse multiple kernel learning for spectral-spatial hyperspectral image classification[J]. IEEE Trans.on Geoscience and Remote Sensing, 2005, 43(6): 1351-1362.

[6] ZHANG B, LAN T, HUANG X, et al. Spatial-spectral kernel sparse representation for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2013, 6(6): 2462-2471.

[7] LI W, DU Q. Adaptive sparse representation for hyperspectral image classification[C]∥Proc.of the IEEE Geoscience and Remote Sensing Symposium, 2015: 4955-4958.

[8] JIA S, ZHANG X, LI Q. Spectral-spatial hyperspectral image classification using, regularized low-rank representation and sparse representation-based graph cuts[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2015, 8(6): 2473-2484.

[9] WANG Z, NASRABADI N M, HUANG T S. Semisupervised hyperspectral classification using task-driven dictionary learning with laplacian regularization[J]. IEEE Trans.on Geoscience & Remote Sensing, 2015, 53(3): 1161-1173.

[10] XIONG M, RAN Q, et al. Hyperspectral image classification using weighted joint collaborative representation[J]. IEEE Geoscience & Remote Sensing Letters,2015,12(6):1209-1213.

[11] CHEN Y, NASRABADI N M, TRAN T D. Hyperspectral image classification using dictionary-based sparse representation[J]. IEEE Trans.on Geoscience & Remote Sensing, 2011, 49(10): 3973-3985.

[12] LI C, MA Y, MEI X, et al. Hyperspectral image classification with robust sparse representation[J]. IEEE Geoscience & Remote Sensing Letters, 2016, 13(5): 641-645.

[13] TIBSHIRANI R. Regression shrinkage and selection via the lasso[J]. Journal of the Royal Statistical Society, 1996, 58(3): 267-288.

[14] ZHANG H, LI J, HUANG Y, et al. A nonlocal weighted joint sparse representation classification method for hyperspectral imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2014, 7(6): 2056-2065.

[15] SHEKHAR S, PATEL V M, NASRABADI N M, et al. Joint sparse representation for robust multimodal biometrics recognition[J]. IEEE Trans.on Pattern Analysis & Machine Intelligence, 2014, 36(1): 113-126.

[16] TIAN J, YU W Y, XIE S L. On the kernel function selection of nonlocal filtering for image denoising[C]∥Proc.of the IEEE International Conference on Machine Learning and Cybernetics, 2008: 2964-2969.

[17] ZHANG L, ZHOU W D, CHANG P C, et al. Kernel sparse representation-based classifier[J]. IEEE Trans.on Signal Processing, 2012, 60(4): 1684-1695.