融合超像素和多屬性形態(tài)學(xué)輪廓方法的高光譜圖像分類

李雷, 孫希延, 紀(jì)元法 , 付文濤

(1.桂林電子科技大學(xué)精密導(dǎo)航技術(shù)及應(yīng)用廣西重點(diǎn)實驗室,桂林 541004; 2.桂林電子科技大學(xué)信息與通信學(xué)院,桂林 541004; 3.衛(wèi)星導(dǎo)航定位與位置服務(wù)國家地方聯(lián)合工程研究中心,桂林 541004)

0 引言

高光譜傳感器集成了傳感技術(shù)和光譜技術(shù),采集的圖像包含幾十到幾百個波段,具有很高的光譜分辨率,能夠從不同角度反映地物的材料特性[1],因此在資源勘探[2]、目標(biāo)檢測[3-5]、土地分類[6]等眾多領(lǐng)域都有廣泛應(yīng)用[7],然而,由于成像光譜儀距離地面較遠(yuǎn),加上大氣傳輸過程中的多次散射以及表面微觀物質(zhì)的復(fù)雜分布,因此在高光譜圖像(hyperspectral image,HSI)中經(jīng)常出現(xiàn)混合像素,即一個圖像像素可能覆蓋幾種不同的物質(zhì),因此其分類技術(shù)也是眾多學(xué)者研究的重點(diǎn)。

由于HSI的豐富的光譜特性,在以往的分類方法中,產(chǎn)生了眾多光譜信息的特征提取和分類方法,基于光譜信息的稀疏表示方法[8],尋找最優(yōu)超平面的支持向量機(jī)(support vector machine,SVM)分類后處理方法[9],此外,空間信息同樣不可忽視,在發(fā)現(xiàn)僅使用光譜信息的分類效率有限時,針對空間特征提取的HSI分類方法也被提出,例如利用擴(kuò)展多屬性輪廓(extended multi-attribute profile,EMAP)方法提取空間紋理信息[10-11]。Liao等[12]利用雙邊濾波提取HSI中的空間信息; Feng等[13]疊加了從原始圖像中提取的EMAP和Gabor空間信息,構(gòu)建HSI單個場景的多視圖數(shù)據(jù)集。

一般來說,上述所提方法皆是從像素級層面對HSI進(jìn)行信息提取,即直接對HSI進(jìn)行紋理、光譜等特征提取,除此之外,HSI的另外一種表征方式是超像素分割,其考慮到了空間鄰域弱假設(shè),從超像素級層面對HSI進(jìn)行表征,提高了對HSI的辨識度。Ren等[14]利用超像素改進(jìn)了異常檢測算法RX的自適應(yīng)內(nèi)窗; Sellars等[15]采用超像素生成收縮加權(quán)圖表示,加速了HSI的圖形分類器; Jiang等[16]通過多尺度超像素方法與傳統(tǒng)的主成分分析(principal component analysis,PCA)方法相結(jié)合來學(xué)習(xí)HSI固有的低維特征,提出了SuperPCA方法; Zhang等[17]改進(jìn)了SuperPCA方法,將全局PCA方法結(jié)合了局部PCA,重建降維HSI; Beirami等[18]采用波段分組技術(shù)改進(jìn)了SuperPCA方法,總體精度比傳統(tǒng)SuperPCA提高了8百分點(diǎn); Jia等[19]建立了超像素之間的相似度矩陣,在超像素特征層面?zhèn)鞑颖緲?biāo)簽。

但是上述方法均建立在超像素分割方法能夠完全提取信息的基礎(chǔ)上,其他處理方案諸如波段分組、線性判別分析(linear discriminant analysis,LDA)、PCA等只是輔助,因此分類的結(jié)果極度依賴分割方法的參數(shù)設(shè)置。本文受SuperPCA方法的啟發(fā),從超像素方面來表示HSI,然而,并沒有一種最佳的方式能夠完整無缺地利用HSI的豐富信息,同樣地,也沒有任何單獨(dú)的一種表達(dá)方式能夠完整地表達(dá)HSI,性能較好的超像素分割方法也是比較依賴參數(shù)設(shè)置,需要進(jìn)行多次重復(fù)實驗才能取得令人滿意的效果。因此,本文介紹了一種HSI分類方法,重點(diǎn)在于解決超像素分割方法依賴參數(shù)嚴(yán)重以及單一方法提取信息不充分的問題。該方法建立在超像素分割方法基礎(chǔ)上,分別從超像素級和像素級層面提取HSI特征并相結(jié)合。采用熵率超像素分割方法(entropy rate superpixel segmentation,ERS)將HSI分割為一個個單獨(dú)的區(qū)域,然后對每一個同質(zhì)區(qū)域進(jìn)行PCA分析,并重新組合,提取了HSI的低維固有的局部特征; 采用EMAP方法提取紋理特征,之后將2種信息進(jìn)行融合,并采用遞歸濾波(recursive filtering,RF)方法去除信息融合后的冗余,最后進(jìn)行分類。該方法將提高分類精度,減少對超像素數(shù)目設(shè)置的依賴性,提高單一方法對HSI的信息提取程度。

1 理論模型

本文提出的分類框架如圖1所示,主要包括4個主要部分: ①超像素級特征生成; ②生成EMAP特征; ③分別融合這些特征并采用RF方法濾波; ④進(jìn)行SVM分類,確定最后的分類標(biāo)簽。

圖1 分類框架示意圖

1.1 超像素級特征生成

超像素分割方法基于相鄰像素具有相似結(jié)構(gòu)的假設(shè),將整個圖像精細(xì)劃分為多個彼此不重疊的同質(zhì)子區(qū)域,小尺度分割的超像素在強(qiáng)度上和紋理特征上都具有較高的一致性,由于其簡單、高效和魯棒性,被廣泛應(yīng)用于圖像處理的預(yù)處理過程。由于原始的HSI波段眾多,因此分割之前需要對HSI進(jìn)行PCA處理,獲得貢獻(xiàn)率最大的第一主成分If,然后使用ERS對圖像的第一主成分進(jìn)行分割[11],描述為:

(1)

式中:Yk和Yg分別為互不重疊的同質(zhì)區(qū)域;S為總的超像素數(shù)目。

傳統(tǒng)的降維方法多是在全局層面對整個HSI進(jìn)行PCA分析,忽視了HSI的局部特征。受到SuperPCA方法[16]的啟發(fā),為了提高對HSI的信息挖掘程度,本文采用一種“分而治之”的策略: 在生成同質(zhì)區(qū)域后,對每一個同質(zhì)區(qū)域進(jìn)行單獨(dú)的PCA分析,然后再將它們組合起來形成新的降維HSI,如圖2所示。圖2中首先將超像素分割后的圖像作為目標(biāo)處理圖像,可見圖像被劃分為多個均勻區(qū)域,每個區(qū)域由矩陣表示,矩陣列為像素的譜向量,B為原始的波段數(shù),Si,Sj和Sk是均勻區(qū)域的位置標(biāo)識,將PCA應(yīng)用到每個區(qū)域中,使波段數(shù)目由B減少到d,按照原來的位置重新組合Si,Sj和Sk,即可得到新的特征集合Hsp。

圖2 獲取超像素級特征

相對于全局意義上的PCA分析,針對每一個同質(zhì)區(qū)域進(jìn)行PCA固然是增加了計算量,但由于PCA的高效性,兩者的計算量差距可以忽略不計。而帶來的好處是可以顯著提高第一特征向量方向的偏心率,即有效在低維空間中保存基本數(shù)據(jù)信息,經(jīng)過重組后的圖像Hsp視為超像素的特征圖像。

1.2 像素級特征生成及融合

像素級特征的提取采用EMAP方法,作為傳統(tǒng)形態(tài)學(xué)剖面紋理特征提取方法的改進(jìn),EMAP級聯(lián)了多種屬性原則的形態(tài)學(xué)濾波器[20],其做法是首先對HSI進(jìn)行PCA分析,然后根據(jù)面積、標(biāo)準(zhǔn)差、形狀等準(zhǔn)則,分別生成不同的屬性文件(attribute profile,AP),然后級聯(lián)起來形成擴(kuò)展屬性文件(extended attribute profile ,EAP),公式為:

EAP={AP1,AP2,…,APn}

,

(2)

式中:APi(i=1,2,…,n)為對分量i的屬性濾波;n為主成分個數(shù)。EMAP是將不同屬性特性向量級聯(lián)成單一向量(圖3),公式為:

圖3 獲取像素級特征

,

(3)

EMAP方法的像素級特征提取采用閾值參數(shù)計算,該參數(shù)相當(dāng)于單個特征的平均值為2.5%～10%,標(biāo)準(zhǔn)偏差為2.5%,面積屬性為200和500的閾值,由于EMAP特征生成要增加眾多的維度,因此本文基于HSI的前3個主成分分量生成EMAP特征HEMAP。

1.3 融合特征及分類

EMAP方法集中考慮了圖像的全局特征,基于超像素級的分割方法生成的特征Hsp是基于局部的PCA來學(xué)習(xí)固有的低維特征,這2種特征形成了信息互補(bǔ),重要的是,EMAP特征彌補(bǔ)了分割方法提取邊緣信息的不足的缺陷。因此采用一種簡單的融合方法,將2種特征沿著光譜維度疊加起來,計算公式為:

H=[Hsp,HEMAP]∈R

。

(4)

在分類之前,由于融合了多個特征,新特征的維度會變大,因此需要對新的特征再次進(jìn)行PCA分析,提取HSI的光譜-空間特征,方法是對融合后的圖像進(jìn)行域變換RF, 獲得特征圖像,公式為:

O=RF(H)δs,δr

,

(5)

式中:RF為域變換遞歸濾波操作;δr和δs分別為空間和范圍標(biāo)準(zhǔn)差參數(shù);O為產(chǎn)生的特征圖像。

最后,采用SVM分類器來獲得最后的分類標(biāo)簽圖label,其中,分類器的核函數(shù)選用高斯核函數(shù)(radial basis function,RBF)。

label=SVM(O)RBF

。

(6)

2 實驗及分析

為了驗證所提方法的可行性和有效性,本文選擇2個數(shù)據(jù)集作為試驗場景,同時以SVM,PCA,LDA ,SuperPCA[16], S3-PCA[17],BG-SuperPCA[18]幾種方法作為對照試驗,均在一臺2.5 GHz CPU和12 GB 內(nèi)存的筆記本電腦上使用MATLAB進(jìn)行實驗,同時為了評估總體分類性能,使用3種常用的分類指標(biāo),即總體精度(overall accuracy,OA)、平均精度(average accuracy,AA)和Kappa系數(shù)。OA是正確分類的像素的比例,AA是每個類別中正確分類的特征的比例,Kappa系數(shù)則基于混淆矩陣,綜合了OA和AA這2種精度指標(biāo),取值越靠近1,表明其分類效果越好,其中,Kappa系數(shù)是圖像分類精度的最有價值的評價指標(biāo)[21]。

2.1 實驗數(shù)據(jù)集

實驗選擇2個經(jīng)典的高光譜數(shù)據(jù)集: Indian Pines數(shù)據(jù)集和University of Pavia數(shù)據(jù)集[22]。

Indian Pines數(shù)據(jù)集是位于美國印第安納州西北部的印第安松樹試驗場景。該場景尺寸為145像元×145像元,空間分辨率為20 m[22]。該圖像刪除了20個多余的吸水波段,共包含220個波段,并包含16種地物。真實地物圖以及偽彩色圖如圖4所示。University of Pavia數(shù)據(jù)集為拍攝于意大利帕維亞大學(xué)周圍的城區(qū)場景,尺寸為610像元×340像元,空間分辨率為1.3 m,為了消除噪聲影響,將原始拍攝圖像制作成數(shù)據(jù)集時,去除了被冗余的被水體吸收的波段,共115個波段[22]。圖5 顯示了圖像的波段合成圖,以及真實的特征圖。

(a) 偽彩色圖 (b) 地面標(biāo)記樣本

(a) 偽彩色圖 (b) 地面標(biāo)記樣本

2.2 數(shù)據(jù)集實驗

對于2個數(shù)據(jù)集,隨機(jī)從樣本總含量中選擇10%標(biāo)記樣本作為訓(xùn)練樣本,剩余的作為測試樣本。RF的參數(shù)分別為δs=200,δr=0.3; SVM分類器采用RBF核,參數(shù)選擇默認(rèn)的參數(shù); 超像素數(shù)目設(shè)置為S=100。每個數(shù)據(jù)均重復(fù)10次取平均值為最后結(jié)果。

2.2.1 Indian Pines 數(shù)據(jù)集測試

圖6所示為幾種對照算法和本文算法在Indian Pines數(shù)據(jù)集的分類結(jié)果,從圖6(b)中可以看出SVM方法錯分、誤分類現(xiàn)象嚴(yán)重,出現(xiàn)了很多的噪點(diǎn),說明了在本文算法中進(jìn)行濾波處理的必要性,其好處是在減少數(shù)據(jù)量的同時,也降低了誤分類現(xiàn)象出現(xiàn)的概率,本文算法中的分類結(jié)果(圖6(h))中誤分類的情況大大減少,整體分類效果優(yōu)于其他同類算法。

(a) 地面真值 (b) SVM (c) PCA (d) LDA

表1中給出了6種對照算法分別在3種分類精度評價指標(biāo)上的數(shù)據(jù)對比,其中,PCA和LDA方法僅僅提取了光譜信息,因此在分類精度有限,S3-PCA由于是在SuperPCA方法的基礎(chǔ)上提取了全局特征,因此精度有所提升。BG-superPCA方法是在superPCA基礎(chǔ)上將初始圖像的波段進(jìn)行分組,原因是考慮到相鄰波段之間擁有相似的信息,聚合波段在一定程度上減少了冗余小噪聲的干擾,但其精度依賴超像素數(shù)目,隨機(jī)超像素數(shù)目下表現(xiàn)略差。本文提出的方法在增加了紋理特征的同時,采用RF方法去除了細(xì)小的噪聲,因此在3個精度評價指標(biāo)上較其他算法均有明顯提升。其中,Kappa系數(shù)較最高的S3-PCA方法提高了3.55百分點(diǎn),AA提高了2.24百分點(diǎn)。

表1 Indian Pines 數(shù)據(jù)集分類精度對比

2.2.2 University of Pavia數(shù)據(jù)集測試

圖7為在University of Pavia數(shù)據(jù)集中的實驗分布結(jié)果,可以看到雖然該數(shù)據(jù)集包含的細(xì)節(jié)較多,本文提出算法的分類精度仍優(yōu)于其他算法,這是因為與其他方法相比,本文算法綜合考慮了HSI中固有的低維特征,使用EMAP方法保留了邊緣地物的輪廓細(xì)節(jié)信息,對比算法中的各個分類精度也在表2中給出。由表2可見,本文方法在此數(shù)據(jù)集中在3種分類評價指標(biāo)上依然保持優(yōu)勢,Kappa系數(shù)較SVM方法提高了14.23百分點(diǎn)。

表2 University of Pavia 數(shù)據(jù)集分類精度對比

(a) truth (b) SVM (c) PCA (d) LDA

2.3 參數(shù)變化對比

本節(jié)實驗測試不同訓(xùn)練集比例對3種分類精度的影響,測試分別在2個數(shù)據(jù)集上進(jìn)行,數(shù)據(jù)集比例分別設(shè)置從5%～40%,間隔5百分點(diǎn),測試3個分類精度的變化。圖8為在2個數(shù)據(jù)集中,3種分類精度隨訓(xùn)練集比例增加的變化圖。當(dāng)訓(xùn)練集比例均從1%逐漸增加至40%時,3種分類精度均在提高,驗證了本文方法的有效性。

(a) Indian Pines (b) University of Pavia

圖9為在2個數(shù)據(jù)集中,以10%訓(xùn)練集,進(jìn)行測試Kappa系數(shù)隨超像素的數(shù)目變化,可以看出,超像素數(shù)目的增加會對Kappa系數(shù)造成一定的影響,即有輕微的下降趨勢,但總體來看,在超像素數(shù)目很高時,2個數(shù)據(jù)集中的Kappa系數(shù)依然有令人滿意的表現(xiàn),這是因為EMAP方法彌補(bǔ)了由于超像素過高導(dǎo)致圖像過分解時的缺陷,說明了本文算法能夠很好地減少對超像素參數(shù)的依賴性。

圖9 Kappa系數(shù)隨超像素數(shù)目變化圖

2.4 消融實驗分析

為了全方位驗證本文方法的有效性,在本節(jié)中,分別在Indian Pines數(shù)據(jù)集中將EMAP特征、光譜學(xué)RF、超像素特征這3種步驟去除,將訓(xùn)練集逐漸增加至40%,觀察Kappa精度的變化,來測試每一個步驟的必要性。

圖10可以看出,當(dāng)去掉超像素特征時獲得的Kappa精度最低,精度較完整方法下降了約10百分點(diǎn),可見對高光譜圖像進(jìn)行局部特征提取的必要性。不疊加EMAP特征時獲得較高的精度,去掉RF步驟的效果次之。但是均未達(dá)到完整方法的效果,驗證了疊加EMAP特征為提取紋理特征時起到了積極的效果。綜合來看,去掉任何一個步驟時,都不能達(dá)到完整算法所達(dá)到的效果,本文提出算法的每一個步驟均對特征提取過程起到了積極作用,每一個步驟都缺一不可。

圖10 Indian Pines數(shù)據(jù)集消融試驗分析

3 結(jié)論

本文提出了一種基于像素和超像素互補(bǔ)信息自適應(yīng)融合的HSI分類框架。基于超像素的降維方法,采用分而治之的策略,提取了HSI固有的低維特征; 使用EMAP方法從像素級層面提取特征,達(dá)到像素級和超像素級信息的互補(bǔ); 同時使用了RF方法去除融合信息的冗余; 最后采用SVM方法確定最后的分類標(biāo)簽。

在2個公開的高光譜數(shù)據(jù)集上進(jìn)行了實驗驗證,與現(xiàn)有的幾種分類方法相比,該分類方法在3種分類精度上均有明顯的優(yōu)勢。更重要的是,該方法可以分別從像素級和超像素級層面提取特征,充分提取HSI的內(nèi)部信息,在保留局部特征的同時聯(lián)系全局特征。減少了在基于超像素分割方法中對分割參數(shù)的依賴性。

在今后的研究工作中,筆者將著眼于更適合超像素級特征和像素級特征的融合方法,從而更好地適應(yīng)實際應(yīng)用。