新型高光譜圖像的超分辨率制圖方法

王群明，王立國，劉丹鳳，王正艷

(哈爾濱工程大學(xué)信息與通信工程學(xué)院，150001 哈爾濱)

新型高光譜圖像的超分辨率制圖方法

王群明，王立國，劉丹鳳，王正艷

(哈爾濱工程大學(xué)信息與通信工程學(xué)院，150001 哈爾濱)

由于高光譜圖像的應(yīng)用在很大程度上受限于其較低的空間分辨率，為此提出了一種結(jié)合支持向量機(jī)和小波變換的高光譜圖像超分辨率制圖方法.先對高光譜圖像進(jìn)行光譜解混得到分量圖，然后對分量圖進(jìn)行一級小波分解.各局域窗內(nèi)中心像元的3個(gè)高頻系數(shù)與鄰域像元低頻系數(shù)之間的對應(yīng)關(guān)系表示為訓(xùn)練樣本，用于支持向量機(jī)的學(xué)習(xí).訓(xùn)練好的模型用來對低分辨率圖像即分量圖進(jìn)行超分辨率制圖.實(shí)驗(yàn)表明，這種借助小波變換來獲取訓(xùn)練樣本的學(xué)習(xí)方法無需先驗(yàn)信息，相比采用BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法，支持向量機(jī)的超分辨率制圖效果更佳.

高光譜圖像;超分辨率制圖;小波變換;支持向量機(jī)

高光譜圖像(Hyperspectral imagery，HSI)的光譜分辨率很高，但空間分辨率較低，混合像元普遍存在，這給其相應(yīng)的應(yīng)用帶來了極大的困難.為提高HSI空間分辨率，可以從硬件途徑或采用圖像處理技術(shù)等.硬件上主要是通過減小感光元件尺寸、增加像元密度和采樣頻率，但由于造價(jià)昂貴使得這一途徑難以實(shí)現(xiàn).因此采用圖像處理技術(shù)提高HSI的空間分辨率已成為遙感領(lǐng)域非常活躍的課題.

鑒于HSI的高光譜分辨率特性，自20世紀(jì)90年代以來，大量學(xué)者開展了關(guān)于光譜解混［1］(簡稱為解混)方法的研究.這推動(dòng)了對解混分量圖的超分辨率制圖技術(shù)的發(fā)展.文獻(xiàn)［2］利用高分辨率的圖像來銳化低分辨圖像即解混分量圖.文獻(xiàn)［3］通過融合高分辨率圖像來獲得超分辨率結(jié)果.文獻(xiàn)［2］和［3］中均需附加的高分辨圖像.Atkinson［4］所提出的空間相關(guān)性理論假定像元內(nèi)地物分布與鄰域像元密切相關(guān).以此理論為基礎(chǔ)，文獻(xiàn)［5－6］采用Hopfield神經(jīng)網(wǎng)絡(luò)(HNN)模型作為能量工具，對輸出的神經(jīng)元采用約束能量最小的原則求解超分辨率結(jié)果.但該方法需大量的迭代求解時(shí)間.針對這一不足，文獻(xiàn)［7］通過高分辨率圖像來學(xué)習(xí)混合像元內(nèi)地物分布與鄰域像元內(nèi)各類分量值之間的對應(yīng)關(guān)系，來訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)(BPNN)，訓(xùn)練好的網(wǎng)絡(luò)便可快速地用于實(shí)現(xiàn)解混分量圖的超分辨率制圖.文獻(xiàn)［8］對高分辨圖進(jìn)行小波分解，用BPNN學(xué)習(xí)小波分解后局域窗內(nèi)中心像元的3個(gè)高頻系數(shù)與鄰域像元低頻系數(shù)之間的對應(yīng)關(guān)系，訓(xùn)練好的網(wǎng)絡(luò)用于預(yù)測低分辨率圖的小波系數(shù)，進(jìn)而獲得超分辨率結(jié)果.同樣，文獻(xiàn)［8］和［9］亦需附加的高分辨圖來構(gòu)建訓(xùn)練樣本，而這些先驗(yàn)信息在實(shí)際應(yīng)用中一般是很難獲取的，這在一定程度上限制了這些方法的應(yīng)用.

然而對于小波變換而言，不同尺度之間的高頻系數(shù)和低頻系數(shù)均存在著明顯聯(lián)系［9－10］.大尺度下低頻系數(shù)與3個(gè)高頻系數(shù)之間的對應(yīng)關(guān)系可用來描述小尺度下的這種關(guān)系.根據(jù)這一特點(diǎn)，本文對低分辨率圖進(jìn)行一級小波分解，將這種對應(yīng)關(guān)系表示為訓(xùn)練樣本，利用低分辨率圖自身的空間信息，消除對先驗(yàn)信息的依賴.此外，由于BPNN模型具有以下缺點(diǎn):1)模型預(yù)測準(zhǔn)確度與初始化網(wǎng)絡(luò)權(quán)值有關(guān)，而隨機(jī)的初始化使得輸出具有不確定性;2)收斂速度偏慢，而且極易陷入局部最優(yōu);3)模型的訓(xùn)練效果依賴于大量的訓(xùn)練樣本，而這些樣本在實(shí)際應(yīng)用中很難充分獲取.為此，本文采用對高維度、小樣本、非線性等模式識別問題具有高性能學(xué)習(xí)能力的支持向量機(jī)(support vector machine，SVM)［11］來進(jìn)行學(xué)習(xí)，以獲得更佳的超分辨率制圖效果.

1 原理與方法描述

1.1 基于小波變換的訓(xùn)練樣本提取

二維圖像的小波分解是采用小波變換將1幅圖像分解成1幅低頻圖像和3幅高頻圖像.設(shè)Fj表示經(jīng)j層小波分解后的低頻圖，F(xiàn)j經(jīng)j+1層分解后的低頻成分為Fj+1，三幅高頻圖即水平、垂直和對角方向分為Hj+1、Vj+1和Dj+1.圖1為小波分解示意圖.有關(guān)小波變換的具體原理可參考文獻(xiàn)［9］.

圖1 二維圖像小波分解示意

由于圖像經(jīng)Haar小波分解后得到的低頻成分等于該圖經(jīng)均值濾波器重采樣后所得的低分辨率圖，因而，Haar小波建立了低頻成分和解混分量圖之間的聯(lián)系.本文采用Haar小波對解混分量圖F0進(jìn)行一級小波分解，得到4個(gè)小尺度的成分F1、H1、V1和 D1，用來構(gòu)造三組不同的訓(xùn)練樣本，它們有著相同的輸入I.根據(jù)空間相關(guān)性理論假定的像元內(nèi)地物分布與鄰域像元密切相關(guān)，I可表示為下式:

在小波變換中，不同尺度之間的高頻系數(shù)和低頻系數(shù)均存在著明顯聯(lián)系［9-10］.大尺度下局域窗內(nèi)鄰域像元的低頻系數(shù)與中心像元的3個(gè)高頻系數(shù)之間的對應(yīng)關(guān)系和小尺度下的相似.這樣，從分量圖F0所獲取的大尺度下的訓(xùn)練樣本可用于預(yù)測自身(大尺度)的3個(gè)高頻部分H0、V0和D0，再經(jīng)小波合成便能得到F0的高分辨率結(jié)果.可以看到，訓(xùn)練樣本數(shù)據(jù)均源自解混分量圖F0的小波變換，挖掘了低分辨率圖自身的空間信息，無需其它先驗(yàn)信息.

1.2 基于SVM的超分辨率制圖

在獲得訓(xùn)練樣本后，可用于智能學(xué)習(xí)機(jī)的學(xué)習(xí).SVM能夠有效處理高維度、小樣本、非線性等模式識別問題，關(guān)于其優(yōu)良的學(xué)習(xí)能力已不乏大量的文獻(xiàn)敘述，本文使用SVM來進(jìn)行學(xué)習(xí).有關(guān)SVM理論的介紹可參考文獻(xiàn)［11－12］，此處重點(diǎn)敘述基于SVM的超分辨率制圖方法.

三組訓(xùn)練樣本用來訓(xùn)練3個(gè)不同的SVM模型，具體如圖2所示.訓(xùn)練好的SVM用來預(yù)測測試樣本的 3 個(gè)輸出高頻成分即水平成分 O、垂直成分 O和對角成分 O.測試樣本輸入 I為

圖2 基于SVM的超分辨率制圖流程

2 仿真實(shí)驗(yàn)和結(jié)果分析

為了驗(yàn)證本文提出的超分辨率制圖方法，進(jìn)行了3組實(shí)驗(yàn).其中，采用BPNN和SVM學(xué)習(xí)方法時(shí)，對樣本進(jìn)行了歸一化處理(如式(1)和(2)).BPNN參數(shù)設(shè)置同文獻(xiàn)［7］，SVM采用高斯核函數(shù)，懲罰因子設(shè)為1 000，核參數(shù)在前兩組實(shí)驗(yàn)中取2，第3組實(shí)驗(yàn)中取1.3.

第1組實(shí)驗(yàn)采用1幅南京市某局部地區(qū)的水體分布圖，如圖3(a)所示.該圖通過對原始彩色圖進(jìn)行最大似然分類后獲得，原彩圖可參考:http://www.ceode.cas.cn/txzs/dxyy/.圖中包括兩個(gè)類別:白色水體目標(biāo)和黑色背景，大小為96×96像元.進(jìn)行2倍的重采樣處理，即每2×2個(gè)像元模糊為1個(gè)低分辨率像元，所得低分辨率圖如圖3(b)所示.可觀察低分辨率圖中目標(biāo)和背景類的交界部分呈現(xiàn)大量的混合像元.采用BPNN和SVM結(jié)合小波變換方法進(jìn)行2倍的超分辨率制圖，所得結(jié)果分別展示于圖3(c)和(d)所示.不難發(fā)現(xiàn)，兩種超分辨率方法的視覺效果均明顯優(yōu)于圖(b)，地物輪廓得到了更為清晰的重現(xiàn)，這也說明了基于小波變換的樣本提取方法是合理可行的.同時(shí)，SVM相比BPNN方法的效果更佳，所得結(jié)果在視覺上最接近于真實(shí)高分辨率圖.

表1給出了各種方法與真實(shí)高分辨率圖之間的均方根誤差(root mean square error，RMSE)和相關(guān)系數(shù)(correlation coefficient，CC)［7］的評價(jià).對比幾項(xiàng)數(shù)據(jù)，發(fā)現(xiàn)BPNN和SVM這兩種超分辨率方法的結(jié)果的相比低分辨率圖有著更高的CC和更低的RMSE，表明兩種方法均在一定程度上提高了分辨率，亦證明了采用小波變換進(jìn)行訓(xùn)練樣本提取的方法的合理性.此外，SVM方法有著最低的RMSE和最高的CC(表1中最下一行數(shù)據(jù))，意味著該方法結(jié)果最接近真實(shí)高分辨率圖，因而從定量分析的角度證明了本文方法的優(yōu)勢.

圖3 實(shí)驗(yàn)一結(jié)果

表1 實(shí)驗(yàn)一各種方法的定量評價(jià)

后兩組實(shí)驗(yàn)對某HSI數(shù)據(jù)進(jìn)行.該HSI為拍攝的圣地亞哥軍事圖像，大小為400×400像元，共126個(gè)波段.圖4展示了由該立方體數(shù)據(jù)的第28、19和10三個(gè)波段合成的偽彩色圖像.此處采用了文獻(xiàn)［7］的實(shí)驗(yàn)方法，整個(gè)流程如圖5所示.先對HSI立方體數(shù)據(jù)進(jìn)行逐波段的重采樣，獲得低分辨率下的HSI數(shù)據(jù)，再對此數(shù)據(jù)進(jìn)行光譜解混［13］與超分辨率制圖，將所得結(jié)果與參考分量圖即高分辨率結(jié)果進(jìn)行對比評價(jià).這樣的處理是為了對各種方法有1個(gè)客觀和定量的比較評價(jià).實(shí)驗(yàn)中的重采樣比例及超分辨率比例均取2.

圖4 由HSI數(shù)據(jù)第28，19和10波段合成的偽彩色圖

圖5 實(shí)驗(yàn)2和實(shí)驗(yàn)3流程

第2組實(shí)驗(yàn)中，選取HSI的左上角某區(qū)域(如圖4中方形標(biāo)注A部分)進(jìn)行實(shí)驗(yàn).該區(qū)域覆蓋兩種地物:沙土和瀝青，區(qū)域大小為100×100像元.圖6(a)和(b)分別展示了兩種地物的參考分量圖和低分辨率分量圖.圖6(c)和(d)則分別展示了BPNN和SVM學(xué)習(xí)方法的超分辨率制圖結(jié)果.通過視覺對比可看出兩種超分辨率制圖方法的有效性，相比圖6(b)，兩種方法的結(jié)果中更多的邊緣細(xì)節(jié)信息得到了顯示，且相比BPNN，SVM方法的結(jié)果中邊緣更為清晰.表2給出了該組實(shí)驗(yàn)中各種方法與參考分量圖之間的RMSE和CC.通過對比，同樣發(fā)現(xiàn)BPNN和SVM兩種超分辨率制圖方法的結(jié)果相比低分辨率圖更接近參考分量圖，且SVM方法的結(jié)果最佳.

圖6 實(shí)驗(yàn)二結(jié)果(左列:沙土;右列:瀝青)

表2 實(shí)驗(yàn)2各種方法的定量評價(jià)

第3組實(shí)驗(yàn)選取中間某區(qū)域(如圖4中方形標(biāo)注B部分)進(jìn)行了實(shí)驗(yàn)，區(qū)域大小為60×60像元.該區(qū)域覆蓋3種地物:水泥、瀝青和沙土.圖7(a)和(b)分別為3種地物的參考分量圖和低分辨率分量圖.圖7(c)和(d)分別為BPNN和SVM方法的超分辨率結(jié)果.通過視覺對比同樣可看出三類地物超分辨結(jié)果中，SVM方法的效果最佳，邊緣細(xì)節(jié)得到了最為清晰的展示，最接近參考分量圖.表3列出了幾種方法的數(shù)據(jù)評價(jià)，通過分析比較，亦能證明SVM方法有著最優(yōu)的效果.此組實(shí)驗(yàn)進(jìn)一步證明了本文方法的合理性及優(yōu)勢所在.

圖7 實(shí)驗(yàn)3結(jié)果(左列:水泥;中列:瀝青;右列:沙土)

表3 實(shí)驗(yàn)3各種方法的定量評價(jià)

3 結(jié)論

本文提出了一種結(jié)合SVM和小波變換的HSI超分辨率制圖技術(shù)，借助小波變換挖掘低分辨率圖自身的空間信息并提取訓(xùn)練樣本，使得無需其他先驗(yàn)信息.利用SVM在學(xué)習(xí)能力上的優(yōu)勢，學(xué)習(xí)訓(xùn)練樣本所描述的信息，并用于低分辨率的分量圖的超分辨率制圖.實(shí)驗(yàn)證明了本文方法的可行性及在精度上的優(yōu)勢.

光譜解混是對HSI光譜信息的挖掘，作為一項(xiàng)前期處理技術(shù)，其效果的好壞直接影響著后期的超分辨率制圖.今后的工作中，一方面研究如何更充分地利用HSI的光譜信息，去提升與完善光譜解混技術(shù);另一方面，更大程度地去挖掘低分辨率圖自身的空間信息，提取更多更合理的訓(xùn)練樣本以用于SVM的訓(xùn)練學(xué)習(xí)之中，獲得更佳的超分辨率制圖效果.

［1］KESHAVA N，MUSTARD J F.Spectral unmixing［J］.IEEE Signal Processing Magazine，2002，19:44 －57.

［2］FOODY G M.Sharpening fuzzy classification output to refine the representation of sub-pixel land cover distribution［J］.International Journal of Remote Sensing，1998，19(13):2593－2599.

［3］GROSS H N，Schott J R.Application of spectral mixture analysis and image fusion techniques for image sharpening［J］.Remote Sensing of Environment，1998，63(2):85 －94.

［4］ATKINSON P M.Innovations in GIS 4［M］.London:Taylor＆ Francis，1997.

［5］TATEM A J，LEWIS H G，ATKINSON P M，et al.Super-resolution target identification from remotely sensed images using a Hopfield neural network［J］.IEEE Transactions on Geoscience and Remote Sensing，2001，39(4):781－796.

［6］LING F，DU Y.Super-resolution land-cover mapping using multiple sub-pixel shifted remotely sensed images［J］.International Journal of Remote Sensing，2010，31(19):5023－5040.

［7］GU Y，ZHANG Y，ZHANG J.Integration of spatialspectral information for resolution enhancement in hyperspectral images［J］.IEEE Transactions on Geoscience and Remote Sensing，2008，46(5):1347－1358.

［8］MERTENS K C，VERBEKE L P C，WESTRA T，et al.Sub-pixel mapping and sub-pixel sharpening using neural network predicted wavelet coefficients［J］.Remote Sensing of Environment，2004，91(2):225 －236.

［9］MALLAT S G，HWANG W L.Singularity detection and processing with wavelets［J］.IEEE Transactions on Information Theory，1992，38(2):1617－1643.

［10］DAI X，GUO Z，ZHANG L，et al.Subpixel mapping on remote sensing imagery using a prediction model combining wavelet transform and radial basis function neural network［J］.Journal of Applied Remote Sensing，2009，3(1):1－15.

［11］VAPNIK V N.The nature of statistical learning theory［M］.New York:Springer Press，NY，1995.

［12］WANG L，JIA X.Integration of soft and hard classification using extended support vector machine［J］.IEEE Geoscience and Remote Sensing Letters，2009，6(3):543－547.

［13］HEINZ D，CHANG C I.Fully constrained least squares linear spectral mixture analysis method for material quantification in hyperspectral im agery［J］.IEEE Transactions on Geoscience and Remote Sensing，2001，39(3):529－545.

(編輯 張 宏)

A novel Super-resolution mapping method for hyperspectral imagery

WANG Qun-ming，WANG Li-guo，LIU Dan-feng，WANG Zheng-yan

(College of Information and Communications Engineering，Harbin Engineering University，150001 Harbin，China)

The application of hyperspectral imagery(HSI)is quite limited to its low spatial resolution.A new method for super-resolution mapping of HSI is proposed using support vector machine(SVM)and wavelet transform.Firstly，spectral unmixing is processed for HSI and the fraction images are obtained.Then the wavelet decomposition is processed on these fraction images.In the local window，the relation between the three high-frequency coefficients of the center pixel and low-frequency coefficients of neighbour pixels are described by training samples，which are used for the learning process of SVM.The trained SVM models are utilized to predict the super-resolution mapping results of the coarse resolution images，i.e.，the fraction images.Experiment results show that using wavelet transform can eliminate the dependence on prior information，and compared with the learning method based on BP neural network，SVM can produce higher accuracy super-resolution mapping results.

hyperspectral imagery(HSI);super-resolution mapping;wavelet transform;support vector machine

TP751

A

0367－6234(2012)07－0092－05

2011－03－23.

國家自然科學(xué)基金資助項(xiàng)目(60802059);教育部博士點(diǎn)新教師基金資助項(xiàng)目(200802171003).

王群明(1988—)，男，碩士研究生;

王立國(1974—)，男，教授，博士生導(dǎo)師.

王群明，wqm11111@126.com.