基于獨(dú)立分量分析和相關(guān)向量機(jī)的高光譜數(shù)據(jù)分類

摘 要:提出一種獨(dú)立分量分析(ICA)和相關(guān)向量機(jī)(RVM)相結(jié)合的高光譜數(shù)據(jù)分類方法，首先采用虛擬維數(shù)方法對(duì)高光譜數(shù)據(jù)維數(shù)進(jìn)行估計(jì)，在此基礎(chǔ)上，采用獨(dú)立分量分析對(duì)數(shù)據(jù)進(jìn)行降維，然后采用相關(guān)向量機(jī)對(duì)降維后的數(shù)據(jù)分類。計(jì)算機(jī)仿真實(shí)驗(yàn)結(jié)果表明，該方法在獲得較高分類精度的同時(shí)大大節(jié)省了分類時(shí)間。

關(guān)鍵詞:高光譜數(shù)據(jù)分類; 虛擬維數(shù); 獨(dú)立分量分析; 相關(guān)向量機(jī)

中圖分類號(hào):TP18 文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1004-373X(2010)13-0123-04

Classification for Hyperspectral Data Based on Independent Component

Analysis and Relevance Vector Machine

YIN Yue-meng，F(xiàn)ENG Yan，LIU Meng-meng

(School of Electronics and Information， Northwestern Polytechnical University， Xi’an 710072， China)

Abstract: A hyperspectral data classification method of combining the independent component analysis(ICA) and relevance vector machine(RVM) is put forward. A method named virtual dimension(VD) is introduced to estimate the dimension of hyperspectral data. On this basis， ICA is used to reduce the dimension， and then RVM is used to classify the data whose dimension has been reduced. The computer simulation results show that the method achieves a high accuracy classification and greatly reduce the classification time.

Keywords: hyperspectral data classification; virtual dimension; independent component analysis; relevance vector machine

0 引 言

高光譜遙感數(shù)據(jù)一般包含幾十個(gè)甚至幾百個(gè)波段，為研究人員提供了關(guān)于地物更細(xì)致的光譜信息，但同時(shí)給遙感數(shù)據(jù)的處理、存儲(chǔ)和傳輸帶來(lái)過(guò)重負(fù)擔(dān)，因此利用其波段間存在大量冗余的特點(diǎn)對(duì)其進(jìn)行降維是十分必要的。

降維的主要方法有主成分分析(Principal Components Analysis，PCA)和獨(dú)立分量分析(Independent Component Analysis，ICA)。前者是把高光譜數(shù)據(jù)的方差和信噪比作為測(cè)量數(shù)據(jù)二階統(tǒng)計(jì)特性的標(biāo)準(zhǔn)，采用計(jì)算特征值累積的方法確定它們占總能量的百分比以決定維數(shù)。這個(gè)過(guò)程存在的問(wèn)題就是一些小目標(biāo)對(duì)SNR或者主分量貢獻(xiàn)甚微，但卻對(duì)圖像理解有至關(guān)重要的影響。ICA是利用統(tǒng)計(jì)獨(dú)立作為目標(biāo)來(lái)分離獨(dú)立分量的信號(hào)分解技術(shù)，有利于小目標(biāo)、小類別信息的保留，并且獨(dú)立分量與高光譜數(shù)據(jù)中存在的特征是有聯(lián)系的[1]。與PCA相比，ICA利用了觀測(cè)數(shù)據(jù)的高階統(tǒng)計(jì)信息，可以保護(hù)二階統(tǒng)計(jì)量降維容易丟失的數(shù)據(jù)特征，從而更有利于高光譜數(shù)據(jù)的分析處理[2]。A.Hyvarinen和E.Oja提出了獨(dú)立分量分析的基于固定點(diǎn)算法(Fixed-point)的FastICA算法[3]，F(xiàn)astICA算法的目標(biāo)函數(shù)是基于非高斯性度量的負(fù)熵或者峰度，每次只提取一個(gè)分量，使得算法的計(jì)算效率大為提高，是ICA的一種快速算法。

在機(jī)器學(xué)習(xí)領(lǐng)域，支持向量機(jī)(Support Vector Machine，SVM)在解決分類及在線學(xué)習(xí)等方面取得了很大突破，F(xiàn)arid Melgani運(yùn)用SVM實(shí)現(xiàn)了高光譜數(shù)據(jù)的分類，并提出了4種多類數(shù)據(jù)分類方法[4]，Smits G F提出了混合核函數(shù)應(yīng)用在支持向量機(jī)中，使其性能大大提高[5]，鹿曉亮等對(duì)傳統(tǒng)的支持向量機(jī)方法進(jìn)行改進(jìn)，克服了“不可分區(qū)域”的影響[6]。但是SVM仍具有明顯缺陷，如SVM必須估計(jì)邊緣懲罰參數(shù)C、非敏感參數(shù)ε、核參數(shù)，這通常要求交叉驗(yàn)證程序，浪費(fèi)時(shí)間和數(shù)據(jù)計(jì)算:SVM的核函數(shù)必須滿足Mercer條件，即必須為連續(xù)的對(duì)稱正定核。而Tipping提出的相關(guān)向量機(jī)(Relevance Vector Machine，RVM)[7]是基于稀疏貝葉斯學(xué)習(xí)方法，它的核函數(shù)不需要滿足Mercer條件，具有和SVM相近性能的同時(shí)大大縮短了分類時(shí)間。

本文提出了一種ICA和RVM相結(jié)合的高光譜數(shù)據(jù)分類方法，首先采用虛擬維數(shù)方法對(duì)高光譜數(shù)據(jù)維數(shù)進(jìn)行估計(jì)，在此基礎(chǔ)上，利用ICA對(duì)數(shù)據(jù)進(jìn)行降維，然后采用RVM對(duì)降維后的數(shù)據(jù)分類。

1 維數(shù)確定

用ICA進(jìn)行降維，維數(shù)的確定引起了許多學(xué)者的注意。由于高光譜數(shù)據(jù)具有很高的譜間分辨率，許多尚未定性的未知信號(hào)出現(xiàn)在數(shù)據(jù)中，這些信號(hào)的譜向特征都無(wú)法用已有特征來(lái)定義。同時(shí)，干擾信號(hào)出現(xiàn)的概率大大提高，給數(shù)據(jù)維數(shù)的確定帶來(lái)很大困難[8]。

本文采用Chang提出的虛擬維數(shù)(Virtual Dimension，VD)[9]的估計(jì)方法對(duì)數(shù)據(jù)維數(shù)進(jìn)行界定，其原理如下:

首先計(jì)算取樣的相關(guān)陣和方差陣，分別記為R和K。對(duì)R和K做特征值分解，特征值分別記為相關(guān)特征值{1≥2≥…≥L}和方差特征值{λ1≥λ2≥…≥λL}。假定信號(hào)源是未知正常量，噪聲為零均值高斯噪聲。VD問(wèn)題轉(zhuǎn)化為二元假設(shè)問(wèn)題:

H0:zl=l-λl=0，

H1:zl=l-λl>0，

l=1，2，…，L

(1)

若H1為真，則認(rèn)為存在一個(gè)端元對(duì)相關(guān)特征值做出了貢獻(xiàn)，反之則認(rèn)為僅有噪聲成分。在該二元假設(shè)下，可以將每一個(gè)特征值l，λl看成服從以下條件概率密度的隨機(jī)變量:

p0(zl)=p(zl|H0)N(0，σ2zl)

p1(zl)=p(zl|H1)N(μl，σ2zl)

(2)

式中:l=1，2，…，L;

σ2zl=Var[l-λl]=Var[l]+Var[λl]-2Cov(l，λl)

(3)

根據(jù)式(2)和式(3)，定義檢測(cè)概率和虛警概率:

PD=∫∞τlp1(z)dz

(4)

PF=∫∞τlp0(z)dz

(5)

在給定一個(gè)虛警概率的情況下，τl被確定，既若l-λl>τl，則判定有一個(gè)信號(hào)能量對(duì)該特征值做出貢獻(xiàn)。對(duì)l=1，2，…，L分別確定τl，最終確定虛擬維數(shù)VD。

2 獨(dú)立分量分析

2.1 問(wèn)題描述

設(shè)X=[x1，x2，…，xn]是用n個(gè)傳感器列陣獲得的n維觀測(cè)信號(hào)，S=[s1，s2，…，sm]是產(chǎn)生觀測(cè)信號(hào)的m個(gè)相互統(tǒng)計(jì)獨(dú)立的源信號(hào)，且觀測(cè)信號(hào)X是源信號(hào)S經(jīng)過(guò)線性混合而產(chǎn)生的，可用式(6)表示:

x1x2xn=

a11a12…a1m

a21a22…a2m



an1an2…anm

s1s2smX=AS

(6)

ICA算法的目的就是在混合矩陣A和源信號(hào)S未知的情況下，僅利用源信號(hào)間是統(tǒng)計(jì)獨(dú)立的這一假設(shè)，尋找一個(gè)線性交換矩陣W(又稱解混矩陣)對(duì)X進(jìn)行線性變換，得n維輸出向量Y，使Y盡可能地逼近信號(hào)成為對(duì)獨(dú)立分量S的一個(gè)估計(jì)，即Y=WTX=WTAS=S，可用圖1表示。

圖1 ICA模型

2.2 快速獨(dú)立分量分析(FastICA)

FastICA算法是通過(guò)隨機(jī)梯度法調(diào)節(jié)分離矩陣W來(lái)達(dá)到優(yōu)化目的。該算法可采用式的負(fù)熵最大判斷進(jìn)行迭代處理，其迭代公式為:

Wi(k)=Wi(k)‖Wi(k)‖ExiG(WTi(k)xi)-

EG′(WTi(k)xi)Wi(k)

(7)

式中:Wi(k)為k次迭代后矩陣W中與第i個(gè)源信號(hào)相對(duì)應(yīng)的某一行向量，當(dāng)相鄰兩次Wi(k)無(wú)變化或變化很小時(shí)，即可認(rèn)為迭代過(guò)程結(jié)束。所要注意的是，每次迭代后都要對(duì)Wi(k)進(jìn)行處理，以確保分離的結(jié)果具有單位能量。

對(duì)于多個(gè)獨(dú)立分量的分離，可重復(fù)上述過(guò)程，但每提出一個(gè)分量后要從混合信號(hào)中減去這一獨(dú)立分量，如此重復(fù)，直至所有的獨(dú)立成分全部分離出來(lái)。具體算法步驟如下[10]:

(1) 把原始數(shù)據(jù)去均值，再白化，得X;

(2) 設(shè)定需要保留的維數(shù)m，令i=1;

(3) 初始化Wi(0)，令‖Wi(0)‖=1;

(4) 利用公式(7)進(jìn)行迭代;



Wi(k)=Wi(k)‖Wi(k)‖ExiG(WTt(k)xi)-EG′(WTi(k)xi)Wi(k);

(5) 正交化:

Wi(k+1)=Wi(k+1)-∑kj=1Wi(k+1)WjWj

(8)

(6) 歸一化:



Wi(k+1)=Wi(k+1)/WTi(k+1)Wi(k+1)

(9)

(7) 如果Wi未收斂，即Wi(k+1)TWi(k)→1不成立，則回到步驟(4);

(8) 令i加1，如i≤m，則回到步驟(3)，否則工作完成。

3 相關(guān)向量機(jī)

3.1 RVM基本原理

在RVM回歸和分類中，需要求解一個(gè)優(yōu)化問(wèn)題，即對(duì)式:

L=p(t|α，σ2)=∫p(t|w，σ2)p(w|α)dw

(10)

求Ⅱ型最大似然，數(shù)值求解αMP，σ2MP。從而可以做出預(yù)測(cè):

p(t*|t，αMP，σ2MP)=∫p(t*|w，σ2MP)p(w|t，αMP，σ2MP)dw

(11)

可以采用Mackay提出的方法[11-12]求αMP，σ2MP，流程如下:

對(duì)當(dāng)前的α，σ2 值，求w的后驗(yàn)分布，即:



p(w|t，α，σ2)=p(t|w，σ2)p(wα)/p(t|α，σ2)

(12)

迭代更新公式為:

αnewi=γiμ2i， (σ2)new=‖t-Φμ‖2N-∑iγi

(13)

式中:γi=1-αiNii。

如果滿足終止條件則終止迭代，否則返回繼續(xù)執(zhí)行。

在上述過(guò)程中求w的后驗(yàn)分布是較關(guān)鍵的一步，在RVM分類問(wèn)題中，式(12)不可求(因?yàn)楠(t|w)不再是正態(tài)分布)。可以采用Laplace方法，得到近似分布w~N(μ，Σ)=N(wMP，Σ)。

3.2 RVM二類分類

RVM分類的基礎(chǔ)是二類分類，確定輸入與輸出的基本模型為:

y(xn;w)=∑Nn=1wi#8226;K(xn，xi)

(14)

式中:w為待定的權(quán)值;K為核函數(shù)。

通過(guò)對(duì)輸出y施加一個(gè)連續(xù)函數(shù)得到輸入xn屬于其中一類的后驗(yàn)概率。



tn=σ(y(xn;w))=1/[ 1+exp(-y(xn;w))]

(15)

設(shè)輸出t服從貝努力二項(xiàng)分布，即:

p(t|w)=∏Nn=1σ(y(xn;w))tn[1-σ(y(xn，w))]1-tn

(16)

由于p(w|t，α)∝p(t|w)p(w|α)，故求式(10)的最大似然，等價(jià)于求下式的最大似然:

log{p(t|w)p(w|α)}

(17)

對(duì)當(dāng)前α，σ2值，利用最小均方迭代法(Iterates Re-weighter Least Squares，IRLS)可求wMP。即:

wr+1=wr-(E[ H] )-1w

(18)

式中:H為海森矩陣。

H=-(ΦTBΦT+A)

(19)

w=ΦTE-AW

(20)

式中:Φ為設(shè)計(jì)矩陣，Φ=(φij)N×N，φij=K(xi，xj);

B=diag(β1，β2，…，βN)，βn=σ(y(xn，w))(1-σ(y(xn;w)));

A=diag(α1，α2，…，αN)，αn為wn對(duì)應(yīng)的超參數(shù);

E=(e1，e2，…，eN)T，en=tn-y(xn;w)

。

利用w|wMP=0，可得收斂時(shí)Σ=(-H)-1，wMP=ΣΦTBt。

其二類分類的具體算法步驟如下:

(1) 初始化α，σ2;

(2) 計(jì)算后驗(yàn)分布p(w|t，α)的方差矩陣估計(jì)值Σ=(-H)-1=(ΦTBΦT+A)-1;

(3) 對(duì)于給定的α和Σ，用式(18)重新估計(jì)wMP;

(4) 利用式(13)更新α，σ2;

(5) 如果α收斂則終止，否則返回步驟(2)。

3.3 RVM多類分類

在機(jī)器學(xué)習(xí)中，人們可以采用一對(duì)一(one-vs-one)和一對(duì)多(one-vs-rest)這兩種方式來(lái)構(gòu)建多分類器，一對(duì)多方式存在人們所熟知的“1 position”問(wèn)題，一對(duì)一方式雖然需要訓(xùn)練較多的二分類器，耗時(shí)較長(zhǎng)，但是可以獲得更好的性能[13]。本文通過(guò)一對(duì)一方式來(lái)構(gòu)建多分類RVM，多分類RVM的實(shí)現(xiàn)框圖見圖2。在一對(duì)一方式中，每?jī)深悢?shù)據(jù)都訓(xùn)練一個(gè)二分類RVM，因此(n-1)#8226;n/2個(gè)分類RVM模塊被用來(lái)處理n個(gè)類的問(wèn)題，RVM(i，j)表示類i和類j所對(duì)應(yīng)的二分類器。當(dāng)需要對(duì)于一個(gè)新的待檢驗(yàn)?zāi)Ｊ竭M(jìn)行分類時(shí)，每個(gè)二分類器對(duì)它的隸屬的類別進(jìn)行投票，該檢驗(yàn)?zāi)Ｊ綄儆诘闷弊疃嗟念悺?/p>

圖2 RVM多類分類框圖

4 實(shí) 驗(yàn)

本文采用實(shí)驗(yàn)數(shù)據(jù)為220波段AVIRIS高光譜數(shù)據(jù)，經(jīng)過(guò)觀察，去掉了噪聲較大的30個(gè)波段，使用剩下的190個(gè)波段作為待分類的數(shù)據(jù)。根據(jù)對(duì)應(yīng)的GIS數(shù)據(jù)，該地區(qū)包含了10種地物，圖3給出了該數(shù)據(jù)第20波段圖，它包含了農(nóng)作物和森林植被的混合區(qū)，以及少量的人工地物。

首先用上文給出的方法進(jìn)行虛擬維數(shù)估計(jì)，圖4給出了特征值差分與閾值曲線，其中實(shí)點(diǎn)表示特征值差分，直線表示閾值。從圖4中可以看出，共有17個(gè)實(shí)心點(diǎn)在直線上方，即有17個(gè)端元對(duì)特征值有貢獻(xiàn)，所以選擇降維后的高光譜數(shù)據(jù)維數(shù)為17。

圖3 第20波段圖

圖4 虛擬維數(shù)估計(jì)圖

然后采用獨(dú)立分量分析提取17個(gè)獨(dú)立分量，即保留17維數(shù)據(jù)，得到了17×9 319的降維之后的數(shù)據(jù)，選取其中2 326個(gè)樣本作為RVM的訓(xùn)練樣本，剩下的6 993個(gè)樣本作為測(cè)試樣本，RVM分類器使用Guass核函數(shù)。分類實(shí)驗(yàn)結(jié)果如表1所示，為了便于比較，表1也給出了SVM分類結(jié)果，SVM分類器使用可以獲得較高分類精度的RBF核函數(shù)，選取了49對(duì)參數(shù)組合用以獲得最佳參數(shù)，分別為C=[0.1，1，10，100，200，1 000，2 000]，ε=[0.01，0.1，1，1.5，2，2.5，3]，最后取效果最好的一組參數(shù)進(jìn)行分類。

由表1中可以看出，分類精度方面，對(duì)于訓(xùn)練樣本集，RVM為85.34%比SVM的84.42%稍有提高，用測(cè)試樣本進(jìn)行測(cè)試時(shí)，RVM為8409%，比SVM的7627%提高了將近8%。與此同時(shí)分類時(shí)間節(jié)省了(759-570)/759=24.9%。

表1 RVM和SVM的分類結(jié)果比較

地物類別

SVM分類精度 /% RVM分類精度 /%

訓(xùn)練樣本測(cè)試樣本訓(xùn)練樣本測(cè)試樣本

182.7658.6784.4859.27

272.6470.4291.5882.49

388.6189.4395.0894.35

486.2185.6689.0191.61

593.3692.5495.0897.27

665.3566.0369.3067.53

790.1272.8696.4377.11

897.5279.7999.3892.74

990.4986.3695.45100

1069.1064.3282.7678.53

總體分類精度84.4276.2785.3484.09

總體分類時(shí)間 /s759570

5 結(jié) 語(yǔ)

在用虛擬維數(shù)進(jìn)行維數(shù)估計(jì)的基礎(chǔ)上，將ICA和RVM結(jié)合對(duì)高光譜數(shù)據(jù)進(jìn)行降維和分類，在與SVM分類結(jié)果的對(duì)比中，分類精度稍有提高的同時(shí)，分類時(shí)間大大減少，這主要是由于SVM需要反復(fù)調(diào)整尋求最佳參數(shù)，而RVM無(wú)需此過(guò)程。但是RVM算法的缺陷是運(yùn)行時(shí)間會(huì)隨著分類數(shù)的增加而快速增加，如果能優(yōu)化RVM算法克服此缺點(diǎn)，將會(huì)在此基礎(chǔ)上再次減少分類時(shí)間，這也是以后工作中將要研究的主要內(nèi)容。

參考文獻(xiàn)

[1]ROBILA S A， VARSHNEY P K. A fast sorce separation algorithm for hyperspectral image processing[ J] . IEEE International Conference on Geoscience and Remote Sensing，2002， 6: 3516-3518.

[2]馮燕，何明，宋江紅，等.基于獨(dú)立成分分析的高光譜圖像數(shù)據(jù)降維及壓縮[ J] .電子與信息學(xué)報(bào)，2007(12):2872-2875.

[3]HYVARIEN A， OJA E. A fast fixed-point for independent component analysis[J]. Neural Computation， 1997， 9(7): 1483-1492.

[4]MELGANI Farid， BRUZZONE Lozenzo. Classification of hyperspectral remote sensing images with support vector machine[ J] . IEEE International Conference on Geoscience and Remote Sensing，2004， 8(42): 1778-1790.

[5]SMITS G F， JORDAN E M. Improve SVM regression using mixtures of kernels[C]//Processing of the 2002 International Joint Conference on Neural Networks. Hawaii: IEEE， 2002: 2785-2790.

[6]鹿曉亮，陳繼榮，黃戈祥.ICA和改進(jìn)的SVM在有限集字符識(shí)別中的應(yīng)用[ J] .計(jì)算機(jī)工程，2006(12):199-204.

[7]TIPPING M E. Sparse Bayesian learning and relevance vector machine[ J] . Mach.Learn RES， 2001(1): 211-244.

[8]蘇令華，衣同勝，萬(wàn)建偉.基于獨(dú)立分量分析的高光譜圖像壓縮[ J] .光子學(xué)報(bào)，2008(5):974-976.

[9]CHANG C I， DU Qian. Estimation of number of spectrally distinct signal sources in hyperspectral imagery[ J] . IEEE Trans.on Geoscience and Remote Sensing， 2004， 3(42): 608-619.

[10]WANG Xiang-tao， FENG Yan. New method based on support vector machine in classification for hyperspectral data[ J] . International Symposium on Computational Intelligence and Design， 2008(1): 76-80.

[11]MACKAY D J C. Bayesian Interpolation[J].Journal of Machine Learning Research， 2003， 1: 211-244.

[12]MACKAY D J C. Comparison of approximate methods for handling hyperparameters[J]. Neural Computation， 1999， 11(5): 1035-1068.

[13]章文，劉娟.基于相關(guān)向量機(jī)的多類蛋白質(zhì)折疊識(shí)別[ J] .武漢大學(xué)學(xué)報(bào):理學(xué)版，2008(6):353-356.

[14]WANG J， CHANG C I. Dimensionality reduction by independent component analysis for hyperspectral image analysis[C]// IEEE Int. Geosci. Remote Sens. Symp.， Seoul: IEEE， 2005: 67-71.