基于Fisher判別的半監(jiān)督天體光譜數(shù)據(jù)特征降維

盛 英

(太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原030024)

由于空間屬性的存在，天體具有了空間位置和距離的概念，并且相鄰天體之間存在一定的相互作用，天文數(shù)據(jù)之間的關(guān)系極其復(fù)雜。與其它數(shù)據(jù)相比，天文數(shù)據(jù)將以TB甚至PB計(jì)量，巨大的數(shù)據(jù)量和變化范圍給分類帶來很大的困難;天文數(shù)據(jù)的多波段性以及屬性增加極為迅速，從如此高維的空間中提取信息、發(fā)現(xiàn)知識，極易引起維災(zāi)難[1]。數(shù)據(jù)降維能夠把高維數(shù)據(jù)映射到較低維的空間，并且保存原始數(shù)據(jù)的絕大部分信息，有利于天體光譜數(shù)據(jù)的分類、聚類、可視化等。

目前，依據(jù)有無標(biāo)號信息，天體光譜數(shù)據(jù)降維主要分兩類:監(jiān)督降維和無監(jiān)督降維。其中典型的無監(jiān)督降維工作有:覃冬梅、胡占義等提出一種基于主分量分析的恒星光譜快速分類法，通過PCA方法提取恒星光譜的主要主分量，得到降維后的樣本特征點(diǎn)，實(shí)現(xiàn)了最近鄰分類器的快速準(zhǔn)確分類[2];張懷福等利用小波包提取光譜特征，研究了活動天體和非活動天體光譜的分類[3];段福慶等提出了基于Bayes決策的光譜分類，在PCA特征提取的基礎(chǔ)上，利用Bsyes決策實(shí)現(xiàn)光譜分類[4];姜斌等提出了基于二維主分量分析的光譜數(shù)據(jù)降維方法[5]。總之，以PCA、小波變換等為代表的無監(jiān)督降維不足之處是沒有考慮訓(xùn)練樣本中的標(biāo)號信息，僅僅在指定特征向量個數(shù)的前提下，實(shí)現(xiàn)對原始數(shù)據(jù)的最大近似。典型的監(jiān)督降維工作有:趙梅芳等提出了基于K近鄰方法的窄線與寬線活動星系核的自動光譜分類，首先根據(jù)給定的紅移，將光譜移回靜止?fàn)顟B(tài)，然后根據(jù)窄線星系核和寬線星系核分類相關(guān)的特征譜線知識，截取流量，可看作一個有監(jiān)督特征提取的過程[6];李鄉(xiāng)儒等提出了RVM有監(jiān)督特征提取與Seyfert光譜分類[7]，能有效的利用已有的對問題的信念、先驗(yàn)知識、訓(xùn)練數(shù)據(jù)和相應(yīng)的類別信息，證明了對恒星光譜數(shù)據(jù)進(jìn)行監(jiān)督降維分析的可行性;李鄉(xiāng)儒、胡占義等運(yùn)用Fisher判別分析法對光譜數(shù)據(jù)進(jìn)行有監(jiān)督特征提取[8]，有效的融合了訓(xùn)練數(shù)據(jù)的類別信息，具有突出的維數(shù)約簡能力，進(jìn)一步明確了對恒星光譜數(shù)據(jù)進(jìn)行監(jiān)督降維的優(yōu)勢。總之，以RVM和Fisher判別分析為代表的監(jiān)督降維，局限于只利用了一部分標(biāo)號信息，降維的結(jié)果過分?jǐn)M合于標(biāo)號數(shù)據(jù)。另外，在現(xiàn)實(shí)世界中，天體光譜數(shù)據(jù)的標(biāo)號信息很難獲得，這時(shí)傳統(tǒng)的監(jiān)督降維將不能實(shí)行，而無標(biāo)號光譜數(shù)據(jù)獲得較容易，但標(biāo)號信息選擇將在很大程度上影響降維的效果。

分類是天體光譜數(shù)據(jù)分析與處理中的重要研究內(nèi)容之一，由于天體光譜具有高維海量等特點(diǎn)，因此降維是提高天體光譜數(shù)據(jù)自動分類效果的有效手段之一。本文針對天體光譜數(shù)據(jù)無監(jiān)督降維未考慮樣本數(shù)據(jù)的類別信息，有監(jiān)督降維過分?jǐn)M合，以及光譜數(shù)據(jù)標(biāo)號數(shù)據(jù)選擇困難的不足，采用Fisher判別分析處理標(biāo)號數(shù)據(jù)的有監(jiān)督性和PCA處理全局?jǐn)?shù)據(jù)的無監(jiān)督性為啟發(fā)，給出了一種基于Fisher判別分析的半監(jiān)督光譜數(shù)據(jù)降維方法。該方法首先在樣本數(shù)據(jù)中隨機(jī)選取一部分作為標(biāo)號數(shù)據(jù)，另一部分作為無標(biāo)號數(shù)據(jù)，并且引入數(shù)據(jù)對、最近鄰數(shù)據(jù)的處理，有效的克服了標(biāo)號數(shù)據(jù)選擇的困難;其次采用Fisher判別分析和PCA可變動選擇的半監(jiān)督降維，解決了降維過分?jǐn)M合于標(biāo)號數(shù)據(jù)和未考慮數(shù)據(jù)的類別信息的不足，同時(shí)克服了標(biāo)號數(shù)據(jù)選擇的盲目性;最后，實(shí)驗(yàn)證實(shí)了算法的有效性。

1 相關(guān)概念

數(shù)據(jù)降維指通過非線性或線性映射，將數(shù)據(jù)從高維投影到低維空間，獲得高維數(shù)據(jù)的一個有意義的低維表示的過程[9]。設(shè)存在函數(shù):Z=WTx，其中各參數(shù)的定義如下:Z∈Rr(1≤r≤d)W是進(jìn)行線性數(shù)據(jù)降維時(shí)用的轉(zhuǎn)置矩陣，T代表矩陣轉(zhuǎn)置，xi∈Rd(1，2…，n)是 d維的樣本向量，X ∈ Rd×n且 X=(x1∣x2∣xn)是所有樣本數(shù)據(jù)構(gòu)成的矩陣，Z是高維數(shù)據(jù)的低維表示[10]，也是實(shí)現(xiàn)大量復(fù)雜數(shù)據(jù)分析的最終目標(biāo)。

數(shù)據(jù)降維的過程中，通常涉及一系列的優(yōu)化問題，對其中的一種形式分析即:

在公式(1)中，M代表盡量增加的部分，N代表盡量減小的部分，目標(biāo)是實(shí)現(xiàn)W(OPT)的最大化。若是廣義特征值是廣義特征值對應(yīng)的特征向量，公式(1)變?yōu)镸φ=λNφ.廣義特征向量滿足正交性，即，此時(shí)廣義特征值按降序排列，可得到λ1≥λ2≥λ3≥…≥λd，并且廣義特征向量滿足標(biāo)準(zhǔn)化，既φTkNφk=1(k=1，2…，d)。所以 W(OPT)最優(yōu)化問題可通過(φ1|φ2|… |φr))解決[11]，常用公式(2)表示

面對數(shù)據(jù)降維問題時(shí)，經(jīng)常需根據(jù)數(shù)據(jù)的潛在結(jié)構(gòu)特點(diǎn)，成對地處理，因?yàn)閿?shù)據(jù)對能清楚表明數(shù)據(jù)之間的關(guān)系，例如靠近或者遠(yuǎn)離，更重要的是數(shù)據(jù)對能保持樣本數(shù)據(jù)的局部結(jié)構(gòu)[12]，設(shè)Q是n×n的矩陣，F(xiàn)是n×n的對角矩陣，公式表示如下:

PCA是建立在K-L變換的基礎(chǔ)上，采用大本征值對應(yīng)的本征向量構(gòu)成變換矩陣，保留樣本數(shù)據(jù)中方差最大的數(shù)據(jù)分量，主要目標(biāo)是把很多變量轉(zhuǎn)換成較少的幾個變量[13]。如果用數(shù)據(jù)成對表達(dá)式(3)描述PCA的降維過程，可表示為[14]:

PCA是一個較好的數(shù)據(jù)降維方法，它能保持?jǐn)?shù)據(jù)的全局性能，但它是一種無監(jiān)督的降維算法，不能有效的利用樣本數(shù)據(jù)的標(biāo)號信息。

Fisher判別分析(FDA)是一個非常流行的監(jiān)督降維方法，主要思想:數(shù)據(jù)類內(nèi)的距離盡量很小，同時(shí)數(shù)據(jù)類間的距離盡量很大[15]。利用式(1)的思想，F(xiàn)DA可變成求矩陣最優(yōu)化的形式[16]即:

2 基于Fisher判別分析半監(jiān)督降維思想

當(dāng)缺乏標(biāo)號信息時(shí)，傳統(tǒng)的監(jiān)督方法很難運(yùn)行，然而在現(xiàn)實(shí)世界中，標(biāo)號數(shù)據(jù)很難獲取或者獲取代價(jià)昂貴。直接采用半監(jiān)督降維時(shí)，按照隨機(jī)的方式選定標(biāo)號和無標(biāo)號信息，但這個方具有盲目性，有時(shí)恰巧選到不適宜進(jìn)行標(biāo)號的數(shù)據(jù)，使得數(shù)據(jù)降維的結(jié)果可能最壞。本文利用近鄰數(shù)據(jù)的關(guān)系，降低半監(jiān)督降維時(shí)由于隨機(jī)的方式帶來的盲目性。

近鄰數(shù)據(jù)的一個重要假設(shè)是“近鄰數(shù)據(jù)最有可能屬于相同的類”，于是定義A是n×n的矩陣，使它能夠抑制任何最近鄰的數(shù)據(jù)在潛在的低維空間分離。常用的近鄰數(shù)據(jù)處理方法有熱核和高斯函數(shù)等，但較簡單和常用的是把最近鄰數(shù)據(jù)定義在熱核上[18]，每一對數(shù)據(jù)依據(jù)它們之間相似性做相應(yīng)的懲罰，相似性依據(jù)輸入數(shù)據(jù)中的數(shù)據(jù)對間的歐式距離建立，既，公式中字母σ是十分重要的變量，因?yàn)樗刂浦仃嘇縮放的范圍和幅度，更重要的是它影響著總體數(shù)據(jù)的分類數(shù)目和效果。進(jìn)一步假設(shè)σi代表xi與它周圍的其它點(diǎn)接近程度，k代表xi最鄰點(diǎn)的個數(shù)，此時(shí)有其中Aij表示xi和xj的距離遠(yuǎn)近關(guān)系[19]，取值范圍介于0和1之間，若xi和xj之間的距離足夠大，Aij的取值十分接近0，相反若xi和xj之間的距離足夠小，Aij的值就接近1.論文中，降維時(shí)Aij處理的數(shù)據(jù)對屬于相同類中的標(biāo)號數(shù)據(jù)，當(dāng)用Aij降低隨機(jī)選擇標(biāo)號信息的影響時(shí)，F(xiàn)DA的最優(yōu)化公式中P(b)和P(w)可分別用數(shù)據(jù)對權(quán)值思想表示既:若yi=yj，則:

基于數(shù)據(jù)降維理論(5)和(6)，提出一種基于FDA的半監(jiān)督光譜數(shù)據(jù)降維方法。由于FDA雖然能有效的利用標(biāo)號信息，但監(jiān)督性使得降維結(jié)果往往過分?jǐn)M于標(biāo)號數(shù)據(jù)，而無標(biāo)號數(shù)據(jù)能很好的調(diào)和這個問題，另外PCA作為無監(jiān)督降維方法，能夠很好的保持整個數(shù)據(jù)的結(jié)構(gòu)。在式(1)求解廣義特征值的基礎(chǔ)上，假設(shè)P(rb)為正規(guī)化的類間矩陣，P(rw)為正規(guī)化的類內(nèi)矩陣，可求出整個廣義特征值即:

為了利用標(biāo)號信息的同時(shí)也能利用無標(biāo)號信息，實(shí)現(xiàn)半監(jiān)督降維性能，對公式變量做要求:

字母δ是變量，取值范圍從0到1，它的變化使P(rb)φ =λP(rw)φ，求解偏重在FDA和PCA間滑動，論文將根據(jù)光譜數(shù)據(jù)的特點(diǎn)，分析δ的取值。基于數(shù)據(jù)成對表達(dá)在數(shù)據(jù)降維中的廣泛應(yīng)用，論文在數(shù)據(jù)成對表達(dá)的基礎(chǔ)上，找到一個轉(zhuǎn)換矩陣W，這個矩陣W滿足:在樣本數(shù)據(jù)的潛在空間，類內(nèi)之間的距離盡量最小，同時(shí)使類間的距離盡量最大即:

可看出此公式與前面的FDA和PCA變化形式很相似，若用{λk}dk=1表示最優(yōu)化求出的特征值，{φk}dk=1表示與特征值對應(yīng)的特征向量，降維的問題可通過轉(zhuǎn)置矩陣得到即:

針對光譜數(shù)據(jù)無監(jiān)督降維不能利用標(biāo)號信息，只是在特征向量個數(shù)一定的條件下，實(shí)現(xiàn)對原始數(shù)據(jù)空間最大近似，監(jiān)督降維過分?jǐn)M合于標(biāo)號數(shù)據(jù)，采用可調(diào)節(jié)參數(shù)δ的半監(jiān)督降維，降低了單獨(dú)的監(jiān)督或無監(jiān)督降維的不足，同時(shí)δ彌補(bǔ)了標(biāo)號數(shù)據(jù)選擇的隨機(jī)性。原始樣本數(shù)據(jù)總共有n個，其中有n'個帶有標(biāo)號的數(shù)據(jù)，剩余的(n-n')個為無標(biāo)號數(shù)據(jù)，若yi是在樣本xi中的標(biāo)號數(shù)據(jù)，用公式可以表示成形式且 yi∈ {1，2…，c}，c是類的數(shù)目，d是原始數(shù)據(jù)的維數(shù)，r是降維后維數(shù)。算法步驟可表述如下:

輸出:(d×r)的轉(zhuǎn)置矩陣W

2)若 yi=yj，則，否則

3)求出P(b)和P(w);

4)用 P(rb)=(1- δ)P(b)+ δP(t)，P(rw)=(1-δ)P(w)+ δId，求 P(rb)和 P(rw);

5)用P(rb)φ=λP(rw)φ特征值和特征向量的關(guān)系，求 W=(λ1φ1| λ2φ2… | λrφr)。

在上述算法中，Aij抑制任何最近鄰的數(shù)據(jù)在潛在的低維空間分離，處理屬于相同類中的標(biāo)號數(shù)據(jù)，克服了標(biāo)號信息選擇的盲目性帶來的影響，有利于半監(jiān)督數(shù)據(jù)降維分析;系數(shù)δ巧妙的把監(jiān)督FDA和無監(jiān)督PCA結(jié)合起來，通過廣義特征值的思想，求出光譜數(shù)據(jù)的主要成分構(gòu)成的矩陣，找到光譜數(shù)據(jù)潛在低維空間，克服了監(jiān)督降維過分?jǐn)M合于標(biāo)號數(shù)據(jù)，無監(jiān)督降維未考慮類別信息的不足，同時(shí)不斷變化的δ最大的利用了FDA和PCA的優(yōu)勢，使光譜數(shù)據(jù)降維的損失盡量達(dá)到最小;字母δ是變量，取值范圍從 0到 1，它的變化使 P(rb)φ =λP(rw)φ，求解偏重在FDA和PCA間滑動，當(dāng)δ=0時(shí)，公式變成FDA，當(dāng)δ=1時(shí)，公式變成PCA，文章中為了分析δ取值對半監(jiān)督降維的影響，依次取δ的值為 0，0.1，0.3，0.5，0.7，0.9 和 1.通過分類正確率的提高得到驗(yàn)證。

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)環(huán)境:Pentium D925 CPU，512內(nèi)存，Windows XP操作系統(tǒng)，采用 MATLAB7.1實(shí)現(xiàn) FDA、PCA和半監(jiān)督降維算法。利用K近鄰分類器評價(jià)降維效果，因?yàn)樗诤芏嗟臄?shù)據(jù)集分類中表現(xiàn)較好，是一個常用的、相對簡單的分類方法[19]，實(shí)驗(yàn)中k的值取為1.

實(shí)驗(yàn)數(shù)據(jù)是國家天文臺提供的高紅移類星體、晚型星兩個SDSS天體光譜數(shù)據(jù)集，其中44條光譜特征線作為屬性，既維數(shù)為44，光譜數(shù)據(jù)分別含有5403條(7 M)、34117條(46 M)，把全部的高紅移類星體和晚型星合并為原始樣本數(shù)據(jù)集合。首先取原始樣本數(shù)據(jù)集合條數(shù)的2/3作為訓(xùn)練數(shù)據(jù)集，剩下的1/3作為測試集;其次隨機(jī)選取訓(xùn)練集總條數(shù)的0.2 倍、0.4 倍、0.6 倍、0.8 倍作為標(biāo)號數(shù)據(jù)，訓(xùn)練集的其余數(shù)據(jù)作為無標(biāo)號數(shù)據(jù)，按照本篇文章的方法進(jìn)行半監(jiān)督降維;最后利用1最近鄰分類法來計(jì)算測試集的正確分類率。實(shí)驗(yàn)重復(fù)十次，每次都隨機(jī)選取樣本數(shù)目的2/3作訓(xùn)練數(shù)據(jù)集，剩余是測試集，計(jì)算降維方法的平均正確分類率。半監(jiān)督降維系數(shù) δ的取值是 0，0.1，0.3，0.5，0.7，0.9，1.

圖1 降維效果Fig.1 The effect of dimensionality reduction

由圖1可知:1)由于FDA半監(jiān)督降維算法，采用有監(jiān)督思想有效地利用了光譜數(shù)據(jù)中的類別信息，同時(shí)利用無監(jiān)督的PCA保持了光譜數(shù)據(jù)的全局性能，所以FDA半監(jiān)督方法與PCA、FDA相比較，降維后平均分類正確率一般很高;2)不同的δ有可能避免FDA和PCA的大部分缺點(diǎn)，所以平均正確分類率有所差別，甚至相差很大;3)因?yàn)闃?biāo)號數(shù)據(jù)可以提供類別信息，故標(biāo)號數(shù)據(jù)數(shù)越多，降維后的平均分類正確率越高;4)由于PCA是無監(jiān)督的降維算法，PCA降維后分類的結(jié)果不受標(biāo)號數(shù)據(jù)個數(shù)選擇的影響。

圖2 對平均正確分類率影響Fig.2 Impact on the average correct classification rate

標(biāo)號數(shù)據(jù)的個數(shù)取值為1.5×104，分析δ對平均分類正確率的影響，從圖2可以看出，(1)δ=0.5時(shí)，實(shí)驗(yàn)的分類正確率最高，因?yàn)?.5處于半監(jiān)督降維結(jié)合的中間位置，可能最大利用了PCA和FDA的優(yōu)勢;(2)δ從0到1變化時(shí)，分類正確率并沒有單調(diào)減小或單調(diào)增加，這說明光譜數(shù)據(jù)不但具有高維海量的特性，而且及其復(fù)雜。

4 結(jié)束語

針對光譜數(shù)據(jù)監(jiān)督和無監(jiān)督降維的缺陷，本文給用了一種基于Fisher判別分析的半監(jiān)督降維方法。采用光譜數(shù)據(jù)集，并利用平均分類正確率作為降維效果的比較標(biāo)準(zhǔn)，實(shí)驗(yàn)驗(yàn)證了該方法的可行性和良好的降維效果。

[1]張繼福，蔡江輝.面向LAMOST的天體光譜離群數(shù)據(jù)挖掘系統(tǒng)研究[J].光譜學(xué)與光譜分析，2007，27(3):606-607.

[2]覃冬梅，胡占義，趙永恒.一種基于主分量分析的恒星光譜快速分類法[J].光譜學(xué)與光譜分析，2003，23(1):182-182.

[3]張懷福.小波在LAMOST光譜處理中的應(yīng)用[D].北京:北京交通大學(xué)，2008.

[4]劉蓉，勒紅梅，段福慶.基于Bayes決策的光譜分類[J].光譜學(xué)與光譜分析，2010，30(3):838-839.

[5]姜斌，潘景昌，郭強(qiáng)，等.基于二維主分量分析的光譜數(shù)據(jù)降維方法[J].現(xiàn)代電子技術(shù)，2007，14(21):21-22.

[6]趙梅芳，吳潮.基于K近鄰方法的窄線與寬線活動星系核的自動光譜分類[J].天文學(xué)報(bào)，2007，48(1):1-2.

[7]李鄉(xiāng)儒，胡占義，趙永恒，等.RVM有監(jiān)督特征提取與Seyfert光譜分類[J].光譜學(xué)與光譜學(xué)分析，2009，29(6):1702-1703.

[8]李鄉(xiāng)儒，胡占義，趙永恒.基于Fisher判別分析的有監(jiān)督特征提取和星系分類[J].光譜學(xué)與光譜分析，2007，27(9):1888-1889.

[9]宋欣，葉世偉.基于直接估計(jì)梯度思想的數(shù)據(jù)降維算法[J].計(jì)算機(jī)工程，2008，34(8):205-205.

[10]譚璐.高維數(shù)據(jù)的降維理論及應(yīng)用[D].長沙:國防科技大學(xué)，2005.

[11]FUKUNAGA K.Introduction to statistical pattern recognition(2nd ed)[D].San Diego:Academic Press，1990.

[12]BELKIN M，NIYOGI P.Laplacian eigenmaps for dimensionality reduction and data representation[J].Neural Computation，2003，15:1373-1396.

[13]吳曉婷，閆德勤.數(shù)據(jù)降維方法分析與研究[J].計(jì)算機(jī)應(yīng)用與研究，2009，26(8):2832-2833.

[14]CHEN Guangyi.Denoising and dimensionality reduction of hypersepectral imagery using wavelet packets，neighbour shrinking and principal component analysis[J].International Journal of Remote Sensing，2009，30(18):4889-4890.

[15]趙玲玲.半監(jiān)督降維和分類算法研究[D].西安電子科技大學(xué)，2009.

[16]杜世強(qiáng).基于核Fisher判別的人臉識別方法研究[D].陜西師范大學(xué)，2007.

[17]ZHA H Y，ZHANG ZH Y.Spectral properties of the alignment matrices in manifold learning[J].SIAM Review，2009，51:545-565.

[18]CHAPELLE O，SCHOLKOPF B，ZIEN A，Semi-supervised Learning[M].US:MA，The MIT Press，2006.

[19]ZELNIK-MANOR L，PERONA P.Self-tuning spectral clustering[J].NIPS，2004，17:1601-1608.