基于投影的組合判別方法

梁飛豹,陳婷婷

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,福建福州350108)

基于投影的組合判別方法

梁飛豹*,陳婷婷

(福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,福建福州350108)

摘要：由于數(shù)據(jù)的復(fù)雜性,一般的投影判別方法在應(yīng)用上有一定的局限性,本文引入權(quán)重因子對不同投影方法進(jìn)行組合,從而提出一種組合判別方法,以提高判別回代正確率與預(yù)測效果．通過實(shí)際例子和模擬數(shù)據(jù)驗(yàn)證了組合判別模型的判別效果良好,回代正確率比單一判別方法高,預(yù)測效果也優(yōu)于單一判別方法．

關(guān)鍵詞：Fisher判別;內(nèi)聚外散;回代；正確率;權(quán)重;組合判別

判別分析是一種判斷個體所屬類別的統(tǒng)計(jì)方法,在已知觀測對象的分類結(jié)果和若干表明觀測對象特征的變量值的情況下,建立一定的判別準(zhǔn)則,利用判別準(zhǔn)則對新的觀測對象的所屬類別進(jìn)行判斷．判別分析方法多樣,思路不盡相同,常見的判別法有距離判別分析法、最大后驗(yàn)概率準(zhǔn)則、Fisher判別分析法和Bayes判別分析法等．由于數(shù)據(jù)類型的復(fù)雜性,距離判別并不能很好地體現(xiàn)數(shù)據(jù)所在總體潛在的幾何特性．Fisher判別的決定因素是樣本中心,隱含了數(shù)據(jù)是高斯分布的假設(shè),當(dāng)數(shù)據(jù)不是高斯分布時,經(jīng)過任何的投影變換,都無法使其各類的組內(nèi)差小、組間差大,造成各類數(shù)據(jù)分辨不清,判別效果不好．目前,并沒有一種判別方法能夠適用于所有的數(shù)據(jù)類型．

我們知道在預(yù)測模型中,由于建模機(jī)制和出發(fā)點(diǎn)不同,通常同一問題有不同的預(yù)測方法,不同的預(yù)測方法提供不同的有用信息,其預(yù)測精度往往也是不同的．如果簡單地將預(yù)測誤差較大的一些方法舍棄,將會丟失一些有用的信息,那么,一種更為科學(xué)的做法就是將一些不同的預(yù)測方法進(jìn)行適當(dāng)?shù)慕M合,從而形成所謂的組合預(yù)測方法,它將有利于綜合各種方法提供有用的信息,有利于提高預(yù)測的精度[1]．

在判別中,可以考慮引入組合的思想,較大限度地綜合利用各種判別方法所提供的信息,盡可能地提高回代正確率．它比單個預(yù)測模型考慮問題更系統(tǒng)、更全面、更科學(xué),更能有效地減少單個判別模型判斷過程中一些環(huán)境因素的影響．

對于新的測試樣本所屬類別的判斷,不同的判別方法有著不同的回代正確率和預(yù)測精度,本文嘗試引入權(quán)重因子,將多種判別方法進(jìn)行線性組合,構(gòu)造一種組合判別方法,經(jīng)過數(shù)據(jù)模擬,驗(yàn)證其廣泛適應(yīng)性,且對復(fù)雜數(shù)據(jù)判別問題有實(shí)際應(yīng)用價值,理論和方法上也具有一定的創(chuàng)新性．

由于Fisher判別通過投影將多維的特征降到只有一維,又保證了類別能夠“清晰”地反映在低維數(shù)據(jù)上．因此,本文考慮將基于投影變換的幾種判別方法進(jìn)行組合,既能保留投影判別的優(yōu)良性,又能考慮到單個投影方向無法判別的數(shù)據(jù)經(jīng)過多種判別得到較準(zhǔn)確的結(jié)果．

1基于投影的判別方法

本文主要分析兩個總體的情況,多總體的判別問題可以轉(zhuǎn)換成雙總體的判別分析．現(xiàn)考慮有n個來自總體G1，G2的p維樣本

其中ni(i=1,2)表示第i個總體的樣本數(shù),n=n1+n2．在介紹投影方法之前,先定義幾個必要的基本參量．

樣本組間離差陣:

樣本組內(nèi)離差陣:

總體G2“相對于”總體G1的離差陣:

總體G1的離差陣:

總體G2的離差陣:

1)Fisher投影

將p維空間上的點(diǎn)x經(jīng)投影后變?yōu)橐痪S實(shí)數(shù)上的點(diǎn)z,并希望投影后的數(shù)據(jù)其組內(nèi)差盡量小,組間差盡量大,即所求投影向量w1為:

則判斷樣品x∈Gt．

2) 改進(jìn)的Fisher投影

同樣作投影,將p維投影到一維,但我們只希望投影后的數(shù)據(jù)的組間差盡量大,而不考慮組內(nèi)差(這主要是為了避免p維空間上樣本矩陣的組內(nèi)離差陣Sw奇異),即所求的投影向量w2為:

顯然w2是Sb的最大的特征值所對應(yīng)的特征向量．由此投影的判別準(zhǔn)則與Fisher投影的判別準(zhǔn)則一致,即對于給定的任一樣品x,如果

則判斷樣品x∈Gt．

3) “內(nèi)聚外散”投影[2]

同樣,將p維投影到一維,我們希望投影后的數(shù)據(jù),屬于第1類G1的樣本聚集在一起,而不屬于第1類G2的樣本遠(yuǎn)離第1類G1(即“內(nèi)聚外散”投影),即所求的投影向量w3為:

4) 改進(jìn)的“內(nèi)聚外散”投影

思想同上,還是希望投影后的數(shù)據(jù),屬于第1類G1的樣本聚集在一塊,而不屬于第1類G2的樣本盡可以地分散,即所求的投影向量w4為:

基于不同投影得到的判別方法是適用于不同的數(shù)據(jù)類型．Fisher投影判別在處理2個總體的樣本數(shù)據(jù)均為高斯分布的時,效果好．而當(dāng)2個總體的樣本數(shù)據(jù)呈現(xiàn)一個集中,另一個相對分散時,“內(nèi)聚外散”投影則具有更明顯的優(yōu)點(diǎn)．因此,可以說并沒有一種能夠適用于所有的數(shù)據(jù)類型的判別方法,下面我們將尋找一種組合方式,使得能夠較好地適用于不同的數(shù)據(jù)類型做判別．

2組合判別模型

本文建立的組合判別模型擬將4種投影判別方法所得到的回代正確率作為權(quán)重,進(jìn)行加權(quán)的判別方法:例如,設(shè)對某一待判樣品x,2個總體G1,G2利用4個判別方法得到4個模型的回代正確率值分別為ρt(t=1,2,3,4),利用這些回代正確率值構(gòu)成一個對x的最終判別結(jié)果,即x所屬的類別k=φ(ρ1,ρ2,ρ3,ρ4),這種組合判別方法建立在對各個方向投影的基礎(chǔ)上,它集多種單一判別模型所包含的信息,進(jìn)行最優(yōu)組合．因此,在大多數(shù)情況下,通過組合判別可以達(dá)到提高回代正確率的目的．

值得注意的是,高維的樣本數(shù)據(jù)經(jīng)過不同的投影降到一維后,并不能直接加權(quán)組合,而是需要處理成具有統(tǒng)一的標(biāo)準(zhǔn)后才能進(jìn)行組合．我們采取的處理方式是:將總體G1經(jīng)投影后重心(均值)落在“0”處,而總體G2的重心落在了“1”處．

組合判別方法的算法如下:

1) 選取一類樣本為指定的“第1類G1”,以2個總體樣本方差(取方差矩陣的行列式)大小來衡量它們的“集中”度,哪個方差行列式越小,就選擇這一類為“第1類G1”;

即將投影后的G1的重心落在“0”處,G2的重心落在“1”處;

4) 建立組合判別模型:

如果b=0,則判斷樣品x∈G1,否則x∈G2.

3數(shù)據(jù)分析

3.1實(shí)例分析

對全國30個省市自治區(qū)1994年影響各地區(qū)經(jīng)濟(jì)增長差異的制度變量[3]:經(jīng)濟(jì)增長率(%)x1、非國有化水平(%)x2、開放度(%)x3、市場化程度(%)x4．第1組的樣本方差矩陣行列式D1=5.884 5×106,第2組的樣本方差矩陣行列式D2=1.321 4×108,故第1組樣本確定為“第1類G1”,第2組樣本確定為“第2類G2”．

可以得到4個投影方向:

w1=(0.000 5-0.291 2-0.347 7-0.891 2)T,

w2=(-0.016 30.738 50.471 80.481 4)T,

w3=(0.958 8-0.265 2-0.036 60.095 5)T,

w4=(-0.959 60.257 20.036 6-0.108 2)T.

將2組樣本分別向w1,w2,w3,w4上投影,并對投影后的數(shù)據(jù)進(jìn)行“對折”和重心“移動”處理,得到4組一維向量如表1所示．同時我們可以得到4個投影判別的回代正確率分別是:

ρ1=0.814 8,ρ2=0.777 8,

ρ3=0.555 6,ρ4=0.592 6,

建立組合判別模型:

C=0.814 8y1+0.777 8y2+0.555 6y3+

0.592 6y4，

易得,組合判別后的回代正確率為ρC=0.851 9．

表1　4個方向投影后的數(shù)據(jù)

從回代正確率的角度看,2個“內(nèi)聚外散”投影判別效果不佳,Fisher判別和改進(jìn)的Fisher判別效果較好,但經(jīng)過組合判別后,回代正確率得到了提高,說明該方法較單一的判別方法效果好．

3.2模擬分析

本文通過模擬數(shù)據(jù)實(shí)驗(yàn)來驗(yàn)證組合判別模型的可行性并分析其優(yōu)良性．首先,構(gòu)造來自2個類別的隨機(jī)數(shù)據(jù)X=(X1,X2,X3,X4,X5)～Np(0,Σ),且Σ=(σij)p×p,σij=0.5|i-j|(i,j=1,2,…,p)．對于每次生成的一組樣本量n=400的數(shù)據(jù),建立模型:

Y為n×1,對Y作如下變換:

以pi為概率,自動生成一次伯努利實(shí)驗(yàn),所得的值作為該樣品的屬類(即取值為0,作為第1類,取值為1,作為第2類),由此,可以把X分成X(1),X(2)．將X(1),X(2)各自前1/2的樣本作為訓(xùn)練樣本,剩余的部分做測試樣本．

對此作大量的隨機(jī)實(shí)驗(yàn),組合判別均表現(xiàn)優(yōu)良．表2隨機(jī)給出了其中5次模擬實(shí)驗(yàn)的訓(xùn)練樣本的回代正確率與測試樣本的平均判對率．

由表2數(shù)據(jù)可知,組合判別方法充分表現(xiàn)出它的優(yōu)良性．1)擬合度高,每次實(shí)驗(yàn)的回代正確率都相對較高;2)預(yù)測效果好,每次實(shí)驗(yàn)的預(yù)測數(shù)據(jù)的正確率也是相對較高的;3)穩(wěn)定性好,每次實(shí)驗(yàn)的誤判率都處于低水平,且波動較小．

4結(jié)論

與單一的判別模型相比,引入權(quán)重的組合判別法提高了判別的回代正確率與預(yù)測精度,而且得到的判別模型也更加穩(wěn)定．

表2　模擬數(shù)據(jù)判別結(jié)果比較

注：方法1為Fisher投影,方法2為改進(jìn)的Fisher,方法3為 “內(nèi)聚外散”,方法4為改進(jìn)的“內(nèi)聚外散”.

但本文提出的組合判別方法存在待改進(jìn)的地方．首先,本文只用了2種投影及其簡單的推廣;其次,權(quán)重的確定為回代正確率,是否還可以選擇其他權(quán)重;最后,本文為今后研究提供了一個新思路,如選擇其他判別方法的組合、采用非線性的組合方式等．

參考文獻(xiàn)：

[1]石云霞．組合預(yù)測模型的權(quán)重研究及其應(yīng)用[D].銀川:寧夏大學(xué),2008：2-12.

[2]梁飛豹．多次線性判別方法[J]．福州大學(xué)學(xué)報 (自然科學(xué)版),1992(1):9-15.

[3]任雪松,于秀林．多元統(tǒng)計(jì)分析[M]．北京:中國統(tǒng)計(jì)出版社,2011:15-129.

[4]游華,郭福星．最優(yōu)組合因子Fisher判別法[J]．福州大學(xué)學(xué)報(自然科學(xué)版),2001,29(3):1-4.

[5]黃國宏,劉剛．一種新的基于Fisher準(zhǔn)則的線性特征提取方法[J]．計(jì)算機(jī)技術(shù)與發(fā)展,2008,18(5):227-230.

[6]周舒冬,李麗霞,郜艷暉,等．加權(quán)Fisher線性判別法在非平衡醫(yī)學(xué)數(shù)據(jù)集中的應(yīng)用[J]．?dāng)?shù)理醫(yī)藥學(xué)雜志,2009,22:59-61.

[7]黃利文,梁飛豹．改進(jìn)的Fisher判別方法[J]．福州大學(xué)學(xué)報(自然科學(xué)版),2006,34(4):473-477.

[8]苗春玉．線性判別分析改進(jìn)算法的分析與研究[D]．大連:遼寧師范大學(xué),2012：5-10.

[9]趙麗娜．Fisher判別法的研究及應(yīng)用[D]．哈爾濱:東北林業(yè)大學(xué),2013：24-26.

[10]ZHANGB,QIAOY．Facerecognitionbasedongradientgaborfeatureandefficientkernelfisheranalysis[J]．NeuralComputing&Applications,2010,19(4):617-623.

[11]MARTINEZAM,KAKAC．PCAversusLDA[J]．IEEETransactionsonPatternAnalysis&MachineIntelligence,2001,23(2):228-233.

Based on Projection of the Combination Discriminant Method

LIANG Feibao*,CHEN Tingting

(College of Mathematics and Computer Science,Fuzhou University,Fuzhou 350108,China)

Abstract:Because of the complexity of the data,the general projection discriminant method suffers from certain limitations in applications．For the purpose of taking correct rates of back substitution as the standard,this article gives a combination discriminant method by introducing weighting factors and combining different projection in order to improve accuracy and prediction effects.Simulated data are checked,and it is found that their correct rates of back substitution are better than those of the general linear discriminate method．The prediction effect is superior to other methods.

Key words:fisher discriminant;assembling inside and spreading;back substitution;correct rates；weighting;combination discriminant

doi：10.6043/j.issn.0438-0479.2016.03.011

收稿日期：2015-07-09錄用日期：2015-11-28

基金項(xiàng)目：國家自然科學(xué)基金(11301084)；福建省自然科學(xué)基金(2014J01010)

*通信作者：fbliang@163.com

中圖分類號:O 212

文獻(xiàn)標(biāo)志碼：A

文章編號：0438-0479(2016)03-0366-05

引文格式：梁飛豹,陳婷婷.基于投影的組合判別方法.廈門大學(xué)學(xué)報(自然科學(xué)版)，2016,55(3)：366-370.

Citation：LIANG F B,CHEN T T．Based on projection of the combination discriminant method.Journal of Xiamen University(Natural Science)，2016,55(3)：366-370．(in Chinese)