文本分類中一種基于核的最大散度差特征抽取方法

（解放軍理工大學(xué) a.理學(xué)院； b.指揮自動(dòng)化學(xué)院， 南京210007）



摘 要：研究了一種基于核的最大散度差準(zhǔn)則的文本特征抽取方法。首先回顧了文本分類中特征降維的主要方法、Fisher準(zhǔn)則及其相關(guān)研究進(jìn)展以及存在的問(wèn)題；然后分析了基于散度差準(zhǔn)則的線性鑒別方法的優(yōu)點(diǎn)與不足，借助于核函數(shù)較好地解決了線性可分性較差的樣本分類問(wèn)題，在最低限度減少信息損失的前提下實(shí)現(xiàn)了特征維數(shù)的大幅度減縮。實(shí)驗(yàn)結(jié)果表明，該方法在文本分類上的效果較好。

關(guān)鍵詞：文本分類； 特征抽取； 特征降維； 散度差準(zhǔn)則； 核變換

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：10013695(2009)01010203



Kernelbased maximum scatter difference method of feature extraction in text classification

LIU Haifenga，b， YAO Zeqinga， ZHANG Shuzua，WANG Yuanyuanb



(a.Institute of Sciences， b. Institute of Command Automation， PLA University of Science Technology， Nanjing 210007， China)



Abstract:This paper studied a method of extracting the text features based on the kernel and scatter difference. Firstly， reviewed the primary feature reduction means， Fisher discriminant and the developing of this aspect. Secondly， analyzed the virtue and the defect of the scatter difference criterion. In virtue of the kernel it solved the stylebooks classification problem that had less linear separability. At the precondition of lower information loss， reduces the feature dimension greatly. The lastly， a test about text categorization and the result show that this method has a better precision.

Key words：text classification; feature extraction; feature reduction; scatter difference rule; transform with kernel



文本自動(dòng)分類指在給定的分類體系下，對(duì)未知類別的文本根據(jù)其內(nèi)容將其自動(dòng)劃歸到某一類或多類的過(guò)程。作為機(jī)器學(xué)習(xí)和信息檢索技術(shù)彼此滲透、相互交融的研究領(lǐng)域，文本自動(dòng)分類技術(shù)在自然語(yǔ)言處理及模式識(shí)別等領(lǐng)域的應(yīng)用日益廣泛，在提高信息利用的有效性和準(zhǔn)確性上具有重要的現(xiàn)實(shí)意義和巨大的應(yīng)用前景。相比于國(guó)外的文本分類研究，雖然國(guó)內(nèi)的中文文本分類研究起步較晚，但是隨著中文信息處理技術(shù)特別是自動(dòng)分詞技術(shù)、中文文本語(yǔ)料庫(kù)建設(shè)等日臻成熟完善，基于機(jī)器學(xué)習(xí)的中文文本自動(dòng)分類研究在特征選擇、文本表示、分類器性能評(píng)價(jià)以及分類效果評(píng)估等方面均得到了長(zhǎng)足的發(fā)展[1，2]，文本自動(dòng)分類技術(shù)成為中文信息處理研究的熱點(diǎn)之一。

影響文本自動(dòng)分類技術(shù)發(fā)展的瓶頸主要集中在文本特征向量高維性、訓(xùn)練集樣本類別分布傾斜(常常體現(xiàn)為相當(dāng)一部分類別為小樣本)等方面。在低維空間里具有良好的解析性或在計(jì)算上可行的方法卻在高維空間里變得不可行。能否對(duì)特征向量進(jìn)行合理有效的降維成為決定文本分類效率的主要因素之一。人們從不同的學(xué)科角度對(duì)特征降維問(wèn)題進(jìn)行了深入探討，總的來(lái)說(shuō)主要分為特征選擇[3，4]、特征抽取[5，6]兩種模式以及兩者之間的合理組合。作為特征抽取模式的經(jīng)典線性變換方法之一，源于Fisher準(zhǔn)則的線性鑒別分析的特征抽取方法在模式判定、人臉識(shí)別、文本分類等方面得到了廣泛的應(yīng)用，各種基于Fisher準(zhǔn)則的特征抽取方法通過(guò)線性變換手段對(duì)特征集進(jìn)行有效壓縮，使得基于Fisher準(zhǔn)則的特征降維方法研究得到了逐步深入[7]。

1 Fisher鑒別準(zhǔn)則及其相關(guān)研究

1.1 Fisher鑒別準(zhǔn)則及其特點(diǎn)

設(shè)Ci(i=1，2，…，r)表示訓(xùn)練文本集里的文本類別，Ci內(nèi)的文本數(shù)為ni（i=1，2，…，r）；

N=∑rk=1ni為訓(xùn)練集里的文本數(shù)，訓(xùn)練文本記為xi，維數(shù)為v，i=1，2，…，N；再記xi=（1/ni）∑x∈Cixi為類Ci內(nèi)樣本均值，i=1，2，…，r；x=（1/N）∑Ni=1xi。訓(xùn)練集的類內(nèi)散布矩陣Sw、類間散布矩陣Sb及總體散布矩陣St分別為相應(yīng)樣本的協(xié)方差矩陣。

Sb=∑ri=1ni(xi-x)(xi-x)T（1）

Sw=∑ri=1∑xj∈Ci(xj-xi)(xj-xi)T（2）

St=Sb+Sw=∑Ni=1(xi-x)(xi-x)T（3）

由定義可知上述矩陣均為半正定矩陣。

Fisher準(zhǔn)則函數(shù)定義為

J(ω)=ωTSbω/(ωTSwω)（4）

當(dāng)Sw奇異而St非奇異時(shí)，式（4）中的Sw可以用St替換[8]。

Fisher準(zhǔn)則的基本思想是選擇使式（4）達(dá)到最大值的向量ω作為投影變換的最佳投影方向，使得訓(xùn)練樣本xi在ω方向投影后，變換后的向量之間達(dá)到最大的類間散度和最小的類內(nèi)散度。一般說(shuō)來(lái)在樣本類別數(shù)較多的情況下，單一的最優(yōu)投影方向顯然難以滿足分類要求，在Fisher鑒別準(zhǔn)則的基礎(chǔ)上，Duda等人[9]提出了最佳鑒別矢量集方法對(duì)原始特征空間進(jìn)行線性投影變換，隨后Zhong Jin等人[10]提出具有統(tǒng)計(jì)不相關(guān)屬性、滿足共軛正交性質(zhì)的最佳鑒別矢量集用于特征抽取。

1.2 Fisher鑒別準(zhǔn)則存在的問(wèn)題及其相應(yīng)研究

上述各種方法僅限于類內(nèi)散布矩陣Sw非奇異情形。當(dāng)Sw與St均奇異時(shí)，F(xiàn)isher鑒別準(zhǔn)則以及在此基礎(chǔ)上的各種優(yōu)化模型無(wú)法使用。而在訓(xùn)練文本集發(fā)生數(shù)據(jù)傾斜現(xiàn)象時(shí)，一些類別的文本數(shù)量很小從而不可避免地出現(xiàn)Sw奇異現(xiàn)象，這一問(wèn)題在人臉識(shí)別研究中顯得尤為突出[8]。為了克服這一問(wèn)題，Hong等人[11]提出對(duì)Sw引進(jìn)一個(gè)小參數(shù)進(jìn)行一個(gè)很小的擾動(dòng)，使得擾動(dòng)后的矩陣為非奇異矩陣，并以該矩陣代替原始的類內(nèi)散布矩陣進(jìn)行投影變換。但是這種方法遇到的一個(gè)主要問(wèn)題是：當(dāng)Sw中的某個(gè)特征值與另一個(gè)特征值非常接近時(shí)，一個(gè)很小的擾動(dòng)對(duì)其相應(yīng)特征向量的影響卻很大，也就是說(shuō)這種情況下特征向量對(duì)擾動(dòng)呈現(xiàn)出極大的敏感性[12]。Chen等人[13]提出零空間模型，即在Sw相應(yīng)的零空間內(nèi)尋找一組最大化Fisher準(zhǔn)則的標(biāo)準(zhǔn)正交特征向量組成降維變換的投影矩陣。但是這種方法是以丟棄Sw中的除去其零空間以外的剩余部分所含有的所有鑒別信息為代價(jià)。Liu Ke等人[14]提出的正交補(bǔ)空間方法存在計(jì)算開銷過(guò)大問(wèn)題，對(duì)于每個(gè)最優(yōu)鑒別矢量的計(jì)算都需要在原始空間內(nèi)構(gòu)造子空間的正交補(bǔ)空間，難以適應(yīng)高維空間的文本分類，特別是基于Web的文本的實(shí)時(shí)在線分類需求。

2 一種基于核的最大散度差特征抽取方法

2.1 最大散度差鑒別準(zhǔn)則及其思想

針對(duì)上述Fisher準(zhǔn)則以及基于Fisher準(zhǔn)則而發(fā)展起來(lái)的用于解決Sw奇異性問(wèn)題各種方法的不足，宋楓溪等人[15]提出了最大散度差鑒別準(zhǔn)則這一新的線性變換模型：

J(ω)=ωT(Sb-CSw)ω，ωTω=1（5）

其思想仍然是尋找一個(gè)最佳鑒別矢量，使得不同類型的高維模式樣本沿著該方向投影后能被最大限度地分開。與Fisher鑒別準(zhǔn)則的主要差異在于文獻(xiàn)[15]是以類間散度與類內(nèi)散度之差作為投影后特征向量之間可分性的度量標(biāo)準(zhǔn)，這種方法解決了樣本的類內(nèi)散布矩陣奇異性問(wèn)題對(duì)Fisher鑒別準(zhǔn)則的困擾，且證明了非負(fù)定矩陣Sb-CSw的最大特征值相應(yīng)的特征向量即為準(zhǔn)則函數(shù)（5）的最優(yōu)投影方向[16]。

借鑒文獻(xiàn)[15]的分類思想，再考慮到類內(nèi)散布矩陣Sw及類間散布矩陣Sb在不同的樣本分布情況下對(duì)散度差準(zhǔn)則函數(shù)的影響，可以考慮使用含有雙參數(shù)的式（6）作為特征抽取的準(zhǔn)則。

J=(ω)=ωT(β1Sb-β2Sw)ω，ωTω=1（6）

其中：β1＞0，β2＞0為參數(shù)。

訓(xùn)練文本類間散度反映了類別樣本之間差異的平均，類間散度大說(shuō)明不同類別樣本之間平均間距大；而類內(nèi)散度反映了類內(nèi)樣本之間密集程度，類內(nèi)散度小意味著同一類別的樣本之間密集程度高。類間散度和類內(nèi)散度從兩個(gè)側(cè)面反映了樣本的可分性，因此對(duì)文本進(jìn)行分類應(yīng)遵循的原則是應(yīng)使得類內(nèi)樣本的分散程度最小而類間樣本的分散程度最大，式（6）中取ω為單位向量是為了消除向量長(zhǎng)度不同對(duì)最佳投影方向判定的影響。參數(shù)β1、β2的作用是用來(lái)調(diào)節(jié)類間散度和類內(nèi)散度在不同類別分布情況下對(duì)特征抽取的影響力。當(dāng)訓(xùn)練文本集的類別樣本分布相對(duì)比較平均時(shí)，相對(duì)于類內(nèi)散度而言，應(yīng)加大類間散度對(duì)特征抽取效率的影響力度，此時(shí)應(yīng)該調(diào)大β1；而當(dāng)訓(xùn)練文本集的類別樣本分布不均即出現(xiàn)數(shù)據(jù)傾斜時(shí)，應(yīng)該加大類內(nèi)散布矩陣Sw對(duì)式（6）的影響，故此時(shí)可調(diào)高β2，式（6）這一準(zhǔn)則實(shí)質(zhì)上是一種根據(jù)樣本分布的不同情況而對(duì)類間散度和類內(nèi)散度在文本分類作用的一種平衡。

通常情況下，由于訓(xùn)練集的文本數(shù)以及文本類別數(shù)目均較大，單一的最優(yōu)投影方向很難滿足大樣本分類要求，為此可以尋找一組正交的單位投影向量q1，q2，…，qt構(gòu)成最優(yōu)投影矩陣Q=(q1，q2，…，qt)，使得式（6）在Q的變換下取得t個(gè)最大值。與文獻(xiàn)[16]類似，易知Q恰為β1Sb-β2Sw的前t個(gè)最大特征值對(duì)應(yīng)的單位特征向量構(gòu)成。根據(jù)特征值與矩陣跡的關(guān)系[17]，使用以下的加權(quán)散度差矩陣的跡作為投影鑒別準(zhǔn)則：

J(ω)=tr[ωT(β1Sb-β2Sw)]ω

（7）

上式達(dá)到最大時(shí)ω相應(yīng)的方向簇為最優(yōu)投影方向簇，此時(shí)記λ1≥λ2≥…≥λt為加權(quán)散度差矩陣β1Sb-β2Sw的前t個(gè)最大特征值，則

J(W)=∑ki=1λi(8)

并且在這一變換下，樣本分布狀況的相對(duì)位置得以很好地保持。

2.2 基于核的非線性變換下最大散度差鑒別準(zhǔn)則

基于最大散度差鑒別準(zhǔn)則的投影變換本質(zhì)上是一種線性變換，在處理線性可分性較好的數(shù)據(jù)分類問(wèn)題時(shí)，體現(xiàn)了較優(yōu)的分類性能。然而在文本分類中，即使是大樣本條件下訓(xùn)練樣本的類別間分布也極不平衡，數(shù)據(jù)分布傾斜現(xiàn)象十分突出，類別間樣本的數(shù)量經(jīng)常存在數(shù)量級(jí)的差異。在數(shù)據(jù)偏斜的情況下樣本無(wú)法準(zhǔn)確反映整個(gè)空間的數(shù)據(jù)分布，分類器常常被大樣本淹沒(méi)而忽略小類。這種條件下其模式識(shí)別的復(fù)雜度高，以致線性投影變換難以取得非常理想的分類效果，并且文本分類問(wèn)題的線性可分性并沒(méi)有得到理論上的證明[18]。

研究結(jié)果表明，基于核方法的鑒別分析對(duì)于線性可分性較差的數(shù)據(jù)卻有著優(yōu)良的分類性能[19]。在模式識(shí)別和模式分類中取得了很好的分類效果。核方法的優(yōu)點(diǎn)在于它的非線性特點(diǎn)。借助于非線性映射Φ將原始特征空間S變換到一個(gè)高維特征空間F，在F中使用最大散度差鑒別準(zhǔn)則（式（6）或（7））抽取最優(yōu)投影矩陣Q。在選取適當(dāng)?shù)暮撕瘮?shù)k(x，y)后，在S中帶參數(shù)的核函數(shù)k(xi，xj)對(duì)應(yīng)著F中的帶參數(shù)投影向量Φ(xi)=xΦi，Φ(xj)=xΦj的內(nèi)積(xΦi，xΦj)，也就是說(shuō)，在計(jì)算F中向量?jī)?nèi)積時(shí)以相應(yīng)的核函數(shù)代替。此時(shí)，并不需要對(duì)S與F之間進(jìn)行任何直接的非線性映射的具體計(jì)算，而是在原始特征空間S里完成高維空間F的點(diǎn)積或距離等的計(jì)算任務(wù)，從而繞過(guò)了兩個(gè)空間之間具體映射的復(fù)雜計(jì)算問(wèn)題。核函數(shù)的使用使得將數(shù)據(jù)隱式地表達(dá)為特征空間并在其中訓(xùn)練一個(gè)線性學(xué)習(xí)器成為可能[20]，從而使得計(jì)算鑒別投影向量的工作變得相對(duì)容易得多。由于高維空間中的線性方向?qū)?yīng)原始特征空間中的非線性方向，基于核的最大散度差的鑒別分析方法本質(zhì)上是一種非線性鑒別分析方法。

具體來(lái)說(shuō)，基于核的最大散度差的鑒別分析方法表述如下：假設(shè)Φ為原始特征空間S到高維空間F的映射，SΦb與SΦw分別為類間散布矩陣Sb與類內(nèi)散布矩陣Sw在F中相應(yīng)的矩陣。

SΦb=∑ri=1ni(xΦi-xΦ)(xΦi-xΦ)T（9）

SΦw=∑ri=1∑xj∈Ci(xΦj-xΦi)(xΦj≤xΦi)T（10）

其中：xΦi=(1/ni)∑xi∈CixΦi為F中相對(duì)于類Ci的投影樣本均值；xΦ=(1/N)∑Ni=1xΦi為訓(xùn)練樣本投影總體均值。

記span{xΦ1，xΦ2，…，xΦN}為F中樣本的生成空間，由于F中向量相應(yīng)于式（6）中的最優(yōu)投影方向，故有

ω=∑Ni=1αixΦi（11）

ωTxΦi=(1/ni)∑Nj=1∑xi∈Ciαj(xΦj，xΦi)=

(1/ni)∑Nj=1∑xi∈Ciαjk(xj，xi)；i=1，2，…，r

（12）

ωTxΦ=(1/N)∑Nj=1∑Ni=1αj(xΦj，xΦi)=(1/N)∑Nj=1∑Ni=1αjk(xj，xi)

（13）

為敘述方便，記xik表示類Ci的第k(k=1，2，…，ni)個(gè)樣本；Mi=(mi1，mi2，…，miN)T，T=(m1，m2，…，mN)T。其中：

mij=（1/ni）∑nik=1k(xj，xik)，mi=（1/N） ∑Nj=1k(xi，xj)，則

ωTxΦ=αTT，ωTxωΦi=αTMi(14)

這里α=(α1，α2，…，αN)，i=1，2，…，N，由此可得

ωTSΦbω=ωT[∑ri=1ni(xΦi-xΦ)(xΦi-xΦ)T]ω=

∑ri=1ni(ωTxΦi-ωTxΦ)(ωTxΦi-ωTxΦ)T=

∑ri=1ni(αTMi-αTT)(αTMi-αTT)T=∑ri=1niαT(Mi-T)(Mi-T)Tα=αTM α

即ωTSΦbω=αTM α（15）

這里M=∑ri=1ni(Mi-T)(Mi-T)T。

根據(jù)式（10）及xΦi=(1/ni)∑xi∈CixΦi，同理可以證明[21]：

ωTSΦwω=αTM α（16）

這里M=∑rj=1Kj(E-Enj)KTj。其中：Kj為N×nj階核矩陣，Kj=(k(xs，xt))N×nj（s=1，2，…，N；t=1，2，…，nj）；E為單位陣；Enj為所有元素均為1/nj的nj階方陣。

由此可得相應(yīng)于式（6）的基于核的雙參數(shù)最大散度差鑒別準(zhǔn)則：

J(ω)=αT(β1M-β2M)α， αTα=1（17）

當(dāng)文本類別數(shù)目均較大，需要尋找一組正交的單位投影向量構(gòu)成最優(yōu)投影矩陣Q=(q1，q2，…，qt)，使得式（17）在的Q變換下取得t個(gè)最大值。由于M、M的非負(fù)定性，與文獻(xiàn)[15]類似，易知Q恰為β1M-β2M的前t個(gè)最大特征值對(duì)應(yīng)的單位特征向量構(gòu)成。

而通過(guò)映射Φ作用后，原空間S中向量x在相應(yīng)于Q中任一投影方向ω上的投影可通過(guò)下式計(jì)算：

prj(x)=∑Ni=1αik(xi，x)（18）

至于核函數(shù)k(x，y)有多種選擇，常見的核函數(shù)有RBF、Sigmoid核、多項(xiàng)式核以及高斯核等。考慮到多項(xiàng)式核函數(shù)更適合處理文本分類問(wèn)題，本文取k(x，y)=[(xi，x)+1]2。其中(xi，x)表示內(nèi)積。

3 實(shí)驗(yàn)及其結(jié)果分析

本文對(duì)基于核的非線性變換下最大散度差特征降維方法在文本分類方面的分類效果進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)是從新浪、Yahoo!下載的3 868篇文本。其中，軍事492、環(huán)保557、體育516、房地產(chǎn)512、音樂(lè)543、金融538以及文藝710共七類。實(shí)驗(yàn)時(shí)采用4分交叉實(shí)驗(yàn)法，將3 868篇文本平均分為四份（保持類別文本的相對(duì)平均），三份為訓(xùn)練集，一份為測(cè)試集；每份輪流作為測(cè)試集循環(huán)測(cè)試四次，取平均值為測(cè)試結(jié)果。對(duì)Web頁(yè)面進(jìn)行清洗獲得純文本文檔，經(jīng)過(guò)剔除特高頻詞、低頻詞以及停用詞等文本預(yù)處理，實(shí)驗(yàn)中取投影方向向量個(gè)數(shù)t=75；由于訓(xùn)練樣本分布相對(duì)均勻，參數(shù)取β1=5，β2=1。分類器使用常用的kNN分類器，這是一種簡(jiǎn)單有效的非參數(shù)方法，在準(zhǔn)確率和召回率方面表現(xiàn)突出。分類效果評(píng)估函數(shù)使用常用的查準(zhǔn)率、查全率和F1測(cè)試值：

查準(zhǔn)率=分類的正確文本數(shù)/實(shí)際分類文本數(shù)

查全率=分類的正確文本數(shù)/應(yīng)有的文本數(shù)

F1=查準(zhǔn)率×查全率×2/（查準(zhǔn)率+查全率）

為了與最大散度差線性鑒別方法比較，本文使用式（7）及式（17）分別進(jìn)行實(shí)驗(yàn)，將筆者提出的基于核的最大散度差特征抽取方法的三個(gè)評(píng)估指標(biāo)進(jìn)行統(tǒng)計(jì)，并對(duì)其F1值與基于最大散度差的線性鑒別準(zhǔn)則的特征抽取方法相應(yīng)的F1值進(jìn)行了比較。分類結(jié)果統(tǒng)計(jì)如表1所示。

表1 文本分類試驗(yàn)結(jié)果統(tǒng)計(jì)

類 別軍事環(huán)保體育房地產(chǎn)音樂(lè)金融文藝

查準(zhǔn)率84.1%91.7%87.6%84.5%86.3%81.3%90.7%

查全率88.5 %95.1%85.2%81.0%91.6%76.4%92.2%

F1值86.2%93.4%86.2%82.7%88.9%78.9%91.4%

F1值84.7%86.6%86.2%76.2%82.6%77.5%87.6%

平均查準(zhǔn)率為86.6%，查全率為87.1%;F1測(cè)試值為87.6%。其中，房地產(chǎn)與金融兩類的F1值略低一點(diǎn)，可能是由于這兩類文本中部分文本分界不是特別明顯所至。基于最大散度差線性鑒別準(zhǔn)則的特征抽取方法相應(yīng)的F1值為83.1%，說(shuō)明本文使用的基于核的最大散度差特征抽取方法分類效果還是令人滿意的。

4 結(jié)束語(yǔ)

特征降維問(wèn)題是文本處理所必須面對(duì)的主要問(wèn)題之一，是制約提高文本分類效率的瓶頸。本文討論了一種基于核的最大散度差特征抽取方法。借助于最大散度差鑒別準(zhǔn)則避開類內(nèi)散布矩陣不可逆問(wèn)題；借助核函數(shù)的“核技巧”不僅避開了低維空間到高維空間映射的具體計(jì)算，而且為線性可分性相對(duì)較差的樣本提供了一種非線性特征抽取方法。在最低限度減少信息損失的前提下實(shí)現(xiàn)了特征維數(shù)的大幅度減縮。

特征選擇和特征抽取從不同的立足點(diǎn)出發(fā)對(duì)文本特征進(jìn)行壓縮，兩種模式各有其優(yōu)點(diǎn)和不足。如何將兩種模型進(jìn)行合理的結(jié)合，構(gòu)造組合型的特征降維模型應(yīng)該是提高特征降維效率的思路，這也是筆者今后要深入進(jìn)行的研究工作。

參考文獻(xiàn)：

[1]蘇金樹，張博鋒，徐昕.基于機(jī)器學(xué)習(xí)的文本分類技術(shù)研究進(jìn)展[J].軟件學(xué)報(bào)，2006，17(9):18481859.

[2]宋楓溪，高林.文本分類器性能評(píng)估指標(biāo)[J].計(jì)算機(jī)工程，2004，30(7):107109.

[3]劉海峰，王元元，王倩.基于分類的VSM模式下文本檢索若干問(wèn)題研究[J].情報(bào)科學(xué)，2006，24（11）：17001703.

[4]周茜，趙明生，扈旻.中文文本分類中的特征選擇研究[J].中文信息學(xué)報(bào)， 2004，18(3):1723.

[5]宋楓溪，高秀梅，劉樹海，等.統(tǒng)計(jì)模式識(shí)別中的維數(shù)削減與低損降維[J].計(jì)算機(jī)學(xué)報(bào)， 2005，28（11）:19151922.

[6]張志佳，黃莎白，史澤林，等.基于線性投影的代數(shù)空間降維分析[J].計(jì)算機(jī)工程，2005，31（21）:2527.

[7]宋楓溪，劉樹海，楊靜宇，等.最大散度差分類器及其在文本分類中的應(yīng)用[J].計(jì)算機(jī)工程，2005，31(5):810.

[8]陳伏兵，張生亮，高秀梅，等.小樣本情況下Fisher線性鑒別分析的理論及其驗(yàn)證[J].中國(guó)圖象圖形學(xué)報(bào)， 2005，10(8):984991.

[9]DUDA R O， HART P E， STORK D G. Pattern classification[M].2nd ed. Beijing: China Machine Press，2003.

[10]JIN Zhong， YANG Jingyu， HU Zhongshon， et al. Face recognition based on uncorrelated discriminant transformation[J]. Pattern Recognition，2001，34(7):14051416.

[11]HONG Ziquan， YANG Jingyu. Optimal discriminant plane for a small number of samples and design method of classifier on the plane[J].Pattern Recognition，1991，24(4):317324.

[12]STEWART G W. Introduction to matrix computations[M].New York:Academic Press， 1973.

[13]CHEN Lifen， LIAO H Y M， KO M T， et al. A new LDAbased face recognition system which can solve the small sample size problem[J].Pattern Recognition，2000，33(10):17131726.

[14]LIU Ke， CHENG Yongqing， YANG Jingyu， et al. An efficient algorithm for foleysammon optimal set of discriminant vectors by algebraic method [J].International Journal of Pattern Recognition and Artificial Intelligence，1992，6(5):817829.

[15]宋楓溪，程科，楊靜宇，等.最大散度差和大間距線性投影與支持向量機(jī)[J].自動(dòng)化學(xué)報(bào)， 2004，30(6):890896.

[16]宋楓溪，楊靜宇，劉樹海，等.基于多類最大散度差的人臉表示方法[J].自動(dòng)化學(xué)報(bào)，2006，32(3):378385.

[17]張明淳.工程矩陣?yán)碚揫M].南京:東南大學(xué)出版社，1995.

[18]JOACHIMS T. Text categorization with support vector machinies; Learrning with many relevant features[C]//Proc of the 10th European Conference on Machine Learning.Berlin:SpringerVerlag，1998：137142. 

[19]徐勇，楊靜宇，金忠，等.一種基于核的快速非線性鑒別分析方法[J].計(jì)算機(jī)研究與發(fā)展， 2005，42(3):367374.

[20]CRISTIANINI N， SHAWTAYLOR J. An introduction to support vector machines and other kernelbased learning methods[M].Cambridge:Cambridge University Press， 2000.

[21]MIKA S， RATSCH G， WESTON J， et al. Fisher discriminant analysis with kernels[C]//Proc of IEEE Signal Processing Society Workshop on Neural Networks for Signal Processing IX. Piscataway: IEEE Press，1999:4148.

[22]鞏軍，劉魯.一種KNN文本分類器的改進(jìn)方法[J].情報(bào)學(xué)報(bào)，2007，26(1):5659.