基于主成分分析和支持向量機(jī)的飛參階段劃分研究

摘 要:主成分分析是一種應(yīng)用廣泛的線性降維技術(shù)，它在保留住數(shù)據(jù)的重要成分的同時(shí)達(dá)到了對(duì)數(shù)據(jù)的降維。對(duì)高維、多屬性的飛參數(shù)據(jù)進(jìn)行主成分分析，可以實(shí)現(xiàn)飛參的降維。支持向量機(jī)的學(xué)習(xí)方法則以其全局最優(yōu)和泛化能力好的特點(diǎn)，實(shí)現(xiàn)對(duì)飛參階段的劃分。使用主成分分析后的數(shù)據(jù)進(jìn)行階段劃分可以提高劃分速度，并且劃分效果更好。

關(guān)鍵詞:飛參; 主成分分析; 支持向量機(jī); 階段劃分

中圖分類號(hào):TP183文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1004-373X(2010)08-0134-04

Classification of Flight Data Based on Principal Components

Analysis and Support Vector Machine

LI Dan-dan， LU Hui， LANG Rong-ling

(School of Electronic and Information Engineering， Beihang University， Beijing 100191， China)

Abstract:Principal components analysis (PCA) is a widely used linear technique for dimension reduction， which can also retain the main components of the data and realize the dimension reduction.The PCA of multi-dimensional and multi-attributed flight data was carried out， which can realize dimension reduction of flight data. The learning method of support vector machine(SVM) is able to achieve the classification of flight data due to the optimization on the whole data sets and excellent generalization ability. Classification using data after PCA can improve the speed and enhance the effects.

Keywords:flight data; principal components analysis; support vector machine; classification

0 引 言

飛參數(shù)據(jù)是由記錄儀記錄的、反映飛機(jī)飛行狀態(tài)和飛行性能的一系列數(shù)據(jù)。通過飛參數(shù)據(jù)，可以對(duì)飛機(jī)健康狀況進(jìn)行監(jiān)測(cè)，從而提高飛行的安全性;可以對(duì)飛行事故原因進(jìn)行調(diào)查研究;還可以進(jìn)行故障診斷和趨勢(shì)預(yù)測(cè)。針對(duì)飛參數(shù)據(jù)展開的各種研究在飛行領(lǐng)域有著指導(dǎo)性的意義[1-2]。

飛參數(shù)據(jù)包含了飛行中的多個(gè)參數(shù)，具有多屬性、維數(shù)高、數(shù)據(jù)量大的特點(diǎn)。如果直接將這樣的高維數(shù)據(jù)用于各項(xiàng)研究，很可能會(huì)影響到數(shù)據(jù)處理和分析的速度。因此，本文首先對(duì)飛參進(jìn)行降維處理。常用的降維方法有兩種:一種是從現(xiàn)有的特征集中選出合適的子集，另一種是找到一些較少的變量、這些變量是原有變量的某些組合方式，使得這些組合可以反映原有變量所包含的主要信息，從而達(dá)到降維的目的[3]。這里采用主成分分析的方法對(duì)飛參進(jìn)行降維處理，找到一組較少的輸入變量的線性組合作為新的變量，此方法已經(jīng)被成熟地應(yīng)用于高光譜數(shù)據(jù)的維數(shù)降低[4]、圖像的屬性約簡(jiǎn)[5]和人臉部識(shí)別中的數(shù)據(jù)降維[6]等多個(gè)領(lǐng)域，達(dá)到了良好的維數(shù)約簡(jiǎn)的目的。降維之后，數(shù)據(jù)運(yùn)算量減少;另外，噪聲的干擾可能被降低，因?yàn)橛袝r(shí)候數(shù)據(jù)中的最后幾個(gè)成分很有可能是由噪聲引起的。此外，在低維子空間上的映射對(duì)數(shù)據(jù)的解釋和可視化都有很大的幫助。

對(duì)飛參數(shù)據(jù)降維之后就可以方便地進(jìn)行各種分析和研究。從飛參的來源來講，飛參數(shù)據(jù)由記錄儀連續(xù)記錄，包含了一次飛行的全過程，但是并沒有現(xiàn)成的諸如爬升、巡航和降落等各個(gè)階段的明確劃分。基于此，對(duì)飛參數(shù)據(jù)的階段劃分便于對(duì)不同飛行狀態(tài)下的飛行參數(shù)進(jìn)行研究，可以為深層次的故障診斷和趨勢(shì)預(yù)測(cè)提供數(shù)據(jù)準(zhǔn)備，進(jìn)而開展有目的診斷;還可以為飛行參數(shù)之間關(guān)聯(lián)信息的挖掘提供階段信息。飛參的階段劃分反映到數(shù)學(xué)原理上即多屬性數(shù)據(jù)的分類問題。解決分類問題的方法有很多種，決策樹歸納方法、貝葉斯分類法、后向傳播分類方法、最近鄰學(xué)習(xí)法、遺傳算法、神經(jīng)網(wǎng)絡(luò)方法和基于支持向量機(jī)的分類方法等。支持向量機(jī)的分類方法具有分類精度高、泛化能力良好和全局最優(yōu)等特點(diǎn)[7-8]，本文使用此方法對(duì)飛參進(jìn)行階段劃分。

1 主成分分析

在多數(shù)實(shí)際問題中，數(shù)據(jù)的不同指標(biāo)(屬性)之間具有一定的相關(guān)性，主成分分析就是將原來指標(biāo)重新組合成一組新的互相無關(guān)的幾個(gè)綜合指標(biāo)來代替原指標(biāo)的方法，新的幾個(gè)綜合指標(biāo)盡可能多地反映了原來指標(biāo)的信息。

設(shè)要分析的數(shù)據(jù)集涉及p個(gè)指標(biāo)，分別用X1，X2，…，Xp表示，這p個(gè)指標(biāo)構(gòu)成p維隨機(jī)向量X=(X1，X2，…，Xp)′。設(shè)隨機(jī)向量X的均值為μ，協(xié)方差矩陣為Σ。

對(duì)X進(jìn)行線性變換，可以形成新的綜合變量，用Y表示，即，新的綜合變量可以由原來的變量線性表示:

Y1=u11X1+u21X2+…+up1Xp

Y2=u12X1+u22X2+…+up2Xp

 

Yp=u1pX1+u2pX2+…+uppXp

由于可以任意地對(duì)原始變量進(jìn)行上述線性變換，由不同的線性變換得到的綜合變量Y的統(tǒng)計(jì)特性也不盡相同。因此為了取得較好的結(jié)果，總是希望Yi=ui′X的方差盡可能大且各Yi之間相互獨(dú)立，由于:

var(Yi)=var(ui′X)=ui′Σui

而對(duì)任給的常數(shù)c，有:

var(cui′X)=cui′Σuic=c2ui′Σui

因此對(duì)ui不加限制時(shí)，可使var(Yi)任意增大，問題將變得沒有意義。這里將線性變換約束在下面的原則之下:

(1) ui′ui=1，即u2i1+ u2i2+… + u2ip= 1(i = 1，2，…，p);

(2) Yi與Yj相互無關(guān)(i≠j;i，j=1，2，…，p);

(3) Y1是X1，X2，…，Xp的一切滿足原則1的線性組合中方差最大者;Y2是與Y1不相關(guān)的X1，X2，…，Xp所有線性組合中方差最大者;…;Yp是與Y1，Y2，…，Yp-1都不相關(guān)的X1，X2，…，Xp的所有線性組合中方差最大者。

基于以上三條原則決定的綜合變量Y1，Y2，…，Yp分別稱為原始變量的第一，第二，…，第p個(gè)主成分。其中，各綜合變量在總方差中占的比重依次遞減。

最后，需要確定主成分的個(gè)數(shù)。這是通過累積貢獻(xiàn)率完成的。累積貢獻(xiàn)率指的是前k個(gè)主成分的方差占所有成分的方差比重，它可以表示前k個(gè)主成分有多大的綜合能力。一般來說，累積貢獻(xiàn)率大于等于80%的主成分就基本足夠了。

2 支持向量機(jī)

2.1 基本原理

支持向量機(jī)(Support Vector Machine，SVM)是由Vapnik等人于20世紀(jì)90年代提出的一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的機(jī)器學(xué)習(xí)方法。它通過非線性變換將輸入空間映射到一個(gè)高維空間(Hilbert空間)，在這個(gè)新的空間中求得最優(yōu)分劃超平面，從而將一個(gè)較為復(fù)雜的非線性問題轉(zhuǎn)化為簡(jiǎn)單的線性問題[7]。SVM是一種較新的機(jī)器學(xué)習(xí)方法，它可以廣泛地應(yīng)用于分類和回歸，諸如語音識(shí)別、人臉圖像識(shí)別和文本分類等。

支持向量機(jī)應(yīng)用于分類領(lǐng)域即為支持向量分類機(jī)。其中，最基本的是線性可分支持向量分類機(jī)。其基本思想如圖1所示，它通過在兩類訓(xùn)練數(shù)據(jù)中找到一個(gè)具有最大間隔的分類平面，從而得到一個(gè)線性分類器，可以對(duì)新加入數(shù)據(jù)進(jìn)行類別辨識(shí)[9]。

圖1 線性可分支持向量分類機(jī)

2.2 C-SVC算法

C-SVC即C-支持向量機(jī)算法，它是在線性可分支持向量機(jī)的基礎(chǔ)上發(fā)展而來的。

第2.1節(jié)所述的線性可分支持向量機(jī)研究的是訓(xùn)練集數(shù)據(jù)線性可分時(shí)的情況。在訓(xùn)練集數(shù)據(jù)線性不可分時(shí)，需要引入核函數(shù)將輸入空間變換到高維空間，在此空間中求得最優(yōu)超平面。

另外，訓(xùn)練集數(shù)據(jù)線性不可分時(shí)，引入任何分劃超平面都會(huì)有錯(cuò)劃，因此為每個(gè)訓(xùn)練集數(shù)據(jù)引入一個(gè)松弛變量ξi將約束條件放松為yi(wxi+b)≥1-ξi。此時(shí)的分類目標(biāo)為:既希望分類間隔最大，同時(shí)又希望錯(cuò)劃程度最小，為了把這兩個(gè)目標(biāo)綜合成一個(gè)目標(biāo)，又引入了一個(gè)懲罰參數(shù)C作為綜合二者的權(quán)重，從而得到C-SVC算法，算法如下所述:

(1) 設(shè)已知訓(xùn)練集T={(x1，y1)，(x2，y2)，…，(xl，yl)}∈(χ×y)l。其中:xi∈χ=Rn，yi∈y={-1，1}，i=1，2，…，l;

(2) 選擇核函數(shù)K(x，x′)和懲罰參數(shù)C，構(gòu)造并求解最優(yōu)化問題:

minα12∑li=1∑lj=1yiyjαiαjK(xi，xj)-∑lj=1αj

s.t.∑li=1yiαi=0，0≤αi≤C，i=1，2，…，l

得最優(yōu)解α*=(α1*，…，αl*)T;

(3) 選擇α*的一個(gè)正分量αj*，0<αj*

(4) 求得決策函數(shù)f(x)=sgn\\li=1yiαi*#8226;K(xi，x)+b*\\〗。

上述步驟是分類模型的訓(xùn)練過程，接下來，使用分類模型可以對(duì)測(cè)試數(shù)據(jù)進(jìn)行類標(biāo)號(hào)的辨識(shí)，即分類辨識(shí)的過程。

2.3 核函數(shù)及相關(guān)參數(shù)

核函數(shù)及相關(guān)參數(shù)的選擇在很大程度上影響SVM分類效果。

核函數(shù)有很多種，諸如多項(xiàng)式核函數(shù)、高斯徑向基核函數(shù)、SIGMOD核函數(shù)和傅里葉核函數(shù)等。本文采用高斯核函數(shù)進(jìn)行SVM訓(xùn)練。高斯核寬度q的取值影響訓(xùn)練得到的分類機(jī)的性能。

影響分類機(jī)性能的另外一個(gè)重要參數(shù)是懲罰參數(shù)C。C越大，對(duì)訓(xùn)練集上的識(shí)別錯(cuò)誤數(shù)越敏感，錯(cuò)誤數(shù)越少，但泛化能力下降(即w增加);C越小則情況相反。通過調(diào)節(jié)C，能在泛化能力與訓(xùn)練誤差之間進(jìn)行平衡，因子C實(shí)質(zhì)上是對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)和表達(dá)能力如何匹配的一個(gè)裁決[10]。C和q的選取通常需要通過大量實(shí)驗(yàn)來確定。

2.4 兩類分類到多類分類的實(shí)現(xiàn)

C-SVC算法最初解決的是兩類分類問題，但是實(shí)際的飛參數(shù)據(jù)通常包含了多個(gè)階段，這就需要將算法擴(kuò)展以解決多類分類的問題。

飛參數(shù)據(jù)所包含的階段數(shù)量有限，也就是要處理的多類問題中的類的數(shù)量有限，所以本文采用成對(duì)分類的方法來實(shí)現(xiàn)飛參的多類分類。

假設(shè)飛參數(shù)據(jù)的類別數(shù)量為k，對(duì)k個(gè)階段的飛參數(shù)據(jù)進(jìn)行多類分類的具體步驟如下:

(1) 將k類中的第i類和第j類數(shù)據(jù)作為訓(xùn)練集進(jìn)行支持向量機(jī)訓(xùn)練，得到一個(gè)決策函數(shù)，此時(shí)第i類和第j類分別相當(dāng)于此決策函數(shù)下的正類和負(fù)類;

(2) 對(duì)k類中的任兩類數(shù)據(jù)進(jìn)行上述訓(xùn)練，經(jīng)過k(k-1)/2次訓(xùn)練共得到k(k-1)/2個(gè)決策函數(shù)，構(gòu)建了k(k-1)/2個(gè)兩類分類機(jī)。

(3) 對(duì)測(cè)試數(shù)據(jù)x使用每個(gè)兩類分類機(jī)判斷其所屬類別，屬于第i類則給第i類投一票，屬于第j類則給第j類投一票;

(4) 對(duì)數(shù)據(jù)x所屬的k個(gè)類別票數(shù)進(jìn)行比較，得到票數(shù)最多的類別l即為數(shù)據(jù)x所屬的類別。

3 結(jié)果和分析

本文使用某型飛機(jī)一次飛行中的數(shù)據(jù)(共3 848個(gè)數(shù)據(jù))進(jìn)行分析和研究。這批數(shù)據(jù)包含了15個(gè)參數(shù)，分別是發(fā)動(dòng)機(jī)低壓轉(zhuǎn)子轉(zhuǎn)速、發(fā)動(dòng)機(jī)高壓轉(zhuǎn)子轉(zhuǎn)速、油門位置、起落架開關(guān)、縱向加速度、俯仰角、橫滾角、航向角、側(cè)滑角、指示空速、氣壓高度、總溫、升降速度、馬赫數(shù)和總剩油量。這里以0.8的累積貢獻(xiàn)率對(duì)其進(jìn)行主成分分析，得到的特征值及貢獻(xiàn)率如表1所示。

表1 飛參數(shù)據(jù)主成分分析的特征值及貢獻(xiàn)率

主成分特征值貢獻(xiàn)率 /%累積貢獻(xiàn)率 /%

Y15.951 48839.676 639.676 6

Y22.108 81014.058 753.735 3

Y31.472 0459.813 663.549 0

Y41.210 6148.070 871.619 7

Y51.026 1916.841 378.461 0

Y60.936 6146.244 184.705 1

主成分分析后，數(shù)據(jù)由原來的15個(gè)指標(biāo)降低為6個(gè)主成分。其中，第一主成分綜合了發(fā)動(dòng)機(jī)低壓轉(zhuǎn)子轉(zhuǎn)速、發(fā)動(dòng)機(jī)高壓轉(zhuǎn)子轉(zhuǎn)速、油門位置、縱向加速度、俯仰角、航向角、側(cè)滑角、指示空速、氣壓高度、升降速度和馬赫數(shù)的信息。起落架開關(guān)、總溫和總剩油量的信息則體現(xiàn)在了第二主成分中，橫滾角的信息分別體現(xiàn)在了后四個(gè)主成分中。此時(shí)，即用6個(gè)主成分來代表數(shù)據(jù)的15個(gè)初始指標(biāo)，主成分綜合了原有指標(biāo)80%的信息。

本文從數(shù)據(jù)集中選取3 448個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余400個(gè)數(shù)據(jù)作為測(cè)試數(shù)據(jù)進(jìn)行支持向量機(jī)訓(xùn)練和分類。訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)均包含了飛行的滑行、爬升、巡航、降落和著陸這五個(gè)階段。

支持向量機(jī)訓(xùn)練和分類涉及到懲罰參數(shù)C和高斯核寬度q的選擇。本文通過固定一個(gè)參數(shù)、逐漸增大另一個(gè)參數(shù)的方法，在大量實(shí)驗(yàn)之后得出如下結(jié)論:

(1) 對(duì)于原始數(shù)據(jù)

① 不存在一個(gè)范圍，使得參數(shù)取此范圍內(nèi)的值時(shí)，對(duì)測(cè)試集的劃分結(jié)果完全正確;

② 在0

③ 在C=1，0

(2) 對(duì)于主成分分析后數(shù)據(jù):在0.1

(3) 主成分分析后的數(shù)據(jù)在SVM訓(xùn)練和分類方面的時(shí)間開銷均有明顯減小，如表2所示。

(4) 在C=1，q=0.001時(shí)，對(duì)于原始測(cè)試集和主成分分析后的測(cè)試集，劃分效果均達(dá)到最佳。

本文的實(shí)驗(yàn)和測(cè)試均是在Windows XP Professional操作系統(tǒng)(PentiumR 4 CPU@3.20 GHz，3.19 GHz，1.0 GHz內(nèi)存)、Visual C++ 6.0環(huán)境下進(jìn)行。

表2 飛參數(shù)據(jù)SVM劃分的時(shí)間開銷和劃分效果

Cq訓(xùn)練時(shí)間/ms分類時(shí)間/ms飛參劃分錯(cuò)誤率/%

主成分分析前

10.001329 4531 17120

10.01154 5621 57941

主成分分析后

10.00115 1565940

10.015 3911870

選擇氣壓高度作為縱坐標(biāo)將上述測(cè)試數(shù)據(jù)的四個(gè)分類結(jié)果如圖2所示。

圖2 主成分分析前后的分類結(jié)果對(duì)比圖

主成分分析前:在C=1，q=0.001時(shí)，可以將滑行階段、巡航階段和著陸階段正確劃分，但是爬升階段和降落階段中的部分?jǐn)?shù)據(jù)被錯(cuò)劃為巡航段。在C=1，q=0.01時(shí)，可以將巡航階段正確劃分，但是滑行階段、爬升階段、降落階段和著陸階段中的部分?jǐn)?shù)據(jù)被錯(cuò)劃為巡航段。錯(cuò)劃的數(shù)據(jù)在圖2用橢圓標(biāo)記了出來。

主成分分析后:在C=1，q=0.001和0.01時(shí)，五個(gè)階段均得到正確劃分。

4 結(jié) 語

本文針對(duì)飛參數(shù)據(jù)維數(shù)高、數(shù)據(jù)量大的特點(diǎn)，首先對(duì)數(shù)據(jù)做主成分分析來達(dá)到降維處理，然后使用支持向量機(jī)的方法對(duì)數(shù)據(jù)進(jìn)行階段劃分。實(shí)驗(yàn)證明，降維之后，飛參數(shù)據(jù)的數(shù)據(jù)量大大地減少了，支持向量機(jī)訓(xùn)練和分類的時(shí)間開銷減少，并且階段劃分效果遠(yuǎn)好于降維前的劃分效果。

參考文獻(xiàn)

[1]曲建嶺， 唐昌盛. 飛參數(shù)據(jù)的應(yīng)用研究現(xiàn)狀及發(fā)展趨勢(shì)[J]. 計(jì)測(cè)技術(shù)， 2007， 27(6): 1-4.

[2]孫同江. 飛行數(shù)據(jù)的應(yīng)用研究[D]. 南京: 南京航空航天大學(xué)， 2003.

[3]賀平. 數(shù)據(jù)挖掘中的分類方法及其在質(zhì)譜數(shù)據(jù)中的應(yīng)用[D]. 成都: 四川大學(xué)， 2005.

[4]王旭紅，肖平，郭建明. 高光譜數(shù)據(jù)降維技術(shù)研究[J]. 水土保持通報(bào)， 2006， 26(6): 89-91.

[5]孫穎楷，王光學(xué). 基于PCA預(yù)處理的圖像特征屬性約簡(jiǎn)[J]. 中國(guó)圖像圖形學(xué)報(bào)， 2007， 12(10): 1897-1900.

[6]楊云霞，寧惠君. 犯罪嫌疑人臉部識(shí)別中的降維處理和模式分類方法研究[J]. 陜西科技大學(xué)學(xué)報(bào): 自然科學(xué)版， 2008， 26(10): 121-128.

[7]VAPNIK V.The nature of statistical learning theory[M]. New York: Springer-Verlag， 1995.

[8]WASNIOWSKI R A. Using support vector machines in data mining[D]. USA: California State University， 2005.

[9]鄧乃揚(yáng)，田英杰. 數(shù)據(jù)挖掘中的新方法支持向量機(jī)[M]. 北京: 科學(xué)出版社， 2004.

[10]路倩. 聚類分析方法研究及其在飛行數(shù)據(jù)仿真系統(tǒng)中的應(yīng)用[D]. 北京: 北京航空航天大學(xué)， 2008.