支持向量機(jī)在柴油機(jī)尾氣分析中的核模型選擇

摘 要：研究支持向量機(jī)（SVM）中常用核函數(shù)及其參數(shù)對(duì)分類效果的影響。在此基礎(chǔ)上，聯(lián)系柴油機(jī)尾氣數(shù)據(jù)，應(yīng)用交叉確認(rèn)法（CV）得到在該數(shù)據(jù)集下?lián)碛胁煌Ｓ煤撕瘮?shù)的SVM的最優(yōu)參數(shù)，及在最優(yōu)參數(shù)下SVM的三個(gè)性能指標(biāo)，即對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率、對(duì)測(cè)試集的分類準(zhǔn)確率和尋優(yōu)時(shí)間。對(duì)比各性能指標(biāo)，結(jié)果表明：對(duì)于柴油機(jī)尾氣數(shù)據(jù)，徑向基核函數(shù)模型所對(duì)應(yīng)的訓(xùn)練集交叉確認(rèn)準(zhǔn)確率最高，而其測(cè)試集分類準(zhǔn)確率最低；線性核函數(shù)模型的尋優(yōu)時(shí)間最短。綜合考慮SVM的學(xué)習(xí)能力、外推能力及尋優(yōu)時(shí)間，決定選擇線性核函數(shù)作為SVM在柴油機(jī)尾氣分析中的核模型。

關(guān)鍵詞：支持向量機(jī)；尾氣分析；核函數(shù)；柴油機(jī)；交叉確認(rèn)法

中圖分類號(hào)：TP312；TK428 文獻(xiàn)標(biāo)識(shí)碼：A

The Nuclear Model Selection of SVM in the Analysis of Diesel Engine Exhaust Emissions

GAO Yang，LI Guozhang

(Department 1，Ordnance Engineering College ， Shijiazhuang 050003， China)

Abstract:The effect of ordinary kernels and their parameters of the Support Vector Machine (SVM) on classification are researched. Then， use Cross-Validation (CV) to obtain the optimum parameters of SVM with different ordinary kernel on the diesel engine exhaust emissions data， and 3 performance indexes of SVM， the CV accuracy on training data and the classification accuracy on testing data as well as the parameter optimizing time， under the corresponding optimum parameters respectively. Comparing the same type indexes， the results are， for the diesel engine exhaust emissions data， the RBF kernel model has higher accuracy than other models at the first index， but the lower one at the second; the Linear kernel model takes shorter time on parameter optimizing than other ones. Considering the learning and extrapolating ability as well as the parameter optimizing time， linear kernel is determined to be used in SVM in the analysis of diesel engine exhaust emissions.

Key words:SVM; analysis of exhaust emissions; kernel; diesel engine; CV

1 引 言

近年來，隨著人們對(duì)車輛尾氣排放的關(guān)注，相關(guān)的研究也開始活躍起來。部分研究者將研究目的設(shè)定為檢查并控制車輛的尾氣排放，其目標(biāo)為設(shè)計(jì)出尾氣測(cè)試及控制方法^［1］。而另一部分研究者^［2］則將研究的重點(diǎn)放在通過車輛的尾氣排放情況來判斷車輛的故障情況。本文的研究即是后一類研究中的部分工作，即通過采集的尾氣排放數(shù)據(jù)判斷柴油機(jī)對(duì)應(yīng)的故障類型。

本文采用支持向量機(jī)對(duì)采集樣本進(jìn)行判斷，識(shí)別其所屬的故障類型。但對(duì)于支持向量機(jī)最優(yōu)參數(shù)的確定，到現(xiàn)在還沒有統(tǒng)一的標(biāo)準(zhǔn)和方法可循^［3］。而且，支持向量機(jī)的最優(yōu)參數(shù)的獲得，不僅與包括核函數(shù)在內(nèi)的支持向量機(jī)本身性能有關(guān)，同時(shí)還與所利用的訓(xùn)練樣本有關(guān)，這無疑加大了參數(shù)尋優(yōu)的難度。本文擬在對(duì)支持向量機(jī)參數(shù)，特別是核函數(shù)及其各參數(shù)，對(duì)分類效果的影響作一定分析的基礎(chǔ)上，通過實(shí)驗(yàn)對(duì)比，為支持向量機(jī)在柴油機(jī)尾氣分析上的應(yīng)用選擇合適的核模型。

2 核模型及其對(duì)分類的影響

求解非線性支持向量機(jī)的二分類問題，就是解決下列凸二次規(guī)劃問題^［4］：

min α12∑mi=1∑mj=1yiyjK(xi，xj)αiαj－∑mj=1αj

s. t：0≤αi≤C， i = 1，2，…，m

∑mi=1yiαi=0其中，訓(xùn)練集T={（x1，y1），（x2，y2），…， (xm，ym)} ∈(Rn×У)m，

xi∈ Rn，yi∈У={-1，1}，i = 1，2，…，m

K(xi，xj)為核函數(shù)。

由上式的解α=(α1，α2，α3...)T可得到判別函數(shù)

f(x)=sgn(g(x)).

從上面的式子可以看出，在支持向量機(jī)中，我們僅需確定參數(shù)C和核函數(shù)即可完成分類模型的建立。經(jīng)過仿真發(fā)現(xiàn)，這兩者中核函數(shù)的作用尤為關(guān)鍵。

目前，在工程上常用的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)及sigmoid核函數(shù)^［5］。當(dāng)然，也有針對(duì)具體數(shù)據(jù)集構(gòu)造的核函數(shù)^［6］。雖說這樣的核函數(shù)具有更好的分類效果，但針對(duì)特定數(shù)據(jù)集專門構(gòu)造核函數(shù)無疑增大了工程應(yīng)用的復(fù)雜性。而且在實(shí)際中，選擇適當(dāng)?shù)某Ｓ煤撕瘮?shù)相對(duì)于構(gòu)造的核函數(shù)對(duì)數(shù)據(jù)集的分類效果相差不大。所以，通常情況下，我們都是選用常用核函數(shù)。但在應(yīng)用上，各常用核函數(shù)也具有各自不同的特點(diǎn)，這些特點(diǎn)從支持向量機(jī)的分類效果和運(yùn)算速度等方面得以表現(xiàn)。下面本文針對(duì)各常用核函數(shù)的特點(diǎn)對(duì)其進(jìn)行簡要的介紹。

線性核函數(shù)是一種最基本的常用核函數(shù)，其表達(dá)式為K(xi，xj)= xixj，其中，xi，xj∈Rn。運(yùn)用此核函數(shù)的情況為，訓(xùn)練集在樣本空間中便可以進(jìn)行線性分劃。同時(shí)，在保證分類效果的前提下，若使用線性核函數(shù)，可以有效地提高計(jì)算速度和分類效率。但當(dāng)訓(xùn)練集在樣本空間是不可分的，或類別標(biāo)簽與特征之間的關(guān)系為非線性關(guān)系時(shí)，線性核函數(shù)就不能達(dá)到預(yù)期的分類效果了。

多項(xiàng)式核函數(shù)也是較常用的一種核函數(shù)，其表達(dá)式為K(xi，xj)=κ(xi，xj)+rd， 其中xi，xj∈Rn，κ∈R+，r∈R，d∈Z+。多項(xiàng)式核函數(shù)可以將訓(xùn)練樣本映射到高維空間，使其在特征空間中能夠被線性分劃。根據(jù)仿真實(shí)驗(yàn)知道，多項(xiàng)式核函數(shù)具有較好的外推能力，且隨著階數(shù)d的降低，其外推能力增強(qiáng)，而學(xué)習(xí)能力則會(huì)隨之下降；相反，若果階數(shù)d升高，則其學(xué)習(xí)能力會(huì)升高，甚至產(chǎn)生過擬合現(xiàn)象，同時(shí)也會(huì)增大系統(tǒng)的復(fù)雜性，降低運(yùn)算速度。此外，多項(xiàng)式核函數(shù)有三個(gè)參數(shù)需要確定，相對(duì)其他核函數(shù)顯得復(fù)雜了些，這在一定程度上影響了它的使用率。

徑向基核函數(shù)是用的最多的一種核函數(shù)，其表達(dá)式為K(xi，xj)=e－{‖xi－xj‖22σ2}，其中xi，xj∈Rn，σ∈R。根據(jù)文獻(xiàn)［7］^［7］可知線性核函數(shù)和多項(xiàng)式核函數(shù)是徑向基核函數(shù)的特殊情況。同時(shí)根據(jù)［8］^［8］可知，在某些參數(shù)情況下，sigmoid核函數(shù)和徑向基核函數(shù)具有相似的性能。同而且，徑向基核函數(shù)只有一個(gè)參數(shù)σ，相對(duì)其他核函數(shù)而言顯得更易掌握。所以該核函數(shù)在實(shí)際中使用率最高。雖說徑向基核函數(shù)只有一個(gè)參數(shù)，但這個(gè)唯一的參數(shù)對(duì)支持向量機(jī)的性能卻有著很大的影響。選擇不同的σ就相當(dāng)于將樣本映射到不同的特征空間中，即對(duì)σ的選擇就是對(duì)特征空間的選擇。同時(shí)通過實(shí)驗(yàn)發(fā)現(xiàn)，隨著σ的減小，SVM的學(xué)習(xí)能力加強(qiáng)，局部效應(yīng)^［9］加重。當(dāng)σ很小時(shí)產(chǎn)生過學(xué)習(xí)現(xiàn)象，此時(shí)所有的訓(xùn)練樣本都被認(rèn)為是支持向量，這將加大計(jì)算量，在訓(xùn)練樣本較多時(shí)尤為明顯。同時(shí)，隨著σ的減小，SVM的外推能力會(huì)隨之降低。與此相反，隨著σ增大時(shí)，SVM的學(xué)習(xí)能力降低。當(dāng)σ很大時(shí)，產(chǎn)生欠學(xué)習(xí)現(xiàn)象，此時(shí)SVM會(huì)將所有的樣本都?xì)w為同一類。因此，在對(duì)σ的選擇中，應(yīng)該兼顧SVM的學(xué)習(xí)和外推能力，選取恰當(dāng)?shù)摩抑?，使樣本在特征空間中能比較容易地實(shí)現(xiàn)線性劃分，同時(shí)簡化計(jì)算。

Sigmoid核函數(shù)源于神經(jīng)網(wǎng)絡(luò)，其表達(dá)式為K(xi，xj)= tanh (κ(xi，xj)+r)，其中xi，xj∈Rn，κ∈R+，r∈R。此函數(shù)需要符合一些條件才能滿足作為核函數(shù)的要求，這在一定程度上影響了它的應(yīng)用。

由本節(jié)可知，支持向量機(jī)僅需要確定參數(shù)C和核函數(shù)就可完成分類模型的建立。本文上面對(duì)常用核函數(shù)及其參數(shù)對(duì)分類效果的影響做了簡要的介紹，接下來就對(duì)參數(shù)C的影響效果做一簡要介紹。 

參數(shù)C是誤差懲罰系數(shù)，它能夠使模型在復(fù)雜度和訓(xùn)練誤差間取得折中^［10］，使模型具有較好的學(xué)習(xí)及外推能力。當(dāng)C較小時(shí)，對(duì)樣本誤判的懲罰就較小，從而使訓(xùn)練誤差變大，當(dāng)系統(tǒng)對(duì)新的樣本進(jìn)行分類時(shí)，錯(cuò)分率就會(huì)較高。當(dāng)C過大時(shí)，系統(tǒng)對(duì)訓(xùn)練樣本誤判的懲罰就很大，這樣系統(tǒng)對(duì)訓(xùn)練樣本的錯(cuò)分率很小，但對(duì)新樣本的錯(cuò)分率卻很大。所以，對(duì)于C的選擇，不宜過大，也不宜過小，應(yīng)該根據(jù)計(jì)算取得最優(yōu)值，以使模型的學(xué)習(xí)能力及外推能力達(dá)到協(xié)調(diào)。

對(duì)于核函數(shù)參數(shù)及C的選取，現(xiàn)在常用的方法為k折交叉確認(rèn)法（k-CV），其基本思想為：將所有訓(xùn)練點(diǎn)隨機(jī)分成k個(gè)互不相交且大小近似的子集，每個(gè)子集扮演一次測(cè)試集，然后進(jìn)行k次訓(xùn)練和測(cè)試。將每次測(cè)試的錯(cuò)誤點(diǎn)個(gè)數(shù)相加再比上全部測(cè)試樣本個(gè)數(shù)得到本算法的錯(cuò)誤率， 1減去錯(cuò)誤率即得到交叉確認(rèn)的準(zhǔn)確率。根據(jù)計(jì)算得到的交叉確認(rèn)準(zhǔn)確率大小來判斷包括核函數(shù)在內(nèi)的各參數(shù)的取值最優(yōu)點(diǎn)。本文對(duì)于柴油機(jī)尾氣分析中的最優(yōu)參數(shù)確定也將采用這個(gè)辦法。

3 柴油機(jī)尾氣分析中的參數(shù)優(yōu)化及核模型

分析

3.1 數(shù)據(jù)情況

本文的數(shù)據(jù)來源為對(duì)F3L912柴油機(jī)的四種模擬故障狀態(tài)下的尾氣測(cè)試數(shù)據(jù)。所謂模擬，即是在實(shí)驗(yàn)室條件下，人為地設(shè)置相應(yīng)故障。柴油機(jī)的主要技術(shù)參數(shù)見表1，相應(yīng)故障的類別標(biāo)號(hào)如表2。

測(cè)試中的數(shù)據(jù)屬性包括HC（碳?xì)浠衔铮?、NO（氮氧化合物）、O2、CO、CO2和光吸收系數(shù)K值，它們?cè)跇颖局械呐帕许樞蚣案髯缘膯挝蝗绫?。

為了方便計(jì)算，本文僅選取柴油機(jī)在轉(zhuǎn)速為800轉(zhuǎn)/分左右，空載條件下處于各故障狀態(tài)下的尾氣排放的部分?jǐn)?shù)據(jù)作為訓(xùn)練及測(cè)試樣本。現(xiàn)將柴油機(jī)在該轉(zhuǎn)速狀態(tài)下測(cè)試所得的尾氣排放數(shù)據(jù)列于圖1。

(1)為低壓油路進(jìn)氣故障

(2)為單缸高壓油管漏油故障

（3）為單缸失火故障

（4）為進(jìn)氣嚴(yán)重堵塞

圖1 怠速工況下柴油機(jī)在各故障狀態(tài)下的尾氣排放屬性值變化

在各故障狀態(tài)數(shù)據(jù)中分別選取50個(gè)樣本點(diǎn)（隨機(jī)抽取），連同其對(duì)應(yīng)標(biāo)號(hào)組成一個(gè)具有200個(gè)樣本點(diǎn)的訓(xùn)練集T1，然后再在剩下的各樣本中分別選取10個(gè)樣本點(diǎn)（隨機(jī)抽取），連同其對(duì)應(yīng)標(biāo)號(hào)組成一個(gè)具有40個(gè)樣本點(diǎn)的測(cè)試集T2。本文通過訓(xùn)練集來建立模型并判斷模型的學(xué)習(xí)能力，而通過測(cè)試集來判斷模型的外推能力。在綜合考慮模型的學(xué)習(xí)及外推能力和參數(shù)尋優(yōu)時(shí)間后，再最終確定選擇哪種核函數(shù)。對(duì)于各模型的參數(shù)，本文通過對(duì)訓(xùn)練集采用上節(jié)提到的交叉確認(rèn)法（CV）獲取，且對(duì)各模型均采用5折交叉確認(rèn)法。

3.2 參數(shù)優(yōu)化及對(duì)比

首先，本文運(yùn)用線性核函數(shù)模型對(duì)T1進(jìn)行交叉確認(rèn)，以得到在此核函數(shù)下針對(duì)訓(xùn)練集的最優(yōu)參數(shù)，其訓(xùn)練結(jié)果如圖2。Accuracy表示的是對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率，這體現(xiàn)了模型的學(xué)習(xí)能力。從圖中可以看出，在C為0.0625時(shí)，Accuracy首次達(dá)到最大，且其參數(shù)尋優(yōu)耗時(shí)0.42s。

圖2 應(yīng)用線性核函數(shù)的訓(xùn)練效果

其次，本文運(yùn)用多項(xiàng)式核函數(shù)模型對(duì)T1進(jìn)行交叉確認(rèn)，在此令κ=1，r=0，其訓(xùn)練結(jié)果如圖3。從圖中可以看出，在C為0.0068，階數(shù)d為2時(shí)，對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率首先達(dá)到最大，且其參數(shù)尋優(yōu)耗時(shí)695.95s。

圖3 應(yīng)用多項(xiàng)式核函數(shù)的訓(xùn)練效果

再次，運(yùn)用徑向基核函數(shù)模型對(duì)T1進(jìn)行交叉確認(rèn)，其訓(xùn)練結(jié)果如圖4。從圖中可以看出，在C為9.1896，12σ2=g=0.1088時(shí)，對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率首次達(dá)到最高，且其參數(shù)尋優(yōu)耗時(shí)16.14s。

圖4 應(yīng)用徑向基核函數(shù)的訓(xùn)練效果

最后，運(yùn)用sigmoid核函數(shù)模型對(duì)T1進(jìn)行交叉確認(rèn)，在此令r=0，其訓(xùn)練效果如圖5。從圖中可以看出，當(dāng)C為10000，κ=g=1.5849×10-5時(shí)，對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率首次達(dá)到最高，且其參數(shù)尋優(yōu)耗時(shí)22.16s。

圖5 應(yīng)用sigmoid核函數(shù)的訓(xùn)練結(jié)果

現(xiàn)將使用不同核函數(shù)模型的CV結(jié)果列于表4。從表中可以看出，各核函數(shù)模型對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率都比較高，這也說明了CV方法的有效性。

3.3 模型的對(duì)比分析

對(duì)比表4和表5發(fā)現(xiàn)，針對(duì)柴油機(jī)尾氣數(shù)據(jù)，各常用核函數(shù)用于支持向量機(jī)中都有不錯(cuò)的性能表現(xiàn)，主要體現(xiàn)在他們的學(xué)習(xí)和外推能力上。其中，徑向基核模型對(duì)訓(xùn)練集的交叉確認(rèn)準(zhǔn)確率甚至達(dá)到了100%，其他核模型也都達(dá)到了99%。而在測(cè)試中，徑向基核模型相對(duì)其它模型稍欠缺，但各模型實(shí)際效果差別都不是太大。從參數(shù)尋優(yōu)時(shí)間上看，多項(xiàng)式核模型所用的時(shí)間遠(yuǎn)遠(yuǎn)多于其它核模型，而線性模型表現(xiàn)優(yōu)越，其運(yùn)算時(shí)間遠(yuǎn)短于其它核模型。

4 結(jié) 論

綜合以上的對(duì)比，對(duì)于柴油機(jī)尾氣數(shù)據(jù)的分析，相對(duì)于其它常用模型，線性核函數(shù)模型具有更好的綜合性能，主要體現(xiàn)在其不錯(cuò)的學(xué)習(xí)及外推能力和最短的尋優(yōu)時(shí)間上。這說明，原尾氣數(shù)據(jù)在樣本空間中就有較好的線性可分性，若將樣本映射到特征空間中，不僅使分類更加復(fù)雜，而且還不一定有利于分類精度的提高。達(dá)到這個(gè)結(jié)論后，我們?cè)俜从^樣本數(shù)據(jù)圖1。從圖中可以看到，各故障模式在設(shè)定轉(zhuǎn)速下的排放數(shù)據(jù)在分布（主要在變化趨勢(shì)和各屬性值的數(shù)量級(jí)）上本身就各有特點(diǎn)，而且差別較明顯，這也解釋了線性核模型能夠較好地完成分類的原因。綜上所述，在用支持向量機(jī)通過尾氣數(shù)據(jù)判斷柴油機(jī)故障模式時(shí)，宜選用線性核模型。

參考文獻(xiàn)

［1］劉巽俊. 內(nèi)燃機(jī)的排放與控制［M］. 北京：機(jī)械工業(yè)出版社，2003.

［2］ 滕飛. 基于灰靶理論和排放分析的柴油機(jī)狀態(tài)評(píng)估［J］. 車用發(fā)動(dòng)機(jī)，2009，1:74-76.

［3］ 賈志杰. 基于支持向量機(jī)的柴油機(jī)燃油系統(tǒng)故障診斷［J］. 四川兵工學(xué)報(bào)，2008，8:12-14.

［4］ 鄧乃揚(yáng)， 田英杰. 支持向量機(jī)-理論、算法與拓展［M］. 北京：科學(xué)出版社，2009.

［5］ GUSTAVO C V， LORENZO B. Kernelbased methods for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43：52-55.

［6］ 吳濤. 核函數(shù)的性質(zhì)、方法及其在障礙檢測(cè)中的應(yīng)用［D］.長沙：國防科學(xué)技術(shù)大學(xué)，2003.

［7］ KEERTHI S S， LIN C J. Asymptotic behaviors of support vector machines with gaussian kernel ［J］. Neural Computation， 2003， 15(7): 1667-1689.

［8］ LIN H T， LIN C J.A Study on sigmoid kernels for SVM and the Training of non-PSD kernels by SMO-type Methods ［D］. Taipei: Department of Computer Science and Information Engineering， National Taiwan University， 2003.

［9］ CHRISTIAN W， BARBARA C， ARNULF G. Recognition with local feature: the kernel recipe ［C］. Proceedings of the Ninth IEEE International Conference on Computer Vision， 2003.

［10］ZHANG Y， CHI Z X， LIU X D， WANG X H. A novel fuzzy compensation multi-class support vector machine ［J］. Applied Intelligence， 2007， 27: 21-28

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文