基于支持向量機(jī)的陶瓷原料成分識別

郭若楠

（西安石油大學(xué)，陜西西安）

引言

SVM 是一種用途極為廣泛的小樣本分類器，在對數(shù)據(jù)進(jìn)行二元分類的過程中開展有導(dǎo)師學(xué)習(xí)[1]，稀疏和穩(wěn)定為其典型特征，在處理線性不可分?jǐn)?shù)據(jù)的分類問題上有極為優(yōu)異的解決手段[2]，在處理陶瓷原料分類中也有很好的分類效果。

1 支持向量機(jī)理論基礎(chǔ)

SVM 同時考慮了經(jīng)驗(yàn)風(fēng)險和結(jié)構(gòu)風(fēng)險的最小化[3]，在解決不具有線性可分性的問題上，它是一個尋求最小化結(jié)構(gòu)風(fēng)險和經(jīng)驗(yàn)風(fēng)險的線性組合的過程，通過訓(xùn)練數(shù)量有限的訓(xùn)練樣本，可以得到一個具有良好統(tǒng)計規(guī)律并且誤差很小的分類器。

SVM 的稀疏性和穩(wěn)定性使其具有良好的泛化能力，其思想就是將不可分的數(shù)據(jù)變換到高維空間，建立最好的分類超平面，使得空間間隔最大化，從而讓數(shù)據(jù)變得線性可分，而在將輸入空間變換到高維特征空間時,會增大計算量，核函數(shù)是節(jié)約計算資源和空間資源的關(guān)鍵。SVM 的出現(xiàn)有效地解決了傳統(tǒng)算法因強(qiáng)調(diào)執(zhí)行機(jī)器學(xué)習(xí)時經(jīng)驗(yàn)風(fēng)險最小化導(dǎo)致出現(xiàn)“過度學(xué)習(xí)”和泛化能力差的弊端。另外，SVM 因其特有優(yōu)點(diǎn)被人們廣泛應(yīng)用于圖像識別、模式識別和文本分類中。

SVM 主要是立足于兩類問題分類中同時應(yīng)用的帶線性可分性最優(yōu)分類面的基礎(chǔ)上所提出的[4],如圖1所示。下面內(nèi)容以二分類為例，詳細(xì)分析SVM 基本理念。

圖1 最優(yōu)超平面

式中：i＝1，…,N。

其約束條件是：

式中：i＝1，…,N。

得到以下拉格朗日函數(shù)：

通過式(2)和式(6)達(dá)到了利用對偶原理把解決最優(yōu)分類面的問題轉(zhuǎn)為求解最優(yōu)凸二次規(guī)劃的目的，有：

約束條件是：

這樣就求得了支持向量機(jī)的一般表達(dá)式。

2 核函數(shù)

2.1 核函數(shù)變換基本原理

處理非線性分類時，在輸入空間中尋找到的最優(yōu)分類面沒有辦法取得令人滿意的分類效果。解決這個難題需要在輸出的高維空間中映射出原空間中的非線性樣本數(shù)據(jù)，同時找到高維空間中最好的超平面來實(shí)現(xiàn)對樣本數(shù)據(jù)的線性分離，但這種方式的映射無疑使運(yùn)算量大大增加。核函數(shù)的巧妙運(yùn)用使得支持向量機(jī)靈活地解決了該問題。通過將N 維輸入空間中的向量X 映射到高維的輸出空間中，并且在高維空間中表現(xiàn)出線性可分性，就可以在輸出空間中對樣本實(shí)行線性分類，核函數(shù)轉(zhuǎn)換的基本理念就是這樣來的。通過觀察式（7）和式（11），只與訓(xùn)練樣本之間的點(diǎn)積運(yùn)算xi,xj有關(guān)系。若存在一個非線性映射Φ將Rn空間樣本映射到了一個更高維度的H 空間，即可表示為：

2.2 常見核函數(shù)

（1） 線性函數(shù)

（2） 徑向基函數(shù)

式中：σ 是超參數(shù)，用于控制點(diǎn)之間的相似度。

（3） 多項(xiàng)式函數(shù)

式中：d 是度數(shù)，用于控制多項(xiàng)式函數(shù)的形狀。

（4） Sigmoid 函數(shù)

式中：ɑ 是Sigmoid 函數(shù)的閾值。

基于這四個核函數(shù)形成了線性、RBF、多項(xiàng)式、感知四個SVM。

3 支持向量機(jī)多類分類問題

SVM 是一個二分類分類器，但在實(shí)際中有大量的多分類問題亟待解決，因此此處需要闡述一下多類分類問題的基本原理。目前學(xué)者們主要使用以下兩種方法將SVM 推廣至多類SVM。一種是將所有數(shù)據(jù)在一個優(yōu)化公式中進(jìn)行綜合優(yōu)化；另一種是將若干類問題分解成若干個二值分類問題。第一種想法的計算比后者的計算對于同樣的數(shù)據(jù)來說要復(fù)雜得多。目前多類分類器有一對多、一對一和有向無環(huán)圖SVM 三種。

4 基于支持向量機(jī)的陶瓷原料分類實(shí)驗(yàn)

本文采用《陶瓷工藝學(xué)》一書中我國常用的陶瓷原料主要化學(xué)組成作為原始數(shù)據(jù),為了測試SVM 算法的分類效果，所有108 種陶瓷原料數(shù)據(jù)進(jìn)行歸一化處理并采用五折交叉驗(yàn)證，對陶瓷原料類別分別采用線性核和高斯核支持向量機(jī)對樣本數(shù)據(jù)進(jìn)行分類。首先對SVM 分類算法進(jìn)行參數(shù)設(shè)置，分別采用線性核和高斯核創(chuàng)建SVM 分類器。通過訓(xùn)練集中的78 組陶瓷原料數(shù)據(jù)有效對模型進(jìn)行訓(xùn)練，再面向測試集的30組陶瓷原料數(shù)據(jù)完成分類預(yù)測。

將SVM 線性核懲罰系數(shù)默認(rèn)設(shè)置為1，利用SVM 線性核對陶瓷原料進(jìn)行預(yù)判，得到測試集各樣本預(yù)測分類情況與每種類別識別正確率如圖2 和圖3所示。除此之外，還設(shè)計了混淆矩陣用于對陶瓷原料分類模型的準(zhǔn)確性進(jìn)行監(jiān)測和評估，如圖4 所示，圖中矩陣的每一列表示每一個類的預(yù)測結(jié)果，矩陣的每一行代表被分類數(shù)據(jù)的真實(shí)屬性。

圖2 SVM 線性核預(yù)測分類情況

圖3 SVM 線性核各類別識別正確率

從實(shí)驗(yàn)結(jié)果可得，SVM 線性核算法對陶瓷原料預(yù)測正確率較高，SVM 線性核預(yù)測結(jié)果見表1。

表1 SVM 線性核分類結(jié)果

由表1 可得，Ⅰ類、Ⅱ類和Ⅲ類模型預(yù)測結(jié)果正確率均為100%；對于Ⅳ類陶瓷原料而言，有25%識別成了Ⅰ類，其余識別正確，整體預(yù)測準(zhǔn)確率是96.7%。

5 結(jié)論

陶瓷原料種類豐富，每種原料成分組成相當(dāng)復(fù)雜，但化學(xué)含量是可方便測量的，因此將其定為識別因素，保證了研究的合理性與科學(xué)性。本文使用的線性核支持向量機(jī)預(yù)測準(zhǔn)確率為96.7%，其分類結(jié)果足以解決大部分陶瓷材料分類問題，結(jié)果合理，方法實(shí)用，為陶瓷原料分類和實(shí)際選取帶來諸多便捷，對實(shí)際生產(chǎn)意義重大。