基于PCA-SVM的混合氣體分類研究

楊 朝， 張平平， 汪國強， 杜寶祥

(1.黑龍江大學 電子工程學院, 哈爾濱 150080；2.蘇州慧聞納米科技有限公司 研發部，蘇州 215000)

0 引 言

在我國的工業領域，易燃或者有毒的氣體檢測技術一直是產品安全控制的重要技術，如乙醇、甲烷、一氧化碳以及硫化氫等有害氣體的檢測。乙醇和甲烷氣體雖然沒有毒，但是濃度過高的時候會引起人頭暈、乏力，會對人的呼吸消化系統產生嚴重的危害，如果不及時進行處理，可導致人窒息死亡[1]。而一氧化碳和硫化氫氣體是有毒氣體，會對人的身體健康產生一系列的危害。如果在工業領域的生產過程中產生這樣的氣體，則會造成不可預測的后果。因此，有害氣體的識別和分類問題在相關領域顯得愈加重要。

針對氣體的分類問題，國內外很多的學者都對此展開了深入的研究，如印度的Sunny等利用反向傳播神經網絡和支持向量機對丙酮和丙醇兩種氣體進行分類，實驗表明支持向量機(Support vector machine，SVM)分類器表現良好，該研究為兩種氣體的分類提供了希望，但是在多種氣體的分類中的效果未知[2]。Habib等利用決策樹和神經網絡兩種算法對氨氣、乙醛、丙酮、乙烯、乙醇和甲苯6種氣體進行分類，能夠減輕傳感器漂移對氣體的正確分類和識別的影響，但是實驗的準確率還有待提高[3]。在國內的研究中，Xu等提出了一種基于極端隨機樹的混合氣體檢測算法，提高了分類準確率和時間效率，但是僅基于兩種混合氣體進行的實驗，沒有在多種氣體混合的氣體中進行實驗[4]。宋海聲等基于PCA-BP神經網絡對甲醛和甲醇的識別研究表明，PCA方法有效降低了數據的維數，能夠提高甲醛和甲醇識別分類的準確率[5]。宋婷婷等采用粒子群算法對最小二乘支持向量機模型中的相關參數進行迭代優化，構建PSO-LSSVM模型對混合氣體的成分進行定性分析，對乙烯、甲烷和一氧化碳混合氣體的公共數據集進行實驗，識別的準確率較高[6]。由此可以看出，隨著機器學習和深度學習的發展，越來越多的學者嘗試借鑒機器學習分類算法的思想，從單一氣體或者混合氣體中提取特征，然后訓練分類器實現對氣體的分類。

在前人研究和總結的基礎上，本文對8陣列傳感器和24陣列傳感器采集到的乙醇、甲烷、一氧化碳以及硫化氫的混合氣體進行分類。首先，提取不同傳感器對目標氣體的響應值，利用PCA算法找出數據中的主要成分，用主要成分去描述數據，從而達到對提取的數據特征降維的效果；然后，將主要成分作為SVM的輸入向量，構造PCA-SVM模型，并且與SVM、參數優化的BP神經網絡以及PCA-BP神經網絡模型進行對比。實驗結果表明，PCA-SVM模型不僅能夠將不同濃度的同一氣體很好地分類，而且在不同濃度的4種混合氣體中分類具有較高的準確度，能夠解決氣體分類的實際問題。

1 數據采集及來源

1.1 數據采集系統

數據采集系統可以分為兩部分：第一部分是模擬信號處理部分，主要包括氣體傳輸系統和氣體傳感器部分，氣體經過氣體傳輸系統隨之進入氣體傳感器的室內，氣體傳感器陣列對進入的氣體會產生一系列的化學反應并將氣體濃度以電信號輸出[7]；第二部分是數字信號處理部分，主要包括信號預處理、特征提取以及模式識別部分，氣體傳感器陣列產生的電信號進入數字信號處理部分進行后續的處理[8]。先將模擬信號產生的數據進行濾波，去除一些無用的信息，再進行特征提取，將提取出來的信息送入模式識別單元中分析得出結果。數據采集系統的結構如圖1所示。

圖1 數據采集系統結構圖

1.2 數據來源

對不同濃度的甲烷、一氧化碳和硫化氫氣體進行了分析。其中包括用8陣列傳感器采集的甲烷氣體(1 000、3 000、6 000和9 000 ppm)、一氧化碳氣體(50、100、150、200和250 ppm)和乙醇氣體(20、50、100和200 ppm)，以及用24陣列傳感器采集的甲烷氣體(1 000、2 000、3 000、5 000和8 000 ppm)、一氧化碳(100、150、200、250和300 ppm)和硫化氫(0.2、0.5、0.8、1.0和1.5 ppm)。同一濃度的相同氣體是在相同的溫度和濕度條件下獲得的，不同種氣體的不同濃度都是在不同的溫度和濕度條件下獲取的。把每一個傳感器采集的數據以及溫度濕度等作為數據的特征，故用8陣列傳感器采集的氣體都含有13個特征值，把一種濃度的氣體作為一類，那么把8陣列傳感器采集的氣體分為13類。同樣，24陣列傳感器采集的氣體都有27個特征值，將24陣傳感器采集的氣體分為18類。

2 算法描述

采用PCA對所采集的氣體特征進行主成分分析，選取主要的成分，其主要是利用降維的思想，把多個指標轉換為少數的幾個綜合指標，將降維后的數據作為SVM的數據輸入，從而進行數據分類。

2.1 主成分分析

主成分分析技術(PCA)主要是將數據的維數降低，把多個指標轉換為少數的幾個綜合指標，在簡化數據集上有廣泛的應用，它是一個線性變換，是將原始的數據變換到一個新的坐標系統中，使得任何數據投影的第一大方差在第一個坐標上(稱為第一主成分)，第二大方差在第二個坐標上(稱第二主成分)，以此類推。主成分分析主要應用在減少數據集的維數，同時，保持對方差貢獻最大的特征，保留數據主要的方面，最終的目標是用較少維數的主要特征來描述數據集[9-10]。

PCA的主要原理是將原始的數據樣本投影到一個新的空間，將原來的樣本數據空間經過數據變換矩陣變到新空間坐標下，新空間坐標由原始數據樣本中不同維度之間協方差矩陣中幾個最大特征值對應的前幾個特征向量組成，較小的特征值對應的特征向量將作為非主要成分被去掉，就可以達到提取一些主要特征來代表數據，降低數據復雜度的目的[11]。

PCA算法流程主要分為以下幾個步驟：

步驟1：通過n次采樣得到的m維數據構成矩陣X∈Rn×m,具體形式如式(1)所示：

(1)

(2)

步驟3：計算其樣本數據維度之間的相關度，使用協方差矩陣C，如式(3)所示：

(3)

步驟4：計算協方差矩陣C特征值和特征向量，并按照特征值從大到小排列，如式(4)所示：

(4)

步驟5：根據降維的要求，比如降到k維，取前k個向量組成降維矩陣P，如式(5)所示：

P=(P1,P2,…,Pk)T,P∈Rk×n

(5)

步驟6：通過變換矩陣P對原樣本X進行坐標變換，從而達到數據降維和提取特征的目的，如式(6)所示：

Y=X·P,Y∈Rk×m

(6)

PCA重建誤差的計算：

在投影完成之后，要對投影的誤差進行重建，通過式(7)和式(8)來計算降維之后的信息損失：

(7)

(8)

將Error1與Error2比率記作η，通過式(9)計算：

(9)

通過η來衡量數據降維之后的信息損失,根據η的大小來選擇數據合適的k值。

2.2 支持向量機

支持向量機(SVM)是在20世紀90年代由Cortes和Vapnik開發的一種監督機器學習技術，它把樣本空間映射到高維特征空間，構造最優分類超平面的高維空間。傳統的支持向量機是用來實現二分類，SVM是在尋找和分類線平行而且接近兩類樣本的最優分類線，從而達到對輸入的數據進行二分類的目的[12]。

給定一個樣本(xi,yi),i=1，2，3，…，n，xi是輸入向量，而且滿足xi∈Rd，yi是樣本的標簽，而且滿足yi∈{1,-1}，其中φ(x)能夠將輸入向量x從輸入空間映射到d維特征空間的函數，那么特征空間中的分類超平面就可以定義，如式(10)所示：

wTφ(x)+b=0

(10)

式中：w=(w1;w2;…;wd)為法向量，決定了超平面的方向；b為位移項，決定了超平面與原點之間的距離。

支持向量機的思想是將建立好的超平面作為決策曲面，將兩個類之間的邊界進行最大化，這也是將分類問題轉化為帶懲罰項的最小化問題，可寫成如式(11)所示：

(11)

式中：w代表權向量；ξi是將分離誤差最小化的松弛變量；C代表對誤差容忍度的懲罰參數，如果C的值越大，則代表分類的結果越好，但是泛化能力越低。

由于目標函數和約束條件構成了不等式的約束問題，需要引入拉格朗日函數來推導這個不等式的解，如式(12)所示：

(12)

式中：L為拉格朗日系數；αi≥0是拉格朗日乘子。

最優分類面求解問題，根據式(12)對w和b求偏導數，結合拉格朗日多項式，可以將其轉化為約束優化的最大化的問題，約束函數如式(13)所示：

(13)

式中：Q為二次規劃函數；K(xi,xj)為非線性映射的內積核函數，K(xi,xj)=φ(xi)·φ(xj)。

(14)

式中b*為分類閾值。

采用的核函數為高斯徑向基函數(Radial basis function, RBF)核，表達式如式(15)和式(16)所示：

(15)

(16)

式中σ是由(16)中的Gamma(γ)確定的自由參數，γ的值越大，訓練的結果越好，但泛化能力也越低。

不同的支持向量機可以由不同的核函數構成，如線性核函數、徑向高斯核函數和多項式核函數，之前的研究表明，徑向高斯核函數與其他函數相比較有明顯的優勢，因此，選擇RBF作為SVM的函數，SVM在結構上與神經網絡相似，SVM的結構如圖2所示，隱藏層中的每一個節點對應一個支持向量，并且輸出的是支持向量的線性組合[13]。對于在訓練過程中多分類的問題，將某一類的樣本作為一類，其余的樣本作為另一類，如果樣本有k個類別，那么就構建k個支持向量機，當用SVM算法進行分類的時候，將未知樣本分類到函數值最大的類別中。

圖2 SVM的結構圖

3 氣體分類模型構建

基于PCA算法和SVM模型原理，本文構建了PCA-SVM模型應用于氣體的多分類問題。雖然大多數支持向量機的輸入參數與氣體分類的過程相關，但是氣體數據中的固有冗余影響氣體分類的速度和準確性，因此為了提高分類的速度和精度，采用PCA的方法通過減少與類別不相關的特征來降低數據的維度，為了降低氣體數據特征的維數，PCA調用了線性變換，通過對數據進行線性組合求出協方差矩陣的最大k個特征值對應的特征向量，原數據集有n個特征值，在盡量減少對原始數據影響的情況下進行降維處理，在k個特征值中選擇方差最大的p1為第一主成分，如果p1不足以代表原來n個特征值代表的信息，那么繼續選取第二主成分p2,如果p1和p2的累積貢獻量不能滿足需要，那么繼續選取，直到滿足實際的需要為止，而且p1,p2,…,pn互不相關，因此可以構造T個主成分，構造公式為：

(17)

在支持向量機的訓練和學習的過程中，支持向量機通過參數的優化來提高識別精度，而且通過對幾種核函數的比較，選擇高斯RBF核作為核函數，同時對RBF中的懲罰因子C和γ采用10倍交叉驗證技術來優化，才能使SVM模型得到最準確的分類方法[14]。PCA-SVM的分類模型如圖3所示。

圖3 PCA-SVM分類模型

4 實驗與分析

為了驗證所提出方法的有效性與可行性，與SVM、BP神經網絡以及PCA-BP神經網絡進行了氣體分類方法對比。

4.1 氣體數據集

數據集采用的是某公司采集的氣體數據來驗證本文提出的模型的有效性，主要利用8陣列的傳感器和24陣列的傳感器來采集氣體的數據，其中包括用8陣列傳感器采集的不同濃度的甲烷、乙醇和一氧化碳氣體，24陣列傳感器采集的不同濃度的甲烷、一氧化碳和硫化氫氣體。采集氣體的信息如表1所示。

4.2 實驗結果分析

采用兩個混合氣體的數據集來分別進行實驗，第一個數據集是8陣列傳感器采集的不同濃度的甲烷氣體(1 000、3 000、6 000和9 000 ppm)、一氧化碳氣體(50、100、150、200和250 ppm)和乙醇氣體(20、50、100和200 ppm)的混合氣體，隨機取樣本650個，共有13類樣本，每個樣本含有13個特征。第二個數據集是采用24陣列傳感器采集的不同濃度的甲烷氣體(1 000、2 000、3 000、5 000和8 000 ppm)、一氧化碳氣體(100、150、200、250和300 ppm)和硫化氫氣體(0.2、0.5、0.8、1.0和1.5 ppm)的混合氣體，隨機取樣本1 800個，共有18類樣本，每個樣本含有27個特征。利用SVM分類模型和PCA-SVM分類模型對氣體的原始數據進行分類對比，考慮到分類器是有監督的，因此，從每個數據集中隨機抽取70%的樣本作為訓練集，其余的30%的樣本作為測試集。

為了驗證本算法的有效性與優越性，首先使用不降維且完整的第一個數據集的氣體數據作為特征參數，將支持向量機與高斯RBF作為核函數的模型用于氣體分類，分類的準確率為95.897%。為了提高識別的準確度，在將氣體特征數據作為支持向量機的輸入數據之前，先利用PCA對數據進行降維，對數據進行降維最重要的就是選擇降低的維數，需要選擇最合適的k值，那么就用數據重建誤差來衡量，k的值由1取到13。通過比較，當k的值由1取到6時，數據重建誤差是逐漸減小的，當k的值由6取到13時，重建誤差穩定在0.439 9，所以把k=6作為最合適的k值，說明降維后的數據特征代表了原始樣本集中的大部分特征，在一定程度上消除了參數的冗余。部分k值對應的誤差比率如表2所示。經過PCA降維后的數據特征作為SVM模型的輸入，訓練SVM模型后，基于PCA-SVM的氣體分類的準確率為98.974%。SVM分類準確率和PCA-SVM分類準確率分別如圖4和圖5所示，其中，橫坐標代表測試集的樣本編號，縱坐標代表測試集樣本的類別。紅色的點代表每個測試樣本的真實類別，藍色的點代表測試樣本預測的類別。如果藍色點落在紅色點上面，那么就代表這個樣本分類準確，如圖4綠色的框所示。如果藍色點沒有落在紅色點上，則代表樣本分類錯誤，如圖4紅色的框所示。通過統計正確的分類樣本數，可以計算分類準確率。通過比較圖4和圖5可知，SVM錯分樣本數8個，計算的分類準確率為95.897%，PCA-SVM錯分樣本數2個，計算的分類準確率為98.974%，PCA-SVM模型相對于未降維的SVM模型，準確率提高了3.077%。

表2 不同k值對應的誤差比率

圖4 SVM模型

接著利用SVM模型和PCA-SVM模型在第二個數據集上分別實驗，將SVM與高斯RBF作為核函數的模型用于氣體分類，準確率為98.704%，結果如圖6所示。利用PCA-SVM模型進行分類時，首先要選擇合適的k值，然后再進行分類，k的值由1取到27。通過比較，當k的值由1取到14時，數據重建誤差是逐漸減小的，當k的值由14取到27時，重建誤差穩定在0.365 8，所以把k=14作為合適的k值。部分k值對應的誤差比率如表3所示。PCA-SVM模型進行分類的結果如圖7所示，準確率為100%。通過比較圖6和圖7可知，SVM錯分樣本數7個，分類準確率為98.704%，PCA-SVM錯分樣本數0個，分類準確率為100%，PCA-SVM模型相對于未降維的SVM模型，準確率提高了1.296%。

表3 不同k值對應的誤差比率

圖6 SVM模型

圖7 PCA-SVM模型

為了驗證本文提出的PCA-SVM模型的有效性與優越性，不僅和利用RBF作為核函數的SVM作比較，而且還和BP神經網絡模型以及PCA-BP神經網絡模型進行了比較，如今BP神經網絡是被廣泛應用的模型之一。BP神經網絡包含輸入層、隱藏層以及輸出層。神經網絡各層的層數和結點數是由輸入氣體的特征個數和數據量的大小決定的。BP神經網絡算法的實現過程需要信號的正向傳播和誤差的反向傳播，正向傳播時，輸入樣本從輸入層進入，逐次經過隱層，最后到達輸出層。如果實際輸出值與期望輸出的值相差太大，則將誤差進行反向傳播，誤差的反向傳播是將誤差逐層經過隱層，并且將誤差分給每一層的所有單元，從而獲得每一層的誤差信號去修正各單元的權值[15]。

將BP神經網絡模型和PCA-BP神經網絡模型分別在兩個數據集上進行實驗，通過不斷調整優化BP神經網絡的參數，得到的分類結果如表4所示。由表可知，在含有13個氣體特征的第一個數據集和在含有27個特征的第二個數據集上應用BP神經網絡模型和PCA-BP神經網絡模型，從準確度方面考慮，在第一個數據集上，分類準確率提高了3.077%，在第二個數據集上，分類準確率提高了2.889%。從性能方面考慮，用均方誤差來衡量，由圖8可知，BP神經網絡的最小均方誤差為0.014 9。由圖9可知，PCA-BP神經網絡的最小均方誤差為0.009 4，無論是從分類的準確率的角度比較，還是從神經網絡模型的性能的角度比較，PCA-BP神經網絡模型都優于BP神經網絡模型。通過以上的結論可知，PCA無論是應用在SVM模型上還是應用在BP神經網絡上都能提高分類的準確率。

表4 BP神經網絡與PCA-BP神經網絡模型的對比

圖8 BP神經網絡的MSE

圖9 PCA-BP神經網絡的MSE

由表5可以看出，PCA-SVM分類模型的分類準確率更高，在第一個數據集上準確率能達到98.974%，在第二個數據集上準確率能達到100%，分類結果優于SVM模型、BP神經網絡模型以及PCA-BP神經網絡模型，因此，PCA-SVM分類模型能夠解決8陣列傳感器和24陣列傳感器采集到的混合氣體進行分類的實際需求。

表5 不同分類模型分類準確率比較

5 結 論

采用PCA-SVM模型對混合氣體進行分類。在原有氣體特征的基礎上利用PCA對數據降維，將降維后的氣體特征作為SVM的輸入從而進行分類，并且與不對數據降維的支持向量機、BP神經網絡模型和PCA-BP神經網絡模型進行對比，經過實驗驗證，利用主成分分析對輸入數據進行降維，提高了支持向量機算法的分類準確率，能夠滿足8陣列傳感器和24陣列傳感器采集到的混合氣體進行分類的實際需求。隨著大數據的快速發展，將支持向量機與主成分分析相結合，能夠減少數據的冗余，提高模型的分類效率，廣泛地應用于多種混合氣體分類的研究。