基于支持向量機(jī)的污水狀態(tài)識(shí)別

張永利，朱艷偉

（1.河北理工大學(xué) 輕工學(xué)院，河北 唐山 063000；2.唐山師范學(xué)院 數(shù)學(xué)與信息科學(xué)系，河北 唐山 063000）

隨著科學(xué)技術(shù)的發(fā)展，特別是微電子技術(shù)、集成電路及其設(shè)計(jì)技術(shù)、計(jì)算機(jī)技術(shù)、近代信號(hào)處理技術(shù)和傳感器技術(shù)的發(fā)展，多傳感器信息融合已經(jīng)發(fā)展成為一個(gè)新的學(xué)科方向和研究領(lǐng)域。多傳感器信息融合技術(shù)在軍事領(lǐng)域和民用領(lǐng)域均得到了廣泛應(yīng)用。多傳感器的信息融合層次有三種結(jié)構(gòu)：數(shù)據(jù)層融合、特征層融合和決策層融合[1-2]。目前，信息融合常用的方法有，貝葉斯法、D-S證據(jù)理論法、聚類算法、人工神經(jīng)網(wǎng)絡(luò)法和模糊集合理論法等。但它們都存在著各自的缺點(diǎn)。支持向量機(jī)（support vector machine SVM）最初是由Vapnik提出的一種新興的基于統(tǒng)計(jì)學(xué)習(xí)理論的學(xué)習(xí)機(jī)[3]。相對(duì)于神經(jīng)網(wǎng)絡(luò)的啟發(fā)式學(xué)習(xí)方式和實(shí)現(xiàn)中帶有的很大的經(jīng)驗(yàn)成分相比，SVM 具有更嚴(yán)格的理論和數(shù)學(xué)基礎(chǔ)，不存在局部最小問(wèn)題。小樣本學(xué)習(xí)使得SVM具有很強(qiáng)的泛化能力，不過(guò)分依賴樣本的數(shù)量和質(zhì)量，從而成為當(dāng)前機(jī)器學(xué)習(xí)的一個(gè)研究熱點(diǎn)。本文提出了一個(gè)新的多傳感器信息融合方法：基于SVM的多傳感器信息融合，并把此方法應(yīng)用于污水狀態(tài)的識(shí)別。

1 信息融合

多傳感器信息融合方法多傳感器信息融合要靠各種具體的融合方法來(lái)實(shí)現(xiàn)。在一個(gè)多傳感器系統(tǒng)中，各種信息融合方法將對(duì)系統(tǒng)所獲得的各類信息進(jìn)行有效的處理或推理，形成一致的結(jié)果。多傳感器信息融合目前尚無(wú)一種通用的融合方法，一般要根據(jù)具體的應(yīng)用背景而定。歸納起來(lái)信息融合方法[1]主要有：估計(jì)方法、統(tǒng)計(jì)方法、信息論方法和人工智能方法。在人工智能方法中，人工神經(jīng)網(wǎng)絡(luò)方法是一種被廣泛采用的方法。

基于神經(jīng)網(wǎng)絡(luò)的多傳感器信息融合具有如下特點(diǎn)：具有統(tǒng)一的內(nèi)部知識(shí)表示形式，通過(guò)學(xué)習(xí)方法可將網(wǎng)絡(luò)獲得的傳感器信息進(jìn)行融合，獲得相關(guān)網(wǎng)絡(luò)的參數(shù)（如連接權(quán)矩陣、結(jié)點(diǎn)偏移向量等），并且可將知識(shí)規(guī)則轉(zhuǎn)換成數(shù)字形式，便于建立知識(shí)庫(kù)；利用外部環(huán)境的信息，便于實(shí)現(xiàn)知識(shí)自動(dòng)獲取及進(jìn)行聯(lián)想推理；能夠?qū)⒉淮_定環(huán)境的復(fù)雜關(guān)系，經(jīng)過(guò)學(xué)習(xí)推理，融合為系統(tǒng)能理解的準(zhǔn)確信號(hào)；神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理信息的能力，使得系統(tǒng)信息處理速度很快。但是，神經(jīng)網(wǎng)絡(luò)也存在著缺乏嚴(yán)格的理論、數(shù)學(xué)基礎(chǔ)，有局部最小值問(wèn)題，訓(xùn)練過(guò)程難以掌握等缺點(diǎn)。因此，本文將一種新的理論——支持向量機(jī)，引入到信息融合中。

2 支持向量機(jī)

2.1 支持向量機(jī)

支持向量機(jī)是由線性可分情況下的最優(yōu)分類面發(fā)展而來(lái)的。它的基本思想采用圖1的二維情況說(shuō)明。圖中，實(shí)心圓點(diǎn)和實(shí)心三角分別代表兩類樣本，H為分類線，H1，H2分別為過(guò)各類中離分類線最近的樣本并且平行于分類線的直線，它們之間的距離稱作分類間隔（margin）。最優(yōu)分類線指的是不但能將兩類正確分開(kāi)（即訓(xùn)練誤差為零），而且能使分類間隔最大。

圖1 最優(yōu)分類平面

對(duì)于線性可分的樣本集

滿足：

支持向量機(jī)的數(shù)學(xué)表示式[4]為

其中，n是訓(xùn)練樣本數(shù)。上面的問(wèn)題被稱為原問(wèn)題。該問(wèn)題能夠通過(guò)標(biāo)準(zhǔn)的二次規(guī)劃來(lái)解決。使用拉格朗日優(yōu)化方法可將原問(wèn)題轉(zhuǎn)化為對(duì)偶問(wèn)題得：

解出

后，利用

并且選擇α*的一個(gè)大于0的分量所對(duì)應(yīng)樣本(xi?xj)（即支持向量所對(duì)應(yīng)的樣本），根據(jù)

計(jì)算w和b以確定最優(yōu)超平面 (w*?x) +b*= 0，由此求得決策函數(shù)

或

2.2 序列最小優(yōu)化算法（sequential minimal optimization，簡(jiǎn)稱SMO）

1998年，Platt提出了序列最小優(yōu)化算法（SMO）來(lái)解決大訓(xùn)練樣本的問(wèn)題[5]，并和 Chunking算法進(jìn)行了比較。該算法可以說(shuō)是Osuna分解算法[6]的一個(gè)特例，工作集B中只有兩個(gè)樣本。其優(yōu)點(diǎn)是針對(duì)兩個(gè)樣本的二次規(guī)劃問(wèn)題可以有解析解的形式，從而避免了多樣本情形下的數(shù)值解不穩(wěn)定及耗時(shí)問(wèn)題，同時(shí)也不需要大的矩陣存儲(chǔ)空間，特別適合稀疏樣本。其工作集的選擇也別具特色，不是傳統(tǒng)的最陡下降法，而是啟發(fā)式。通過(guò)兩個(gè)嵌套的循環(huán)來(lái)尋找待優(yōu)化的樣本變量。在外環(huán)中尋找違背 Karush-Kuhn-Tucker條件（簡(jiǎn)稱KKT條件）最優(yōu)條件的樣本，然后在內(nèi)環(huán)中再選擇另一個(gè)樣本，完成一次優(yōu)化。再循環(huán)，進(jìn)行下一次優(yōu)化，直到全部樣本都滿足最優(yōu)條件。SMO算法主要耗時(shí)在最優(yōu)條件的判斷上，所以應(yīng)尋找最合理即計(jì)算代價(jià)最低的最優(yōu)條件判別式，同時(shí)對(duì)常用的參數(shù)進(jìn)行緩存。

2.3 最小二乘支持向量機(jī)

為了使支持向量機(jī)能夠?qū)Υ髽颖厩闆r進(jìn)行學(xué)習(xí)，Suvkens J.A.K在1999年提出了一種新型支持向量機(jī)方法，最小二乘支持向量機(jī)（Least Squares Support Vector Machines，LS-SVM）[7]。該方法采用最小二乘線性系統(tǒng)作為損失函數(shù)，用等式約束代替?zhèn)鹘y(tǒng)方法中的不等式約束，通過(guò)求解一組等式方程，得出最優(yōu)分類超平面，從而避開(kāi)了求解計(jì)算量相對(duì)繁重的二次規(guī)劃問(wèn)題，并應(yīng)用到模式識(shí)別和非線性函數(shù)估計(jì)，取得了較好的效果[8]，其運(yùn)算簡(jiǎn)單，收斂速度快，精度高。

2.4 SVM多類分類器

一般SVM僅能夠進(jìn)行兩類分類，目前，將SVM機(jī)器學(xué)習(xí)方法延伸到多類分類問(wèn)題還處于初步研究階段。已提出的解決該問(wèn)題的思路有：1）構(gòu)造多個(gè)2類分類器并組合起來(lái)完成多類分類，分成“one against one”和“one against all”兩種類型；2）只使用一個(gè)SVM實(shí)現(xiàn)多個(gè)分類輸出，這種思路涉及十分復(fù)雜的優(yōu)化問(wèn)題。

2.5 基于SVM的多傳感器信息融合

多傳感器的信息融合可以降低信息不確定性或降低信息模糊度，提高識(shí)別的正確率。在采用融合方法前，需對(duì)每個(gè)傳感器的測(cè)量數(shù)據(jù)作相應(yīng)處理（數(shù)據(jù)預(yù)處理和特征提?。?，然后利用SVM方法進(jìn)行決策層的融合和分類。其過(guò)程為：根據(jù)實(shí)際系統(tǒng)要求，確定輸入傳感器的個(gè)數(shù)，采集各傳感器數(shù)據(jù)，生成訓(xùn)練樣本與測(cè)試樣本，然后使用支持向量機(jī)對(duì)樣本進(jìn)行分類。

3 實(shí)驗(yàn)結(jié)果

城市污水處理廠日常監(jiān)控?cái)?shù)據(jù)來(lái)自 UCI數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中有527組38維數(shù)據(jù)，共有污水狀態(tài)13種。對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后得到全部屬性和屬性值都完整的記錄有375個(gè)。由于記錄中有些狀態(tài)過(guò)少，為研究方便這里把性質(zhì)相同的狀態(tài)合并，合并后共有4種狀態(tài)。首先，將樣本分成兩部分，其中245個(gè)樣本用來(lái)訓(xùn)練分類機(jī)，130個(gè)樣本用來(lái)測(cè)試分類機(jī)的分類識(shí)別效果。所有實(shí)驗(yàn)都是在個(gè)人計(jì)算機(jī)上進(jìn)行的，計(jì)算機(jī)配置為，Intel(R) Core(TM)2 Duo T5470雙核CPU，主頻1.66GHz，1G內(nèi)存和Windows XP操作系統(tǒng)，使用Matlab 7.0軟件進(jìn)行處理。

首先，使用信息融合常用的人工神經(jīng)網(wǎng)絡(luò)方法，選用BP網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，訓(xùn)練設(shè)定的目標(biāo)值為0.01，訓(xùn)練次數(shù)設(shè)定為10000次。實(shí)驗(yàn)發(fā)現(xiàn)訓(xùn)練完10000次后目標(biāo)還是沒(méi)有達(dá)到。BP網(wǎng)絡(luò)的測(cè)試結(jié)果：訓(xùn)練時(shí)間為118.92秒，仿真（測(cè)試）時(shí)間為0.063秒，測(cè)試樣本的類別預(yù)測(cè)正確率為83.23%。

然后使用基于SVM的信息融合方法，支持向量機(jī)使用兩種分類算法SMO算法和LS-SVM算法，因?yàn)楹喜⒑蟮奈鬯疇顟B(tài)為4種，這里采用“one against all”的多類分類方法。核函數(shù)選擇的是Gauss徑向基核函數(shù)：

通過(guò)實(shí)驗(yàn)對(duì)兩種算法進(jìn)行參數(shù)選取，得到實(shí)驗(yàn)結(jié)果見(jiàn)表1。

表1 BP神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)的實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

BP神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練時(shí)間比較長(zhǎng)，它的訓(xùn)練時(shí)間是支持向量機(jī)算法中的LS-SVM訓(xùn)練時(shí)間的420多倍，是支持向量機(jī)算法中的SMO算法的訓(xùn)練時(shí)間的7倍?；ㄙM(fèi)了這么長(zhǎng)的訓(xùn)練時(shí)間，但是得到的樣本類別預(yù)測(cè)的正確率并不是很高，僅為83.23%。而SMO算法的正確率為90.77%，LS-SVM算法的正確率為 92.15%?？梢?jiàn)支持向量機(jī)算法，在面對(duì)污水處理監(jiān)測(cè)數(shù)據(jù)的這樣的模式識(shí)別問(wèn)題有很大的優(yōu)越性。因此，將支持向量機(jī)引入到信息融合問(wèn)題中具有可行性。