一種改進的SOM神經網絡在污水處理故障診斷中的應用

岳宇飛, 羅健旭

(華東理工大學自動化研究所,上海 200237)

?

一種改進的SOM神經網絡在污水處理故障診斷中的應用

岳宇飛, 羅健旭

(華東理工大學自動化研究所,上海 200237)

自組織映射(SOM)神經網絡初始權值的選取對神經網絡的性能有重要的影響。采用改進的帝國競爭算法(IICA)優化局部權重失真指數(LWDI)尋優SOM神經網絡的初始權值;利用改進后的SOM神經網絡(IICA-SOM)對污水處理過程數據進行聚類和故障診斷。實驗結果表明,與傳統的SOM算法相比,IICA-SOM算法取得了更好的聚類效果,且故障診斷的誤診率更低。

故障診斷; 聚類; 自組織映射; 帝國競爭算法

污水處理過程是一個變量繁多、具有大時變、大時滯特點的動態非線性反應過程,實際運行過程中易出現各類故障。例如受用水量、天氣等外部因素影響,污水處理過程的進水水質、水量會產生波動,從而對活性污泥造成沖擊;反應池的pH異常、供氧不足、有毒物質的流入等,會引起污泥上漲、老化、中毒、膨脹等故障。另外污水處理過程的運行環境惡劣,會導致某些傳感器或執行器腐蝕、損壞嚴重,致使輸出信號產生偏差、沖擊、漂移或輸出恒定值等。并且,污水處理廠一些關鍵設備(如鼓風機、水泵等)長期運行也會產生機械故障。在污水處理過程中,對上述各種故障進行及時準確的發現及診斷,對污水處理廠的安全、穩定、長期運行有重要意義。

近年來,自組織映射(SOM)神經網絡在污水處理故障診斷中得到了許多應用。Mika等[1]提出了一種基于SOM神經網絡的自適應多變量監測方法,通過對污水處理數據各項指標的檢測來預判故障的發生,從而避免工業事故的出現。Heikkinen等[2]介紹了一種基于SOM神經網絡的分析方法,通過SOM對污水處理數據進行建模,并運用K-means方法對訓練好的SOM神經網絡權值進行聚類,每一類代表一種狀態。在實際的污水處理應用中,該方法可以有效地對污水處理過程中的數據進行分析,確定它們分別屬于哪個狀態以及各個變量對狀態的影響程度。Yu等[3]提出了一種基于多元回歸、主成分分析和冗余分析的SOM預測模型,并運用該模型對受污染人工濕地中的溶解氧濃度和氨氮濃度進行預測,實驗表明該模型能夠很好地檢測人工濕地中的污染物去除情況。SOM神經網絡是一種自監督、自學習能力很強的神經網絡,它能夠從樣本數據中提取到數據特征且所需的樣本量較少,同時能對數據進行很好的聚類,因此在污水處理故障診斷領域有很好的應用前景,然而,SOM神經網絡的性能對網絡初始權值有較大的依賴。本文采用改進后的帝國競爭算法(IICA)來獲取最優的初始權值,應用改進后的SOM神經網絡(IICA-SOM)對污水處理過程數據進行故障診斷,實驗結果顯示IICA-SOM的聚類效果和診斷正確率都優于傳統的SOM。

1 SOM原理及性能指標

1.1 SOM原理

SOM由芬蘭學者Kohonen[4]于1982年提出,它是由一個全連接的神經元陣列組成的無監督、自組織、自學習的網絡。該網絡與其他神經網絡的區別在于它既可以學習數據本身的特征,也可以學習數據之間的拓撲關系,因此神經網絡在完成學習之后可以得到輸入空間中存在的拓撲結構[5]。此外,SOM在學習輸入數據拓撲結構的同時,也可以將輸入空間的高維結構特性映射到低維空間中(一般為1維或者2維)[6]。SOM神經網絡由輸入層和輸出層組成,兩層之間實現全連接。在SOM網絡對一個輸入向量進行學習時,將產生一個獲勝神經元,在進行權值更新時,獲勝神經元及其周圍神經元的權值都將得到更新。這樣不斷地學習下去,就可以使得輸入空間中存在關聯的數據在輸出空間中也能夠聚集在一處,形成具有關聯性的神經元的集合,這就是SOM神經網絡能在無先驗知識的情況下對輸入數據實現數據聚類的原因。另外SOM網絡還具有將聚類結果可視化的功能。

SOM的學習原理[7]:假設某一神經元k的權值向量有n維,即ωk={wk1,wk2,…,wkn},n是輸入空間的維數,其初始值一般設為[0,1]之間的隨機值。在每一次的訓練過程中,對于輸入空間中的每一個輸入數據x,根據式(1)計算輸入數據與網絡中每個神經元之間的歐式距離,獲得與該輸入數據距離最小的神經元ωc,并稱之為獲勝神經元(BMU)[8]。然后運用式(2)調整BMU及其相鄰神經元的權值向量,使它們更加接近于輸入數據x。不斷重復上述過程,直到神經元的權值向量達到全局收斂。

‖x(t)-ωc(t)‖≤‖x(t)-ωi(t)‖

(1)

ωi(t+1)=ωi(t)+η(t)hc(x),i(x(t)-ωi(t))

(2)

其中:η(t)為t時刻的學習速率,隨著訓練的進行逐漸減小;hc(x),i為鄰域調整函數。

由式(2)可以看出,SOM的每一次訓練都是在不停地縮小神經元與輸入數據之間的距離。可以得到式(3):

(3)

其中,Xmean為映射到神經元k上的所有輸入數據的均值。

因此,當SOM神經網絡的訓練次數足夠大時,每個神經元的權值向量與映射到該神經元上所有輸入樣本的均值將近似相等,即每個神經元都近似表示為映射到該神經元上的數據樣本的中心。

1.2 SOM的大小確定

SOM輸出層中的神經元個數及排列方式決定了SOM分類結果的精度及其泛化性,同時神經元個數越多SOM的性能越好,但是計算代價也越大。因此,怎樣確定神經元的個數就顯得十分關鍵。根據文獻[9]的介紹,SOM輸出層神經元個數及大小的確定一般按以下公式進行(近似相等):

(4)

(5)

其中:N為輸入空間的樣本數;M為神經元的個數;e1、e2為輸入空間樣本矩陣最大的兩個特征值;n1、n2分別表示輸出層神經元的行數和列數。

1.3 性能指標

文獻[4]為SOM網絡的性能評價定義了一個指標——局部失真指數(LWDI),即

D=E[p(x)]

(6)

(7)

其中:E表示數學期望;x表示輸入向量;ω(k1,k2)表示坐標為(k1,k2)的神經元的權值;(c1,c2)是輸入向量x的獲勝神經元的坐標;hx(?)為鄰域函數。本文采用的領域函數是Moore函數,形式為

其他值都為0,即只有圍繞獲勝神經元的神經元才會被激活。

局部權值失真指數可以較為全面地衡量一個SOM神經網絡的質量,該指數越小則表明網絡的質量越好。從該指數的定義上看,如果把鄰域函數去除則與K-means算法的數學表達式很相似[10],因此可以通過最小化LWDI來不斷修正SOM網絡的聚類中心。由于初始權值對SOM網絡性能的影響非常顯著,所以本文通過帝國競爭算法尋找使LWDI最小的網絡初始權值,以改善網絡的性能。

2 帝國競爭算法的原理及改進

2.1 帝國競爭算法的原理

帝國競爭算法(ICA)[11]是一種進化類算法,一般包含初始帝國的產生、同化機制、競爭機制、帝國滅亡4個部分。理想情況下,同化機制使得所有殖民地都和帝國處于同一位置,而帝國競爭使得最后只剩一個帝國,即全局最優解。

(1) 初始帝國的產生。在ICA中個體稱為“國家”,類似于遺傳算法中的染色體,對于某一個Nvar維的優化問題,國家表示如下:

country=[p1,p2,…,pNvar]

(8)

通過代價函數來衡量每個國家的實力:

cost=f(country)

(9)

初始帝國的產生主要由以下幾步完成:

Step1 隨機產生Npop個國家,選擇其中實力較強的前Nimp個國家作為帝國,剩下的Ncol(Ncol=Npop-Nimp)個國家作為殖民地;

Step2 根據帝國實力的強弱劃分殖民地。每個帝國獲得的殖民地個數按式(10)～式(12)確定:

(10)

(11)

(12)

其中:cn表示第n個帝國的代價函數值;i的取值范圍為[1,Nimp];Cn表示標準代價;pn表示第n個帝國的標準實力;N.C.n為第n個帝國初始時獲得的殖民地個數。

Step3 每個帝國從Ncol個殖民地中隨機獲取相應個數的殖民地,形成Nimp個帝國主義國家。

(2) 同化機制。同化是指每個帝國主義國家的所有殖民地都向其帝國移動。每個殖民地向帝國移動的距離設為x且服從均勻分布,定義如下:

x～U(0,β×d)

(13)

其中:β>1;d是帝國與其殖民地之間的最遠距離。另外,為了擴大搜索區域,增加了一個偏移角θ,且服從均勻分布,定義如下:

θ～U(-γ,γ)

(14)

其中,0<γ<π,表示最大的偏移角度。

在殖民地移動的過程中,當殖民地的實力強于帝國時,交換帝國與殖民地的位置。此時,該殖民地成為帝國,而帝國則淪為殖民地。

(3) 競爭機制。競爭是指帝國主義國家與帝國主義國家之間的競爭,實力強的吞并實力弱的。在帝國競爭過程中,選擇綜合實力最弱帝國主義國家的殖民地作為各個帝國競爭的對象,且實力越強的帝國獲得該殖民地的幾率越大,最終獲得勝利的帝國將獲得所有的殖民地。

每個帝國主義國家的實力由兩部分組成:帝國自身的實力以及其殖民地的實力,即帝國的代價函數以及殖民地的代價函數。帝國的綜合實力定義如下:

(15)

(16)

(17)

其中:T.C.n表示第n個帝國的綜合實力;f(?)表示代價函數;impn表示第n個帝國;coli表示第i個殖民地,變化范圍為[1,N.C.n];0<ξ<1,ξ表示殖民地對帝國總體實力的影響程度;N.T.C.n表示第n個帝國的標準綜合國力,i的取值范圍為[1,Nimp];PPn表示第n個帝國獲得競爭勝利的概率。

(4) 帝國滅亡。帝國競爭使得實力弱的帝國主義國家的實力越來越弱,直至該帝國的所有殖民地都失去后,該帝國則滅亡。

2.2 基于帝國合并的改進ICA

ICA算法的核心在于帝國內部的同化機制以及帝國與帝國之間的競爭機制,同化機制確保了該算法的局部搜索能力,而競爭機制則確保了算法的全局搜索能力。而當ICA算法應用于高維問題尋優時很容易陷入局部最優,從而出現算法的收斂速度變慢等問題。對于收斂速度慢的問題,本文引入了帝國合并機制。帝國進行合并發生在帝國競爭階段,若兩個帝國需要進行合并,則必須滿足以下兩個條件:

(1) 兩個帝國所在的位置比較靠近,即兩者間的距離比較短;

(2) 兩個帝國的實力比較接近,即兩者代價函數值近似相等。

即滿足式(18)、式(19):

dist(impi,impj)

(18)

(19)

其中:0

圖1 IICA流程Fig.1 Flowchart of IICA

限制兩個帝國的距離較近是為了確保其殖民地的尋優方向近似相同;限制代價函數值近似相等是為了確保其殖民地的尋優目標近似相同。提出這兩個條件的原因是當兩個帝國的位置和實力相近時,它們的殖民地的移動方向和目標都大致相同,但是算法仍需要執行兩次,顯然這是沒有意義的,因此有必要進行合并。當兩個帝國合并為一個帝國時,新帝國的實力為原來兩個帝國實力的均值,其殖民地為原來兩個帝國所擁有的殖民地的總和。

由于帝國合并機制的存在,IICA與ICA相比迭代次數減少、尋優速度加快,但算法的復雜度在一定程度上有所提高。這是由于帝國合并的存在(即式(18)、(19)),因此算法中會增加2個參數t1和t2。

2.3 算法的性能及評價

為了驗證IICA算法的實際性能,選用4個常用的測試函數進行實驗。測試函數見表1。

若待優化函數的維數大、取值范圍大、且需要的目標精度高,那么優化的難度也高。為了便于比較和突出算法的性能,算法的最大迭代次數設為1 200,并通過重復多次實驗取其平均值,實驗結果如表2所示。

從表2可以發現,IICA算法的各個測試函數的均值都優于ICA算法。值得注意的是Griewank和Rosenbrock函數,Griewank是一個多峰值函數,有很多極小值點,因此很容易使算法陷入局部最優,而IICA算法依然能快速地找到全局最優值;Rosenbrock函數雖然是一個單峰函數,但在函數的最優值附近呈香蕉狀,變量之間的相關性很強,梯度信息極易誤導算法,而IICA依然能夠尋得較優的值。因此,可以認為IICA算法在處理多維數、多峰值函數問題上擁有比較強的性能。

2.4 基于IICA算法的SOM神經網絡

根據帝國競爭算法的優化思想,為了獲得最優值,需要計算每個國家的代價函數。由于LWDI能夠對SOM神經網絡性能做出比較全面的評價,因此IICA將對LWDI進行優化,算法中代價函數如式(20)所示。

cost=1/(1+D)

D=E[p(x)]

(20)

基于改進后帝國競爭算法的SOM神經網絡算法(IICA-SOM)的基本步驟如下:

Step1 初始化國家,從樣本數據集中隨機選取c個(c等于神經元的個數)樣本數據組成一個國家,反復執行該步直到國家數量達到設定值;

表1 測試函數表

表2 兩種算法實驗結果比較

Step2 根據式(20)計算每個國家的代價函數值;

Step3 根據代價函數值的大小形成若干個帝國主義國家;

Step4 在帝國主義國家內部進行同化機制、帝國主義國家之間進行競爭機制和帝國合并機制后,形成新的帝國主義國家;

Step5 計算新一代帝國主義國家的綜合實力;

Step6 檢查終止條件,如果達到最大的迭代次數或者只剩下一個帝國主義國家,則終止迭代;否則

回到Step4;

Step7 將IICA算法得到的最優解作為SOM網絡神經元的初始權值。

3 改進的SOM神經網絡在污水處理故障診斷中的應用

3.1 BSM1模型

污水處理過程“1號基準仿真模型”(BSM1)是評價污水控制、優化策略廣為采用的一個平臺,其生化反應池采用“1號活性污泥模型”(ASM1)[12]來模擬生化反應過程,該反應過程涉及13種組分;二沉池采用的是Takacs等開發的二次指數沉淀速率模型[13]。BSM1的模型結構如圖2所示,有2個PI控制器,一個控制的是內回流量,其輸入是2號池出水中的硝態氮的測量值;另一個控制的是5號池的氧轉化系數(kla5),其輸入變量為5號池出水中溶解氧的測量值。

圖2 BSM1結構Fig.2 Structure of BSM1 model

模型運行14 d,每隔15 min采樣一次得到實驗數據,數據集大小為1 345×13。故障數據主要有兩類:傳感器故障和過程故障。實驗中共使用了5種故障數據,故障類型如表3所示。由于兩個傳感器同時發生故障的概率比較小,故將2個傳感器同時發生故障的情況單獨作為一類故障。

表3 故障類型表

3.2 仿真實驗及結果分析

3.2.1 實驗設置 實驗輸入數據集大小為1 345×13,根據式(4)和式(5)計算可得SOM的神經元數目應設為169,輸出層的大小設為13×13。實驗采用傳統的SOM神經網絡和IICA-SOM兩種方法對故障數據進行聚類和故障診斷,并在輸入數據前對樣本數據進行歸一化處理。在實驗中被故障數據激活的神經元稱為“故障神經元”,此外,實驗得到的數值結果均是多次實驗的平均值。

3.2.2 單個故障 因為溶解氧傳感器故障最常見,所以選取故障F2進行實驗。實驗數據包括故障數據(F2)和正常數據(Normal),從正常數據中隨機選取1 245個數據并從故障數據集F2中隨機選取100個數據組成輸入樣本數據集。其中70%用作訓練數據集(正常數據872個,故障數據70個),30%用作測試數據集(正常數據373個,故障數據30個),實驗結果如表4和圖3所示。

從表4中可以看出,SOM和IICA-SOM兩種算法在樣本數據集中只含有一類故障數據時,能夠很好地進行診斷,誤判率都在5%以內,且IICA-SOM算法的誤判率相對于傳統的SOM算法略低一些。從圖3可以看出,IICA-SOM和傳統的SOM算法都可以將樣本數據聚成兩類,分別是故障數據集和正常數據集。

表4 故障F2診斷測試結果

圖3 SOM和IICA-SOM訓練聚類結果(單個故障)Fig.3 Clustering results of SOM and IICA-SOM (Single)

3.2.3 多個故障 實驗中樣本數據集包含正常數據集和5類故障數據集共1 345個,從正常數據集(Normal)中隨機選取1 000個,從每類故障數據集中隨機取69個。其中70%作為訓練數據(正常數據700個,故障數據每類48個),剩余30%作為測試數據(正常數據300個,故障數據每類21個),實驗結果如圖4和表5所示。

從圖4中可以看出,兩種算法總體上都對數據進行了正確的聚類。傳統的SOM神經網絡完成訓練后,雖然可以對故障數據進行聚類,但是聚類效果并不理想。5類故障數據集中,每類都被聚成了兩部分,而且故障F1和F5的兩部分之間相距也比較遠,此結果表明SOM神經網絡在完成訓練后,其神經元的權值并沒有很好地獲得輸入數據的特征。該結果的產生是由于SOM采用啟發式的訓練算法,神經元的初始權值是隨機產生的,因此受輸入數據的順序及樣本數據集大小的影響比較大,很容易產生“死神經元”(在算法迭代的過程中始終得不到激活)。而此類神經元在訓練過程中將一直不能獲取到輸入數據的特征,所以這將導致所聚成的類不集中。反觀IICA-SOM神經網絡,聚類效果要比傳統的SOM優秀,只有F1和F3的故障數據沒有聚在一起。這是因為通過IICA算法對網絡性能評價指標LWDI的優化能獲取最優的網絡初始權值,使得SOM神經網絡中盡可能少地出現“死神經元”,從而使神經元盡可能獲取輸入數據的特征信息。從表5故障診斷測試結果可以看出,IICA-SOM對每一類型故障的誤判率都要低于SOM的誤判率,尤其是F1故障的誤判率只有SOM的一半。從整體誤判率來看,SOM算法的誤判率比IICA-SOM算法高出41%左右,而且IICA-SOM的誤判率低于20%。因此,IICA-SOM相較于傳統的SOM在聚類結果和診斷誤判率方面都有了大幅改善。

圖4 SOM和IICA-SOM訓練聚類結果(多個故障)Fig.4 Clustering of result of SOM and IICA-SOM (Multiple)

故障類型激活故障神經元次數激活非故障神經元次數誤判率/%平均誤判率/%F113.47.636.2F215.75.325.2F314.96.129.0F417.43.416.2F520.30.73.322.0

表6 IICA-SOM故障診斷測試結果

由上述兩組實驗可以發現,多個故障的誤判率比單個故障的誤判率高很多。這是因為多個故障實驗中的故障種類比較多,當故障數據的種類增加時,SOM神經網絡所要記錄的數據特征就會增加,所以診斷的誤判率會有所增加。

4 結 論

本文采用改進后的帝國競爭算法對權重失真指數進行優化,并將算法優化后的最優解作為SOM神經網絡的初始權值,以提高網絡的質量。SOM作為一種自監督、自學習的神經網絡,能夠從樣本數據集中提取到輸入數據的特征,并根據這些特征進行聚類。IICA-SOM除秉承了傳統SOM算法的優點外,在聚類效果和故障診斷的正確率上都有了很大的提高,且從實驗結果來看,改進后的算法可以將誤診率維持在一個較低的水平,所以IICA-SOM算法對于實際污水處理過程中的故障診斷具有一定的參考價值。

[1] MIKA L,ILKKA L.Advanced monitoring platform for industrial wastewater treatment:Multivariable approach using the self-organizing map[J].Environment Modelling & Software,2013,48(7):193-201.

[2] HEIKKINEN M,POUTIAINEN H.Subtraction analysis based on self-organizing maps for an industrial wastewater treatment process[J].Mathematics and Computers in Simulation,2011,82(3):450-459.

[3] YU Dong,MIKLAS S.Statistical modeling of contaminants removal in mature integrated constructed wetland sediments [J].Journal of Environment Engineering,2012,138(10):1009-1017.

[4] KOHONEN T.Self-organizing formation of topologically correct feature maps [J].Biological Cybernetics,1982,43(1):59-69.

[5] CAI Qiao,HE Haibo,MAN Hong.Imbalanced evolving self-organizing learning [J].Neurocomputing,2014,133(10):258-270.

[6] SOLEDAD D,CONSUELO G,ESTIBALIZ M,etal.A combined measure for quantifying and qualifying the topology preservation of growing self-organizing maps[J].Neurocomputing,2011,74 (16):2624-2632.

[7] HAYKIN S.Neural Networks:A Comprehensive Foundation[M].2nd Edition.Beijing:Tsinghua University Press,2011.

[8] GHASEMINEZHAD M H,KARAMI A.A novel self-organizing map(SOM) neural network for discrete groups of data clustering[J].Applied Soft Computing,2011,46(11):3771-3778.

[9] HILARIO L.Self-organizing map and clustering for wastewater treatment monitoring[J].Engineering Applications of Artificial Intelligence,2004,17(3):215-225.

[10] DEMARTINES P,HERAULT J.Curvilinear component analysis:A self-organizing neural network for nonlinear mapping of data sets [J].IEEE Transaction on Neural Networks,1997,8(1):145-154.

[11] ATASHPAZ-GARGARI E,LUCAS C.Imperialist competitive algorithm:An algorithm for optimization inspired by imperialistic competition[C]//Proceedings of the 2007 IEEE Congress on Evolutionary Computation.Piscataway:IEEE,2007:4661-4667.

[12] BAHAR S,CIGGIN A S.A simple kinetic modeling approach for aerobic stabilization of real waste activated sludge[J].Chemical Engineering Journal,2016,303(1):194-201.

[13] TAKACS I,PATRY G,NOLASCO D.A dynamic model of the clarilication thickening process[J].Water Research,1991,25(10):1263-1271.

An Application of Improved SOM Neural Network in Fault Diagnosis of Wastewater Treatment

YUE Yu-fei, LUO Jian-xu

(Institute of Automation,East China University of Science and Technology,Shanghai 200237,China)

The selecting of the initial weights of the self-organizing map (SOM) neural network has an important impact on the performance of the network.In this paper,by means of an improved imperialists competitive algorithm (IICA) to minimize the locally weight distortion index,the initial weights of the SOM neural network can be obtained optimally.Besides,the improved SOM neural network (IICA-SOM) is applied in the clustering and fault diagnosis of the wastewater treatment process data.The experiment result demonstrates that,compared with the traditional SOM neural network,IICA-SOM can attain better performance in clustering and lower misdiagnosis rate in the fault diagnosis.

fault diagnosis; cluster; SOM; ICA

1006-3080(2017)03-0389-08

10.14135/j.cnki.1006-3080.2017.03.015

2016-10-12

國家自然科學基金(61304071)

岳宇飛(1991-),男,碩士生,主要研究方向為工業過程建模與優化。

羅健旭,E-mail:jxluo@ecust.edu.cn

TP183

A