基于魯棒加權模糊聚類的污水處理過程監測方法

張瑞垚 周 平

污水處理工業在中國水資源可持續發展中占據 重要一環.目前,應用最廣泛的污水處理工藝是活性污泥法[1].如圖1 所示,活性污泥法污水處理工藝流程通常按照處理程度分為一級處理(預處理)、二級處理(生化處理)和三級處理(深度處理)[2].原污水首先經過格柵攔截較大懸浮物或漂浮雜質后進入沉砂池,沉砂池將密度較大無機懸浮物從污水中分離,然后進入初沉池.完成一級處理的污水經初沉池出水,并與回流的二沉池沉淀污泥按一定比例混合進入曝氣池.曝氣池分為缺氧區和好氧區.在缺氧區中,內循環回流的硝態氮在異養菌無氧呼吸作用下被還原為氮氣;在好氧區中,氨氮在自養菌有氧呼吸作用下發生硝化反應,有機物被進一步降解.隨后污水經曝氣池出水進入二沉池,將澄清水與活性污泥進行固液分離.分離后,澄清水排入受納水體或經過物理、化學等技術進一步去除污染物后實現中水回用.二沉池除回流污泥外的沉淀污泥與初沉池的污泥混合,經過濃縮、消化、脫水等工藝后做最終處置及回收利用[2-4].

圖1 污水處理工藝流程示意圖Fig.1 Schematic diagram of sewage treatment process

污水處理的根本目的是將城市生活、工業生產等產生的污水經過上述污水處理的各道工序后達到國家規定的出水指標.目前,污水處理出水質量指標主要包括生化需氧量、化學需氧量、總懸浮物、總磷、氨氮等.在污水處理過程中,由于進水流量、進水組分、污染物種類、天氣變化等都是被動接受,微生物種群、溶解氧濃度、污水pH 值等多種因素對微生物的生命活動都會產生巨大的影響,因此保持污水處理廠的長期穩定運行十分困難[4-5].由于污水處理時常處于非平穩狀態運行,因此容易引發異常工況的發生.如果不能及時監測到污水處理過程異常工況,導致不能正確判斷且沒有采取有效措施加以調整糾正,會導致出水水質不達標、污水處理能力降低,甚至會引發污水處理過程的崩潰,導致不可逆的事故發生,使得運行成本大大增加并且造成環境污染.所以,通過建立有效監測方法來監測污水處理過程,對異常工況做出準確判斷,并及時準確地采取有效措施,對保證污水處理過程安全穩定順行以及出水水質的達標尤其重要.

由于污水處理過程是一個多變量、強耦合、大時滯、高度非線性的復雜動態非平穩生化反應過程[5],機理模型很難完全考慮污水處理全流程的運行狀態.大部分機理模型都是基于局部過程建立的,因此在描述污水處理過程特性時具有很大的局限性[6-7],這就促進了數據驅動尤其是基于機器學習與多元統計分析的過程監測與故障診斷方法在污水處理過程中的應用[5].文獻[8]提出了一種基于在線估計技術和反向傳播神經網絡的故障檢測和診斷方法,不僅具有魯棒性,而且能夠避免閾值問題,顯示出較好的應用可靠性.文獻[9]提出的粗集支持向量機分類方法降低了樣本屬性并保留一定的冗余性,對污水處理過程運行狀態的監測實驗驗證了該方法的有效性.文獻[10]針對主元分析對于噪聲和不確定信息描述能力不足的問題,提出了因子分析故障診斷方法,在污水仿真基準模型的驗證表明該方法能夠降低傳統主元分析方法的故障誤報率,對不確定信息具有較好的描述能力.近年來,由于污水處理數據缺少分類標識,且先驗知識匱乏,因此模糊聚類技術在污水處理過程監測中得到了越來越多的應用.模糊聚類是一種無監督分類技術,本身具有捕獲數據非線性結構的能力,可以充分挖掘污水處理過程的數據信息,通過建立模糊相似關系對過程進行監測和診斷[11].文獻[12]針對采樣數據維度過高的問題,采用了主元分析和可能性模糊c均值(Possibilistic fuzzyc-means,PFCM)聚類相結合的方法,在田納西-伊斯曼過程仿真實驗中取得較好效果.但是主元分析是一種線性降維技術,對于污水處理這樣的高維非線性系統,其實際應用效果會有很大局限性.文獻[13]提出了偏最小二乘、可能性聚類(Possibilisticc-means,PCM)與模糊c均值(Fuzzyc-means,FCM)的組合方法,并給出了一種遞歸原型更新算法.偏最小二乘算法的使用抑制了與輸出數據無關的噪聲和變化,促進了PCM 和FCM 的應用,使其更容易找到簇和相應的原型,但聚類算法FCM 對離群點敏感,因此其監測效果易受離群點影響,魯棒性差.當監測到異常工況發生時,需要及時識別出導致異常工況發生的異常變量.目前,貢獻圖方法是最為普遍的故障識別方法[14].Zhou 等[15]提出了基于主元分析的貢獻圖方法,用于辨識與故障相關的關鍵變量.Dunia 等[16]提出了基于重構和平方預測誤差方法,即利用重構平方預測誤差與實際平方預測誤差的比值進行故障辨識.文獻[17]提出了一種基于核主成分分析的方法,特別是在魯棒重構誤差的基礎上,提出了一種新的故障識別方法.其基本思路是當重構的變量是故障變量時,此變量的故障指標會比非故障變量的指標值偏小.如今,基于模糊聚類的故障識別方法的研究也得到越來越多專家學者的研究.文獻[18]提出了一種基于自回歸滑動平均模型雙譜分布特征與模糊c均值聚類分析的故障識別方法,該方法通過FCM聚類構造類模板和最小距離模板的分類器,實現了滾動軸承的故障識別.文獻[19]將模糊c均值算法和Gustafson-Kessel 聚類算法用于燃氣輪機故障的故障檢測和識別,仿真結果表明模糊聚類方法具有可接受的故障識別性能.

綜上,本文針對非平穩污水處理工業過程的非線性強、先驗故障知識少、異常工況識別難等問題,提出了一種基于魯棒加權模糊c均值(Robust weighted fuzzyc-means,RoW-FCM)與核偏最小二乘(Kernel partial least squares,KPLS)算法的新型過程監測方法.首先,采用KPLS 對污水處理過程的高維輸入過程變量進行降維,同時解決了污水處理數據的非線性問題;其次,采用RoW-FCM 聚類算法對通過KPLS 算法降維得到的得分矩陣聚類,通過聚類得到的隸屬度矩陣進行污水處理過程異常工況檢測分析;再次,建立隸屬度矩陣與樣本數據變量之間的回歸模型,通過解得的變量貢獻矩陣進行異常工況識別;最后,對本文RoW-FCM 算法進行數值仿真驗證,并基于污水處理過程數據進行實驗驗證和對比分析.

1 過程監測策略

提出的基于RoW-FCM 聚類與KPLS 的污水處理過程監測方法如圖2 所示,主要包括高維數據降維、異常工況檢測和異常工況識別3 個部分.

圖2 本文監測算法建模策略Fig.2 The monitoring algorithm modeling strategy in this paper

1)高維數據降維: 污水處理過程相應過程運行性能與出水水質的變量較多,具有高維特性,而且變量之間存在著很強的關聯耦合特性.如果把全部變量都用于模型的建立,不僅會加大計算復雜度,而且會由于冗余信息干擾影響建模與監測的性能,因此需要對輸入變量數據進行降維.為此,采用非線性的KPLS 方法對高維數據進行降維.首先將標準化后的過程變量投影到高維特征空間,然后在高維特征空間建立過程變量與質量變量的偏最小二乘模型,并采用交叉驗證法確定主元數,得到得分矩陣,也即原始高維變量經過降維處理后的低維變量.

2)異常工況檢測: 針對常規FCM 算法對于離群點敏感,建立RoW-FCM 聚類算法,通過引入了權值參數對不同質量的樣本數據的區分加權,改善了聚類對離群點的魯棒性,同時引入聚類大小控制參數解決了不平衡簇問題.由于傳統基于歐氏距離的FCM算法是根據最近鄰分配,即對于球形數據集以外的如橢圓形類數據集不能有效聚類,因此采用馬氏距離,可以充分考慮樣本之間的相互關系.將本文改進聚類算法對得分矩陣聚類,得到隸屬度矩陣,通過所得隸屬度矩陣對污水處理過程進行異常工況檢測.

3)異常工況識別: 為了識別導致異常工況的主導變量,考慮變量對過程異常工況的解釋程度.基于此,通過建立隸屬度矩陣與過程變量的回歸模型,得到變量隸屬度矩陣,利用變量貢獻矩陣描述變量對各個簇的解釋程度,即變量對各類工況的解釋程度,從而達到對異常工況識別的目的.

2 過程監測算法

2.1 高維數據降維的KPLS 算法

2.2 過程監測的魯棒加權模糊c 均值(RoWFCM)聚類算法

2.2.1 FCM 與PCM 算法簡介

聚類算法中,比較有影響的重要工作就是Dunn將常規硬聚類目標函數推廣到了模糊情形,而Bezdek等[20]又將Dunn 的目標函數做了推廣,給出了如下基于目標函數的模糊聚類分析更一般的描述:

Krishnapuram 等[21]在FCM 算法的基礎上放松了對隸屬度的概率約束,提出了可能性聚類(PCM)算法,該算法的目標函數及約束條件如下:

2.2.2 本文RoW-FCM 算法及異常工況檢測

聚類的魯棒性是指所實現分區的穩定性和可再現性,以及對噪聲和離群點的不敏感性[22-23].FCM算法由于對隸屬度的約束,使得聚類結果對離群點特別敏感.為了解決這個問題,已有學者提出了多種解決方案.Barni 等[24]提出的PCM算法放松了對隸屬度的概率約束,使其對離群點具有較強的魯棒性,但容易導致重合聚類.Timm 等[25]在所有的PCM集群原型之間建立一個排斥力,其強度隨著距離的增加而降低.該方法有效避免了重合聚類,但在兩個聚類之間非常接近的情況下卻不能準確處理.針對FCM 和PCM 存在的上述問題,Pal 等[26]提出了PFCM 聚類算法,PFCM具有FCM 與PCM 的優點,具有較好的魯棒性,但對參數設置有很大的依賴性.基于此,針對現有方法存在的上述問題,提出魯棒加權模糊c均值(RoW-FCM)聚類算法.首先引入可能性劃分矩陣作為權值參數,同時考慮到歐幾里德距離在聚類時的局限[27],因此采用馬氏距離.FCM 等算法的另一個主要缺點是它們傾向于使集群的大小相等.也就是說,如果一個大集群的數量不平衡,那么它的一部分就會被錯誤地分類為另一個小集群,考慮到這個問題,本文進一步利用變量控制簇大小的方法來解決[28].綜上,本文RoW-FCM算法的聚類目標函數如下:

注1.本文聚類算法對于隸屬度矩陣和聚類中心的初始化并不敏感,因此在迭代開始前,即在算法1 中的輸入數據過程,隸屬度矩陣以及聚類中心的初始值采用隨機初始化給出.

2.3 基于RoW-FCM 的異常工況識別算法

實際污水處理運行過程中,當異常工況發生時,及時識別造成異常工況發生的異常變量對指導操作人員做出有效操作決策具有重要意義.聚類算法中,隸屬度矩陣描述了樣本屬于聚類中心的程度.為了識別與異常工況相關的變量,本文進一步提出一種新的基于變量貢獻矩陣的識別方法.該方法的基本思想就是: 每個變量對各種工況都有一個貢獻值,并且限定每個變量對所有工況的貢獻值之和為1.如果某個變量對某個工況的貢獻值最大,即表明此變量是與此工況相關聯的變量,也就認為該變量是造成該工況的關鍵變量.變量貢獻矩陣通過建立隸屬度矩陣與過程變量的線性回歸模型得到,其描述了樣本變量對各個簇的解釋程度,回歸模型如下:

從ηai的實際意義考慮,類比隸屬度,對上述損失函數引入約束如下:

采用拉格朗日乘子法求解變量貢獻矩陣N,引入拉格朗日乘子ζ,構造目標函數如下:

3 RoW-FCM 聚類算法驗證實驗

首先,采用圖3(a)所示數據測試基于歐氏距離與馬氏距離的聚類方法的性能.實驗數據集分為兩組: 數據類1 在一個半徑為5 的圓中隨機生成50個樣本點,數據類2 在一個長軸為15、短軸為1 的橢圓中隨機生成100 個樣本點,兩組數據聚類中心之間的距離為9.本實驗在目標函數式(13)的基礎上分別采用馬氏距離與歐氏距離作為對比.為便于區分,將采用馬氏距離的方法記作RoW-FCM-1,將采用歐氏距離的算法記作RoW-FCM-2.兩種方法聚類效果分別如圖3(b)和圖3(c)所示.可以看出,采用馬氏距離可以將橢圓數據集與圓形數據集很好地分開,而基于歐氏距離的算法則不能將其有效分開.

圖3 仿真實驗數據及聚類效果圖Fig.3 Simulation experiment data and clustering effect diagrams

然后,采用圖4(a)所示數據集來測試本文方法對于不平衡集群的聚類性能.圖4(a)中的數據集分為兩類數據: 數據類1 在一個半徑為4 的圓中隨機生成150 個樣本點,數據類2 在一個半徑為2 的圓中隨機生成40 個樣本點,兩類數據聚類中心之間的距離為7.圖5 為分別采用FCM、PCM、PFCM和本文RoW-FCM 對圖4(a)數據集A 進行聚類的結果.由圖5 可知,FCM、PCM、PFCM 三種方法都將大集群的部分數據錯誤的分類為較小集群的部分,其中PCM 的聚類效果最差,產生了重合聚類,即聚類中心重合,而本文RoW-FCM 算法對兩類集群有很好的劃分.為了測試本文RoW-FCM 算法在聚類時對離群點的魯棒性,進一步采用圖4(b)所示包含離群點的數據集B 進行魯棒性的測試.在數據集中共有12 個樣本點,其中,數據類1:{X1,X2,X3,X4,X5}和數據類2:{X6,X7,X8,X9,X10}分別為y軸對稱的聚類,聚類中心分別為=(-4,0)和=(4,0),X11和X12為2 個離群點,它們距離2 個聚類中心的距離相等.在圖4(b)所示數據集上將FCM、PCM、PFCM 和本文RoW-FCM 進行數據對比實驗.不同方法的聚類結果參數及聚類效果分別見表1 與圖6.表1 中U代表隸屬度矩陣,和分別表示矩陣U的第1 行和第2 行;W代表可能性劃分矩陣,和分別表示矩陣W的第1 行和第2 行.由聚類結果可知,PCM 算法產生重合聚類,4 種算法中,PFCM 算法得到的聚類中心的偏移有所減小.但是,對比4 種算法的聚類效果,本文RoW-FCM 算法聚類中心偏移距離最小,受離群點影響最小,具有最好的魯棒性.

表1 FCM、PCM、PFCM、RoW-FCM 聚類參數Table 1 FCM,PCM,PFCM,RoW-FCM clustering parameters

圖4 測試數據集Fig.4 Test data sets

圖5 不平衡簇實驗聚類效果圖Fig.5 Experimental clustering effect of unbalanced clusters

圖6 離群點實驗聚類效果圖Fig.6 Experimental clustering effect of outlier points

由本節3 個數值實驗可以看出,在對不平衡數據集聚類時: 本文RoW-FCM 算法通過引入控制距離尺寸的參數,很好地解決了不平衡簇問題,相比于FCM、PCM、PFCM 算法有良好聚類性能.在離群點數據實驗中,RoW-FCM 算法比FCM 和PFCM算法的魯棒性更好.而且相比于PFCM,本文RoWFCM 算法聚類性能對參數設置并不敏感.最后,相比于基于歐氏距離的聚類算法,RoW-FCM 算法采用馬氏距離能夠充分考慮樣本間關系,對于非球形數據集也有較好的聚類效果.

4 污水處理過程監測實驗

本文基于污水處理過程的基準模型BSM1 進行數據仿真實驗.BSM1 是由歐盟科學技術合作組織與國際水協共同合作開發的一個獨立仿真平臺,它能夠較為合理地反應污水處理過程的反應機理,其設備布局由一個生化反應池和一個二次沉淀池組成[29],具體如圖1 二級處理工藝設備布局圖所示.選取二沉池出水中的生化需氧量、化學需氧量、懸浮物、氨氮作為出水質量指標.同時,根據工藝機理,確定影響出水水質指標的28 個關鍵過程變量如表2 所示.根據 5m1原則,KPLS 的高斯核函數寬度選為140,同時通過交叉驗證確定KPLS 主元個數為3 個.所用測試數據包含進水流量異常和毒性沖擊2 種異常工況.其中,毒性沖擊故障是由于來自工業、農業或醫院等的有毒物質造成的.毒性沖擊會使活性污泥中的微生物出現 “中毒”現象,破壞活性污泥系統,導致污水處理效率下降,造成生化需氧量、化學需氧量、總氮和總磷等出水指標異常.本文通過降低異養菌最大比生長速率μH,增大異養菌衰減系數bH來模擬毒性沖擊[30].因此,本文主要就進水流量異常和毒性沖擊兩種異常工況的檢測和識別問題進行分析.

表2 影響污水處理過程出水水質的主要過程變量Table 2 The main process variables that affect the effluent quality of the sewage treatment process

4.1 污水處理過程異常工況檢測結果

首先對測試數據集進行故障檢測實驗.分別采用FCM、PCM、PFCM 以及本文RoW-FCM 四種算法在測試集上進行對比分析,并將所有方法均仿真30 次的平均結果作為最終結果,如表3 所示,相關結果如圖7～ 10 所示.可以看出,PCM 算法由于產生重合聚類,其聚類效果差,結合如圖8 的PCM隸屬度矩陣值,可知PCM 算法不能監測到兩種異常工況.同時,可以看到FCM、PFCM 和本文RoWFCM 三種方法均能夠監測到異常工況.但是常規FCM 和PFCM 兩種算法的隸屬度矩陣值波動較大,尤其在0.5 附近區分度不明顯,導致聚類錯誤率升高.而本文RoW-FCM 算法的隸屬度矩陣值平穩,在0.5 處區分度大,能夠將2 類異常工況很好地進行聚類,能夠分別在200、800 時刻附近監測到異常工況的發生.從仿真的平均迭代次數來看,PCM算法迭代次數最少,但該算法由于產生重合聚類,故不在考慮范圍內.另外,在其余3 種方法中,本文算法具有最少的迭代次數.綜上,本文RoW-FCM算法對2 種異常工況的監測準確率最高,迭代次數也最少,所以RoW-FCM 算法在實際污水處理過程監測中具有良好的異常工況檢測性能.

圖7 FCM 隸屬度矩陣Fig.7 FCM membership matrix

圖8 PCM 可能性矩陣Fig.8 PCM possibility matrix

表3 不同算法的聚類準確度與迭代次數Table 3 Clustering accuracies and numbers of iterations of different algorithms

圖9 PFCM 隸屬度矩陣Fig.9 PFCM membership matrix

圖10 RoW-FCM 隸屬度矩陣Fig.10 RoW-FCM membership matrix

4.2 污水處理過程異常工況識別結果

進一步采用第3.3 節異常工況識別方法進行識別,識別結果如表4 和圖11 所示,其中表4 中的編號與表2 中的變量編號相對應,加粗數值表示與異常工況關聯變量的貢獻值.可以看出,與異常工況1 關聯最大變量分別為: 3-XBH,1、5-SS,1、7-XBH,2、9-SS,2、11-XBH,3、12-XBA,3、14-SNH,3、15-SS,3、17-XBH,4、18-XBA,4、21-SS,4,23-XBH,5、24-XBA,5和27-SS,5.這意味著異常工況1 與活性異養菌生物量、活性自養菌生物量、易生物降解有機底物量有關,據此可以判斷異常工況1 為毒性沖擊,即毒性沖擊導致活性異養菌與活性自養菌數量減少,從而導致易生物降解有機底物量等過程變量出現異常.圖11 也顯示與異常工況2 關聯最大的變量分別為: 1-Qin、2-SNH,in、6-SALK,1、8-SNO,2、13-SO,3、16-SALK,3、19-SO,4、20-SNH,4、22-SALK,4、25-SO,5、26-SNH,5和28-SALK,5.這意味著進水流量和進水氨濃度與異常工況2 的發生有關,這些變量的異常也同時導致反應池中堿度、硝氮濃度、氨氮濃度的變化,故此判斷異常工況2為進水量異常.根據上述分析可知,本文異常工況識別方法所得到的變量貢獻矩陣對異常工況的解釋符合實際情況,能夠識別出與異常工況相關的關鍵變量,從而驗證了本文方法在異常工況識別的有效性和實用性.

圖11 異常工況識別結果Fig.11 Recognition results of abnormal conditions

表4 異常工況識別結果表Table 4 Abnormal condition recognition result table

注2.本文異常工況識別算法思想源于FCM算法.在FCM 算法中,每個樣本對于所有聚類中心的隸屬度之和為1,隸屬度值最大表明這個樣本屬于其對應的某個聚類中心.本文異常工況識別算法的思想是每個變量對各個工況都有一個貢獻值,并且限定每個變量對所有工況的貢獻值之和為1.如果某個變量對某個工況的貢獻值最大,即表明此變量是與此工況相關聯的變量,也就認為該變量是造成該工況的關鍵變量.也就是說前文提到的 “最大”指的是某個變量對某個工況的 “最大”貢獻值,即本文異常工況關聯最大變量的選取標準是對工況貢獻值最大的變量.

5 結束語

針對先驗故障知識少的非平穩污水處理過程異常工況監測與識別的難題,引入并改進了基于模糊c均值的聚類方法,提出了一種基于RoW-FCM 與KPLS 的過程監測新方法.該方法首先建立了質量變量與高維非線性污水處理過程變量的KPLS 模型,然后采用本文基于RoW-FCM 的算法對污水處理過程進行監測.數值仿真實驗表明,相比于FCM、PCM、PFCM 算法,本文RoW-FCM 聚類算法對離群點具有更好的魯棒性,并解決了不平衡簇數據集聚類問題.此外,數值實驗也表明本文算法采用馬氏距離能夠適應更多聚類數據結構,明顯優于基于歐氏距離的聚類算法.基于污水處理過程的異常工況檢測與識別數據實驗表明,本文方法在監測過程中準確率更高,迭代次數少,能夠有效監測到污水處理過程中異常工況的發生,并能夠正確識別出異常工況相關的關鍵變量,因此在污水處理過程監測和異常工況識別上具有較好的測試效果和應用前景.