基于SVR誤差補償技術(shù)的神經(jīng)網(wǎng)絡(luò)城市污水廠水質(zhì)預(yù)測

馮 驍，夏文澤，王 喆,*，錢志明，劉 杰，許雪喬

(1.北京華展匯元信息技術(shù)有限公司，北京 100044；2.北京首創(chuàng)股份有限公司技術(shù)中心，北京 100044)

作為一個水資源極度緊缺的國家，我國的水環(huán)境現(xiàn)狀不容樂觀，為了維護人們的正常生活，與用水相關(guān)的污水處理越發(fā)被重視。其中水質(zhì)預(yù)測對于污水處理的優(yōu)化調(diào)度與精準控制起到了極大的作用，比如對出水總氮，濃度預(yù)測就是評價水處理效果及程度的關(guān)鍵指標之一[1]。但是從預(yù)測控制系統(tǒng)的設(shè)計角度看，城市污水處理系統(tǒng)由于污染物質(zhì)的多樣性、繁雜性和變化性，該系統(tǒng)變?yōu)殡y以預(yù)測控制的復(fù)雜流程。這些復(fù)雜特征主要體現(xiàn)在以下幾個方面：研究對象的復(fù)雜性、研究環(huán)境的復(fù)雜性、工藝任務(wù)的復(fù)雜性以及處理過程中包含多目標融合的復(fù)雜性，均使城市污水處理過程難以被很好解析及映射[2]。

基于上述原因，根據(jù)傳統(tǒng)工藝控制理論的城市污水處理過程控制系統(tǒng)難以取得滿意的預(yù)測及控制效果。而近年來在國內(nèi)外，控制領(lǐng)域神經(jīng)網(wǎng)絡(luò)預(yù)測控制系統(tǒng)已被廣泛應(yīng)用[3]。該類系統(tǒng)自身具有自學習、自適應(yīng)和自組織功能，特別是在模型搭建之初，無需建立數(shù)據(jù)對象精確機理關(guān)系的特點[4]，可相對有效地用于復(fù)雜城市污水處理過程的映射工作，但并不是所有映射結(jié)果都十分準確。由于神經(jīng)網(wǎng)絡(luò)模型的自身特點，它映射城市污水處理過程中必定處于模擬黑盒狀態(tài)，無法很好地詮釋控制系統(tǒng)的機理，使模型在模擬過程中會出現(xiàn)隨機誤差現(xiàn)象，致使控制系統(tǒng)無法做到準確映射污水處理過程并加以控制[5]。不僅如此，國外學者研究表明，由于誤差噪聲的引入，神經(jīng)網(wǎng)絡(luò)會更突顯其自適應(yīng)特征的屬性，使模型輸出結(jié)果更具模糊效果[6]。這類性質(zhì)在某些領(lǐng)域具有優(yōu)勢，但在精準工控領(lǐng)域存在致命問題，這也是本文在研究中想要避免的方向。

對此，本文研究一種基于SVR誤差補償技術(shù)的神經(jīng)網(wǎng)絡(luò)城市污水廠水質(zhì)預(yù)測模型。該模型使用BP神經(jīng)網(wǎng)絡(luò)預(yù)測出水總氮水質(zhì)，并利用預(yù)測誤差搭建補償模型，對預(yù)測結(jié)果出現(xiàn)的隨機誤差進行校正，起到提升水質(zhì)預(yù)測精準度的作用，并最終達到準確調(diào)度城市污水廠污水處理系統(tǒng)的目的。同時，本文還嘗試利用馬爾科夫概率補償?shù)姆绞竭M行隨機誤差的校正，但精度提升效果不如SVR補償模型，這也說明SVR模型在誤差補償方面體現(xiàn)的強大性能。

1 理論

1.1 模型架構(gòu)

本文根據(jù)研究內(nèi)容制定了模型架構(gòu)，如圖1所示。該模型分為兩個模塊，其中一個為訓(xùn)練模塊，另一個為水質(zhì)預(yù)測模塊。在訓(xùn)練模塊中，先將歷史模型分為兩份：利用第一份歷史數(shù)據(jù)搭建歷史清洗模型，并對已有數(shù)據(jù)進行清洗，再將清洗結(jié)果訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)；利用另一份歷史數(shù)據(jù)通過數(shù)據(jù)清洗與訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)預(yù)測，得到預(yù)測誤差，利用此誤差搭建SVR補償模型或馬爾科夫補償模型。在預(yù)測模塊中，利用當前實際數(shù)據(jù)進行數(shù)據(jù)清洗與BP神經(jīng)網(wǎng)絡(luò)預(yù)測，并用前一時刻的預(yù)測誤差進行補償模型的換算對預(yù)測結(jié)果進行補償，最終得到校正后的預(yù)測結(jié)果。

圖1 模型架構(gòu)圖Fig.1 Model Architecture

1.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗是水質(zhì)預(yù)測的必要步驟，可有效提高水質(zhì)預(yù)測的準確度。一般情況下，對于穩(wěn)定運行的大型城市污水處理廠，其歷史輸入水質(zhì)數(shù)據(jù)都有一定的關(guān)聯(lián)性。根據(jù)這一性質(zhì)，本文提出了一種歷史模型數(shù)據(jù)清洗算法，其主旨思想是利用已穩(wěn)定運行的城市污水廠的歷史數(shù)據(jù)構(gòu)建清洗算法模型，然后通過模型對新輸入的水質(zhì)數(shù)據(jù)進行跳變值清洗。本文從兩個維度對輸入水質(zhì)數(shù)據(jù)進行數(shù)據(jù)清洗，分別為單變量自我縱向清洗和多變量綜合橫向清洗。

1.2.1 縱向清洗方法

縱向清洗是指利用單一指標本身數(shù)值出現(xiàn)的頻率構(gòu)建統(tǒng)計模型，對大概率(95%以內(nèi)概率)數(shù)值出現(xiàn)范圍進行標定，并用此標定范圍對新數(shù)據(jù)源進行清洗。具體步驟如下。首先，將某一指標的值域通過kmeans聚類算法分為50份[7]，值域分配如式(1)，數(shù)據(jù)集質(zhì)心更新如式(2)；然后，再對所有已分類的數(shù)據(jù)集合中的點數(shù)進行統(tǒng)計，最后求出大概率值域。

(1)

其中：dist()——標準L2歐式距離；

C——所有已分類的數(shù)據(jù)集合的質(zhì)心集合；

ci——第i個數(shù)據(jù)集合的質(zhì)心；

xj——待分類的數(shù)據(jù)點。

(2)

其中：Si——已分配的第i個數(shù)據(jù)集合；

Ni——已分配的第i個數(shù)據(jù)集合的點數(shù)；

ci——第i個數(shù)據(jù)集合的質(zhì)心；

xj——待分類的數(shù)據(jù)點。

1.2.2 橫向清洗方法

橫向清洗是指利用各個指標之間的關(guān)系建立關(guān)系向量，例如考察入水總氮指標時，需要聯(lián)系入水水量、入水COD、入水氨氮和入水溫度等指標綜合分析。首先，根據(jù)指標間的關(guān)系建立關(guān)系向量，再計算新舊向量間的余弦角度與馬氏距離；然后，加權(quán)處理后清洗掉小概率5%占比的奇異點數(shù)值，余弦角度如式(3)，馬氏距離如式(4)；最后，需對兩種橫向計算結(jié)果進行加權(quán)綜合，再對橫縱兩部分所得清洗結(jié)果進行并集處理，并最終得到清洗結(jié)果。

(3)

其中：Ai、Bi——新舊關(guān)系向量；

n——向量包含個數(shù)。

(4)

其中：xi、xj——新舊兩個關(guān)系向量的數(shù)值；

S——協(xié)方差矩陣。

1.3 基于馬爾科夫鏈補償?shù)纳窠?jīng)網(wǎng)絡(luò)預(yù)測誤差模型

馬爾科夫鏈是指數(shù)學中具有馬爾科夫性質(zhì)的離散事件隨機過程。在其事態(tài)發(fā)生過程中，系統(tǒng)根據(jù)概率分布可以從一個狀態(tài)變到另一個狀態(tài)，也可以保持當前狀態(tài)。其實質(zhì)是系統(tǒng)針對事態(tài)當前狀態(tài)對于即將發(fā)生的情況進行概率預(yù)測，即根據(jù)目前狀況來預(yù)測其將來時刻變動狀況[8]。應(yīng)用到水質(zhì)預(yù)測領(lǐng)域，就是根據(jù)BP神經(jīng)網(wǎng)絡(luò)的上一時刻輸出誤差，預(yù)測這一時刻各種誤差情況的概率，具體操作如下。

在事態(tài)發(fā)展變化過程中，先設(shè)所得數(shù)據(jù)過程為符合馬爾科夫性質(zhì)的隨機過程，它的序列狀態(tài)可表示為...,Xt-2,Xt-1,Xt,Xt+1,...，而在時刻Xt+1狀態(tài)的條件概率僅僅依賴于時刻Xt，如式(5)。

P(Xt-1|...Xt-2,Xt-1,Xt)=P(Xt+1|Xt)

(5)

此時可以根據(jù)序列性質(zhì)設(shè)定其包含m個可能狀態(tài)，如式(6)～式(8)。

(6)

(7)

(8)

其中：m——利用誤差均值與標準差分級方法劃分為幾級；

fij——序列狀態(tài)從i經(jīng)過一步轉(zhuǎn)移到狀態(tài)j的頻數(shù)；

Pij——轉(zhuǎn)移概率；

P*j——相應(yīng)的邊際概率；

χ2——馬氏統(tǒng)計量[8]。

利用卡方檢驗驗證所得馬氏統(tǒng)計量是否大于卡方邊界值，大于則滿足馬氏性，小于則不滿足馬氏性[8]。經(jīng)驗證，以預(yù)測誤差所得結(jié)果劃分的誤差區(qū)間矩陣滿足馬氏性，即可以利用轉(zhuǎn)移概率組成的轉(zhuǎn)移概率矩陣表達下一步水質(zhì)預(yù)測誤差狀態(tài)，其中轉(zhuǎn)移矩陣效果如式(9)。

(9)

綜上所述，依據(jù)概率矩陣得到補償誤差向量，并根據(jù)補償誤差向量輸出預(yù)測結(jié)果。

1.4 基于SVR誤差補償技術(shù)的神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測模型

SVR(support vector regression)全稱是支持向量回歸機，它是SVM(support vector machine)支持向量機對回歸問題的一種升級運用。SVM與邏輯分類器類似，是一種二分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，其學習策略是間隔最大化，SVM問題最終可以轉(zhuǎn)化為一個凸二次規(guī)劃問題的求解模型。如圖2所示，SVR回歸與SVM分類的區(qū)別在于，SVR的樣本點最終只有一類，它所尋求的最優(yōu)超平面不是像SVM那樣使兩類或多類樣本點分的“最開”，而是使所有的樣本點離著超平面的總偏差最小[9]。這些屬性的直白理解為SVM是要使超平面與各個最近樣本點集合的“距離”最大化；而SVR則是要使超平面距最遠樣本集合點的“距離”最小化。因此，利用SVR的特點屬性求最優(yōu)解的過程就是將已有的預(yù)測模型誤差集合通過超平面技術(shù)求得最佳描述的過程[10]。此外在國外學者研究過程中，已將它與神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，并應(yīng)用于工控領(lǐng)域，且取得了良好的效果，如在數(shù)控機床熱誤差檢測、大氣污染物濃度預(yù)測以及污水處理廠水質(zhì)預(yù)測等方面均得到廣泛的應(yīng)用。而引發(fā)此現(xiàn)象的原因是SVR本身所具有的嚴格數(shù)學理論特性、直觀的幾何解釋和良好的泛化能力, 可以以任意精度逼近任意函數(shù), 并能有效避免神經(jīng)網(wǎng)絡(luò)因欠學習和過學習所引發(fā)的梯度爆炸現(xiàn)象[11]，尤其在處理小樣本訓(xùn)練學習問題上具有獨到的優(yōu)越性[12]。

圖2 SVM與SVR的對比圖Fig.2 Comparison between SVM and SVR

SVR本質(zhì)是通過一個非線性映射將不能線性回歸的樣本數(shù)據(jù)映射到高維進行線性回歸[13]，該回歸的函數(shù)表達如式(10)。

f(x)=wTφ(x)+b

(10)

如前所述，SVR滿足兩個性質(zhì)，第一個性質(zhì)要求所有的樣本點離著超平面的總偏差最小，第二個要求回歸值與真實值偏離程度不太大，即無需計算損失，因此，SVR的目標函數(shù)表達如式(11)。

(11)

(12)

s.t.

(13)

通過拉格朗日方法求解式(12)～式(13)[14]，并根據(jù)對偶原理進行對偶轉(zhuǎn)化得到式(14)～式(15)。

(14)

s.t.

(15)

K(xi,xj)——核函數(shù)；

c——懲罰因子。

(16)

2 試驗

2.1 數(shù)據(jù)選取與準備

本試驗數(shù)據(jù)是南京市某城市污水處理廠的真實數(shù)據(jù)，該廠工藝為AAO工藝。該污水處理廠內(nèi)可得的指標主要為進水水質(zhì)參數(shù)、過程量參數(shù)及操作參數(shù)，這些參數(shù)分別為進出水處在線儀表所獲參數(shù)、廠內(nèi)重要水處理構(gòu)筑物內(nèi)在線儀表所獲參數(shù)，以及廠內(nèi)涉及運營策略的設(shè)備運行參數(shù)。為保證預(yù)測質(zhì)量，本研究的輸入值需覆蓋三類指標，以保證輸入?yún)⒘康娜嫘訹15]。由于廠內(nèi)可獲得參數(shù)的限制，刨除輸出參量外，所測指標僅為13種模擬參量，其中屬于操作參數(shù)的指標有二沉池回流量。(1)選取二沉池回流量作為操作參數(shù)。(2)屬于過程量參數(shù)的指標有厭氧池ORP、厭氧池電導(dǎo)率、混合池溶解氧、好氧池氨氮、好氧池溶解氧，這些指標均直接參與，甚至直接指示水處理過程氨氮的代謝行為，因此全部選取。(3)屬于進水水質(zhì)的指標包括進水COD、氨氮、總氮、總磷、水量、溫度及pH，但由于所選擇的時間段僅為1月內(nèi)的數(shù)據(jù)，溫度和pH無明顯變化，二者只作為指示參數(shù)進行常規(guī)記錄相當于常量，溫度和pH不納入模型輸入變量。此外方差過小的數(shù)據(jù)對BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練會產(chǎn)生影響，因此，本文選取除溫度和pH以外的指標作為進水水質(zhì)參數(shù)[16]。最終選取的模型輸入值與模型預(yù)測值如表1所示。

所有試驗數(shù)據(jù)包含連續(xù)8 d共1 152組數(shù)據(jù)，每個數(shù)據(jù)時間間隔10 min。將這些數(shù)據(jù)按照數(shù)據(jù)清洗規(guī)則進行清洗篩選，其中橫縱數(shù)據(jù)清洗權(quán)重為1∶1,清洗效果如圖3所示。由圖3可知，數(shù)據(jù)集中異常數(shù)值被刪除，清洗數(shù)據(jù)占比為總數(shù)據(jù)集的11.02%，最后剩余數(shù)據(jù)1 025組，這些數(shù)據(jù)中有820組數(shù)據(jù)設(shè)定為訓(xùn)練集，剩下205組數(shù)據(jù)為測試集[17]。

表1 模型輸入?yún)⒘颗c預(yù)測參量Tab.1 Model Input and Output Parameters

2.2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練

本次試驗 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計為 4 層網(wǎng)絡(luò)，一層輸入網(wǎng)絡(luò)，兩層隱藏層網(wǎng)絡(luò)，節(jié)點分別為15和3，最后一層為輸出網(wǎng)絡(luò)[18]。模型優(yōu)化器選擇為Adam[19]，學習率初始為0.01，每隔100個epoch學習率減小為原來的1/10，計算損失值以均方誤差結(jié)算(MSE)作為模型精度的評價指標。MSE的表示如式(17)[20]。

圖3 數(shù)據(jù)清洗效果Fig.3 Result of Data Cleaning

(17)

其中：n——數(shù)據(jù)集大小；

G——網(wǎng)絡(luò)模型，根據(jù)樣本x輸出預(yù)測向量G(x)。

模型訓(xùn)練完成后，損失函數(shù)降低效果如圖4所示，可知損失函數(shù)數(shù)值已從8控制到0.005以下[21]，說明模型已學到輸入?yún)?shù)與輸出參數(shù)之間的映射關(guān)系。

圖4 損失函數(shù)訓(xùn)練效果Fig.4 Training Effect of Loss Function

2.3 SVR補償模型試驗

搭建SVR計算模型需在SVM模型基礎(chǔ)上進行，即在SVM的分類基礎(chǔ)上引入不敏感損失函數(shù)，從而得到回歸型支持向量機SVR數(shù)學模型[22]。其中具體模型參數(shù)及步驟如下：

(1)利用BP神經(jīng)網(wǎng)絡(luò)進行水質(zhì)預(yù)測，并輸出誤差數(shù)據(jù)集；

(2)將誤差數(shù)據(jù)集分為訓(xùn)練集和測試集(8∶2分布)，且需要說明的是SVR輸入為誤差數(shù)據(jù)，輸出為誤差補償值；

(3)對所有數(shù)據(jù)進行歸一化處理；

(4)尋找SVR模型的最佳c參數(shù)(懲罰因子，誤差寬容度，范圍是-10～10，步進0.5)以及g參數(shù)(RBF函數(shù)的gamma，決定數(shù)據(jù)映射到新特征空間后的分布，范圍是-10～10，步進0.5)[23]；

(5)創(chuàng)建訓(xùn)練SVR模型，設(shè)置epsilon-SVR為損失函數(shù)，且epsilon設(shè)為0.1，徑向基函數(shù)選為：exp(-gamma*|u-v|2)[24]；

(6)利用數(shù)據(jù)集對SVR模型進行仿真。

2.4 馬爾科夫?qū)Ρ仍囼?/h3>

利用馬爾科夫鏈組成概率補償模型進行誤差補償?shù)膶Ρ仍囼瀃25]。先建立分級區(qū)間，利用訓(xùn)練數(shù)據(jù)集的誤差矩陣均值μ與方差σ搭建6級分級區(qū)域，一般可將數(shù)據(jù)矩陣分級為：(xi>μ+σ),(μ+0.5σ

2.5 試驗結(jié)果

本次試驗驗證數(shù)據(jù)是依據(jù)上述南京市某污水處理廠的測試集數(shù)據(jù)整理得來，總共205組試驗數(shù)據(jù)，結(jié)果如圖5所示。

圖5 預(yù)測結(jié)果Fig.5 Forecast Results

圖5是BP神經(jīng)網(wǎng)絡(luò)、SVR模型與馬爾科夫模型的預(yù)測結(jié)果圖，圖中縱坐標是總氮輸出值，橫坐標是樣本數(shù)(樣本順序按照時間排列)，曲線為各模型預(yù)測數(shù)值的結(jié)果曲線。試驗結(jié)果如表2所示，SVR補償模型預(yù)測的測試集數(shù)據(jù)波形與測試集真實值數(shù)據(jù)波形相關(guān)度為0.93，高于其他兩種預(yù)測方式，該結(jié)果說明其曲線外形最為相似；且SVR補償模型預(yù)測值與真實值結(jié)果的歐氏距離為3種預(yù)測差值的最小值，達到0.256，說明SVR補償數(shù)值最接近真實值。通過以上結(jié)果可以表明，SVR補償模型預(yù)測數(shù)據(jù)最為準確[26]。

表2 預(yù)測對比結(jié)果Tab.2 Results of Forecast Comparison

圖6 誤差結(jié)果Fig.6 Error Results

圖6是真實值與預(yù)測模型結(jié)果之間的誤差結(jié)果圖，曲線越接近0說明預(yù)測值與真實值越接近。圖中縱坐標為總氮的預(yù)測誤差，橫坐標為樣本數(shù)(樣本順序按照時間排列)，曲線為各模型預(yù)測誤差數(shù)值。其中,縱坐標的0值虛線表示0誤差，即無誤差結(jié)果。利用平均絕對誤差(AAE)、均方誤差(RMSE)以及廣義終值誤差(GFVE)指標分析SVR、馬爾科夫的補償結(jié)果[27]。由表3可知，SVR補償結(jié)果的各項誤差值均比馬爾科夫補償誤差以及無補償誤差小，說明SVR補償具有更小的穩(wěn)態(tài)誤差，且其結(jié)果波動小，準確性更高。

表3 誤差對比結(jié)果Tab.3 Error Comparison Results

通過試驗，可以看到SVR的預(yù)測數(shù)據(jù)精度優(yōu)于BP神經(jīng)網(wǎng)絡(luò)單獨預(yù)測的精度，且其預(yù)測結(jié)果也優(yōu)于馬爾科夫鏈誤差補償?shù)念A(yù)測結(jié)果。

3 結(jié)論與展望

針對城市污水廠污水處理反應(yīng)過程復(fù)雜性及模糊性的特點，本文先以歷史模型對數(shù)據(jù)進行清洗，有效提高了數(shù)據(jù)輸入質(zhì)量，之后再以BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)設(shè)計開發(fā)了SVR誤差補償模型，彌補了普通神經(jīng)網(wǎng)絡(luò)對黑盒模型隨機誤差、機理誤差反應(yīng)不足的現(xiàn)象，有效提高了預(yù)測水質(zhì)結(jié)果的準確性。具體預(yù)測過程為：首先，通過城市污水廠傳感器收集到某一時刻的輸入數(shù)據(jù)；然后，通過數(shù)據(jù)清洗算法對輸入數(shù)據(jù)進行清洗；接著，將清洗過后的數(shù)據(jù)送入在訓(xùn)練數(shù)據(jù)中訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到此時刻的預(yù)測輸出；再將前一個時刻BP網(wǎng)絡(luò)預(yù)測值與真實輸出值的誤差值送入早已訓(xùn)練好的SVR模型，得到此時刻的補償值；最后，將BP網(wǎng)絡(luò)輸出的預(yù)測值與SVR輸出的補償值求和得到此時刻最終的預(yù)測輸出值。

此外，本文方法還存在一定的提升空間。第一是神經(jīng)網(wǎng)絡(luò)預(yù)測模型的改進，通過研究可知污水處理是一個具有時序性質(zhì)的過程，但簡單的BP神經(jīng)網(wǎng)絡(luò)無法做到對時序性的描述，而以RNN、LSTM為首的循環(huán)神經(jīng)網(wǎng)絡(luò)就可以做到，因此，之后的神經(jīng)網(wǎng)絡(luò)改進工作可以參考這個方向進行[28]。第二是對上報數(shù)據(jù)的清洗，本文清洗的重點是圍繞數(shù)據(jù)層面，著重以數(shù)學邏輯進行清洗；但在工藝層面涉及不多，因此，之后數(shù)據(jù)清洗工作可以多從工藝邏輯方面著手研究。