基于LSTM神經網絡和DBSCAN算法的污水水質預測

鄧 銳 尉勝男

（合肥學院生物食品與環境學院，安徽 合肥 230601）

1 引言

水質預測是采用合理的水質預測模型，通過一些水質指標的歷史數據來預測未來水質變化的趨勢[1]。水質預測作為水污染防治的關鍵環節之一，引起了越來越多的關注。在污水處理過程中，對水質進行分析預測可以方便污水處理廠工作人員及時掌握污水水質變化情況，判斷污水出水水質是否超標，為水質預警系統提供數據支撐，幫助污水處理廠實現對污水處理過程的實時監控。

目前，水質預測方面的研究多是關于如何通過使用儀器對出水水質參數進行監測來掌握水質變化情況[2]，但存在一定的問題，如：儀器檢測不能達到實時性，一些出水指標的測量儀器在檢測的精度以及準確性上有待進一步提升等。針對上述問題，Haimi H 等學者將軟測量技術應用于污水處理過程中，即通過建立模型對水質參數進行實時測量，達到了良好的水質預測效果[3]，為污水出水水質監測提供了一種新的思路。常用的軟測量方法主要有支持向量機模型[4]、灰色系統理論[5]、神經網絡[6]等。其中，隨著神經網絡理論的發展，通過建立神經網絡模型對出水水質進行預測的研究越來越多[7]。

Lee 等[8]在A2O 污水處理過程中，建立了基于改進的前饋神經網絡（FNN，Feedforward Neural Network）的多輸入多輸出軟測量模型，預測出水COD等指標值，實驗表明改進后的模型預測結果更加準確。Grieu等[9]基于FNN和自組織映射，在線預測污水處理廠SS濃度、出水COD等并取得較好的預測結果。Dai 等[10]為掌握桃林口水庫水質變化的狀況，選取總磷、溶解氧等7項指標作為輸入，建立3層Back Propagation(BP)神經網絡模型對桃林口水庫出庫站未來兩年的7項水質指標進行預測，并通過計算RMSE等值說明預測效果可以達到實際應用要求。Guan等[11]分別建立了基于BP神經網絡和Radial Basis Function(RBF)神經網絡污水指標軟測量模型。仿真結果表明，建立的神經網絡軟測量模型能很好地實現BOD、COD等參數的實時測量和估計，為污水指標的實時檢測提供了新的思路。Lu等[12]建立基于LM算法的BP神經網絡模型，模型共有3 層BP 神經網絡結構，使用8 個水質參數作為輸入神經元，對上海竹園第二污水處理廠的出水COD等參數進行預測。Zhou等[13]建立ARIMA/RBF-NN聯合模型預測平西湖的TP、COD，并從RMSE、MAPE、偏差率、方差率和協變率等5個指標對預測精度進行評價，證明了模型具有良好的預測效果。Lian等[14]通過SOM-RBF神經網絡模型對出水COD 進行預測，并將之與BP、RBF等模型進行比較，表明SOM-RBF 神經網絡模型擁有很好的泛化性能，很好地提高了測量的速度與精度。Cao等[15]建立基于GRNN的污水出水水質預測模型，與BP網絡模型相比，預測效果較好。Long等[16]通過改進的量子遺傳算法對BP 神經網絡的權值、閾值進行了優化，優化后的BP神經網絡模型克服了BP神經網絡收斂速度慢等缺點，使預測精度得到顯著的提升，對大理洱海水質進行了較為精準的預測。

雖然建立模型進行水質預測的相關研究較多，最終也可以達到預測的目的，但是綜合來看，這些水質模型的預測效果并不好。主要原因在于：(1)污水水質數據具有時間序列特性，污水數據中存在時間上的前后關系，而大部分研究在建模并沒有考慮到這點，因此沒有選取合適的、能夠有效處理時間序列信息的神經網絡模型，這導致模型的預測精度不高。(2)神經網絡模型的收斂速度慢，在模型的訓練過程中容易陷入局部極小值化，出現局部最優現象，不能在全局范圍內得到一個較高的精確度，使得最終的預測結果不準確[17]。

為了降低以上兩種原因對預測結果的影響，使得預測效果更加準確，本文基于LSTM神經網絡理論和DBSCAN算法提出了DBSCAN-LSTM聯合模型。為了減少局部極小值化對預測結果的影響、優化預測模型的準確度，模型利用DBSCAN 算法通對進過預處理后的污水數據進行聚類操作?？紤]到污水數據的時間序列特性，選取LSTM 神經網絡對COD、NH4N、TP 三個污水水質參數進行預測。得到預測結果后，根據參數RMSE、MAE值的大小評估模型性能，并判斷模型的水質預測效果。

本文的其余部分內容如下：第2節對本文涉及的神經網絡及DBSCAN 算法的方法原理進行了解釋。第3 節是說明污水數據獲取及預處理方法、DBSCAN-LSTM聯合模型的建模過程并對其優勢進行分析。第4節通過對實驗結果進行分析，證明模型的有效性。第5節為論文結論。

2 方法原理

2.1 LSTM神經網絡

長短期記憶（LSTM）神經網絡[18]是基于循環神經網絡(Recurrent Neural Network，RNN)改進而來，與RNN 相比，LSTM不僅能夠解決梯度爆炸和梯度消失問題，還能更好地發現序列的依賴關系，因而被廣泛用于處理時間序列問題，如語音識別等[19]。

LSTM 每個模塊由輸入、輸出、遺忘三種門以及一個細胞單元（memory cell）組成，可以有效地對時間序列信息進行處理，其結構如圖1所示[20]。

圖1 LSTM結構圖

LSTM具體的工作原理如下：

（1）第一步是過濾掉部分由上一時刻傳遞到當前時刻的信息。

這一步通過遺忘門完成，該門會讀取ht-1和xt，輸出一個在0到1之間的數值。1表示保留完整的信息，0表示舍棄全部信息。見公式(1)：

式中ht-1表示的是上一個細胞單元的輸出，xt表示的是當前細胞單元的輸入。w和b分別是遺忘門里的權重矩陣和偏置向量，σ代表激活函數Sigmoid。Sigmoid函數的公式為：

（2）第二步是決定更新到當前的細胞單元中新的信息數量。

實現這個操作需要包括以下步驟：首先，由含有Sigmoid函數的輸入門決定需要更新的信息；然后由一個tanh層生成一個新的值～Ct。

接下來，我們把這兩部分聯合起來，對當前時刻細胞單元狀態的值進行更新。

（3）最終，我們需要確定輸出的值。

最終輸出結果取決于細胞單元狀態。首先，通過sigmoid函數來輸出細胞單元狀態的一部分。接著，通過tanh函數對細胞單元狀態進行處理，得到當前時刻的輸出ht。

在本文中，因污水數據具有時間序列性，當前時刻的數據與上一刻的數據之間有所關聯，故基于LSTM神經網絡建立了時間序列預測模型。該模型可以很好地解決污水數據之間的依賴性問題，使得在水質指標預測方面具有良好的效果。

2.2 GRU神經網絡

GRU神經網絡[21]也是RNN的一種變體，與LSTM相比，GRU將遺忘門和輸入門合成了一個單一的更新門，而且混合了細胞狀態和隱藏狀態，加之其他一些改動。GRU結構如圖2所示。

圖2 GRU結構圖

GRU的原理與LSTM較為相似，下面做簡單介紹：

（1）GRU 神經網絡結構增加了兩個門控單元，分別是重置門rt和更新門zt。

更新門用于控制前一時刻的狀態信息被帶入到當前狀態中的程度，值越大說明前一個時刻的狀態信息帶入越多。重置門用于控制遺忘前一時刻的部分狀態信息，值越小說明遺忘的信息越多。

（3）最后計算GRU模型的在當前t時刻的輸出ht。

2.3 DBSCAN算法

基于密度的聚類算法是根據樣本的密度分布來進行聚類。通常情況下，密度聚類從樣本密度的角度出發來考查樣本之間的可連接性，并基于可連接樣本不斷擴展聚類簇，以獲得最終的聚類結果。其中，最著名的算法就是DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法[22]。本文是通過DBSCAN 算法對污水數據進行聚類操作，將相近的數據歸為一類，其目的是使之后神經網絡的預測結果更加精確。

DBSCAN算法的具體步驟如下：

（1）DBSCAN 算法有兩個參數：半徑eps 和密度閾值MinPts。以每一個數據點為圓心，以eps為半徑畫一個圓，這個圓被稱作這個數據點的鄰域。

（2）對這個圓圈內包含的點進行計數，如果一個圓圈內的點的數目超過了密度閾值MinPts，那么則將這個圓圈的圓心記為核心點，又稱為核心對象。若某個點的鄰域內點個數小于我們設置的密度閾值MinPts 但此點落在核心點的鄰域內，這樣的點被稱為邊界點，既不是核心點也不是邊界點的點被稱為噪聲點。

（3）核心點xi的eps 鄰域內的點，都是核心點xi的直接密度直達。如果xj由xi密度直達，xk由xj密度直達，xn由xk密度直達，那么，xn由xi密度可達。密度可達的定義說明了可以由密度直達的傳遞性推導出密度可達。

（4）如果對于xk，使xi,xj都可由xk密度可達，那么，就稱xi,xj密度相連。將所有的密度相連的點連在一起，從而將數據聚類成不同的簇。

與其他密度聚類不同的是，DBSCAN是基于一組鄰域參數（eps,MinPts）來描述樣本分布的緊密程度，相比于其他的聚類方法，DBSCAN 算法能夠將密度足夠高的區域劃分為簇，不需要給定簇的數量，并可在有噪聲的空間數據集中發現任意形狀的簇，這是其優勢所在。

3 DBSCAN-LSTM水質預測模型構建

3.1 污水數據獲取及預處理

本文的污水數據集來源于安徽省合肥市某污水處理廠，數據按每分鐘進行采集。數據集包括進水瞬時流量、出水瞬時流量、進水COD、出水COD等參數。

數據采集時需要在正常情況下進行，天氣異常、采集設備出現故障等這些不確定因素都會對采集的數據產生影響，采集到的數據難免會因此出現缺失等現象，這會影響到最終的預測結果。因此，在將污水數據輸入到建立的DBSCANLSTM水質預測模型之前，需要對數據進行處理。對數據的處理主要有以下幾點：

（1）確定輸入變量。如果不對輸入的變量進行篩選，會造成數據冗余，導致模型預測結果不穩定。本文結合污水處理工藝流程，通過對數據的相關指標進行分析，選取與要預測的水質參數相關性較強的7個指標數據作為模型的輸入，輸出數據為水質參數的值。相關性的計算公式如下：

（2）在污水數據采集過程中，由于各種因素的影響，可能會得到缺失的數據。缺失的數據可能會使最終預測結果的精度降低，因此，要對缺失數據進行填充。通過對污水數據的時間序列特性分析，針對時間序列數據的不足，本文采用牛頓插值法對缺失值進行填充。牛頓插值法步驟為：

首先，設函數f(x)，已知其n+1 個插值節點為(xi,yi)，i=1,2,3…n，求出所有階差商公式：

之后，聯立差商公式建立牛頓插值多項式f(x)：

最后，將缺失的數據值對應的點x代入插值多項式中得到缺失值的近似值f(x)。

（3）由于數據的多樣性以及復雜性，不同類型數據之間也會相互影響，使預測結果不準確，故需要對數據進行標準化處理。公式為：

3.2 聯合模型構建、優勢分析

為了降低局部極小值化的影響，提高模型的預測精度，使得水質模型的預測效果更加準確，本文提出了DBSCANLSTM聯合模型。同時，本文將通過仿真實驗說明模型的預測結果和精度，驗證DBSCAN-LSTM聯合模型的優勢。

DBSCAN-LSTM聯合模型的流程圖見圖3。

圖3 DBSCAN-LSTM聯合模型流程圖

建立DBSCAN-LSTM聯合模型的具體步驟為：

（1）DBSCAN-LSTM 聯合模型首先以合肥市某污水處理廠的歷史污水數據作為實驗數據，選取ORP、DO、pH值等七個指標作為輸入變量，并對數據進行歸一化、缺失值填充處理（見上文）。

（2）為了克服神經網絡模型收斂速度慢、在模型的訓練過程中容易陷入局部極小值化的缺點，聯合模型在利用LSTM 神經網絡進行預測之前加入了DBSCAN 算法，DBSCAN算法通過設定好半徑eps和密度閾值MinPts這兩個參數的值，首先確定了核心點、臨界點、噪聲點，之后判斷各個點之間是否是密度直達、密度可達、密度相連關系，最后將所有的密度相連的點連在一起，就形成了聚類的簇，達到了聚類的效果。

（3）聚類操作后，針對污水數據時間序列特性，建立了LSTM 神經網絡模型對COD、NH4N、TP 三個污水水質參數值進行預測。主要過程是：①將經過歸一化、缺失值填充處理的七個指標數據作為模型的輸入。②使用DBSCAN算法對輸入的數據進行聚類處理。③確定LSTM 神經網絡模型的結構、隱藏層節點數，調整網絡參數。④計算網絡層的輸出，即輸出我們要預測的水質參數值，之后使用均方根誤差(RMSE)、平均絕對誤差(MAE)評估模型的預測性能，判斷預測結果是否精確。⑤通過繪圖工具matplotlib畫出模型的預測結果圖以及預測誤差圖。

將LSTM 神經網絡與DBSCAN 聚類算法相結合具有以下的優點：（1）污水數據具有時間序列性，即水質指標值是按照時間先后次序而排列的，隨著時間不斷地變化。這給水質預測帶來了一定的難度，因此，在先前的研究中，選用的BP、RBF等神經網絡很難對時間序列信息進行處理，導致預測效果不是很好。而本文中選取的是LSTM 神經網絡，LSTM 神經網絡具有“記憶”功能，能夠記住長時間的序列信息，對時間序列數據處理有其天然的優勢，能夠充分考慮到時間序列的整體特性，故在時間預測方面可以達到良好的效果。（2）單一的神經網絡模型收斂速度慢，在擬合時容易陷入局部極小值化，這使得最終的預測結果不準確。為了克服這些缺點，聯合模型在利用LSTM 神經網絡進行預測之前加入了DBSCAN算法，用于對輸入的污水歷史數據進行聚類操作。經過聚類之后，污水數據將作為LSTM 神經網絡模型的輸入應用到LSTM 神經網絡模型中，LSTM 神經網絡模型的輸出即是本文要預測的水質參數值。加入DBSCAN算法可以起到降低局部極小值化對全局范圍的影響，提高LSTM神經網絡預測模型的精度和穩定性等作用，達到優化預測效果的目的。

4 實驗及結果分析

4.1 仿真實驗

本文實驗基于Keras深度學習框架，用Python語言編寫，在Pycharm軟件中進行仿真實驗。本實驗選取ORP、pH值等七個指標作為輸入變量，輸入到建立的模型中，分別對COD、NH4N、TP三個污水水質參數進行預測。

仿真實驗中，經過處理后，總共有10080組數據。其中，7383組作為訓練集，用于對建立的模型進行訓練；2697組作為測試集，用于對訓練好的模型進行測試。本文構建的神經網絡模型中，參數的設定值為：隱藏層有128個神經元，輸出層為1 個神經元（回歸問題），損失函數采用Mean Absolute Error(MAE)，優化算法采用Adam，模型采用70 個epochs 并且每個batch的大小為64。

4.2 實驗結果分析

為了體現本模型的預測效果，現加入LSTM 神經網絡、GRU 神經網絡以及DBSCAN-GRU 神經網絡作為對比。在實驗部分，本文首先建立水質預測模型來對COD、NH4N、TP三個出水參數進行預測，了解水質變化情況。然后計算模型的RMSE、MAE 兩個誤差指標值，評估各模型預測的效果。RMSE、MAE計算公式如下：

其中，yi是預測值，ytesti是實際值，n是樣本的數量。

本論文選取了COD、NH4N、TP 三個參數作為需要預測的指標。其原因在于：（1）化學需氧量（COD）是衡量水中有機物含量的重要參數，能夠反應水體受污染的程度，是水質評價的關鍵指標之一。（2）氨氮（NH4N）是水體中的營養素，會導致水體富營養化現象產生，使水體中的氧含量大量減少，造成對魚類及某些水生生物死亡。（3）總磷（TP）指水體中磷元素的總含量。磷含量過多會引起藻類植物的大量繁殖，發生水華或赤潮現象，打亂水體的平衡。這三個參數值的大小在不同方面反映了水體的水質變化，因此本文根據這三個參數的預測結果對污水水質進行判斷。

4.2.1 出水COD預測

各模型的出水COD預測結果如圖4所示，橫坐標為樣本量，縱坐標為出水COD數據值。

各模型預測出水COD的誤差見圖5、表1。

表1 各模型預測出水COD時RMSE、MAE值

對圖4、圖5 以及表1 進行分析可以發現，對于單一模型來說，GRU、LSTM都是RNN的變種，且都是對污水數據時間序列進行處理，在預測COD時，兩種單一模型的預測值與真實值之間在某些部分差距較大，兩種單一模型均有較大的誤差波動，但兩種單一模型預測的精度較為接近。從結果來看，LSTM模型的RMSE、MAE值比GRU小，說明LSTM神經網絡模型的預測效果更加準確。

圖4 出水COD預測結果圖

圖5 各模型預測出水COD誤差圖

DBSCAN-LSTM、DBSCAN-GRU均是聯合模型，與單一模型相比，聯合模型的RMSE、MAE值比單一模型有所降低，且模型的誤差波動不明顯。其中，DBSCAN-LSTM聯合模型的誤差值最小，DBSCAN-LSTM 聯合模型的出水COD 預測值更接近數據的真實值。這表明聯合模型的預測效果比單一的模型預測效果更好，預測的精度有了一定的提升。本文提出的DBSCAN-LSTM模型和其他三個相比，預測效果最好。

4.2.2 出水NH4N預測

各模型的出水NH4N 預測結果如圖6 所示，橫坐標為樣本量，縱坐標為出水NH4N數據值。

圖6 出水NH4N預測結果圖

各模型預測出水NH4N的誤差見圖7、表2。

圖7 各模型預測出水NH4N誤差圖

表2 各模型預測出水NH4N時RMSE、MAE值

圖6、圖7以及表2說明，在預測NH4N時，隨著NH4N這一指標數值的減小，和預測COD相比，預測NH4N的RMSE、MAE兩個值數量級變為-2，這說明預測NH4N時模型的精度有了很大的提升。

從結果來看，LSTM、GRU兩種模型的誤差波動較小，但與預測COD 十分相似的情況是，預測值與真實值之間差距較大。預測NH4N時，DBSCAN-LSTM、DBSCAN-GRU兩種模型RMSE值分別是0.0308和0.0337，MAE值分別是0.0147和0.0151，兩個值相差不大。這說明兩種聯合模型的擬合程度相近，將密度聚類算法與神經網絡結合起來可以起到提升預測效果的作用，使預測值十分接近真實值，彌補了單一模型的不足之處。綜合來看，與其他模型相比，DBSCANLSTM模型的預測效果最好。

4.2.3 出水TP預測

各模型的出水TP 預測結果如圖8 所示，橫坐標為樣本量，縱坐標為出水TP數據值。（單位：mg/l）

圖8 出水TP預測結果圖

各模型預測出水NH4N的誤差見圖9、表3。

圖9 各模型預測出水TP誤差圖

表3 各模型預測出水TP時RMSE、MAE值

本文所有實驗中，比較RMSE、MAE值可以發現，在預測TP 時，各模型RMSE、MAE 值都最小，RMSE 在0.004～0.006左右，MAE在0.001～0.003左右。這說明，預測出水TP時，模型的精度最高，預測效果也較為精確。

兩個單一模型的預測效果十分接近，誤差相差0.001。對于聯合模型而言，預測TP時，聯合模型的誤差均比單一模型小，誤差波動小。經計算知，和單一的LSTM 模型相比，DBSCAN-LSTM 模型的RMSE、MAE 值分別減少了0.0010和0.0013，預測誤差分別下降了18%和45%左右。和單一的GRU 模型相比，DBSCAN-GRU 模型的RMSE、MAE 值分別減少了0.0018 和0.0021，預測誤差分別下降了27%和53%左右。這表明聯合模型很好地減少了預測誤差，使得預測結果比單一模型準確。其中，DBSCAN-LSTM模型預測誤差值最小，預測效果最好，說明本文提出的DBSCAN-LSTM模型具有良好的擬合性能，預測結果較為準確。

綜合以上分析可以得出以下結論：DBSCAN-LSTM聯合模型將密度聚類算法和LSTM 神經網絡兩者的優點結合了起來。它通過DBSCAN算法對輸入的污水歷史數據進行聚類操作，使出水參數預測結果在全局范圍內擁有較高的準確度，進而可以降低局部最優對預測結果的影響。同時，利用LSTM 神經網絡充分發掘了污水序列數據之間的相關性。因此，聯合模型的擬合程度得到了提升，預測精度比單一的模型高，預測值十分接近真實值，從而擁有良好的水質預測效果。

5 結語

為了提高水質模型預測精度，使水質預測效果更加準確，本文提出了DBSCAN-LSTM 聯合模型。在此聯合模型中，DBSCAN 算法用于對污水數據進行聚類操作，降低局部極小值化對預測結果的影響，起到了提高預測模型的精度和穩定性、優化模型預測結果的作用。考慮到污水數據的時間序列特性，聯合模型選取LSTM神經網絡對COD、NH4N、TP三個污水水質參數進行預測。

經過仿真實驗可以得出，本文提出的DBSCAN-LSTM聯合模型RMSE、MAE 誤差值最小，預測值比較接近真實值。與單一模型相比，聯合模型在預測精度方面有了一定的提升。這說明該聯合模型具有較高的預測精度，可以快速和較為準確地對污水出水水質進行預測，能夠取得較好的預測效果。

未來可以考慮在以下方向進一步研究：在數據預處理方面嘗試其他方法，如缺失值填充處理時采用拉格朗日插值法；嘗試對DBSCAN算法進行改進后再將其同LSTM神經網絡進行聯合；采用不同的優化算法對LSTM神經網絡進行優化等，觀察這些改進是否能夠使本聯合模型的預測精度得到進一步提高。