基于深度學(xué)習(xí)的水質(zhì)預(yù)測模型研究

涂吉昌，陳超波，王景成，2，王 召，葉強強

（1.西安工業(yè)大學(xué) 電子信息工程學(xué)院，西安710021；2.上海交通大學(xué) 自動化系，上海200240）

水質(zhì)預(yù)測是水環(huán)境綜合管理的重要一環(huán)。近年來，我國經(jīng)濟高速發(fā)展，工業(yè)及生活用水量劇增，水資源的短缺和水資源污染成為我國經(jīng)濟社會發(fā)展面臨的重大問題[1]。研究水源地高精度水質(zhì)預(yù)測模型，能夠提前預(yù)測出水環(huán)境水質(zhì)污染的可能性，有助于及時地發(fā)現(xiàn)區(qū)域內(nèi)的水環(huán)境問題，積極地保護好水源地水質(zhì)環(huán)境，為管理和維護當前水源地的水質(zhì)狀況提供重要依據(jù)。

目前，對于水質(zhì)預(yù)測領(lǐng)域，國內(nèi)外學(xué)者做了大量的研究。傳統(tǒng)的水質(zhì)預(yù)測模型主要有時間序列模型[2]、回歸分析模型[3]、灰色系統(tǒng)理論模型[4]以及神經(jīng)網(wǎng)絡(luò)模型[5]等。傳統(tǒng)的預(yù)測模型往往只關(guān)注數(shù)據(jù)本身的特點，而沒有充分考慮到數(shù)據(jù)之間的相互關(guān)聯(lián)性，預(yù)測精度普遍不高，難以對水環(huán)境水質(zhì)參數(shù)進行精確的預(yù)測監(jiān)控。隨著智能硬件的計算性能不斷提升，深度學(xué)習(xí)以及人工智能得到高速的發(fā)展，人工智能不斷地滲透到國民生活以及工業(yè)控制的方方面面，深度學(xué)習(xí)也積極地應(yīng)用于工業(yè)領(lǐng)域。循環(huán)神經(jīng)網(wǎng)絡(luò)等作為深度學(xué)習(xí)領(lǐng)域的重要組成成分，由于其充分考慮時序數(shù)據(jù)的長期依賴關(guān)系，能夠很好地處理時序數(shù)據(jù)，如今在語音識別、機器翻譯、推薦系統(tǒng)以及數(shù)據(jù)預(yù)測等方面都有了很好地應(yīng)用[6]。

綜上可知，深度學(xué)習(xí)的不斷發(fā)展，為水質(zhì)預(yù)測領(lǐng)域發(fā)展提供了新的預(yù)測思路以及巨大的機遇。但總體而言，在水質(zhì)預(yù)測領(lǐng)域，深度學(xué)習(xí)方法的應(yīng)用仍處于初步探索階段。本文提出了一種基于深度學(xué)習(xí)的門控型循環(huán)神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測模型，為精確地預(yù)測水質(zhì)參數(shù)提供了新的方法與模型。

1 模型介紹

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN（recurrent neural network）是一種前饋型神經(jīng)網(wǎng)絡(luò)[7]，通過引入狀態(tài)變量，實現(xiàn)對時序數(shù)據(jù)中過去信息的存儲。其隱含層的輸入由兩部分組成，既包括了本時刻上一網(wǎng)絡(luò)層的輸出，也包含了上一時刻隱含層的輸出，即隱含層節(jié)點之間是相互連接的，當前隱含層輸出受上一層影響，通過隱含層的存儲單元，可實現(xiàn)對前面信息的記憶。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠很好地對時序數(shù)據(jù)進行處理，循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Recurrent neural network structure

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的訓(xùn)練時前向傳播的過程，如下式所示：

式中：Ht、Ot分別為隱含層和輸出層的輸出值；Wxh、Whh、Who分別為輸入層到隱含層、上一隱含層到當前隱含層以及隱含層到輸出層的連接權(quán)值；bh為隱含層偏置；bo為輸出層偏置。

由式（1）可知，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的隱含層輸出主要由相鄰時間步的隱含狀態(tài)變量Ht和Ht-1組成，與多層感知機（MLP）相比增加了Ht-1Whh一項，其隱含狀態(tài)變量Ht捕捉存儲了截至當前時間步的時序數(shù)據(jù)中的歷史信息，對時序數(shù)據(jù)的相互依賴性有了很好的處理。

RNN 網(wǎng)絡(luò)隱含層的結(jié)構(gòu)特點使得RNN 網(wǎng)絡(luò)能夠?qū)v史時刻信息進行“記憶”并影響本時刻的輸出，有效地解決了時序數(shù)據(jù)存在的長期依賴的問題。但在訓(xùn)練過程中，RNN 網(wǎng)絡(luò)利用隨機梯度下降算法基于時間反向傳播迭代優(yōu)化參數(shù)時，如果時間步數(shù)較大或較小時，RNN 的梯度較容易出現(xiàn)衰減或爆炸的問題[8]。

1.2 門控型循環(huán)神經(jīng)網(wǎng)絡(luò)

門控型循環(huán)神經(jīng)網(wǎng)絡(luò)（gate recurrent neural network）是一種新型RNN 優(yōu)化網(wǎng)絡(luò)模型[9]，它比當前流行的LSTM 網(wǎng)絡(luò)缺少一個遺忘門，因此更容易收斂，目前也有了廣泛的應(yīng)用[10-12]。它通過3 個特殊的門結(jié)構(gòu)來控制數(shù)據(jù)信息的流動，有效地解決了RNN 容易出現(xiàn)的梯度衰減或爆炸的問題。隱含層中的門控循環(huán)單元GRU（gate recurrent unit）通過引入重置門（reset gate）和更新門（update gate），來改變循環(huán)神經(jīng)網(wǎng)絡(luò)中隱含層狀態(tài)變量的計算方式，實現(xiàn)對傳統(tǒng)RNN 網(wǎng)絡(luò)的優(yōu)化。門控循環(huán)單元結(jié)構(gòu)如圖2所示。

圖2 門控循環(huán)單元結(jié)構(gòu)圖Fig.2 Structure of the gated recurrent unit

其中，重置門Rt實現(xiàn)了對上一時刻狀態(tài)信息的忽略程度的控制，其值越小則代表對上一時刻忽略的越多。更新門Zt實現(xiàn)了對上一時刻狀態(tài)信息傳遞到當前時刻的程度的控制。其值越大則代表上一時刻的狀態(tài)信息帶入的越多。重置門用于捕捉時序數(shù)據(jù)中存在的短期依賴關(guān)系。更新門用于捕捉時序數(shù)據(jù)中存在的長期依賴關(guān)系。

GRU 循環(huán)網(wǎng)絡(luò)訓(xùn)練時前向傳播的計算步驟如下：

步驟一計算重置門的輸出值，上一時刻隱含狀態(tài)向量Ht-1和當前時刻輸入值Xt一起輸入到重置門，得到一個0～1 的重置門輸出值，值越大，信息保留的越多。計算公式如式（3）所示；

步驟二計算更新門的輸出值以及候選隱藏狀態(tài)變量，當前輸入Xt和上一時刻隱含狀態(tài)Ht-1進入更新門的輸出0～1 的數(shù)值，同時通過tanh 層創(chuàng)建一個候選隱含狀態(tài)，計算公式如式（4）、式（5）所示；

步驟三計算當前時刻的隱含狀態(tài)向量，將更新門輸出值作為權(quán)重向量，候選隱含狀態(tài)向量和上一時刻隱含狀態(tài)向量通過加權(quán)平均得到當前時刻的隱含狀態(tài)向量Ht，計算公式如式（6）所示；

步驟四計算網(wǎng)絡(luò)輸出值，將當前時刻隱含狀態(tài)向量加權(quán)與輸出層偏置相加，再共同輸出最終值Yt，計算公式如式（7）所示。

式 中：σ 為激活函數(shù)；Wxr、Whr、Wxz、Whz分別為輸入層到重置門、隱含層到重置門、輸入層到重置門、隱含層到更新門的連接權(quán)值；br、bz分別為重置門和更新門的偏置；“?”為矩陣按位相乘。從GRU 網(wǎng)絡(luò)的前向傳播過程可以看出，訓(xùn)練網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)主要有重置門、更新門以及輸出層的連接權(quán)值及其偏置。

GRU 網(wǎng)絡(luò)的訓(xùn)練過程，主要是結(jié)合實際情況，確定GRU 網(wǎng)絡(luò)的最佳網(wǎng)絡(luò)結(jié)構(gòu)（即：輸入神經(jīng)元個數(shù)和隱含層神經(jīng)元個數(shù)，以及隱含層層數(shù)），選擇合適的激活函數(shù)和恰當?shù)膬?yōu)化算法；根據(jù)誤差損失函數(shù)，通過隨機梯度下降算法，依次迭代更新直到誤差損失收斂，獲得最優(yōu)參數(shù)；最后根據(jù)最優(yōu)參數(shù)建立GRU 網(wǎng)絡(luò)模型。流程如圖3所示。

圖3 GRU 網(wǎng)絡(luò)訓(xùn)練流程Fig.3 GRU network training flow chart

2 水質(zhì)預(yù)測

2.1 數(shù)據(jù)描述

本次實驗仿真的水質(zhì)數(shù)據(jù)，來自于上海市主要水源地上海金澤水庫的2017年5月31日至2017年12月30日主要水質(zhì)指標化學(xué)需氧量（COD）的真實監(jiān)測數(shù)據(jù)，并按每分鐘采集221 天的COD 水質(zhì)數(shù)據(jù)，共有300520 個監(jiān)測值數(shù)據(jù)。將數(shù)據(jù)集中前210天的監(jiān)測值數(shù)據(jù)作為訓(xùn)練集，后3 天的監(jiān)測值數(shù)據(jù)定義為測試集，通過訓(xùn)練集訓(xùn)練預(yù)測模型，利用測試集測試模型的性能。

圖4 原始COD 數(shù)據(jù)測量值圖Fig.4 Original COD data measurement value map

2.2 數(shù)據(jù)處理

由于本次實驗仿真的數(shù)據(jù)直接來源于上海市金澤水庫現(xiàn)場傳感器采集的實測數(shù)據(jù)，因此會受到測量環(huán)境因素以及測量儀器的影響，如果直接進行實驗仿真，可能存在較大的誤差。為了保證實驗仿真的科學(xué)性和預(yù)測模型的精確性，所以必須對原始監(jiān)測數(shù)據(jù)進行一系列的處理，再利用處理后的數(shù)據(jù)進行模型訓(xùn)練以及實驗仿真。

2.2.1 缺失值處理

為了保證數(shù)據(jù)集的連續(xù)性，減小不確定性，增強模型輸出的可靠性，本文利用K 最近距離鄰法對缺失值進行填充。

2.2.2 異常值處理

為了減小模型預(yù)測誤差，增強模型預(yù)測精度，對于異常的水質(zhì)數(shù)據(jù)，先利用閾值篩選法檢測異常值的位置，再利用K 最近距離鄰法對異常值進行替換清洗。

2.2.3 數(shù)據(jù)標準化

為了使得循環(huán)神經(jīng)網(wǎng)絡(luò)反向傳播更容易收斂，對原始水質(zhì)數(shù)據(jù)進行離差標準化，使數(shù)據(jù)映射到［0，1］區(qū)間，計算公式如下：

式中：xs為原始水質(zhì)數(shù)據(jù)標準化后的數(shù)據(jù)值；x 為原始水質(zhì)數(shù)據(jù)；xmax和xmin分別為原始水質(zhì)數(shù)據(jù)中的最大值和最小值。

2.3 評價指標

本文采用平均絕對百分比誤差MAPE、均方根誤差RMSE 2 個指標來衡量與評估各種水質(zhì)預(yù)測模型的性能，其計算公式如下：

式中：n 代表水質(zhì)數(shù)據(jù)個數(shù)；xi代表第i 個水質(zhì)數(shù)據(jù)的真實值；pi代表第i 個水質(zhì)數(shù)據(jù)的預(yù)測值；MAPE、RMSE 代表水質(zhì)預(yù)測模型的預(yù)測精度，其值越小，模型預(yù)測精度越高，預(yù)測模型性能越好。

2.4 實驗仿真

本次實驗基于Python 語言，在Python 庫函數(shù)statsmodels、sklearn、thensorflow 以及keras 等的基礎(chǔ)上，分別搭建并訓(xùn)練經(jīng)典水質(zhì)4 種預(yù)測模型。其中有基于統(tǒng)計理論的自回歸移動平均模型（ARIMA）、基于傳統(tǒng)機器學(xué)習(xí)的支持向量回歸模型（SVR）、基于深度學(xué)習(xí)的傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）以及門控型循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU）4 種水質(zhì)預(yù)測模型，實現(xiàn)對水質(zhì)數(shù)據(jù)的預(yù)測，通過交叉驗證以及不斷地試錯，探究這幾種預(yù)測模型的最佳參數(shù)，同時對比驗證這幾種預(yù)測模型在水質(zhì)預(yù)測領(lǐng)域不同的性能表現(xiàn)。

基于統(tǒng)計理論的ARIMA 預(yù)測模型中，由于原始數(shù)據(jù)集時間間隔為1 min，數(shù)據(jù)集過大可能造成模型處理效率低，對原始數(shù)據(jù)進行每3 h 的重采樣形成1707 個數(shù)據(jù)點，最終通過ACF、PACF 圖確定模型的最佳參數(shù)，自回歸項數(shù)p 為1，差分階數(shù)d 為1，移動平均項數(shù)q 為1，預(yù)測結(jié)果如圖5所示。

圖5 基于ARIMA 模型的COD 預(yù)測結(jié)果圖Fig.5 COD prediction results based on ARIMA model

基于傳統(tǒng)機器學(xué)習(xí)的SVR 預(yù)測模型中，模型輸入同樣選擇時間間隔為3 h 的數(shù)據(jù)進行輸入訓(xùn)練，核函數(shù)選為徑向基函數(shù)，懲罰因子C 為1，核函數(shù)參數(shù)gama 為0．1，預(yù)測結(jié)果如圖6所示。

圖6 基于SVR 模型的COD 預(yù)測結(jié)果圖Fig.6 COD prediction results based on SVR model

基于深度學(xué)習(xí)的RNN和GRU 網(wǎng)絡(luò)模型中，模型訓(xùn)練集的輸入形式為滯后10 個數(shù)據(jù)點組成的10維向量，輸出形式為1 維標量，網(wǎng)絡(luò)包含1 個輸入層、1 個輸出層以及2 個隱含層，2 個隱含層存儲單元個數(shù)為分別為50和100，激活函數(shù)為tanh 函數(shù)。兩種模型的水質(zhì)預(yù)測結(jié)果圖分別如圖7、圖8所示。

圖7 基于SimpeRNN 模型的COD 預(yù)測結(jié)果圖Fig.7 COD prediction results based on SimpeRNN model

圖8 基于GRU 模型的COD 預(yù)測結(jié)果圖Fig.8 COD prediction results based on GRU model

表1 四種模型預(yù)測結(jié)果性能指標Tab.1 Performance index of prediction results of four models

通過對比4 種模型對COD 水質(zhì)數(shù)據(jù)不同的預(yù)測結(jié)果，可以看出，基于統(tǒng)計理論的時間序列預(yù)測法ARIMA（1，1，1）模型的預(yù)測精度最差，RSME 達到了0．2522，MAPE 也達到了0．73%，只能粗略地估算出COD 水質(zhì)數(shù)據(jù)具有稍微下降的趨勢，在水質(zhì)預(yù)測方面性能較差；基于傳統(tǒng)機器學(xué)習(xí)的SVR 預(yù)測模型在本次水質(zhì)預(yù)測方面性能也不是很高，RSME 僅為0．155，MAPE 也為0．58%，能夠大體的擬合真實數(shù)據(jù)。兩種基于深度學(xué)習(xí)的RNN 模型以及GRU 模型在水質(zhì)預(yù)測方面都有較好的表現(xiàn)，RNN 模型的RSME 僅為0．098，MAPE 也只有0．26%，GRU 模型表現(xiàn)更好，RMSE 為0．0641，MAPE 為0．18%，具有更好的水質(zhì)預(yù)測精度，可以很好地逼近水質(zhì)數(shù)據(jù)真實值，是一種性能較高的水質(zhì)預(yù)測模型。

3 結(jié)語

針對水環(huán)境水質(zhì)參數(shù)具有非線性、隨機性以及依賴性等特點，本文提出了一種基于深度學(xué)習(xí)的門控型循環(huán)神經(jīng)網(wǎng)絡(luò)的水質(zhì)預(yù)測模型。通過構(gòu)建最佳網(wǎng)絡(luò)結(jié)構(gòu)，探尋最佳網(wǎng)絡(luò)參數(shù)，建立了基于GRU 網(wǎng)絡(luò)的水質(zhì)預(yù)測模型，很好地將深度學(xué)習(xí)理論引入到水質(zhì)預(yù)測管理領(lǐng)域中。實驗仿真表明，與傳統(tǒng)的ARIMA 模型和SVR 模型相比，基于GRU 網(wǎng)絡(luò)的水質(zhì)預(yù)測模型具有更小的RSME 與MAPE 值，能夠顯著的提高水質(zhì)預(yù)測的精確度，可以很好地逼近水質(zhì)數(shù)據(jù)真實值，是一種新型的高精度水質(zhì)預(yù)測模型。

根據(jù)目前的工作，對于水質(zhì)預(yù)測領(lǐng)域，筆者認為可以進一步考慮建立結(jié)合多種因素指標共同影響下的水質(zhì)參數(shù)預(yù)測，進一步提高模型的預(yù)測精度；同時也可以尋求更有效參數(shù)優(yōu)化算法對GRU網(wǎng)絡(luò)進行優(yōu)化，提高模型的預(yù)測性能，也可以將GRU模型進行改進推廣以適用于更多數(shù)據(jù)預(yù)測領(lǐng)域。