基于MSLSTM-DA模型的水質自動監測異常數據報警

嵇曉燕,姚志鵬,楊 凱,陳亞男,王 正,安新國

基于MSLSTM-DA模型的水質自動監測異常數據報警

嵇曉燕1*,姚志鵬1,楊 凱1,陳亞男1,王 正2,安新國2

(1.中國環境監測總站,北京 100012；2.北京金水永利科技有限公司,北京 100012)

提出一種基于多元堆疊長短時記憶網絡-差值分析(MSLSTM-DA)模型對地表水質異常數據進行報警的方法.該方法首先建立MSLSTM模型對水質指標數據進行預測,再基于預測結果的殘差分布建立DA模型,并確定各個指標的數據異常閾值,當實測數據與預測數據差值大于閾值時進行數據報警.以長江流域監測斷面的水質數據進行了方法有效性驗證.結果表明,構建的預測模型對５個指標的MAE、MAPE均值比BP神經網絡預測模型降低21.0%,17.8%,比LSTM模型降低16.8%,17.9%.皮爾遜系數均值比BP神經網絡、LSTM模型的分別高5.9%,4.4%.5個指標共檢出水質異常數據37條,其中34條經人工判斷確實存在有異常,報警準確率高達91.9%.

堆疊長短時記憶網絡；差值分析；水質異常報警

地表水水質自動監測站作為監測地表水水質現狀、及時預警潛在環境風險的重要基礎,自1999年至今已建設了近3000個水質自動監測站,形成了覆蓋我國十大流域和主要湖庫的水質自動監測網絡.自動監測站水質數據作為衡量國家地表水水質狀況的基礎數據,實時發現異常數據,從而預判水環境面臨的風險具有重要意義[1].存在異常的水質數據很大程度上是由于環境污染造成的,因此實現水質異常數據的報警對實現水環境早期污染的預警預報有重要的支撐作用[2-4].

針對水質監測中異常數據的預警問題,許多學者做了大量的研究,也提出了多種基于不同原理的方法. 基于歷史水質各個指標數據之間的關聯性進行分析,如果當前時刻數據不滿足相關性指標則判定為異常[5].因為數據相關性是基于多組數據進行計算的,對評判單一時刻的數據效果不太好,不適用于水自動站這種具有實時性要求的預警.再者就是利用統計學方法基于概率進行異常的判斷[6],概率小的數據序列發生后則定義為異常數據.而基于概率進行數據異常判斷的難點在于無法科學的衡量異常數據出現的概率,預警準確率難以保證.隨著機器學習技術的快速發展,借助其強大的數據分析能力,也衍生出很多異常數據檢測的方法[7-9].例如利用數據聚類的方法,對當前指標時間序列數據進行是否為離群點的檢測,如果是離群點,則定義為異常數據[10].該方法適用于水質數據突變的異常檢測,而對于趨勢性的異常檢測效果不好.通過機器學習模型對未來水質數據進行預測,然后根據監測值和預測結果的差值評判數據是否異常,這種方法依賴于預測模型的效果.基于傳統的BP神經網絡算法對歷史數據進行訓練,預測未來一段時間的水質指標數據值,當實測數據和預測值偏差較大時定義為異常數據等[11].但是上述方法忽略了水質監測數據序存在的時序性,因此影響預測模型的精度.

自動監測站水質監測數據作為反映水環境狀況連續變化的數據序列,具有較強的周期性和自相關性,而且不同監測指標數據間也呈現很強的相關性.基于此,本文提出一種基于多元堆疊長短時記憶網絡-差值分析(MSLSTM-DA)模型進行水質異常報警的方法,通過對監測指標歷史時間序列數據進行學習,然后對預測殘差進行分析確定閾值,實現對水質異常數據的報警.

1 模型建立

1.1 MSLSTM模型

圖1 MSLSTM模型結構示意

長短時記憶神經網絡(LSTM)模型是一種具有時間循環結構的神經網絡模型,廣泛應用于具有時間屬性的數據序列的預測分析.在地表水環境監測中,同一斷面的水質監測數據具有時間維度上的因果聯系,適合采用長短時記憶神經網絡進行預測分析[12-14].多元LSTM(MLSTM)是指模型輸出的變量個數多于一個.對于自動監測站水質數據而言,因為監測指標較多,如果僅對單一指標進行建模,一是模型無法獲取指標數據間的關聯性;二是在實際的異常數據檢測應用中,多個模型并行運行會導致計算效率較低.堆疊LSTM(SLSTM)模型是具有多個隱藏LSTM層的模型,每個層包含多個存儲單元.該模型加大了模型深度,可以提取到水質監測數據序列中更深層次的特征,同時也增強了模型的預測能力[15-17].

本文采用的MSLSTM模型中包括4個LSTM層,其中添加BatchNorm層可以加速模型的訓練, Dropout層有助于提高模型的泛化能力[18].模型輸出的變量包括溶解氧(DO)、高錳酸鹽指數(IMn)、氨氮(NH3-N)、總磷(TP)以及總氮(TN)等5個指標.相應的模型結構見圖1.

1.2 DA模型

考慮到地表水環境的復雜性,影響水質的因素較多,因此水質預測數據與實測數據會存在合理偏差.差值分析(DA)模型是對水質指標的實際監測值與模型預測值的差值序列進行分析.當預測模型達到一定的預測精度后,模型的輸出與實際值的差值序列應該是在0值上下波動,并關于0值呈現近似對稱分布.基于此本文構建了一種基于迭代法計算差值閾值的流程.首先計算監測值和模型預測中差值的絕對值序列D,初始上限值U設置為0,置信水平設置為0.9,計算序列D中不大于上限值的占比,當該占比大于0.9時,則得到閾值;如果小于等于0.9,則增加初始上限值,直到得到該預測模型差值的閾值.DA模型結構見圖2.

圖2 DA模型結構

2 異常數據檢測方法

基于MSLSTM-DA模型進行水質異常數據報警的流程包括構建模型數據集、訓練MSLSTM模型、建立DA模型、模型效果評估以及異常數據實時報警.

2.1 構建模型數據集

利用臨近值填充法對水質監測指標歷史數據集中缺失的數據進行填充,形成預處理數據集.并根據監測數據的時間順序以7:2:1的比例將預處理數據集分割為訓練、驗證與測試數據集,并根據訓練數據集中各個指標的最大、最小值對這3個數據集的對應指標進行Min-Max歸一化,將數據轉換到01之間.

2.2 訓練MSLSTM模型

根據訓練數據集對MSLSTM模型進行訓練,訓練迭代次數設置為10000次,神經網絡優化器選擇Adam,模型最后一個全連接層的激活函數選擇sigmoid.通過實時判斷驗證數據集的預測效果提前結束訓練,防止過擬合.在模型訓練完成后,分別將訓練、驗證數據集作為模型的輸入數據得到相應的模型預測值.

模型訓練完成后,需要對模型預測的精確度進行評估.本文采用平均絕對誤差(MAE)、平均絕對百分比誤差(MAPE)、皮爾遜相關系數對模型進行評價.

2.3 建立DA模型

計算水質監測指標監測值和模型預測值之間的差值,并對差值序列進行關于0值對稱分布檢驗.如果通過檢驗,則建立DA模型,根據置信水平得到水質異常區間以及水質異常閾值.否則更改模型結構和參數再次進行模型的訓練.

2.4 模型效果評估

針對預測數據集計算模型預測值,根據預測值和監測值之間的差值以及得到的水質異常數據閾值,進行異常數據的檢測,當檢測出來的數據的確為異常數據時,說明模型可以應用于實際的水質異常數據檢測.否則的話則重新設置差值分析模型的置信水平.

2.5 異常數據實時報警

獲取當前時刻水質自動監測數據的實時監測值,并計算模型對該時刻水質的預測值,當實測值和模型預測值得差值超過異常閾值時,確認當前時刻水質監測值為異常數據并報警,否則為正常數據.

圖3 MSLSTM-DA模型水質異常數據檢測流程

3 實例驗證

3.1 數據集說明

選擇位于長江流域某一斷面2019-01-01至2020-12-31的水質自動站監測數據,共4386條.因為DO的監測頻率為1次/h,而其他指標為1次/4h,構建模型數據集需要統一時間粒度,因此DO選擇和其他指標相同的監測時刻數據(表1).

表1 數據條數表

水質監測數據具有時間屬性,前后時刻的數據呈現很強的相關性,因此選擇利用臨近值填充的方法對缺失的指標數據填充,不會影響水質數據序列的時序性.按照時間順序將預處理數據集按照7:2:1的比例分割為訓練、驗證、測試數據集(表2).

表2 模型數據集

當前監測時刻以及前11個監測時刻的5指標數據作為模型的輸入數據.當LSTM這類神經網絡在學習時間序列數據的規律時,因為時間序列存在自相關性,神經網絡會將前一時刻的數據當作當前時刻的預測值,導致最后的預測序列出現時間延遲現象.因此本文將當前時刻水質數據減去前一個監測時刻的5指標水質數據的差值數據作為模型的輸出數據.

3.2 MSLSTM模型結果分析

模型訓練完成后,對訓練、驗證和測試數據集進行預測結果的評估.精確度評估表見表3.

表3 MSLSTM模型精確度評估表

表4 三種模型精確度評估表

由精確度評估結果(表3)可以看出,指標MAE對于各指標的數據范圍而言,都比較低;指標的MAPE均在20%以下,說明數據預測的精確度達到了80%以上;皮爾遜相關系數均大于0.8,說明預測結果序列和監測值序列的線性趨勢關系較強.從測試數據集的模型預測值和監測值的對比曲線(圖4)可以看出,各個指標的預測值和監測值的曲線貼合度較高.為進一步說明本文構建的預測模型的有效性,選擇BP神經網絡[19]、LSTM模型[20]作為對照模型.

由三種模型在測試數據集上的對比結果(表4)可以看出,本文構建的預測模型的5個指標的MAE、MAPE均值比BP神經網絡預測模型降低21.0%,17.8%,比LSTM模型降低16.8%,17.9%.皮爾遜系數均值比BP神經網絡、LSTM模型的高5.9%,4.4%,表明本文構建的預測模型對各個指標的預測精確性比較高.

3.3 建立DA模型

計算驗證數據集的預測值,并繪制預測值與指標監測值差值的直方圖,并進行閾值計算.

圖5 5個水質監測指標的差值分布

Fig.5 Difference distribution charts

從圖5可以看出,5個指標的差值序列主要集中在0值附近,并關于0值近似呈現對稱分布.

3.4 異常數據報警驗證

基于DA模型得到的數據異常閾值,對測試數據集進行異常數據檢測.5指標共檢測異常數據37條,其中IMn6條,NH3-N12條,TP8條,TN 11條,DO并未發現異常數據.異常數據見圖6.

對檢測出的異常數據進行人工核查,發現34條數據存在異常的可能性較大,異常數據檢出正確率達到91.9%,并且不存在異常數據的遺漏情況.說明此方法可以應用于水質自動監測數據管理的異常數據報警.

4 結論

4.1 本文提出的多元堆疊長短時記憶網絡模型,可消除異常值以及缺失值對預測模型的影響,可實現地表水水質數據的預測,精確度達到了80%以上,為進一步提升水環境質量提供了依據.

4.2 通過預測數據的殘差分布建立差值分析模型,得到判定水質數據異常的閾值.基于該閾值以及預測數據對當前時刻水質監測數據進行異常判定,預警準確率可達90%以上.

[1] 邢夢林,王瀟磊,鄭 瑤,等.淺談水質自動監測系統的建設及應用研究 [J]. 環境科學與管理, 2013,(10):40-42.

Xing M L, Wang X L, Zheng Y, et al. Discussion on construction and application of water quality automatic monitoring system [J]. Environmental Science and Management, 2013,(10):40-42.

[2] 嵇曉燕,劉廷良,孫宗光,等.國家水環境質量監測網絡發展歷程與展望 [J]. 環境監測管理與技術, 2014,26(6):1-4,8.

Ji X Y, Liu T L, Sun Z G. The Development of water environmental quality monitoring network in China [J]. The Administration and Technique of Environmental Monitoring, 2014,26(6):1-4,8.

[3] 計 紅,韓龍喜,劉軍英,等.水質預警研究發展探討 [J]. 水資源保護, 2011,27(5):39-42.

Ji H, Han L X, Liu J Y, et al. Study on water quality early warning [J]. Water Resources Protection, 2011,27(5):39-42.

[4] 王文寶,曹 騫.水質自動監測站的運行管理與水質預警 [J]. 環境監控與預警, 2010,2(1):54-56.

Wang W B, Cao Q. Operation of automated water quality monitoring stations and water quality prewarning [J]. Environmental Monitoring and Forewarning, 2010,2(1):54-56.

[5] 周 純,張 苒.水質自動監測異常數據的分析與利用[J]. 新疆環境保護, 2012,34(4):42-44.

Zhou C, Zhang R. Analysis and application of water quality outlier automatic monitoring [J]. Environmental Protection of Xinjiang, 2012,34(4):42-44.

[6] 王 威,沈興厚,張利亞.皮爾遜Ⅲ型頻率曲線在水源地水質預警中的應用 [J]. 河南科學, 2018,36(7):1042-1048.

Wang W, Shen X H, Zhang L Y. Application of pearsonⅢ frequency curve on water quality warning of water source [J]. Henan Science, 2018,36(7):1042-1048.

[7] Huang X. Abnormal data detection technology based on improved neural network [J]. International Journal of Applied Mathematics and Soft Computing, 2018,7(1):89-94.

[8] Liu F, Su W X, Zhao J J, et al. Abnormal data detection method based on fuzzy autoregressive hidden markov Model [J]. Journal of Residuals Science & Technology, 2016,13(8):38-45.

[9] 李若楠,王 琦,劉書明.基于典型相關系數和隨機森林的水質預警方法 [J]. 中國環境科學, 2021,41(9):4457-4464.

Li R N, Wang Q, Liu S M. Water quality warning method based on canonical correlation coefficient and random forest [J]. China Environmental Science, 2021,41(9):4457-4464.

[10] 梅 林,張鳳荔,高 強.離群點檢測技術綜述 [J]. 計算機應用研究, 2020,37(12):3521-3527.

Mei L, Zhnag F L, Gao Q, et al. Overview of outlier detection technology [J]. Application Research of Computers, 2020,37(12): 3521-3527.

[11] 史 斌,姜繼平,王 鵬.基于高頻在線水質數據異常的突發污染預警 [J]. 中國環境科學, 2017,37(11):4394-4400.

Shi B, Jiang J P, Wang P. Early warning of water pollution incidents based on abnormal change of water quality data from high frequency online monitoring [J]. China Environmental Science, 2017,37(11): 4394-4400.

[12] Palani S, Liong S Y, Tkalich P. An ANN application for water quality forecasting [J]. Marine Pollution Bulletin, 2008,(56):1586-1597.

[13] Liu J J, Zhuang H, Tie Z X, et al. Water quality multi-factor prediction model using LSTM neural network based on K-similarity noise reduction [J]. Computer Systems Applications, 2019,28(2):226-232.

[14] Li X, Peng L, Yao X J, et al. Long short-term memory neural network for air pollutant concentration predictions: Method development and evaluation [J]. Environmental Pollution, 2017,231:997-1004.

[15] 王 軍,高梓勛,朱永明.基于CNN-LSTM模型的黃河水質預測研究 [J]. 人民黃河, 2021,43(5):86-99.

Wang J, Gao Z X, Zhu Y M. Research on Yellow River water quality prediction based on CNN-LSTM Model [J]. Yellow River, 2021, 43(5):86-99.

[16] 劉建華,李錦程,楊龍月,等.基于EMD-SLSTM的家庭短期負荷預測 [J]. 電力系統保護與控制, 2019,47(6):40-47.

Liu J H, Li J C, Yang L Y, et al. Short-term household load forecasting based on EMD-SLSTM [J]. Power System Protection and Control, 2019,47(6):40-47.

[17] Wu Q F, Meng X Y, Liu M Y. Prediction of rice yield via stacked LSTM [J]. International Journal of Agricultural and Environmental Information Systems (IJAEIS), 2020,11(1):86-95.

[18] 楊 青,王晨蔚.基于深度學習LSTM神經網絡的全球股票指數預測研究 [J]. 統計研究, 2019,36(3):65-77.

Yang Q, Wang C W. A study on forecast of global stock indices based on deep LSTM neural network [J]. Statistical Research, 2019,36(3): 65-77.

[19] 張秀菊,王柳林,李秀平,等.基于BP神經網絡的瀟河流域水質預測 [J]. 水資源與水工程學報, 2021,32(5):19-26.

Zhang X J, Wang L L, Li X P, et al. Water quality prediction of the Xiaohe River Basin based on BP neural network model [J]. Journal of Water Resources and Water Engineering, 2021,32(5):19-26.

[20] 張貽婷,李天宏.基于長短時記憶神經網絡的河流水質預測研究 [J]. 環境科學與技術, 2021,44(8):163-169.

Zhang Y T, Li T H. River water quality prediction based on long short-term memory neural network [J]. Environmental Science and Technology, 2021,44(8):163-169.

Water quality alert with automatic monitoring data based on MSLSTM-DA model.

JI Xiao-yan1*, YAO Zhi-peng1, YANG Kai1, CHEN Ya-nan1, WANG Zheng2, AN Xin-guo2

(1.China National Environmental Monitoring Center, Beijing 100012, China；2.Golden Water Technology (Beijing) Ltd, Beijing 100012, China)., 2022,42(4)：1877～1883

A multivariate stacked long and short term memory network-difference analysis (MSLSTM-DA) model is proposed to alarm surface water quality abnormal data. Established the MSLSTM model to predict the water quality data, and then established the DA model based on the residual distribution of the prediction results to determine the threshold value of each indicator, and alerted the data when the difference between the measured data and the predicted data is greater than the threshold value. The validity of the method was verified using water quality data from the Yangtze River basin monitoring sections. The results showed that the mean values of MAE and MAPE for five indicators were 21.0% and 17.8% lower than those of BP neural network prediction model, and 16.8% and 17.9% lower than those of LSTM model. The mean value of Pearson coefficient was 5.9% and 4.4% higher than that of BP neural network and LSTM model. 37 abnormal water quality data were detected for the 5 indicators, 34 of which were judged to be abnormal by manual judgment, with an alarm accuracy rate of 91.9%.

stacked long and short-term memory network；difference analysis；water quality alert

X832

A

1000-6923(2022)04-1877-07

嵇曉燕(1981-),女,江蘇淮安人,正高級工程師,博士,主要研究方向為水環境質量監測評價.發表論文30余篇.

2021-09-18

長江生態環境保護修復聯合研究項目(2019-LHYJ-01-0301);國家水環境監測監控及業務化平臺技術研究課題(2017ZX07302002)

*責任作者, 正高級工程師, jixy@cnemc.cn