基于高頻在線水質數據異常的突發污染預警

史 斌,姜繼平,2*,王 鵬,3

?

基于高頻在線水質數據異常的突發污染預警

史 斌1,姜繼平1,2*,王 鵬1,3

(1.哈爾濱工業大學環境學院,黑龍江哈爾濱 150090；2.南方科技大學環境科學與工程學院,廣東深圳518055；3.哈爾濱工業大學城市水資源與水環境國家重點實驗室,黑龍江哈爾濱 150090)

在高頻水質自動監測背景下,建立了基于軟測量和水質時間序列異常檢測的水體突發污染預警預報技術.假定突發污染事故會引起典型自動監測水質參數變化,采用回歸分析建立水質參數和在線高頻監測水質參數間的線性關系進行軟測量,采用人工神經網絡預測短程水質變化,建立基于預測殘差的異常判斷最小閾值,最終通過有序監督聚類進行水質突變檢測從而對突發污染事故進行預警.采用美國弗吉尼亞州的Potomac River流域在線監測數據進行算法驗證和案例分析.分析受試者工作曲線(ROC)表明:該方法對2倍異常和3倍異常水平的檢測準確率分別為62.7%和92.5%,且隨著異常水平的增加準確率增加,通常突發污染事故中特定污染物濃度水平一般明顯高于3倍,該方法具有較高的準確率.較其他突發污染水質預警技術,該技術有效縮短了平均檢測時間,為流域污染預警預報和快速應急響應提供了新途徑.

突發水污染事故；高頻水質自動監測；異常檢測；軟測量；人工神經網絡

當前, 在世界范圍內蓄意或非故意化學品泄露造成的水體突發污染仍不斷發生[1-2].尤其在中國,幾十年來的經濟高速發展,將我國帶入了突發環境污染事件的高發期[3-5].頻發的水污染事件及其伴隨的嚴重危害引起了各級政府關注,也促進了管理部門和環境專家們致力于開發污染預警響應技術,服務于水質安全保障.

隨著國家對河流水質管理的重視,水體監測基礎設施日益健全,數據積累日漸豐富,實現大數據支撐下的水環境管理已經日益成熟.在發達國家,如美國已經實現了對河流水溫、DO、濁度、pH值、電導率和硝酸亞硝酸鹽等水質指標的每5~15min監測一次并每小時發布[6].我國2008年以來也布設了國家水質自動監測系統,但是在采樣頻率、監測指標、覆蓋程度上還遠遠不夠.

湯鴻霄[7]指出,下一步環境科學與技術的研究要充分運用衛星遙感、數值信息、模擬模式、多媒體圖像等學科技術,再加上互聯網,大數據,人工智能等新增創新手段,試圖以數字量化來描述大范圍環境體系變化,達到準確闡釋和預報環境動態和災害.

基于高頻水質監測,結合數據流異常檢測技術,可以開發新型的突發水污染預警技術,用于流域的智能化管理.目前,基于高頻時間序列的異常檢測問題廣泛應用于衛星遙測、金融詐騙、網絡入侵、安全防御、電信數據管理、傳感器異常分析等諸多領域[8-9][48, 49],隨著數據流異常檢測技術在各個領域的廣泛應用[10]和目前水環境數據采集技術的不斷發展和豐富[11],基于水質監測數據的異常檢測研究開始引起了環境專家們的興趣.目前大多研究是針對城市供水管網在線水質監測系統的異常檢測[12-13].而河流水質由于受到水文、氣象、污染物等多種因素的綜合影響,其變化規律難以捕捉,目前為止國內外基于河流在線水質監測數據的突發污染預警研究較少.

本研究針對目前突發污染事件中存在遲知、未知的問題,基于在線水質自動監測站高頻水質監測數據,研究建立在線突發污染預警技術,基于水質參數多元回歸模型構建關鍵非在線監測水質參數的軟測量方法,并結合神經網絡水質預測殘差和聚類分析檢測下一時刻的水質異常變化,預報可能出現的突發污染.通過對建立的預警方法采用美國弗吉尼亞州的實際觀測數據構建典型情景進行驗證,對所建立的方法在應用過程可能存在的問題也進行了討論.

1 研究方法

突發污染不同于常規污染情景,污染物種類存在極大的不確定性,目前整個自然界有超過10萬種的毒性污染物質,即使世界上最先進的檢測儀器也無法全部檢測出單個物質.但由于水質常規高頻自動監測指標對大部分污染物都會表現出不同程度的敏感性[14-15],開展基于水質常規高頻監測指標的污染物濃度軟測量是可行的[16].

回顧我國突發污染案例,其主要污染物可分為有機物、重金屬或酸堿性無機物等[17],結合自動監測指標的類型,可以選用pH值、濁度、電導率和UV254等4個指標作為監測數據集,pH值代表水體的酸堿度,濁度代表水體受懸浮有機物污染的程度,電導率代表水中離子濃度,而UV254在一定程度上可以代表水體受有機污染程度.

基于上述在線水質監測指標,通過分析水質參數之間的相關關系,找出水質變化規律;并基于變化規律采用數據驅動模型預測當前水質情況;與實際監測數據進行對比,計算預測殘差;以異常判斷最小閾值為基準,采用有序監督聚類方法判斷水質參數預測殘差與最小閾值的大小,來實現異常檢測判斷.

1.1 水質參數相關性分析

對于同一河段,水體中任何一種污染物組分的變化都可能會引起上述幾種自動監測指標的變化[18].Jeffery等[19]研究了如何利用高頻水質參數如電導率和濁度表示不能進行高頻監測的水質參數,總結出如下回歸方程:

回歸方程可以近似表達突發污染物進入水體后引起常規水質指標的變化,然后結合指標權重進行疊加分析,通過比較該指標預測時間序列和實際監測時間序列的殘差,實現突發污染異常檢測.

1.2 水質時間序列預測與殘差辨識

由于水質異常通常由多種水質參數綜合異常所致,而每種水質指標有不同的量綱,有必要在水質指標疊加之前對原始數據進行標準化處理.我們選用Z-score 標準化將原始時間序列轉化為均值為0,方差為1正態分布的無量綱序列. 其處理方程如公式(2)所示:

進一步采用人工神經網絡等數據驅動模型,對常態水質時間序列進行學習、計算、記憶、自適應以及智能處理.對水質發展趨勢進行預測,計算預測值和實際監測值殘差,從而將殘差與指定閾值比較,判斷水質異常變化情況.

閾值選擇的合理性對于異常檢測算法起著極其重要的作用[20],為盡量提高算法異常檢出率,本研究采用最低實際閾值法來確定閾值:

式中:和s分別為其殘差分布的平均值及標準差.

綜上,采用基于回歸分析的神經網絡預測方法進行異常檢測的流程如圖1所示,主要步驟包括:(1)分析變量的影響因素,并確定主要因素及其影響程度;(2)利用歷史數據建立預測變量與主要影響因素之間的回歸關系模型;(3)把預測期主要影響因素的指標值,代入網絡進行預測;(4)基于預測水質時間序列和實際監測水質時間序列的殘差序列與指定閾值對比判斷是否異常;(5)啟動應急監測來監測是否有特殊污染物超標,進一步確定是否為突發污染事件.

2 案例分析

2.1 Potomac River水質監測數據收集

由于目前國內難以獲取河流高頻水質監測數據,本研究所需的高頻水質監測數據來源于美國地質調查局(http://waterdata.usgs.gov/nwis).正常情況下水質監測頻率為15min,監測數據現場存儲,并且每隔1~4h傳輸到美國地質調查局網站上.我們選擇了位于弗吉尼亞州的Potomac River流域01632900號站點最近3個月的監測數據(1~3月,共55d),其水質監測指標主要包括:水溫、電導率、溶解氧、pH、濁度和硝態亞硝態鹽氮等6個.對于大量高頻監測數據,盡管每周都對自動監測站進行維護,但是也難以避免存在間斷性的數據缺失[21].對于單點缺失數據采用缺失點前后各兩個點求均值的方法補充.對于連續缺失數據采用數據平移的方法補充,即平移缺失點之前相同數量的數值填補缺失.另外,對原始數據中的冗余數據和單位不一致數據,分別采用人工剔除和數值單位轉換的方法處理.

2.2 基于常態數據集的異常判斷最小閾值構建

原始監測數據首先進行標準化處理,圖2為標準化后水質時間序列的變化情況.其中水溫、pH值、DO和硝酸亞硝酸鹽氮4個指標呈現出明顯的以天為單位的周期變化,而濁度和電導率變化受環境變化比較敏感,周期性變化不明顯.

采用包括當前時刻的96個數據(共24h)預測下一時刻 (第97個數據)的水質監測數據,當第97個監測數據獲得后,進行對比分析.

在本案例中采用BP神經網絡,設定兩個隱含層,分別選用Log-sigmoid(輸入值為任意值,輸出值在0和1之間)和Purelin傳遞函數(輸入輸出值均為任意值)作為激活函數,采用標準梯度下降算法訓練神經網絡.基于前35d共3360組監測數據,通過測試調整神經網絡結構,依據“奧卡姆剃刀”原理,最后確定隱含層分別為5個和1個節點神經元.以后20d共1920組監測數據作為檢驗集,驗證所訓練的神經網絡預測能力.

圖2 標準化水質自動監測數據時間序列

圖3 基于神經網絡的預測值與實際監測值對比分布

以濁度為例,采用公式(4)計算檢驗集預測殘差,檢驗集的神經網絡預測能力表現如圖3所示,其平均預測殘差為0.0104,中位數殘差為0.0052,平均相對誤差為1.54%,有很高的預測精度.

RE=|預測值-監測值| (4)

2.3 假想數據集異常檢測的準確性分析

圖4 水質異常變化(濁度)的時間序列假設情景

確定啟動預警閾值后,結合人工構建的異常水質監測數據流,進行異常檢測準確性分析.

以濁度監測數據為例,檢驗集每天10:00~ 12:00間的樣本分別疊加2倍和3倍異常,即將觀測數據人為放大2倍和3倍,構造出2組新的時間序列,記為情景I和情景II,可代表發生突發污染的水質異常變化情形(例如每天上午10:00~ 12:00點有點源偷排),如圖4所示.

圖5 異常情景I(a)和情景II(b)時ROC曲線

2.4 基于軟測量的非在線監測水質參數異常檢測與水質預警

非在線監測水質參數,如總氮可采用類似公式(5)的回歸公式[13]進行軟測量.結合軟測量技術,本文提出的異常檢測方法應用范圍更為廣泛.

結合(5)式,構建接近真實情形的總氮高頻時間序列,進行異常檢測分析.依據2.2中所述步驟訓練BP神經網絡,計算得到總氮的預測值,與實際監測值,對比得到對應的殘差序列,如圖6所示.基于殘差序列,利用公式(3)計算得到異常檢測最小閾值.

式中:TURB為濁度標準化值, WT為水體溫度標準化值, SC為電導率標準化值.

圖6 TN時間序列及預測殘差

基于神經網絡訓練后的異常判斷最小閾值標準,針對需要檢測水質參數時間序列,按照采樣時間順序,采用有序監督聚類方法[19]進行聚類,對小于最小閾值的判斷為正常事件,大于最小閾值的判斷為異常事件.從圖6可以看出,總體上預測殘差基本在最小閾值(Threshmin=0.1324)范圍內.在3月8日和3月19日出現了2次比較明顯的水質突變,預測殘差值也均明顯高于指定閾值.通過查詢對應時段的氣象條件以及該站點的流量監測數據:3月8日平均流量為1.06m3/s, 3月19日平均流量為1.38m3/s,均明顯高于預測期平均流量0.83m3/s.分析其原因可能是由于降雨沖刷地表,將陸地上的含氮有機物沖刷進入水體造成,這種情況下應當啟動應急監測,監測是否有特殊污染物進入水體以判斷是否為突發污染事故.

2.5 討論

3 結論

3.1 本研究充分利用了水質自動監測站高頻監測數據,與我國目前已有的水質在線監測方法和依據公眾投訴、公共安全檢查、常規抽樣分析等傳統異常檢測方法相比,其對污染物濃度變化更敏感, 檢測效率更高.

3.2 本研究所提出的異常檢測方法對較低濃度的水質異常檢出準確率低,而且還存在一些誤報現象,但是能夠全部檢測出實際異常時間序列,不會存在異常漏報現象.與后續的應急監測工作相結合即能夠提高檢出的準確率,并為真正的突發污染事件提供基礎數據支持.

3.3 隨著河長制的逐步推行,該方法在明確環境責任,提高預警判定的準確性和時效性方面將會有廣泛的應用.將來為了加強河段環境管理, 在目標河段安裝包含pH值、濁度、電導率和UV254等指標的高頻傳感器必將能夠更能充分發揮該異常檢測方法的優勢.

[1] 李堯遠,曹 蓉.我國應急管理研究十年(2004~2013):成績、問題與未來取向 [J]. 中國行政管理, 2015,(1):83-87.

[2] XUE P, ZENG W. Trends of environmental accidents and impact factors in China [J]. Frontiers of Environmental Science & Engineering in China, 2011,5(2):266-276.

[3] 劉仁濤,郭 亮,姜繼平,等.環境污染應急處置技術的CBR- MADM兩步篩選法模型 [J]. 中國環境科學, 2015,35(3):943- 52.

[4] 趙艷民,秦延文,鄭丙輝,等.突發性水污染事故應急健康風險評價 [J]. 中國環境科學, 2014,34(5):1328-1335.

[5] Camp J V, Abkowitz M D, Leboeuf E J. Inland waterway resource and spill management needs in Southeastern USA [J]. Disaster Prevention And Management, 2010,19(4):483-497.

[6] US EPA, 2017. National hydrography dataset high-resolution flowline data [EB/OL]. The National Map. https://www.data.gov/.

[7] 湯鴻霄.環境科學與技術的擴展融合趨勢 [J]. 環境科學學報, 2017,37(2):405-406.

[8] 李維錚,孟 橋.基于遙測數據動態特征的衛星異常檢測方法 [J]. 空間科學學報, 2014,34(2):201-207.

[9] 田嘉瑞.傳感器網絡數據流異常數據檢測與修正 [D]. 哈爾濱:哈爾濱工程大學, 2008.

[10] Zou S, Liang Y, Poor H V, et al. Nonparametric Detection of Anomalous Data Streams [J]. Computer Science, 2016,1:1-26.

[11] 黃樹成,曲亞輝.數據流分類技術研究綜述 [J]. 計算機研究應用, 2009,26(10):3604-3609.

[12] 陳 玥.城市供水水質異常檢測方法研究 [D]. 杭州:浙江大學, 2013.

[13] 魏 媛,馮天恒,黃平捷,等.管網水質多指標動態關聯異常檢測方法 [J]. 浙江大學學報(工學版), 2016,50(7):1402-1409.

[14] Christensen V G. Characterization of surface-water quality based on real-time monitoring and regression analysis, quivira national wildlife refuge, south-central kansas, december 1998 through June 2001 [R]. Center for Integrated Data Analytics Wisconsin Science Center, 2001.

[15] Horsburgh J S, Jones A S, Stevens D K, et al. A sensor network for high frequency estimation of water quality constituent fluxes using surrogates [J]. Environmental Modelling & Software, 2010,25(9):1031-1044.

[16] 姜繼平,王 鵬,劉 潔,等.突發水污染預警應急響應研究與實踐的方法學辨析[J]. 環境科學學報, 2017,37(1):1-13.

[17] Liu J, Guo L, Jiang J P, et al. Evaluation and selection of emergency treatment technology based on dynamic fuzzy GRA method for chemical contingency spills [J]. Journal of Hazardous Materials, 2015,299:306-315.

[18] Helsel D R. Statistical methods in water resources / D.R. Helsel and R.M. Hirsch [M]. Amsterdam, New York: Elsevier, 1992.

[19] Parmar K S, Bhardwaj R. Water quality management using statistical analysis and time-series prediction model [J]. Applied Water Science, 2014,4(4):425-434.

[20] Mckenna S A, Hart D B, Murray R, et al. Testing and evaluation of water quality event detection algorithms [M]. Handbook of Water and Wastewater Systems Protection, 2011.

[21] PE A-AYALA A. Educational data mining: A survey and a data mining-based analysis of recent works [J]. Expert Systems with Applications, 2014,41(4):1432-1462.

致謝：感謝香港大學陳驥教授對論文英文部分的審閱和修訂.

Early warning of water pollution incidents based on abnormal change of water quality data from high frequency online monitoring.

SHI Bin1, JIANG Ji-ping1,2*, WANG Peng1,3

(1.School of Environmental, Harbin Institute of Technology, Harbin 150090, China；2.School of Environmental Science and Engineering, Southern University of Science and Technology, Shenzhen 518055, China；3.State Key Laboratory of Water Resources and Water Environment, Harbin Institute of Technology, Harbin 150090, China)., 2017,37(11)：4394~4400

With the high frequency automatic monitoring of surface water quality, a technique for early warning of water pollution incidents was developed using the water quality soft measurement and abnormal detection of time series. This technique takes the assumption that water pollution incidents would cause the change of typical automatic monitoring water quality parameters, and then establishes the linear relationship between the water quality parameters and online high frequency monitoring water quality parameters. Using the artificial neural network, the change of water quality parameters in a short duration was predicted; using the time series of residual error, the threshold of abnormal change was determined. Finally, early warning of pollution incidents could be achieved through detecting abnormal change based on sequential leader clustering algorithm. To verify the technique, this study takes the online monitoring data obtained from the Potomac River in Virginia, USA as a case study. The analysis of the receiver operating characteristic curve (ROC) shows that the detection accuracies of double and triple abnormal levels can reach 62.7% and 92.5%, respectively. Because the concentration level of a water pollution incident is usually significantly higher than 3times, this technique can provide a relative high accurate early warning. Compared with traditional abnormal detection methods, this technique can shorten the detection time. Along with increasing improvement of automatic monitoring facilities, this study provided a new avenue for early warning of, and prompt response to, pollution incidents.

water pollution incident；high frequency automatic water quality monitoring；abnormal change；soft measurement；artificial neural network

X522

A

1000-6923(2017)11-4394-07

史 斌(1987-),男,山東鄆城人,哈爾濱工業大學博士研究生,主要從事環境數學模型與決策支持系統方向研究.發表論文10余篇.

2017-04-25

中國博士后科學基金資助項目(2014M551249);國家自然科學基金資助項目(51779066);中央高校基本科研業務費專項基金資助項目(HIT. NSRIF.2017060)

* 責任作者, 助理教授, jiangjp@sustc.edu.cn