水環境質量預報預警大數據平臺研究

馬金鋒,鄭 華,2,彭福利,鄧 力,張曉嶺,黃 程,李若男,2,饒凱鋒

1.中國科學院生態環境研究中心 a.城市與區域生態國家重點實驗室;b.環境水質學國家重點實驗室,北京 100085

2.中國科學院大學,北京 100049

3.中國環境監測總站,國家環境保護環境監測質量控制重點實驗室,北京 100012

4.重慶市生態環境監測中心,重慶 401120

水環境質量預報預警是以流域為單元,以定量的模型或方法模擬污染物在流域范圍內的遷移轉化過程,確定水環境演變趨勢,從而實現對水質的常規預測和對突發污染情況的預警[1]。 水環境質量預測是實現流域水環境精細化、科學化管理的核心。 國務院2015 年印發的《水污染防治行動計劃》對水環境監控預警提出了明確要求,如實行水環境承載能力監測預警、明確突發水環境污染事件預警預報與響應程序、加強水環境監控預警國際交流合作等[2]。 2020 年《關于構建現代環境治理體系的指導意見》再次明確提出,要強化監測能力建設,推動實現環境質量預報預警[3]。 水環境質量預測對于提供水質變化早期預警,以及通過提前采取行動從而減輕污染至關重要[4]。 其核心是數值模擬技術,即構建水環境模型。 水環境模型是對水體中的污染物(營養物質、懸浮物、藻類、有毒物質等)隨水流遷移過程中,因水動力和生物化學等因素的影響而發生的物理、化學和生物反應的數學描述和模擬[5]。 水環境數學模型在國內外已得到非常廣泛的應用,成為國內外學者研究的熱點[6-7],被廣泛應用于水質預測、水質預警、流域規劃和水環境治理等研究。 但在水環境數學模型的實際應用中,普遍面臨著單個模型計算耗時較長的問題,而在模型的率定、驗證和情景決策過程中,需要進行大量迭代計算,進一步加劇了計算過程的負擔,極大地限制了水環境數學模型的廣泛應用。 而大數據技術在分布式計算、存儲及分析方面顯示出強大的技術優勢,可為水環境模型高計算負荷問題提供一種潛在的解決方案。

基于大數據技術構建水質預報預警大數據平臺是一項艱巨而復雜的系統工程。 由于平臺構建需要將數值模擬技術與大數據技術深度融合,即需要交叉應用多學科的基礎理論和技術方法,目前國內外關于此方面的研究極少。 鑒于目前國家水生態環境管理工作對水質預報預警系統的迫切需求,本文以解決水環境質量預報預警自動化和自定義化業務需求為導向,圍繞水環境模型與大數據技術的深度融合,提出以水環境模型體系為基礎,以大數據計算體系為核心,由空間建模、參數率定、邊界條件預測、規模計算、規模存儲、通用服務和專用服務7 個部分組成的大數據平臺框架。 按照水環境模型過程模擬、趨勢預測和應對決策的應用流程,明確水環境質量預報預警大數據平臺的建設流程。 針對框架的每個組成部分,分別解析其含義,提出實現思路,并以案例實證其可行性,以期為重新審視復雜水環境模型與大數據技術的關系提供新的見解,也為基于大數據技術的水環境質量預報預警平臺的構建提供思路和參考。

1 水環境質量預報預警研究進展

目前,大量研究主要集中于對新型水質、水文模型的開發[8-9],或對已有模型的參數不確定性分析、敏感性分析、參數率定或場景分析[10-11],而基于數學模型研發水環境質量預報預警系統的研究相對較少[12-13],且已有的少量研究多集中于突發污染事件水質預警系統[14-15],缺乏對常規水環境質量預報預警功能的應用。 預警技術可以科學表征風險變化、提高應急響應水平和規避污染風險,已成為水環境研究及管理領域的主要關注點[16-17]。 在基于現有水環境軟件[18-22]或者獨立開發的數學模型[23-24]開展溢油或泄漏情景下的事故污染過程模擬方面,相關研究已經取得了豐富的研究成果[25]。 描述和模擬水質污染事故的最常見方法是基于過程的流體動力學模型和水質模型的耦合模型[26]。 其中:水動力學模型用于模擬現實世界中可觀察到的物理上的水系統;水質模型用于模擬、分析和預測污染物在水體中的遷移和轉化過程,已成為預測水質的主要方法[4]。應用Delft3D、EFDC、WASP、QUAL2K、Aquatox、MIKE 等多種流體動力學和水質模型及相關配套軟件開展水環境質量預報預警,已經成為該領域發展的必然趨勢。 國外相關研究及應用開展較早,如美國、英國和法國分別建立了突發水污染事故預警系統,多個歐洲國家共同研發了多瑙河事故應急預警系統,上述系統在預測預報流域水質變化和保障居民飲水安全等方面發揮了重要作用。 在國內,不少省級監測站和部分地級監測站基于現有水質自動監測站實時數據,建立了水質異常報警系統。 以四川、浙江、廣東和江蘇為代表的省份對基于數值模擬的水環境質量預報預警技術進行了探索性研究。 近幾年,中國環境監測總站和重慶市生態環境監測中心也在開展水環境質量預報預警系統的研發工作。

綜合國內外研究進展可以看出:①基于水質模型研發水環境質量預報預警系統是水環境質量預報預警研究的必然趨勢。 目前主要以國家或地方水質監測站點數據為基礎數據,采用國外成熟、開源的水質模型作為基礎模型(以下統稱為計算引擎)。 ②二/三維水質模型的推廣應用是未來發展的趨勢。 水質模型從空間尺度可以分為零維、一維、二維和三維。 零維模型假設水體充分混合,因此無法同時獲得河流橫向和縱向的水質變化。 一維水質模型的運行時間較短,從而得到廣泛應用[18-19]。 盡管一維模型可以實現快速運算,但是以空間高度概化為代價,使其無法捕捉敏感區域的關鍵信息,比如重要取水口位置。 二維模型具有同時模擬橫向和縱向空間的能力。 三維模型則可以描述所有三個空間維度的變化,提供了最詳細的污染物分布信息。 相比三維模型,二維模型充分考慮了污染物的時空分布特征,且運行時間較短,彌補了一維模型的不足。 因此,二維和三維水質模型的廣泛應用是未來發展的趨勢[19]。③現有預報預警系統的研發主要是基于傳統客戶端/服務器端架構或傳統瀏覽器端/服務器端架構,尚未見到基于大數據架構開發預報預警系統的研究。

盡管國內外已開展了廣泛的水環境質量預報預警研究,但總體上并未形成可為水污染防治提供決策支撐的預報預警能力。 究其原因,除了缺乏必要的水文監測數據、水下地形數據外,一方面,我國工業軟件基礎與核心技術薄弱,尤其是流體力學類計算機輔助工程(Computer Aided Engineering,CAE)求解器技術匱乏,CAE 工業軟件研發企業缺失、研發人員嚴重不足。 另一方面,構建水環境質量預報預警系統存在著固有的復雜性。 從模型構建過程的角度來看,系統建設涉及空間建模(前處理)、邊界條件獲取、模型模擬運行、模擬結果存儲、模型參數率定、模擬結果分析和可視化(后處理)等多個環節,每個環節都可單獨作為一項技術研發主題,而多項技術研發的有機集成更是一項復雜的系統工程。 再一方面,傳統的高性能計算體系并不能有效支撐水環境質量預報預警業務。 作為水環境質量預報預警系統的核心,水環境模型的高性能計算研究廣受關注,通常采用并行技術和集群技術來提高計算效率[27-31]。 由于水環境模型是一種典型的計算密集型復雜模型,其計算過程通常需要耗費大量的時間。 在單個模型計算非常耗時的情況下,自動率定、情景分析等批量的模型計算甚至是被禁止的[32]。 現有并行計算體系能夠很好地解決模型的高性能計算問題,但未考慮結果存儲和結果分析的需求。 因此,水環境質量預報預警業務需要一種能夠緊密銜接模型計算、存儲和分析的全鏈條技術支撐體系。 大數據技術體系因其完善的分布式計算、存儲和分析框架,有希望成為一種可有效解決當前水環境質量預報預警業務所面臨的問題的理想選擇。

2 水環境質量預報預警業務解析

水環境模型從流程角度可以分為對歷史過程的模擬、對未來趨勢的預測和對預測趨勢的應對決策3 個階段,即過程模擬—趨勢預測—應對決策;從應用角度可以分為常規水質預報預警業務和突發污染事故應急處置業務,體現了“平戰結合”的理念;從用戶使用角度則可以分為自動化和自定義化兩種模式。 表1 分別從流程角度、應用角度和用戶使用角度解析了水環境質量預報預警業務。

表1 水環境質量預報預警業務解析Table 1 Requirement analysis of water environment quality forecast and early warning system

在常規水質預警預報業務中,過程模擬階段旨在評估并確保模型具有重現歷史過程的能力,即模型重現歷史的能力。 在這一階段,水環境質量預報預警業務可以概括為常規空間建模和模型參數率定(也稱模型校準)兩部分,其目標是確保模型可得和可用,保證模擬結果具有可信度。 只有具備重現歷史過程能力的模型方可用于對未來趨勢開展預測。

趨勢預測是水環境質量預報預警業務的核心內容,其目標是預測流域水文和水體水質的未來變化趨勢。 在這一階段,水環境質量預報預警業務可以概括為包括流域水文、水體水質、水華在內的常規預報預警產品。 其中:水文預報提供流域水位、流速、流量、水溫等預報產品;水質預報提供懸浮物、溶解氧、高錳酸鹽指數、氨氮、總磷、總氮、五日生化需氧量、化學需氧量、重金屬等主要指標濃度,以及水質類別、首要污染物等預報產品;水華預報提供葉綠素a、藍藻、綠藻、硅藻濃度,以及水華暴發時間和面積等預報產品。 預警產品則是根據業務需求設置預警指標及參數范圍,基于實測數據和預報數據,對超過設定范圍的水質大幅變化、水質趨勢性異常變化等進行實時預警。

應對決策是指通過情景分析評估調控措施對未來變化趨勢的影響,其目標是識別較優或最優水環境管理措施,為環境治理決策的科學化、精細化提供支撐。 在這一階段,水環境質量預報預警業務可以概括為水環境風險評估、水環境容量核算、環境治理決策分析和污染溯源分析。 水環境風險評估包括點源和面源兩類,其中:前者旨在建立流域點源排放清單,集成整合污染源位置、排污口位置、特征污染物種類、污染排放量等信息,確定污染源與流域的匯合點位置、污染源影響范圍等,可根據業務需求設置風險評價指標體系,定量評估點源風險;后者旨在針對面源污染負荷進行匡算,核算面源污染負荷的入河量,計算其對水體污染的貢獻量及貢獻率,可通過設定閾值參數識別面源污染關鍵源區和高風險區。 水環境容量核算旨在模擬受納水體在一定的環境質量目標規劃設定條件下的水環境容量,依據水環境容量和污染負荷現狀,對目標水體的環境承載力開展風險評估和超載預警。 環境治理決策分析旨在根據重點流域控制單元、河湖長制管理需求,分析主要污染物及其來源,并通過情景分析評估各種污染治理措施的水質改善效果,幫助制定流域、湖庫或行政區污染負荷削減方案和空間分配方案。 污染溯源分析旨在掌握污染物的擴散及空間變化路徑,解析各類污染來源對重點斷面主要污染物通量的貢獻量、貢獻率。 在水質大幅變化觸發超標預警、偷排預警時,可結合空間拓撲技術和超標污染物特征,對污染來源進行篩查和定位。

在突發污染事故水質預報預警業務中,由于事故發生的隨機性和突發性,通常忽略過程模擬部分。 在此情況下,水環境質量預報預警業務可以概括為突發水污染事故仿真模擬和突發水污染事故應急處置決策兩部分。 前者旨在動態模擬污染物的時空遷移轉化過程,計算污染物濃度的時空分布,評估污染事件所影響地區的人口數量和水質超標程度等。 后者旨在結合風險大小、環境條件,提供交互式的情景分析手段,輔助制定快速應急處置方案。

水環境質量預報預警的自動化通常涵蓋常規水質預報預警業務中的過程模擬、趨勢預測兩個階段,旨在實現模型的自動率定和定時自動生成預報產品。 水環境質量預報預警的自定義化則涵蓋常規水質預報預警業務中的應對決策階段和突發污染事故預報預警業務的全過程,旨在提供交互式的探索手段,輔助用戶識別較優或最優環境管理措施。

3 水環境質量預報預警大數據平臺框架

為了解決水環境質量預報預警業務的自動化和自定義化問題,結合業務流程和信息化建設流程,本研究提出了水環境質量預報預警大數據平臺框架,如圖1 所示。 該框架以模型體系為基礎,以計算體系為核心,以服務體系為目標。

模型體系包括空間建模、參數率定和邊界條件預測3 部分,實現了靜態建模和動態更新的有機結合。 靜態是指空間建模后的模型主體總體保持不變;動態是指在參數率定過程可以動態調整模型的局部參數,在邊界條件預測過程則可以更新模型局部邊界條件。 以Delft3D 和EFDC 模型為例,典型的水體水質模擬的空間建模過程包括網格剖分、地形插值、初始條件設置、反應過程設置和運行設置等,如圖1 所示。 以SWAT 模型為例,典型的流域水文模擬的空間建模過程則包括子流域剖分、土壤數據庫制備、土地利用數據制備、氣象數據庫制備、水文響應單元劃分、模擬條件設置。 空間建模旨在生成一系列模型計算引擎所需的配置文件;參數率定旨在通過調整模型參數,擬合模擬結果與實測監測值,確保模型具備模擬歷史過程的能力。 在實際應用中,空間建模和參數率定需要大量數據作為支撐,且開發過程耗時較長。 此外,模型預測精度在很大程度上取決于對邊界條件(比如水文條件、水質條件和天氣條件等)的預測,而邊界條件通常難以預測,因此,率定之后的水文和水質模型在生成預報產品之前,需要開展邊界條件預測。 由于邊界條件數據屬于典型的時間序列數據,目前通常采用時間序列預測方法來解決邊界條件預測問題。

圖1 水環境質量預報預警大數據平臺框架Fig.1 Framework of water environment quality forecast and early warning big data platform

計算體系是水環境質量預報預警大數據平臺框架的核心,包括規模計算和規模存儲兩部分,可實現計算過程與存儲過程的綁定。 傳統的并行計算體系側重單個模型算例的高性能計算,不適用于模型率定、情景分析情況下的規模計算模式。此外,傳統并行計算體系并未考慮計算結果存儲,不能滿足計算結果的存儲需要,而自動化率定和情景分析進一步加劇了規模計算和規模存儲的負荷。 大數據技術為復雜模型的規模計算、規模存儲和規模分析提供了成熟的解決方案,依托大數據技術實現規模計算與規模存儲綁定已成為必然趨勢。 先前的研究[33]已經提出了將模型與大數據計算框架融合的技術思路并證明了其可行性。通過將復雜的機理模型融合在分布式計算框架中,可在計算節點執行分布式計算,并將原始模擬結果以 Hadoop 分布式文件系統( Hadoop Distributed File System,HDFS)存儲,解析結果以Hadoop 數據庫(Hadoop Database,HBase)存儲,取得良好的應用效果[33]。

服務體系包括通用服務和專用服務兩部分,以滿足水環境質量預報預警業務的自動化和自定義化需求。 通用服務包括交互式分析、濃度場可視化、流場可視化和GIS 可視化。 交互和可視化在知識發現中非常重要,旨在利用直觀的可視化技術手段探索隱藏在數據中的規律,形成專業應用功能。 專用服務提供面向用戶的預報預警產品和決策支持服務,其中,前者包括流域水文預報預警和水體水質預報預警,后者包括污染源風險評估、水環境容量核算、環境治理決策分析、污染溯源分析和污染事故應急。

4 水環境質量預報預警大數據平臺應用案例

總體上,水環境質量預報預警大數據平臺采用SpringBoot 框架主導開發。 在SpringBoot 框架內集成Quartz 啟動自動化業務,自定義化業務則經SpringBoot 前端由用戶交互式觸發。 兩種業務均以Hadoop MapReduce 作業的形式執行模型計算。 將水環境模型融合于MapReduce 計算框架之中,其原始和解析模擬結果分別被存儲到HDFS 和HBase 中。 采用Zeppelin 框架實現解析結果的交互式和可視化分析。 圖2 為水環境質量預報預警大數據平臺應用案例。

圖2 水環境質量預報預警大數據平臺應用案例Fig.2 Case study of water environment quality forecast and early warning big data platform

具體來講,基于Quartz 定時任務框架實現水環境質量預報預警業務自動化,Quartz 充當作業調度器角色。 除了定期(每月)啟動水環境模型自動率定過程和定時(每天)啟動水文、水質和水華預報預警業務外,Quartz 還負責定時啟動提取-轉 換-上 載(Extract-Transform-Load, ETL) 過 程。ETL 以腳本語言形式從水質監測數據庫中定時提取、清洗、轉換和裝載最新數據到HBase 中。 這些數據既被用作模型參數率定過程所需的觀測數據,也被用作邊界條件預測中的訓練數據。

為了兼容大數據平臺開發環境,水環境模型應選用成熟且開源的計算引擎,其空間建模則應依托已有建模工具或研發專用軟件。 以模型為核心的自動化和自定義化業務均以MapReduce 作業的形式被封裝并提交到另外一個資源管理器(Yet Another Resource Negotiator,YARN)。 YARN通過合理分配計算資源,實現作業執行的負載均衡。 多個MapReduce 作業并發計算,原始模擬結果和解析計算結果在所在計算節點被分別存儲到HDFS 和HBase 中。 用戶可通過Zeppelin 交互式可視化分析工具獲取HDFS 和HBase 中的解析數據,以深度探索數據潛在規律。

綜上所述,本文基于成熟大數據平臺Hadoop生態系統,構建了水環境模型計算體系、存儲體系和快速分析體系。 其中,采用MapReduce 計算框架實現水環境模型并發計算,采用YARN 實現計算資源調度和負載均衡,采用HDFS 存儲水環境模型原始模擬結果,采用HBase 列式數據庫存取水環境模型模擬結果解析數據,采用Zeppelin 實現解析數據的快速獲取、高效組織、交互式可視化分析。

下文將以實際案例驗證水環境質量預報預警大數據平臺部分核心模塊的可實現性。 受篇幅所限,僅介紹空間建模、參數率定、規模計算和污染事故應急模塊。

4.1 水環境模型空間建模

該案例采用SWAT 模型模擬流域水文水質過程,采用Delft3D 和EFDC 模型模擬水體水動力水質過程。 SWAT 空間建模通常直接采用ArcSWAT 或QSWAT 軟件工具。 對于Delft3D 和EFDC,雖然有商業版的建模工具可供選擇,比如EFDC-Explorer,但是這些工具屬于單機(Stand-Alone)模式:一方面,不具備GIS 可視化交互功能,缺乏良好的用戶體驗,并且學習曲線相對較長;另一方面,也不滿足Web 應用系統的交互需要。 因此,開發基于GIS 的單機版和Web 版建模工具可以改善水動力水質建模過程,促進水環境模型的業務化運行。

圖3 展示了單機版Delft3D 空間建模系統軟件。 該軟件集成了網格生成工具、地形插值、邊界條件設置、初始條件設置、傳輸條件設置及模擬過程設置等完整的建模流程,此外還集成了計算引擎并行計算和模擬結果可視化分析功能,實現了水環境模型的業務化運行,降低了模型的應用門檻,大大提升了水環境管理工作的科學化、智能化水平。

圖3 單機版Delft3D 模型空間建模軟件工具Fig.3 Stand-along Deflt3D modeling system software

圖4 展示了Web 版Delft3D 模型空間建模系統。 該系統提供類似單機版的建模流程和功能,用戶無需安裝專業的建模軟件,僅通過訪問瀏覽器便可開展復雜空間建模、執行模型計算和可視化分析模擬結果,極大地促進了Delft3D 等模型工具與Web 應用系統的集成。

圖4 Web 版Delft3D 模型空間建模軟件工具Fig.4 Web-based Deflt3D modeling system software

4.2 水環境模型參數自動率定

該案例[32]采用貝葉斯優化算法對SWAT 模型進行參數自動率定,其主要過程包括參數敏感性分析、參數率定過程和Hadoop 集群計算3 部分,如圖5 所示。 參數敏感性分析采用Morris 方法,Hadoop MapReduce 計算體系則承擔了Morris方法所需的批量模型計算任務。 由Hadoop 執行模型計算并將結果返回給Morris,然后由Morris對重要參數進行敏感性排序并篩選出敏感參數。參數率定過程采用貝葉斯優化算法,所需批量計算同樣委托給框架的Hadoop 大數據計算體系,由Hadoop 執行模型計算并將結果返回給貝葉斯優化算法。 整個率定過程自動循環,不需人為干預,直至達到算法收斂條件或者最大優化迭代次數。納 什 效 率 系 數 ( Nash-SutcliffeEfficiency Coefficient,NSE)被作為目標函數進行水文參數敏感性及收斂性分析,定性分析度量方式的影響。該案例證明了大數據技術框架內的水環境模型參數自動率定的可行性和高效性。

圖5 SWAT 模型參數自動率定過程[32]Fig.5 Flowchart of automatic calibration of SWAT model parameters

4.3 水環境模型規模計算

水環境數值模型模擬計算是典型的中央處理器(Central Processing Unit)密集型運算,具有計算資源需求高、運行時間長、模擬結果文件大的特點。 該案例[33]在框架中選用Hadoop MapReduce分布式計算框架(圖6),以Delft3D 模型規模計算為例,驗證集群運算模式的可行性。 水環境模型規模計算的設計思路是將Delft3D 模型的批量算例工程文件分發到各個數據節點,Hadoop 集群通過位置感知機制將計算引擎程序(Delft3D 可執行程序)定位并下載到數據節點,在節點上通過讀取算例工程文件重構模型配置文件,并完成模型計算過程。 案例結果表明,Hadoop 集群運算模式可有效加快模型的規模計算過程。 該模式具有通用性,適用于其他復雜模型的批量計算,可為水環境質量預報預警業務中的大規模批量計算問題提供一種可行的解決方案。

圖6 基于Hadoop MapReduce 的水環境模型規模計算框架[33]Fig.6 Large-scale calculation framework of water environment model based on Hadoop MapReduce

4.4 突發水污染事故應急

該案例采用Delft3D 模型為基礎模型進行二次開發,以實現快速、高效、可定制的污染物遷移擴散過程模擬。 其計算網格采用曲面結構化交錯網格,具有高度貼邊、計算高效的特點。此外,可根據實際應用需求對提前生成的研究區網格進行快速合并和裁剪,以滿足自定義研究區的需求。 通過參數設置可對污染物進行自定義定制,以滿足自定義污染物的需求。 通過對Delft3D 計算引擎的封裝,可以適應Web 應用程序系統集成的需要。 用戶可在Web 應用中自定義添加、刪除、編輯邊界條件、排放條件、觀測點和觀測斷面,以滿足不同污染物類型、不同突發場景、不同污染階段下的突發污染事故預報預警要求。 圖7 為突發水污染事故應急模塊示意圖。

圖7 基于Delft3D 模型的突發水污染事故應急模塊Fig.7 Emergency module for sudden water pollution accident simulation based on Delft3D model

5 結論與展望

水環境模型的深入應用,尤其是模型參數的自動化率定和自定義場景分析,需要滿足模型大規模計算及其引起的規模存儲和規模分析的需求,這是當前限制水環境質量預報預警業務取得進一步發展的重要因素。 大數據技術提供了融合高性能計算、分布式存儲和全過程快速分析的解決方案,克服了水環境模型常規并行計算模式未考慮其引發的模擬結果的持久化存儲和快速分析需求的不足。 本文提出了水環境質量預報預警大數據平臺框架,該框架以水環境模型體系為基礎,以大數據計算體系為核心,以實現水環境質量預報預警應用服務為目標,通過水環境模型融合大數據技術,解決了預報預警業務的自動化和自定義化問題。 研究結果可為重新審視復雜水環境模型與大數據技術的關系提供新的見解,也可為基于大數據技術的水環境質量預報預警平臺的構建提供思路和參考。 當前,國家不斷加強水環境綜合治理,推進水生態環境保護,這就對水生態環境預報預警提出了更高的要求。 構建水環境質量預報預警大數據平臺,可為管理部門掌握水文水質總體變化態勢提供科學的分析工具,更好地指導環境管理過程的精準施策和科學管控。