中小河流健康診斷大數據平臺的設計與應用

劉瀚 夏繼紅 蔡旺煒

摘 要：為解決傳統數據管理平臺難以快速、全面地對河流系統進行管理決策的問題，應用大數據技術構建河流大數據平臺具有重要意義。從河流大數據的概念、河流大數據平臺的架構以及河流大數據平臺的實現3個方面對河流大數據平臺進行了探討，提出了構建以Hadoop為基礎架構，以信息集成模型、河流健康診斷模型、河流風險預警模型、決策支持模型為驅動，以河流大數據為支撐的河流大數據決策支持平臺，實現河流健康的診斷與風險預警，為河長制中河流系統的信息化高效管理提供新的思路。

關鍵詞：河流系統;大數據;決策支持平臺;河流健康;風險預警

中圖分類號：P338+.9 ? 文獻標志碼：A

doi：10.3969/j.issn.1000-1379.2020.07.034

Abstract：In order to solve the problem that the traditional data management platform is difficult to make management decisions on river system quickly and comprehensively， it is of great significance to construct a big data platform of river system by using big data technology. This paper discussed the big data platform from three aspects of the characteristic of big data of river system， the structure of big data platform of river system and the realization of big data platform of river system. It put forward the platform constructed by Hadoop-based framework， driven by information integration model， river health diagnosis model， risk warning model and decision support model and braced by big data of river system. Generally， the paper provides a new idea for the efficient management of river system to realize the diagnosis and risk warning of river health.

Key words： river system; big data; decision support platform; river health; risk early warning

自全面推行河長制以來，傳統的數據處理方法難以滿足海量、多源、異構的河流系統數據的存取應用和河流的高效管理要求[1]，利用大數據、云計算等現代技術構建河流管理信息平臺日趨重要。2017年5月，水利部印發了《關于推進水利大數據發展的指導意見》（水信息[2017]178號），提出要在水利行業推進數據資源共享開放，促進水利大數據發展與創新應用。這一文件的頒發有力地促進了大數據在水利行業的應用，目前已形成了多個專項大數據平臺，如饒小康[2]基于Hadoop分布式集群構建了水利工程灌漿大數據平臺;李家杰[3]以地理信息系統為基礎構建了城市健康水系統等。這些專項平臺在一定程度上解決了水利數據的共享問題，然而目前河流大數據平臺依舊較為缺乏，尤其是對廣大的中小河流缺乏有效的管理手段，給河流高效管理帶來了一定困難。針對這一需求，筆者在分析河流大數據特征和主要類型的基礎上，應用大數據和分布式架構技術，探討河流健康診斷與風險預警大數據平臺的設計與構建方法，為河流系統的信息化、智能化管理提供技術和方法參考。

1 河流大數據的概念與分類

1.1 河流大數據的概念

大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理，需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產[4]。中小河流一般是指流域面積小于200 km2的河流，大多分布于農村區域，包括一些末梢河流，包含了大量的數據信息，這些信息具有整體性、開放性、復雜性和不確定性的特點[5]。據此，借鑒大數據的概念，認為河流大數據是指在合理時間內無法利用常規工具進行河流系統信息存儲、管理與分析的數據總集，包括河流系統的生態、環境、人文、工程、功能等方面的時空演變數據與實時發生的河流事件數據。

河流大數據和傳統意義上的河流數據相比具有以下幾個特性：①海量性。隨著感知設備與通信技術的發展，涉河的各類數據呈幾何級增長，大大超出了個人計算機的處理能力。②多樣性。河流大數據涉及空間數據、工程數據、統計數據等多學科、多領域[6-7]，是一個多格式、多類別數據集合。③時效性。河流數據涉及多個時間尺度的信息，大量準確的實時數據是河流管理決策實時性、準確性的重要依據[8]。④低價值密度性。河流大數據涵蓋面廣泛且數據量眾多，其數據價值在面對具體對象、具體屬性時存在稀疏性的特點。

1.2 河流大數據的分類

根據數據信息來源，河流大數據可以分為：①基礎地理信息數據（河流系統自然結構和社會環境的相關信息，如水資源數據、地形地貌數據、社會經濟數據等）;②河流健康診斷指標數據（河流水質、生物多樣性、河網密度、灌溉保證率等）;③歷史文獻數據（文獻書籍上的河流系統相關信息以及流域內的歷史文化信息）;④基于社交網絡的多媒體數據（通過微信、微博、網絡論壇等提供的文字、圖片、音頻、視頻獲取到的河流系統信息）。

2 平臺總體架構與功能結構設計

2.1 平臺總體架構設計

中小河流健康診斷與預警平臺通過集成河流大數據，對多元大數據信息進行統一的管理和分析，該平臺自下而上由資源層、數據層、模型應用層和發布層組成，見圖1。

資源層包括平臺的硬件、軟件與網絡要求;數據層用于對河流系統原始數據資源進行存取、篩選與分析，為模型應用層提供數據資源支持;模型應用層由模型庫和應用程序構成，通過數據層與功能模型的聯動實現功能應用需求;發布層用于將處理結果實時傳送給決策者。

2.2 平臺功能結構設計

中小河流健康診斷與預警大數據平臺主要包括河流數據管理、模型庫管理、河流健康診斷、河流風險預警、決策支持管理和個人信息管理等6個功能模塊，功能結構見圖2。

3 平臺關鍵層設計方法

3.1 數據層設計

3.1.1 大數據的采集與存儲

河流大數據來源眾多，主要通過以下幾個途徑獲取：政府公開網站、水文站監測記錄、實地勘察、國內外學術數據庫、社交網站對外開放的標準化接口等。

河流大數據從存儲方式上可以分為結構化存儲、非結構化存儲與元數據存儲。結構化數據，即可以用二維表結構來邏輯表達和實現的數據，包括河流系統水質、土壤、氣候等各類指標，嚴格遵循數據格式與長度規范存儲于分布式文件系統（HDFS）中;難以用二維表結構表達和實現的非結構化數據，包括各種格式的文本、圖像、視頻、音頻等，轉化為字節數組字符串以及Base64編碼，存儲于面向列的非關系型數據庫（Hbase）中;河流大數據通過加工與集成構成面向河流系統的數據倉庫，基于不同用戶的不同功能需求，形成服務于固定需求的多個數據集市。所有數據的名稱、存儲位置、提取轉換加載（ETL）過程等共同構成了河流大數據平臺的元數據庫（Metadata Base），元數據庫將數據編寫成網絡服務描述語言（WSDL）與外界客戶端數據交換互通。河流大數據存儲結構見圖3。

3.1.2 大數據的篩選與清洗

平臺調用河流系統數據庫中的原生數據，采用高性能并行計算框架（MapReduce）對數據進行預處理，包括剔除、填補、刪除等操作[9]。預處理之后的結果保存回HDFS中，并轉換為存儲模型，實現對河流大數據的清洗轉換。

3.1.3 大數據的提取與挖掘

大數據的處理和分析是河流系統大數據平臺最核心的部分。集群基于MapReduce或Spark框架進行并行化設計，運行于多個計算節點，處理大量級數據，針對不同用戶的不同數據集以及需求提供不同的算法。由于河流大數據海量性與低價值密度性的特征，過高的特征維度會對河流大數據的分類、回歸精度產生負面影響，因此本系統基于數據挖掘的分布式框架（Mahout）中的協同過濾算法，根據不同的任務要求從河流大數據中去除不相關的特征數據，構建較小的河流大數據特征子集，從而提高河流大數據平臺的處理速度與精度。

3.2 模型應用層設計

3.2.1 模型庫設計

模型庫根據模型類型的不同分為描述性模型庫和計算性模型庫。描述性模型庫，即可以用關系表格表達的模型，數據類型以字符型為主，包括河流健康等級模型、風險警度等級模型等;計算性模型庫，即由數學公式和相應算法組成的模型，包括權重計算模型、河網匯流模型、流域水動力模型等。

河流大數據平臺各功能涉及諸多模型，數據庫與模型庫快速準確地聯動可以極大地提高河流大數據平臺處理問題的整體效率[10]。系統模型庫存儲結構由參數匹配庫、特征數據子對象以及程序算法子對象構成。在模型調用時，系統通過讀取參數匹配表中的模型碼和參數碼，確定其特征數據子對象和程序算法子對象，繼而通過特征子對象中的接口函數完成模型庫與數據庫的聯通。模型庫通過接口得到河流數據，載入到算法子對象，數據庫通過接口函數得到模型庫中算法子對象計算結束后的反饋結果。模型庫數據流向見圖4。

3.2.2 模型應用設計

根據河流健康診斷與風險預警大數據平臺的要求，模型的功能應用分為信息集成模塊、河流健康診斷模塊、風險預警模塊以及決策支持模塊。

（1）信息集成模塊。該模塊包括對河流系統進行數據錄入、數據查詢、數據編輯、視圖編輯等功能。通過數據轉移工具（Sqoop）將關系數據輸入和輸出Hadoop，實現對河流大數據的錄入與導出。通過GIS與Hadoop的集成工具將河流系統數據以空間信息的方式展現出來。

（2）河流健康診斷模塊。該模塊用于對河流系統的健康狀況進行評價與分析。系統針對不同河流系統的特點，采用Mahout中的協同過濾算法構建河流健康與評價指標的各項矩陣，得出平臺推薦的河流評價指標。調用模型庫中的層次分析模型、模糊層次分析模型等實現指標權重計算，隨后調用河流健康診斷模型與專家知識庫等得到河流健康的診斷結果。

（3）風險預警模塊。該模塊用于得出污染物在河流系統中的遷移變化過程及河流健康狀況的變化趨勢。通過空間大數據提取區域水系結構，構建河網水質模型，與流域水動力模型、污染物遷移模型相耦合，實時預警河流系統中的突發性水污染事件。

（4）決策支持模塊。該模塊用于結合河流大數據庫與人機交互界面，幫助河流系統管理部門提高決策水平。系統通過調用專家知識庫對各種結果在河流健康中的價值占比進行定量評估，最終綜合各方面影響權重，基于人機交互界面給河流系統管理部門提供最優的決策措施。

3.3 發布層設計

大數據的信息發布層采用B/S（Browser/Sever）[11]和C/S（Client/Sever）相結合的服務模式，以不同的接口為河流管理部門以及普通群眾提供服務。河流大數據平臺為沒有權限的普通用戶提供安全數據訪問API，用戶通過表示層（Browser）提供的可視化交互界面，向中間層提出服務請求，大數據平臺再通過中間層發送的請求提供對應的數據服務。該模式在確保數據安全性的同時，為更多的用戶提供了服務，主要通過網頁、微信公眾號、手機APP等途徑實現。河流管理部門則可以直接通過面向應用的API訪問數據庫服務器，保證數據資源的更新與管理速度，提供數據挖掘算法，調用執行服務，主要通過PC端軟件實現。

4 平臺的應用

以河流系統大數據平臺PC端軟件為例，應用于浙江省龍游縣社陽港。社陽港發源于龍游、金華與遂昌3縣交界處東長坪北麓，全長35 km，流域面積194 km2，是典型的山區中小型河流。

4.1 數據采集與存儲

河流健康診斷平臺以多年連續的河流監測數據、河流健康狀況以及實地勘測數據為數據基礎。首先將社陽港衢江支流水文監測的實時數據上傳至云端數據中心，實時轉換、加載至HDFS或Hbase，同時對河段進行實地數據勘測。考慮到河道的空間變異性，根據匯水口位置以及行政區劃將社陽港衢江支流分為11個河段，選取11個監測點位，如圖5所示。通過數據傳輸工具Sqoop將河流歷史數據及勘測結果數據加載至大數據庫，存儲于HDFS中。

4.2 數據清洗與篩選

選取1972—2010年間總計45個中小河流健康評價體系中的902項因子進行數據清洗與篩選。首先采用MapReduce對數據進行預處理，消除殘缺數據的影響，隨后采用協同過濾算法提取其中出現頻次較多、對河流健康影響較大的河流評價指標，從而初步確定社陽港河流健康的主要表征因子，數據清洗與篩選過程見圖6。

4.3 特征數據選擇

通過相關性分析、顯著性檢驗進行進一步的指標合并與剔除，最終選擇9個對河流健康影響較強的評價指標，分別為底質、棲境復雜性、堤岸穩定、河道變化、水量狀況、植被覆蓋、水質狀況、人類活動以及土地利用。對2017年的勘測與試驗數據進行歸一化處理，得到無量綱指標數據，見表1。調用層次分析算法模型得到各指標權重系數，如圖7所示。

4.4 河流健康診斷

將得到的指標數據集與權重系數代入河流健康診斷模型，對河段進行健康診斷。該模型基于深度學習的神經網絡模型，通過學習多年輸入指標值與河流健康等級的對應關系，建立神經網絡。系統根據模糊綜合評價法內置5個河流健康等級，分別為健康、基本健康、亞健康、疾病和病危，對應的河流健康指數為[0.8，1.0]、[0.6，0.8）、[0.4，0.6）、[0.2，0.4）和[0，0.2）。將輸出結果可視化展示，得到的河流健康等級如圖8所示。結果顯示，河段S2、S3、S10處于亞健康狀態，其他河段處于基本健康與健康狀態，河道管理人員需要加強河道整治，維護河岸帶生態系統穩定性。診斷結果與實際調研的情況基本相符。

5 結 語

針對水利管理部門難以及時存取與分析海量、多源、異構的河流系統數據的問題，基于Hadoop分布式系統基本架構，設計了河長制要求下的中小河流大數據平臺，采用B/S和C/S相結合的服務模式提供河流數據管理、河流健康診斷、河流風險預警、管理決策支持等功能，并應用于龍游縣社陽港的河流健康診斷工作中，對提高水利部門的行政管理能力以及河長制信息管理系統的完善都具有借鑒意義。

在今后的發展中，為更準確、科學地處理河流系統大數據，需要著重建設基于大數據的河流系統物聯網，實現人、河流、平臺的實時互聯互通，建設更大范圍河流信息管理平臺，促進河流系統的可持續健康發展。

參考文獻：

[1] BRIERLEY G J，FRYIRS K A. Geomorphology and River Management：Applications of the River Styles Framework[M]. New Jersey：Wiley-Blackwell，2005：2-10.

[2] 饒小康.水利工程灌漿大數據平臺設計與實現[J].長江科學院院報，2019，36（6）：139-145，170.

[3] 李家杰.基于大數據決策支持的城市健康水系統平臺構建及應用[D].重慶：重慶大學，2016：20-21.

[4] 孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-169.

[5] 蔡興勇，周銀軍.從河流系統角度思考河流治理理念[C]//中國水利學會.中國水利學會2016學術年會論文集（上冊）.南京：河海大學出版社，2016：94-99.

[6] 葉楓，張鵬，夏潤亮，等.基于新一代大數據處理引擎Flink的“智慧滁河”系統[J].水資源保護，2019，35（2）：90-94.

[7] KIM Y， KANG N， JUNG J， et al.A Review on the Management of Water Resources Information Based on Big Data and Cloud Computing[J]. Journal of Wetlands Research，2016，18（1）：100-112.

[8] 王金平，夏繼紅，汪穎俊，等.山丘區中小河流灘地時空演化與擾動因子分析[J].中國農村水利水電，2018（12）：66-69，76.

[9] 楊東華，李寧寧，王宏志，等.基于任務合并的并行大數據清洗過程優化[J].計算機學報，2016，39（1）：97-108.

[10] 林俊強，夏繼紅，韓玉玲，等.河流健康診斷系統的設計與應用[J].河海大學學報（自然科學版），2009，37（6）：640-644.

[11] 洪成，王桂生，周家貴，等.基于云模型和風險矩陣的自然災害風險評價[J].人民黃河，2019，41（6）：14-20.

【責任編輯 張 帥】