水資源多元數據融合與治理技術探討

王銘銘 董凱頌

摘 要：水資源多元數據融合與治理是水資源走向智慧化管理的必經之路。探討了水資源多元數據融合與治理技術，包括多元數據匯聚、數據融合、數據治理等內容，實現水資源數據資源一體化匯聚、動態化管理和高效化服務。技術成果在安徽省水資源監管體系中得到了廣泛應用，推動了水資源管理向數字化與智慧化的發展。成果在安徽省水資源取用水監測與管理中得到廣泛應用，為水資源取水動態監管、智能預警、一站式業務線上服務等提供了堅實的數據支撐，有效促進了安徽省水資源監管能力提升。

關鍵詞：水資源;多元數據;數據融合;數據治理

中圖法分類號：TP311.13;TV213? ? 文獻標志碼：A? ? ? ? ?DOI：10.19679/j.cnki.cjjsjj.2021.0516

水是人類賴以生存的自然資源，同時也是國家經濟發展與人民生活水平持續提升的關鍵所在，最嚴格水資源管理、創建節水型社會、改善水生態環境等是當前我國開展的重要工作。數據是水資源管理的基礎，水資源管理涉及水源、取水口、取水戶、排污口等多類信息，每類信息不僅包含基礎、空間、多媒體等靜態數據，亦包含水量、水質、排污等實時動態數據。水資源取用水相關數據存在數據種類各異、分布地點各異、數據管存形式各異及數據庫表結構各異，以及數據難查、難找、難管等多種問題，制約著數據資源服務與支撐作用發揮。

以安徽省為例，在水資源監測數據采集方面，水資源各類監測點工況各異，采用的通訊接口、通訊協議、采集頻次等各不相同，技術標準不一;在水資源數據融合方面，取水、水源地、入河排污口、調水斷面等監測系統建設先后開展，相對獨立;在數據管理方面，當前各市縣自行開展的系統建設，多數數據落地于本地機房，小部分系統數據落地于承建單位的私建機房或商用云平臺，存儲方式、庫表結構、數據治理等方面亦存在很大差異。針對上述情況，專設研究課題對安徽全省水資源數據基本情況的調研和分析，開展數據集中采集軟件與解析技術、數據整編及核查登記方法、虛擬下位儀表等數據共享技術的研究，完成水資源多元數據異地異構數據的集中監測與管理，形成水資源數據服務，為水資源業務管理提供支撐。

1? 水資源多元信息匯集技術路線

基于對水資源取用水業務管理數據的集中梳理，調研根據不同類型數據的存放地點、方式等情況，構建了一體化多元信息匯集技術路線，如圖1所示。對于紙質數據、電子數據及需調研核查的數據，通過整編、校核、編碼等流程，變成可入庫數據，通過數據匯集錄入模塊實現不同地區的數據匯集;對于已存放在平臺內的靜態數據采用webservice接口的方式進行數據共享;對于已存于取用水戶本地的數據，采用虛擬下位儀表的方式，軟件模擬RTU采集并上傳數據;對于集中存儲的動態數據，采用消息組件的方式，實現數據的實時共享;對于尚未監測的動態數據，采用統一采集與解析的方式進行在線采集。系統設計并開發數據庫，同時研究并開發與實際需求匹配的數據共享接口、數據匯集模塊、集中接收軟件、數據共享組件等，最終實現數據入庫、關聯匹配、數據服務及數據無限檢索等。

2? 多元數據集中監測

2.1? 統一采集通信協議

通信協議統一是實現水資源各類數據集中采集的基礎，目前國家頒布了兩部水資源相關傳輸協議，分別是《水資源監測數據通訊規約（SZY206-2016）》和《水文監測數據通信規約（SL651-2014）》，水資源涉及的水量、水位、水質等數據采集與傳輸，均可按照或參考上述標準，因此，對于安徽省新建水資源相關系統應嚴格執行上述技術標準，對于全省已建水資源監測系統，應按照上述標準進行技術改造，最終實現全省水資源數據采集協議的標準統一。

以水資源取水監測數據采集為例，由于計量設備通信協議未實行統一標準，且不同取水戶先期安裝計量設備種類眾多，不同品牌的計量設備往往具有自定義的通信協議。據調研統計，安徽省取水計量監測點安裝的計量設備就有20余種之多。若實現對不同計量設備的數據采集，需設計通用協議轉換軟件模塊，實現對不同省內常見的不同協議計量設備無障礙數據采集，并轉為統一的SYZ206-2012協議，進而實現向水資源取水監測平臺的數據傳輸發送。

2.2? 數據集中采集

數據集中采集與管理是打破數據壁壘最有效的方式，也有利于建設資源共享、降低項目投資。數據集中采集需根據標準協議，定制開發省級集中采集軟件，支持水資源各類站點數據的在線接收、解譯、存儲與管理。以安徽省為例，構建了省級的數據集中采集系統，可實現對全省水資源水量、水位、水質等信息的在線集中采集與管理。對于取水口核查登記等基本信息，采用線下核查、線上填報、系統管理的模式，將監測數據與基礎數據關聯，并納入省水利云平臺統籌管理，實現水資源全量數據的云端管理。

2.3? 一套數據計算算法

統一數據計算算法是保障數據一致性的關鍵，以非農業取水量數據計算算法為例，安徽省采用同套計算策略，對于同一監測點，固定時間節點采集數據，并用一套算法開展水量的計算，對內對外提供的數據成果為計算后的結果數據，這樣解決了因計算時間節點與計算方法的不同，導致水量數據差異性等問題。

2.4? 計量數據圖片集中采集

在實際應用中，部分取水點已安裝不具備在線采集數據的計量設備，且現場無法重新安裝、更換新的計量設備，針對此類應用場景，研究采用定時拍照與圖像識別的方式，采用開放式FTP協議，實現各站點向FTP服務器制定路徑，基于4G通道向圖像集中采集平臺指定端口服務實時上報，定時發送圖片信息。基于圖像識別技術，開發數據識別軟件，識別出現場的瞬時流量和累計流量，進而實現數據的采集與上傳。此外，獲取圖片通過標準數據報文解析，完成站點運行狀態等情況的在線監控，并將該部分數據通過服務的方式上報至監測平臺。

3? 多元異構數據匯集

據調研，安徽省內來安縣、蚌埠閘、淠史杭灌區等單位早期建有取水在線監測系統，數據都在機房存儲或PC機中。由于各系統的數據庫表設計不同，監測的目標要素各異，數據制式亦不規范，導致所建取水監測數據無法直接共享接入。與對于此類監測系統，此前均采用重建系統或取水計量監測站的方式實現數據的監控。前者是拋棄已有系統，按照國家水資源監控能力建設項目辦制定的標準，重新設計數據庫庫表及系統軟件;后者是避開已建系統，重新安裝計量及監測設備。兩種方案均會導致資源的大量浪費，且新舊系統數據源不一致，統計周期也存在不同，常會出現數據不匹配的現象，嚴重影響水資源取用水監控項目建設和最嚴格水資源管理工作的開展。

通過分析異構數據源技術標準、數據類別和共享策略，利用計算機軟件和虛擬技術，對異構數據共享、數據質量控制、數據規整、數據模型構建、數據資產管理等技術進行了研究，開發了虛擬下位儀表采集、異構數據匯集與數據資產管理軟件。系統可兼容Oracle、SQLServer2000、Access等各類數據庫，軟件將不同數據庫的操作方式進行封裝，用戶可根據不同數據庫通過“工具—數據庫—數據庫選擇”進行選擇。同時，構建取水計量、取水水源、取水工程、取水戶檔案、取水戶排污口等多元信息關聯模型，按照一數一源的思路，實現跨地區跨平臺信息集中監管。

4? 水資源數據融合與治理

4.1? 數據治理

基于監測數據、基礎數據、多媒體數據、文件（非結構化數據）、數據庫表等不同結構數據，通過數據規整、邏輯判斷、數據清洗、數據建模完成從數據接入到數據治理過程，讓數據成為可靠性高的數據資產，進而為業務系統提供數據共享、數據分析和其他數據服務，支撐各業務系統作業需求。平臺上開發了30余種錯誤數據檢查組件，針對水位、水量、水質等實時監測數據與歷史監測數據、相關工程基礎數據之間的邏輯關系，構建了30多種數據清洗轉換處理模塊，實現對各類數據的邏輯判斷和清洗，完成數據的治理。

4.2? 數據融合

基于水資源取用水多元信息的匯集，形成了水資源數據管理和服務，通過數據關聯關系梳理，確定了每類數據的關聯對象，然后找到數據的關聯因素，建立好數據關聯模型，開發數據融合軟件，實現對水資源取用水綜合信息的融合與檢索。按照水資源數據分類，信息查詢模塊可分為水資源取水監測信息、取水許可信息、取水計劃信息、水功能區和水源地信息、取水工程信息、取水戶“一戶一檔”信息、排污口信息等，根據各專題信息的特點，分布定制信息展示模塊，實現對各類專題數據的匯集查詢和分類查詢。綜合而言，在已建綜合信息展示及分類信息展示的基礎上，按照數據關聯模型，研究并開發了數據聯想查詢功能，通過單項數據的查詢或單項業務的辦理，可聯想查詢相關數據。例如，查看取水工程基礎信息時，自動聯想查詢相關聯的水源地、取水戶、取水量等對象;若選擇關聯取水戶之后不僅可看取水戶基本信息，亦可進一步聯想查詢其關聯是取水許可、取水計劃、排污口、取水量、水源地及取水工程等;實現無限聯想檢索。

5? 結語

水資源業務類別多、管辦壓力大，需要強有力的數據資源支撐。課題通過研究并構建水資源多元數據采集與匯聚體系，開發數據治理與融合模型，打通從數據采集到數據服務的全過程通道，有效解決數據難查、難找、難管等問題，對于推動水資源監管數字化與智能化發展有重要意義。

參考文獻：

[1]趙芳，華東，田質勝，等.基于水資源監測的多元大數據平臺研究[J].水利信息化，2020（03）：6-9+15.

[2]馮鈞，許瀟，唐志賢，等.水利大數據及其資源化關鍵技術研究[J].水利信息化，2013（04）：6-9.

[3]李文，李永欣，王興浩，等.基于數據核心技術的水資源信息平臺融合設計[J].中國農村水利水電，2018（09）：64-68.

[4]王銘銘，徐浩.基于物聯網的安徽省農田灌溉實時監測及自動灌溉系統研究[J].節水灌溉，2017（01）：68-70+75.

[5]劉超.基于虛擬下位儀表的水資源取水實時監測技術研究[J].治淮，2019（02）：34-35.

[6]向莉英，張濤，達瓦次仁.西藏水資源業務數據管理現狀與建議[J].水利信息化，2016（05）：70-72.

Discussion on Water Resources Multivariate Data Fusion and Governance Technology

Wang Mingming 1? ? Dong Kaisong 2

[1. Anhui Province （Huaihe Water Conservancy Commission of the Ministry of Water Resources） Hydraulic Research Institute，Hefei，230094，China;2. Hualiangting Irrigation District Management Office，Anqing City，Anhui Province，Anqing 246511，China]

Abstract：Water resources diversified data fusion and governance is the only way for water resources to move towards intelligent management. Discussed water resources diversified data fusion and governance technology，including diversified data aggregation，data fusion，data governance，etc.，to realize the integration of water resources data resources，dynamic management and efficient services. Technical achievements have been widely used in the water resources supervision system of Anhui Province，which has promoted the development of digital and intelligent water resources management. The results have been widely used in the monitoring and management of water resources in Anhui Province，providing solid data support for the dynamic monitoring of water resources and water intake，intelligent early warning，and one-stop business online services，effectively promoting the ability of Anhui Province to monitor water resources promote.

Keywords：water resources;multivariate data;data fusion;data governance