長江水文大數據平臺架構設計研究

高露雄 劉迪 陳雅莉

摘 要：本文分析了長江水文現有數據中心在應對海量多源異構水文數據的存儲與處理時存在的問題，在總結水文大數據的內涵和特征的基礎上，研究介紹了基于水文對象的大數據組織、基于Hadoop的分布式存儲體系和冷/熱分層存儲策略、耦合水文模型的大數據分析以及水文大數據可視化等水文大數據平臺關鍵技術，并在此基礎上研究設計了長江水文大數據平臺架構，以期為平臺落地建設提供理論和技術支撐。

關鍵詞：水文大數據;數據組織;大數據分析;可視化

中圖法分類號：X524? ? ? ? ? ? ?文獻標志碼：A? ? ? ? ? ? DOI：10.19679/j.cnki.cjjsjj.2021.0616

水文數據是國民經濟和社會發展的重要基礎性數據，為水旱災害防御、水資源管理、河湖管理、水工程建設與管理等提供重要基礎支撐。長江水文在水文信息化建設進程中，始終圍繞水文數據核心資源，提升水文數據采集、存儲、管理、分析和應用能力，為治江事業發展提供了有力的數據支撐。特別是近年來通過實施“三個一”水文信息化工程，開展了水文數據標準化建設、水文數據對象化組織、水文數據資源整合、水文數據管理與服務等工作[1]，構建了水文數據資源一個中心，初步實現了以水文測站為對象的水文數據統一存儲、統一管理和統一服務，有效支撐了防洪預報調度、水文測驗管理、水文資料整編、水文一張圖等業務應用。

隨著長江水文信息化建設的大力推進，水文數據采集基礎設施及應用系統數量越來越多，水文數據的內涵不斷外延，范圍不斷擴展，數據量呈指數級增長。水文數據涵蓋實時監測數據、歷史整編數據、河道斷面及地形數據、衛星遙感數據、非結構化的網絡輿情、視頻圖像以及水文分析總結成果文檔等多種數據形式。而且近年來，水文監測體系和能力的提升，水文監測設備種類的增加，監測站點數量的增多，監測數據采集頻率的加快，使得監測數據量急劇上升[2];防洪調度、水文分析等業務中應用水文模型預報、推演、調度而產生的數據量也正迅猛增長;同時視頻、圖像和文檔等非結構化數據也大量累積。現有水文數據處理體系已無法應對海量多源異構水文數據帶來的數據高效組織、存儲與處理挑戰，主要存在以下典型問題[3]：（1）支持存儲類型單一，僅適用結構化監測數據，不能存儲和處理非結構化數據;（2）數據存儲能力有限，采用傳統方式存儲海量水文數據對硬件配置要求非常高，即便硬件性能的發展非常快，也趕不上數據增長的需求;（3）數據處理效率低，數據檢索主要依賴底層結構化數據庫系統，數據處理多為單節點串行處理，無法應對大數據量、強時效性的應用需求;（4）歷史數據資源利用率低，一方面處理能力無法支撐大量歷史數據的聯合分析計算，另一方面當前采用的結構化分析方法和工具也不能滿足歷史數據深度分析的要求。如何應對當前數據量高速增長的勢頭，實現對海量多源異構水文數據的高效利用，是水文數據管理、數據處理領域亟待解決的問題。

大數據伴隨著互聯網時代信息量爆炸式增長而生，以其分布式存儲與計算理念顛覆了傳統思維方式，有效解決了數據急速增長態勢下數據分析處理和知識挖掘的難題[4]。大數據時代的信息運行模式正在改變人們的工作和學習方式，將大數據技術應用于行業海量數據處理和智能分析，挖掘行業大數據價值，已經成為行業信息化建設研究的熱點[5-7]。

1? 水文大數據的內涵與特征

水文大數據以空天地一體化的智能水文監測信息網為主要數據源，通過整合集成來自各個業務領域不同技術手段獲取的涉水觀測信息，形成時空要素相對完備、內容豐富、形式多樣的水文大數據集，涵蓋原始數據（地表水、地下水、水文氣象、土壤墑情、水質、水生態）、整編成果（地表水、地下水、土壤墑情、水質）、調查信息（洪水、暴雨、水資源）、評價分析成果（水資源評價;水文分析計算成果）、流域屬性（河道，湖庫，濱海，地形地質）和其他（包括社會水循環類）等六類基本數據。隨著技術的發展和研究的深入，水文大數據的內涵也在不斷外延，越來越多過去沒有用來參與水文要素演化分析的數據被納入進來，大數據、云計算等技術的發展也為多源水文要素的關聯分析提供了計算環境，使得過去無法用來參與決策的涉水要素能夠在決策中發揮作用，成為水文大數據的重要數據來源之一。其中主要是網絡數據，包括國內外相關機構網絡共享的各類數據資源庫和可通過網絡爬蟲獲取的網絡非資源型數據，如網絡輿情數據。

隨著水文事業不斷發展和信息化建設的不斷推進，水文行業積累了大量歷史數據，與此同時，遙感、GIS、衛星拍攝、AI視頻、移動互聯網等現代化信息技術的發展與應用，全面擴展了水文數據的要素類型。水文數據已逐漸呈現出多源、多維、大量和多態的大數據特性。當前，水文大數據的特征可概括為以下幾點[8]：（1）數據總量大。水文數據為一系列的時間序列數據，且覆蓋全國各大流域及行政區劃的大、中、小河流流經的區域，具有海量數據的特性，數據總量在TB級以上。（2）數據類型多。包括實時雨水情數據、基礎水文數據、水質數據等主要結構化業務數據，地理信息數據、衛星遙感數據、成果文檔等半結構化數據和非結構化數據。（3）數據持續增長。水文工程的預報、防汛等應用不斷增加，監測站點密度提升，監測頻次提高，數據增加速度不斷加快。（4）數據價值高。水文數據作為水文行業資源性產品，是防汛抗旱、水資源管理、水工程建設等經濟社會活動處置的依據，蘊含較高的價值。

2? 設計水文大數據平臺關鍵技術與難點

2.1? ?基于水文對象標識的數據組織

水文大數據包含數據類型眾多、結構不一、標識各異，如何有效組織水文大數據，實現信息有序集成和唯一標識，是水文大數據應用的重要基礎。可利用對象化組織思想，以水文實體為對象，給該對象賦予唯一標識，將對象所有的屬性和行為數據通過該對象標識關聯起來，并據此將所有屬性數據關聯為一個信息集合，實現水文數據的對象化組織[9]。水文實體對象的定義有兩種，一種是按照水文對象的物理狀態定義的基本對象，如具體的測站、河段、機關部門等，其特點是邊界清楚，與結構化數據組織的切合度高。另一種是因水文決策需要定義的非實體對象，可以是邏輯實體或問題域，如水文年鑒、場次洪水災害事件，其屬性往往包含多個基本對像和屬性，這類對象稱為復合對象。基本對象的構造，通過定義其水文對象標識編碼與對象屬性的信息關鍵字編碼的關聯來實現。復合對象的構造，通過與基本對象的關系關聯來實現。

按對象組織水文數據，就是將某個給定水文對象的所有屬性數據通過統一對象標識組織在一起。為了適應大數據條件下對象化信息組織與應用需求，必須對水文實體對象進行分類與編碼，用于標識和組織復雜結構（如結構化與非結構化混合）的數據，形成水文大數據結構。考慮到隨著水文信息化的推進，物聯網技術的應用將在水文行業普及，因此可采用類似物聯網標識來標識水文對象[10]。

2.2? ?基于Hadoop的分布式存儲體系與冷熱分層存儲策略

采用關系數據庫和分布式文件系統結合的方式，滿足水文大數據海量數據集中存儲以及結構化和非結構化數據統一管理的要求。基于Hadoop的分布式文件系統（HDFS，Hadoop Distributed File System）是被設計成適合運行在通用硬件上的分布式文件系統，是一個能提供高吞吐量數據訪問的高度容錯性系統，具有高容錯性、適合大數據處理、流式文件寫入和可部署于低廉的分布式硬件系統之上等特點[11]。HDFS分布式文件存儲系統能夠集成和匯總異構的數據源，為數據分析提供統一、完備的數據存儲。

對于海量數據的存儲，不僅要求具有較高的安全性和完整性，還要求具有較高的數據處理和讀寫效率。若不加區分的將所有數據全部存儲在某一存儲設備中，則容易造成存儲資源利用效率低下，并帶來極大的投資和管理成本，也難以適應未來業務發展趨勢。一般認為，數據在被創建之初普遍具有需求量較高、訪問量較大和價值較高等一系列相關特性，而隨著時間的推移，對于數據的需求也會隨之變化。可將這種需求量高、訪問量大、價值高的數據稱為熱數據，熱數據是業務應用訪問的熱點數據，需要較高的讀取性能。而隨著時間的推移，熱數據會慢慢“變冷”，對應訪問量會降低，變成冷數據。冷數據對存儲讀取性能要求相對較低，但數據量會隨時間不斷增長，對存儲量需求高。根據數據在不同時間階段具有不同價值的特征[12]，采用冷/熱分層的數據存儲策略，將熱數據存儲在內存、固態硬盤等高性能但相對昂貴的存儲設備中，讓熱數據更高效的參與計算，將冷數據存儲在機械硬盤、磁帶庫等大容量高性價比的存儲設備中，實現冷數據集中存儲。冷/熱分層的存儲設計能更加高效地利用有限存儲空間，節約大量投資，且通過優化數據存儲，提升系統的整體性能。

2.3? ?與水文模型耦合的大數據分析

水文大數據分析是根據主題化的應用需求進行數據處理分析。通用大數據分析方法大多基于數值方法、統計方法或機器學習，水文數據應用這樣的數據處理鏈條可以分析挖掘出一定的潛含價值信息，為推動認識和發現水文規律提供一種可行的方式[8]。但另一方面，在現實意義上這樣的分析結果可能因缺乏理論支撐或與現有水文規律認知存在偏差而無法充分應用。因此，水文大數據分析除集成通用數據處理方法外，還需集成具有水文學背景的水文模型。水文模型處理中存在模型異構性和復雜性等問題，在應用大數據分析時需要對模型進行封裝和管理[13]，通過模型元數據設計、模型封裝集成以及“數據—模型”耦合校驗，構建“數據—模型”間的數據互通接口，將水文數據與模型耦合起來形成數據分析處理鏈。此外，精細水文模型往往需要大規模計算能力，借助大數據技術提供的并行計算能力，利用Hadoop技術體系提供的并行式MapReduce計算實現多節點高效數據處理，可有效解決傳統水文模型計算單機處理中計算性能不足的難題。

2.4? ?水文大數據可視化

大數據分析應用離不開對分析結果的解釋與展示。若數據分析的結果不能得到恰當的顯示，則會對用戶產生困擾，甚至會誤導用戶。將數據可視化技術應用于大數據的理解、分析和結果展示，是大數據應用的重要技術手段之一，通常稱為大數據可視化。大數據可視化，不同于傳統的數據可視化，面臨的最大挑戰就是數據規模和復雜結構[14]。需要提出新的可視化方法幫助用戶理解大數據分析得到的大規模、高維度、多來源、動態演化的分析結果，并輔助作出實時的決策。常用的大數據可視化技術有標簽云、聚類圖、歷史流圖、熱圖等[15]。

水文大數據可視化在借鑒應用傳統大數據可視化技術的基礎上，更多地關注水文數據的長時間序列和大空間尺度的特性，多采用與地理位置相結合的方式，如基于地圖疊加多維水文數據進行分析展示，利用三維仿真技術對水文數據的時空變化進行虛擬仿真和推演。

3? ? 長江水文大數據平臺設計

3.1? 總體架構

基于水文大數據處理與分析的需求，依照軟件體系結構理論及軟件工程方法，構造長江水文大數據平臺總體架構，主要包括水文大數據存儲管理層、水文大數據組織處理層和基于大數據的水文業務應用支撐層三個部分，其架構如圖1所示。

3.2? ?水文大數據存儲管理

水文大數據存儲平臺應用云計算和分布式文件系統、關系型數據庫等技術體系，實現不同結構（結構化/非結構化）的巨量水文數據存儲。在此基礎上，實現基于水文對象信息組織模式的數據集成與抽取，為水文大數據分析處理提供高效率的專門數據存取服務。

水文大數據存儲平臺實現基于HDFS的海量異構水文數據的匯集與存儲，為數據分析提供統一、完備的數據存儲。支持多種來源、不同結構的水文數據接入，如通過數據轉發接入各類在線報送實時數據（包括監測要素數據和監測行為狀態數據），通過服務接口或數據同步接入各類已建水文業務系統的節點數據，通過數據接口或網絡抽取接入其他領域交換共享數據和網絡數據。支撐通過數據凈化、綜合、分類、整編、識別等ETL處理實現基于水文對象信息組織模式的數據集成與抽取，為上層數據組織和數據倉庫提供支撐。

3.3? ?水文大數據組織處理

水文大數據組織處理平臺主要由水文數據網絡、水文數據場景及水文知識圖譜三個部分組成，實現水文大數據的網絡化、場景化和知識化組織。組織平臺通過建立和維護資源目錄、元數據、對象標識、信息標識和知識圖譜，統一生成和維護面向不同主題和場景的各類數據集合，實現數據的動態主題化、對象化和場景化再組織。

水文大數據組織處理平臺同時實現對計算資源的組織管理，支持基于MapReduce機制的大數據流/批處理，提供數據挖掘、機器學習和可視分析等大數據分析工具，為業務應用支撐平臺提供數據資源和計算資源。

3.4? ?基于大數據的水文業務應用支撐

基于大數據的水文業務應用支撐平臺是整個水文大數據平臺的核心，封裝各種計算方法和水文模型形成數據分析服務池，用戶可以組織相應的數據集合，并針對性地在分析服務池中列表中選擇對應算法，亦可上傳自定義算法，對數據集合進行運算，應用知識圖譜解釋分析結果，支撐實現基于大數據的水文業務應用。

基于大數據的水文業務應用支撐平臺將數據能力和計算能力封裝為標準接口供業務應用使用，同時實現對能力接口的維護和管理。在水文大數據組織平臺的支撐下，綜合運用常規數據與大數據處理技術，完成面向特定水文問題的數據分析與服務任務。

4? ?結語

隨著水文數據量的不斷增大，數據類型不斷擴展，各行業用戶需求不斷增多，多源異構海量水文數據的集成處理與分析應用日趨重要。建設水文大數據平臺，實現水文大數據資源的集中統一、安全可靠的存儲和管理，構建統一的信息組織和處理體系，建立基于大數據的水文業務應用支撐環境，為水文行業大數據集成應用提供了可行的架構模式。對長江水文落地水文大數據平臺建設，筆者提如下3點建議。

（1）在推進重點上，注重水文數據資源網絡構建，發力智能數據挖掘算法。基于水文數據內在關聯，通過水文對象組織各類數據，構建水文數據資源全景圖。在此基礎上，面向業務領域組合形成數據集，并應用大數據處理工具，設計智能數據挖掘算法，實現與業務融合的大數據分析。

（2）在技術應用上，注重實用，保證先進，加強大數據與AI的技術融合應用。大數據作為新型信息技術發展迅速，建設水文大數據平臺要注重選擇成熟先進的技術方案，最大程度發揮技術優勢，減少技術成本。此外，建設水文大數據平臺不只是為了數據查詢與管理，更重要的是為智能分析、機器學習、知識發現提供基礎平臺，因此要加強與AI等智能技術的融合應用。

（3）在思想認識上，要積極“擁抱”大數據，轉變觀念，以新的方式利用數據。大數據已經在眾多行業展現了其重要價值。水文大數據或許能提供另一種有別于傳統水文學的發現和認知水文規律的可行途徑。水文行業應積極擁抱大數據，改變經驗的傳統思維模式，以新的態度看待數據，以新的思維方式利用數據，從中獲取新知識，創造新價值。

參考文獻：

[1]陳春華，程海云，肖志遠.長江水文信息化建設實踐與發展思考[J].人民長江，2015（3）：70-73.

[2]艾萍，于家瑞，馬夢夢.智慧水文監測體系中的關鍵技術簡述[J].水利信息化，2018（1）：36-40，45.

[3]邱超，許金濤，元曉華.基于大數據技術的水情云數據中心設計與研究[J].浙江大學學報（理學版），2019（1）：92-100.

[4]方巍，鄭玉，徐江. 大數據：概念、技術及應用研究綜述[J]. 南京信息工程大學學報，2014，6 （5）：405-419.

[5]陳軍飛，鄧夢華，王慧敏. 水利大數據研究綜述[J]. 水科學進展，2017，28（4）：622-631.

[5]蔡陽. 以大數據促進水治理現代化[J]. 水利信息化，2017 （4）：6-10.

[6]蔣云鐘，冶運濤，趙紅莉.智慧水利大數據內涵特征、基礎架構和標準體系研究[J].水利信息化，2019（4）：6-19.

[7]陳華，徐堅，肖志遠，等.水文大數據共享平臺研究與設計[J].水資源研究，2018（1）：10-18.

[8]陳春華，陳雅莉.水文信息的對象化組織與應用探討.大數據時代的信息化建設——2015（第三屆）中國水利信息化與數字水利技術論壇論文集，2015：87-95.

[9]錢峰，張志新.水利信息資源目錄編制要點解析[J].水利信息化，2021（1）：14-19.

[10]饒小康.水利工程灌漿大數據平臺設計與實現[J].長江科學院院報，2019（6）：139-145，170.

[11]劉穎，葉茂，王耀魯，等.分級存儲技術及其在水利大數據處理中的應用[J].水利信息化，2019（6）：18-22.

[12]張耀南，艾鳴浩，康建芳，等.地學大數據處理架構與關鍵技術研究[J].數據與計算發展前沿，2020（2）：91-100.

[13]蔣云鐘，冶運濤，趙紅莉，等.水利大數據研究現狀與展望[J].水力發電學報，2020（10）：1-32.

[14]趙杏杏，鞠茂森，劉威風，等.基于大數據可視化的河長制中樞指揮系統建設[J].水利信息化，2017（6）：17-22.

收稿日期：2021-11-19

作者簡介：高露雄，男，工程師，主要從事水文信息化相關工作。E-mail：gaolx@cjh.com.cn

通訊作者：陳雅莉，女，正高級工程師，研究方向為水文信息化。E-mail：499548458@qq.com

Research on the Architecture System Design of the Yangtze River Hydrological Big Data Platform

Gao LuXiong Liu Di? ? Chen YaLi

（Bureau of Hydrology，Changjiang Water Resources Commission，CWRC ，Wuhan 430010 ，China）

Abstract：This article first analyzes the existing problems of the BOH hydrological data center in dealing with the storage and processing of massive multi-source heterogeneous hydrological data. Based on the connotation and characteristics of hydrological big data，the research introduces the big data based on hydrological objects. Organization，Hadoop-based distributed storage system and cold/hot hierarchical storage strategy，coupled hydrological model big data analysis and hydrological big data visualization and other key hydrological big data platform technologies，and design the hydrological big data platform architecture，expected to provide theoretical and technical support for the construction of the Yangtze River Hydrological Big Data Platform.

Keywords：Hydrological Big Data ;Data organization;Big data analysis;Visualization