浙江省水利基礎數據更新機制的研究與應用

邊國光，張仁貢，金宣辰

（1.浙江省水利信息管理中心，杭州310000；2.浙江同濟科技職業學院，杭州311231）

1 水利基礎數據中心建設的意義

水利基礎設施主要包括：水利信息網、水利基礎數據中心和水利信息采集的設施，其中水利基礎數據中心完成了數據的訪問服務，水利數據信息的匯集與存儲、通用業務應用服務與邏輯管理；而業務應用由兩部分組成即用戶應用和支撐應用。其中，支撐應用是指以公共服務為方式，由數據中心進行統一管理，其中包括了公用處理的業務邏輯。水利信息的數字化在某種程度也反映了水利信息化的水平。水利數據的集成程度越高，其種類和數量也越豐富，水利信息化資源的開發與利用價值也就越大。

存儲和管理、匯集、服務和交換水利基礎信息數據的中心稱為水利基礎數據中心，是水利信息化建設的最重要基礎部分。浙江省水利數據中心在國家及行業的標準下，按照浙江省水利信息化建設“十二五” 規劃的要求進行建設。主要包括了數據交換平臺、數據實體、支撐應用與服務等部分內容。水利數據中心通過提供各類信息服務，深化了水利信息資源的開發利用，通過有序匯集水利信息，形成了有用和可用的水利信息資源，達到了實現信息共享、規范信息表示、降低業務成本、改進工作模式和提高工作效率的目的。

浙江省水利基礎數據中心是一個面向全省水利信息化建設的核心共享型數據平臺，在水利信息存儲、管理、匯集、交換和服務的過程中發揮了核心作用。通過建設水利數據中心，可以實現信息資源的共享化和配置的最優化，使業務應用多目標、多層次的綜合信息服務需求得到了滿足。這些需求包括水資源管理數據庫、水文基本數據管理數據庫、水利工程基本信息數據庫、水利空間管理數據庫、水利技術標準管理數據庫和水利行政管理基本信息庫，具有集中分布式數據管理、多專題 （水利狀態監測實時數據、水文水資源數據、水行政業務數據、地理空間數據、水利技術標準數據、多媒體數據等）、多源（業務處理系統、基礎數據采集和監控系統、國土氣象等橫向數據接口）、多層次（省、市、縣三級聯動）、水利信息資源集中管理、海量數據等特點，安全規范、共享服務的浙江省水利數據中心，對水利基礎數據的可靠性、準確性及可擴展性方面的要求很高，基礎數據的準確性、完整性必須有較好的保證，隨著基于水利普查數據的浙江省水利基礎數據中心的推進建設，存儲數據的更新問題，即如何使浙江省水利基礎數據中心，形成省、市、縣聯動維護更新機制，已經成為迫切需要解決的問題，對數據中心的存儲數據更新機制的研究，對水利信息化基礎設施建設具有重要意義。

2 水利基礎數據中心建設的總體方案

水利數據中心由 “信息服務”、“信息匯集與存儲”和“支撐應用”等部分組成，它們之間是不可分割的邏輯部分，而數據信息的匯集與存儲是豐富水利信息化資源的技術措施。

水利基礎信息數據是通過匯集和存儲，在各級節點上形成了數據表。數據表是信息匯集為資源的核心環節。水利基礎數據中心的數據庫是信息數據資源整合和同化的基礎，是信息標準化的重要技術措施。系統總體方案設計如圖1。

圖1 系統總體方案設計

從圖1可知，將對浙江省水利基礎數據中心的數據進行分析與歸類，針對不同來源數據、不同類型數據，提出更新的流程和方案，總結出多種更新的模式，針對不同更新模式，選取典型案例進行分析，分析省市縣各級業務和基礎數據顆粒度，從技術標準體系、省市縣三級聯動機制、安全體系、管理體系、循環體系、保障體系等多個角度，形成數據更新機制。

2.1 水利基礎數據的分析設計

2.1.1 分析存量的數據

分析、收集省中心現有的數據，包括水資源、水文、水利管理、水工程中的數據。

2.1.2 分析增量的數據

根據水利業務活動，分析今后進一步擴充增加的數據內容、數據類型。

2.1.3 理清數據管理的思路

針對日常管理工作中產生的數據和其他水利基礎數據，以數據更新的頻率為參考，劃分業務層的數據、基礎層的數據、管理層（架構層）的數據、動態層的數據。

按照“數據分層、層中有類、類中有別”，平臺內的數據“不交叉、不重復”為原則，對平臺內的數據，設計了“分層別類”的管理方法；分析了各類數據的應用對象和使用要求，按類和層設計了相應數據管理的措施。在兼顧中間的數據、動態的數據基礎上，著重放在水信息數據中心平臺中數據的存儲和更新上。

2.2 數據采集和數據更新機制設計

圍繞數據“如何獲取、如何更新、誰來更新”等問題，進行采集系統的設計。

以省數據中心的數據為對象，以提高數據“新鮮度”為目標，樹立數據的權威性，以及時更新完善數據平臺中的數據要求，繪制了數據來源及匯聚圖，分析了數據來源和流程，設計了數據采集更新的途徑和方式。

水利基礎數據中心的數據分析工作，包括數據結構、數據類型、數據來源、數據渠道等分析，以數據分類和分層為主要手段，根據數據特點和應用的要求，梳理數據和應用之間的相互關系，分析了各類基礎的數據及數據管理的維護部門，為提出數據更新模式打下堅實的基礎。

2.2.1 分析存量的數據收集、分析省中心的現有數據，包括水文、水資源、水工程、水利管理中的數據。

2.2.2 分析增量的數據根據水利業務活動，分析今后會進一步擴充增加的數據類型、數據內容。

2.2.3 數據的分層分類數據分析技術研究路線如圖2。

圖2 數據分析技術研究路線

2.3 數據匯聚方案編制

以數據流的管理為視點，從項目的建設、數據的來源開始分析，以項目的實施和建設過程為主線，以計劃項目管理系統、申報系統等系統為抓手，實現“人”與數據掛鉤、項目與數據掛鉤，設計數據采集的方案，“追本溯源”理清數據的數據源、種類、數據采集的方式。

數據來源和更新匯聚流程技術研究路線如圖3。

圖3 數據來源和更新匯聚流程技術研究路線

2.4 數據更新機制體系設計

在數據匯聚分析成果的基礎上，研究數據匯聚的審核機制、省、市、縣三級聯動的水利基礎數據，更新技術路線、校驗策略、各種類型屬性的水利基礎數據更新頻率、容錯機制、數據更新日志等關鍵性問題，提煉出了水利基礎數據更新機制的體系結構，包括水利基礎數據的更新、相關的技術架構體系、管理控制體系、業務循環體系、人才保障體系、安全防護體系、標準規范體系、評價考核體系等體系。

圖4 數據更新機制體系研究技術路線

3 ELT構建技術

ELT即Extract、Load、Transform，即抽取、加載、轉換：①數據抽取：即從源數據源系統抽取目的數據源系統需要的數據；②數據加載：即將轉換后的數據裝載到目標數據源；③數據轉換：按照業務需求從源數據中獲取數據，然后轉換成目標數據源，并對不一致、錯誤的數據進行清洗和加工。

目前水利數據中心的建設涉及到多方面的技術，一些通用技術如數據庫技術、空間數據技術、訪問技術、異構和集成技術，數據挖掘技術等技術，本文不作詳細介紹。由于在數據組織和集成上，水利基礎數據中心的數據格式具有多樣性，例如數據格式具有空間數據、業務邏輯數據、技術標準數據、狀態監測數據、多媒體數據等，這些數據的來源不同，數據之間必然存在著數據源的異構，因此必須要進行數據的集成處理。

3.1 ELT是數據集成的主要解決方案

數據集成是把不同格式、不同來源和不同特點的數據，在物理上和邏輯上進行了有機匯集，形成數據倉庫、智能商務等形式，從而提供了全面的數據共享服務。隨著水利行業信息化建設的不斷發展，建立了許多水利基礎信息管理系統，這些系統能夠幫助行業處理和管理行業業務。但隨著水利基礎信息管理系統的增加，各自相對獨立的信息系統將會產生大量的冗余數據，造成工作人員的重復勞動。而數據集成則可以使更多的人使用已有數據資源，減少數據采集和資料收集的重復勞動。

3.2 ELT的主要數據集成方式

目前數據集成的方式有很多，主要有數據格式轉換模式、數據互操作模式、數據直接訪問模式、公共制定數據模型、通過XML或VCT或GML的數據轉換標準模式等。制定數據轉換標準模式是將數據轉換成本國的通用規范，如我國的VCT矢量數據交換模式。公共制定數據模型是通過建立基于域的模型和基于對象的模型，利用中間組件來實現對象的域和匹配規則。在數據的組織上，對于多維度、多寬度、多時態、多類型的數據，可以與數據中心進行無縫對接，以數據倉庫的形式來組織上下級的數據。

3.3 建立面向服務的分布式數據中心

采用XML、SOA、Webservice等技術建立面向服務的分布式數據中心。利用上、下級數據中心的數據交換實現異構數據的交換和更新，異構數據的交換采取了數據交換的標準，實現元數據、ELT、XML、GML、VCT等技術。另外商用數據庫支持了海量數據的管理，如SQLSserver訂閱發布的機制、Oracle數據庫的分布式復制機制等。

3.4 ELT是構建數據倉庫的一個重要環節

ELT作為構建數據倉庫的一個重要環節，負責異構數據源的數據，如將平面數據和關系數據等抽取到臨時表中或中間庫中，再進行數據加載、轉換、清洗和集成加工等，最后將加工好的數據加載到數據倉庫中，將為數據挖掘和數據聯機處理打下良好的基礎。ELT的主要環節就是對數據進行轉換、加工、抽取、裝載等過程服務，為此，ELT工具會進行一些功能上的擴充，如數據庫引擎、工作流、腳本支持、規則數據庫、統計規則等。現在ELT越來越多地應用到了信息系統的數據交換、數據遷移或數據同步。ELT體系結構如圖5。

圖5 ELT體系結構

4 案例分析

本系統采用B/S的構架模式，采用以太網與局域網的連動功能。在應用中主要模塊有：農村供水、泵站、水庫、水閘、水電站、堤防、海塘、引調水等模塊，同時還包括了社會用水、行業能力、水利工程、灌區專項、地下水取水井等輔助模塊。

由于系統的界面繁多，以水庫為例，其內容包括水庫特征反映、水庫數量分類統計數量統計、庫容統計、水庫分布等。系統水庫分界面如圖6。

圖6 系統水庫模塊分界面

應用可知，系統將調查的靜態數據變為動態數據，為全省的水利建設和管理提供了服務平臺。

5 結語

該系統從設計到分析，從功能模塊的開發到集成，采用了最先進的技術和方法，填補了省一級的水利基礎數據的應用平臺空白。但隨著時代的發展，需要進一步對系統進行完善和升級。其開發與應用可為國內同類系統的設計提供借鑒。

［1］熊湘琛，張新長，曹凱濱.城市基礎地形數據增量更新研究［J］.測繪通報，2009（3）：24-26.

［2］王少華，邊馥苓.GIS數據庫自動更新機制研究［J］.武漢大學學報（信息科學版），2004（12）：1059-1062.

［3］操震洲，李清泉．空間數據庫的更新技術研究［J］．測繪通報，2007（11）：23－26.

［4］水利部信息化工作領導小組辦公室，水利部國際合作與科技司，水利部水利信息中心，等．水利信息化標準指南［S］.北京：中國水利水電出版社，2003.

［5］黃錦林，易小兵，陳亮雄，等.廣東省農村水利信息系統建設與思考［J］.人民長江，2013，44（11）：100－103.

［6］成建國，錢峰，艾萍.國家水利數據中心建設方案研究［J］.中國水利，2008（19）.