新疆兵團水利數據資源整合與共享的設計

陳平星 CHEN Ping-xing

（新疆兵團勘測設計院（集團）有限責任公司，烏魯木齊 830002）

0 引言

全國水利信息化規劃“十四五”發展規劃要求將數據資源的整合與共享作為新時代水利信息化建設的重要工作任務，這項任務將使得各級水利管理部門推動水利管理現代化，提升科學決策水平，形成高效的管理職能。

新疆兵團水利行業管理部門近年來通過山洪災害防治非工程措施、國家水資源監控能力建設、中小河流水文監測預警預報系統、防汛抗旱指揮系統的建設[1]，初步完成了水利工程、水文水資源等多個數據庫及應用系統建設。但是這些數據資源受管理職能部門不同、運行維護分散等原因，導致數據資源缺乏共享交換的途徑與機制，存在數據信息重復采集、更新不及時和利用率低下等問題，從而阻礙了水利信息化整體化效益的發揮。結合新疆兵團水利行業行政管理現實情況，通過對現有一系列水利數據信息資源和應用系統的整合，從而實現信息資源的充分共享與應用，為新疆兵團水利行業的現代化建設夯實基礎。

1 建設思路

1.1 數據資源整合

從新疆兵團水利行業的日常業務管理對信息數據資源的需求為出發點，根據其數據的使用范圍和相互關系，基于現有面向業務視圖建模、表達不一致的數據資源，整合形成面向對象建模、統一表達模式的數據資源，便于數據資源的共享利用，最終實現“統一模型、一數一源、共建共享、授權使用”的目標[2]。整合的對象主要包括：地理空間、雨水情監測、水利工程、防汛抗旱、水資源管理與保護、水土保持等數據資源。面對數據存儲形式和數據提供方式不同的數據資源，可分別使用物理集中和邏輯集中兩種方式。

①物理集中。

對支撐日常業務工作應用的數據資源進行物理集中整合。根據數據源的更新維護特點，可將物理集中分為兩大類。第一大類是歸并數據源的物理集中，這種方式主要是針對數據來源不唯一、缺乏統一更新維護、有廣泛共享應用需求的數據資源（即數據存在多個版本并被多用戶使用）[3]。這本應是一套的數據，卻因為來源和維護更新不一致，從而造成數據共享使用上的困難，所以這就需要將這些數據重新做整理（包括更新到統一的時間節點上）和歸并后才能夠滿足共享要求。第二大類就是維持數據源的物理集中，這種方式主要針對數據來源單一、能夠及時進行標準時點的更新與維護、同時又有共享需求的數據源。對這一部分數據源進行物理集中和整合后，不改變原來的數據源。整合之后，由共享服務數據庫來提供共享服務，原來的數據庫仍然繼續使用，但需要提供數據交換接口來保證共享服務提供所需的數據。

②邏輯集中。

對部門業務性或專業性較強的數據資源則需要進行邏輯集中。邏輯集中主要是將數據資源對應的數據資源目錄統一存儲在中心數據庫形成共享服務數據庫，數據資源自身仍然存儲在原先數據庫里，并由原數據所有者進行更新維護[4]。這類數據通常有較強的專業性，但也存在對外共享的需求，因此也要求將這些數據資源目錄進行共享。整合后原數據庫仍然維持正常運行，而數據資源目錄的共享則就需要由共享服務數據庫來進行完成。

1.2 數據資源共享

1.2.1 物理集中數據的共享

對于物理集中的數據資源，需要通過系統中心數據庫來承載數據資源。數據需求方可以通過數據共享系統進行數據資源的檢索并發起共享使用申請，然后數據管理部門可以通過數據管理系統完成數據共享申請的業務辦理。

1.2.2 邏輯集中數據的共享

對于邏輯集中的數據，系統中心數據庫只是提供數據資源目錄的共享，供需求方進行檢索。數據提供方和需求方則需要通過線下對接來完成數據交換。但是數據資源共享使用的申請、審批處理流程還需要在數據管理系統中完成，以便形成共享記錄。

1.3 應用系統的集成與改造

1.3.1 應用平臺改造

改變原有各個系統平臺相互隔離、用戶身份無法互認、平臺資源無法共享的現狀，為應用系統提供統一的門戶集成平臺。利用現有行業政務系統平臺的用戶范圍廣、用戶認證機制完備的特點，將山洪災害、中小河流、防汛抗旱等系統的應用平臺進行身份互認改造。

1.3.2 管理綜合門戶建設

通過綜合管理門戶的建設，將會提供被集成應用系統的嵌入窗口展示功能，實現窗口的定制管理，包括應用集成與嵌入窗口定制等功能模塊。

1.3.3 應用系統統一門戶集成

建成應用系統統一門戶后，各系統仍由原部門自行管理和維護，原有的系統部署位置和業務功能保持不變。

對于不滿足源程序改造條件的被集成系統可以采用映射方式與整合后的應用平臺進行身份互認，并增加用戶映射維護功能。對于滿足源程序改造條件的被集成系統，則采用CAS方式與整合后的應用平臺進行身份互認，并對用戶維護管理和身份認證功能進行升級改造。同時，利用門戶信息匯聚和信息推送技術，對被集成系統中的相關數據信息進行抽取和推送。

用戶在使用原有的應用系統時，可以利用統一的門戶窗口完成系統登錄，同時也可以使用門戶窗口處理其他相關業務，原來各應用系統自己的使用方式保持不變。系統應用授權由系統管理員根據用戶發起的申請統一辦理，各部門已建成的應用系統可以通過網站導航鏈接實現登錄的引導。

2 總體框架設計

2.1 總體架構（圖1）

圖1 總體架構示意圖

①基礎設施層：由機房設施、網絡設備、安全設施、系統軟硬件等組成。其中機房設施包括：不間斷電源、溫濕度控制設施、安防設施等；網絡設備包括網絡交換機、路由器等；安全設施主要包括入侵檢測、漏洞掃描等；系統軟硬件主要有服務器、存儲設備及其管理軟件，以及利用虛擬化技術形成的虛擬服務環境。

②信息匯聚與存儲層：是數據資源的載體，通過對各種數據源進行轉換、提取、加工等處理，形成以中心數據庫的形式進行物理集中存儲。同時，對部分數據進行邏輯集中，從而對平臺層提供共同數據支持。

③平臺層：是連接信息匯集于存儲層和應用層的通道，其中包括應用支撐、數據交換兩個平臺，為應用層提供數據交換服務和應用服務。

④應用層：是具體的應用系統構成，圍繞共建、共享、管理三個方面建設的應用系統，以及綜合門戶、數據資源服務等相關網站。

⑤用戶層：是最終的使用者，使用者分為自然人和應用系統兩類。

2.2 應用架構（圖2）

圖2 應用架構示意圖

應用架構由一系列具體應用系統構成，包括數據資源的共建、共享和管理等系統。

2.2.1 數據共建系統

數據共建系統包括數據遷移與轉換子系統、數據更新子系統和數據資源目錄注冊子系統。系統提供不同的數據資源建設方式與技術手段，同時采用物理集中、邏輯集中兩種方式，將原來的離散、多源、異構、分布的數據資源進行整合，從而實現系統建設過程中的數據整合以及系統建成后數據資源的統一更新和維護。

2.2.2 數據共享系統

數據共享系統包括數據展示、數據檢索、數據調用、數據資源統計四個功能子系統。系統基于統一的身份認證和訪問授權，為用戶提供多種的數據資源共享方式和數據共享服務功能。

2.2.3 數據管理系統

數據管理系統一共包含了數據資源目錄管理子系統、對象數據管理子系統、數據調用管理子系統、數據推送管理子系統、運行情況檢測與評價管理子系統、元數據管理子系統等子系統，可以對各類數據資源目錄、對象數據、元數據等進行分類管理。

2.2.4 數據資源服務網站

數據資源服務網站為用戶提供統一的信息資源訪問通道。

2.2.5 管理綜合門戶

管理綜合門戶為應用系統提供嵌入展示，可以集成原有的信息化系統、數據資源服務網站、數據共建共享以及管理等應用系統展現窗口集成到門戶中，通過訪問授權來區分系統展現窗口的可用性，并提供頁面展現內容的個性化定制。

2.3 數據架構（圖3）

圖3 數據設計架構示意圖

根據水利行業的業務工作和數據需求，在數據方面要完成的工作有：將現有數據資源按要求進行規范的整合，從而形成共享服務數據庫，滿足對外提供數據共享和使用的需求。

2.4 技術架構（圖4）

圖4 總體技術架構圖

在技術實現層面上，由下至上分為四個層級，分別是基礎設施層、信息匯集與存儲層、平臺層以及應用層。

基礎設施層：采用虛擬化、集群、負載均衡、分層存儲等技術構建計算資源池和存儲資源池，提高服務器和存儲設備的利用率及動態配置能力，從而節約后續購置、運行和管理成本[5]。

信息匯集與存儲層：數據存儲主要為關系型數據庫和非關系型數據庫。通過磁盤倒排索引、分布式文件系統和大數據技術，提高數據訪問效率，豐富數據共享應用形式。

平臺層：是連接信息匯集與存儲層和應用層的橋梁，應用支撐平臺將采用統一登錄技術、工作流管理技術、數據集成（數據同步）技術、內容管理技術、全文檢索技術等為應用層提供應用集成，數據交換平臺將采用信息隊列技術、WebService技術、日志復制技術、總線技術、數據抽取轉換與加載技術[6]等為上層應用提供數據交換支撐。

應用層：包括數據共建、數據管理、數據共享三個數據應用系統，以及管理綜合門戶和數據資源服務網站等。以上應用的接入渠道包括Web客戶端接入和Web服務接入兩種。應用集成將通過調用平臺的統一用戶管理和權限管理等組件對原有的應用系統完成集成，從而實現用戶身份認證、權限和登錄管理。

3 建設方案概述

3.1 數據資源整合

根據不同的整合策略和業務數據原有載體的不同類型采用不同的整合策略或方案。

①歸并數據源物理集中策略。一是以數據庫為數據載體的整合方案：建設期利用數據遷移子系統抽取業務數據庫的數據表形成臨時數據庫，對臨時數據庫的業務數據進行歸并處理，形成統一的數據并入庫。建成后通過數據更新子系統實現數據更新并提供服務。二是以電子文件或紙質文件為數據載體的整合方案：建設期首先把紙質文件掃描數字化形成電子資料，再統一對電子資料進行整編入庫。建成后通過數據更新子系統、對象管理子系統等系統功能完成紙質文件與電子文件的入庫流程。

②維持數據源物理集中策略。一是以數據庫為數據載體的整合方案：建設期編制數據遷移腳本，利用數據遷移子系統完成數據初始化；同時開發數據抽取服務，部署于前置機，建成后通過數據交換平臺定期遷移前置機的最新數據。二是以電子文件或紙質文件為數據載體的整合方案：業務單位通過業務系統采集入庫后；同樣是先編制數據遷移腳本，利用數據遷移子系統完成數據初始化；同時開發數據抽取服務，部署于前置機，建成后還是通過數據交換平臺定期遷移前置機的最新數據。

③邏輯集中策略。建設期通過數據資源調研表的形式采集各部門資源目錄，統一進行梳理與編目，并進行目錄審查與注冊。建成后通過資源目錄注冊子系統進行數據資源目錄注冊，注冊后由數據管理員進行編目和發布。

3.2 數據交換平臺

數據交換平臺是實現數據交換而集成的各類軟件工具的服務。這些工具服務包括ETL工具、數據庫復制工具、交換信息中間件和ESB數據交換服務總線等。數據交換平臺主要是在系統運行時提供一種常態數據集成服務。

綜合使用ETL、數據庫復制、交換信息中間件和ESB總線技術構建數據交換平臺，提供信息推送服務、地理信息服務、檢索服務、數據調用服務等功能。

3.3 數據共建系統

數據共建系統包括數據遷移與轉換子系統、數據更新子系統和數據資源目錄注冊子系統。

①數據遷移與轉換子系統：是在ETL工具上開發和配置，包括基本功能和域間遷移輔助功能。其基本功能主要用于數據遷移轉換時，完成初始設置、映射規則設定、數據遷移和轉換，其包含數據源配置、數據遷移、數據轉換、綜合管理等功能模塊。域間遷移輔助功能主要用于跨域數據的遷移轉換，結合基礎功能完成數據的打包解包和版本管理工作。

②數據更新子系統：是為歸并后數據源物理集中的數據資源提供更新和維護的橋梁，實現數據更新功能。該子系統包括空間數據更新和非空間數據更新。其空間數據更新是用來對多種格式的空間數據進行數據加工、編輯維護、格式轉換等操作，具有空間數據瀏覽與查詢、空間參考管理、非影像數據編輯、影像數據處理、格式轉換等功能模塊。

③數據資源目錄注冊子系統：可以實現各業務應用系統對數據資源目錄采集錄入的功能，其包括目錄注冊和目錄查詢功能。其功能是基于數據資源目錄管理子系統的目錄生產和目錄查詢功能，進行數據訪問權限設置。

3.4 數據共享系統

數據共享系統基于統一身份認證和訪問授權為用戶提供多形式的數據共享服務，其包括數據展現、數據搜索和數據調用3個子系統。

①數據展現子系統：是一個將各類數據資源以圖形、表格、文字等形式展現出來的子系統，使用戶能夠很方便地全面知悉數據庫中數據資源的情況。該子系統基于GIS技術，通過空間數據和非空間數據相結合展示出來的“一張圖”，提供各類基礎數據和專業數據的圖表展現、關聯查詢、定位查詢、自定義標注、智能搜索等服務。

②數據搜索子系統：提供豐富的數據檢索功能，使得用戶對水文、水利工程、水功能區、水質監測等進行更好的檢索。其主要功能有：數據庫全文檢索、多媒體資料全文檢索、地圖檢索等。

③數據調用子系統：該子系統實現數據需求用戶對數據資源子目錄中的數據提出申請使用以及數據提供者對申請的審批。數據的實際調用過程是基于數據交換平臺的數據調用服務來完成。子系統包含數據調用申請和數據調用審批功能。

3.5 數據管理系統

數據管理系統由元數據管理、數據資源目錄管理、數據推送管理、數據調用等子系統組成。

①元數據管理子系統：該子系統主要管理共享數據庫的業務元數據，包含元數據來源、發布、訪問、變更、檢索以及版本管理等功能。②數據資源目錄管理子系統：是對水利業務部門各類相關資源建立一體化的數據資源目錄，方便用戶對信息準確、便捷的檢索和使用。③數據推送管理子系統：是一個集信息推送、內容管理的推送系統，其具備一定的用戶行為分析能力，通過數據推送配置、推送信息管理、推送信息統計功能，提供信息推送、信息管理、信息發布等服務。④數據調用管理子系統：通過接收數據調用子系統的調用請求，對審批通過的數據調用請求，基于數據交換平臺的數據調用服務，實現數據的真正調用、支持下載、在線調用。

3.6 系統的整合改造和建設

①應用支撐平臺的整合與改造：以水利行業政務平臺為基礎，將已有系統的支撐平臺進行身份互認改造。改造后的應用支撐平臺具備統一的用戶登錄權限管理、應用集成管理、服務申請管理、內容管理、用戶行為管理與統計分析等。其主要是通過橋梁技術，將不同門戶框架自動同步，環境上下文映射，建立詳細的請求處理流程形成框架間的橋連，從而實現被集成的Web應用遷移到門戶中運行。

②統一門戶的建設：管理綜合門戶是綜合利用網站、Portal等技術進行信息綜合展現的承載體。利用應用支撐平臺相關功能，為被集成的應用系統提供統一的用戶認證登錄界面進行信息匯集與展現。Web門戶主要進行綜合數據集成、提供被集成應用的嵌入窗口展現，實現窗口定制管理，包括應用集成框架、應用嵌入窗口定制等功能。該門戶主要基于Java EE技術，采用橋連方式利用Portal、全文檢索等技術實現門戶定制開發與集成。

③已有應用系統門戶集成與改造：對于被集成的應用系統主要是水利業務應用系統，一是需要對這些被集成系統進行用戶管理的集成，用戶管理與身份認證的集成是使用平臺統一維護用戶信息，并在用戶信息變更時向應用系統推送的中央認證服務的方式。二是被集成系統進行用戶管理的改造，一是以平臺的單位管理和用戶管理界面替換被集成系統界面的界面改造，二是系統針對用戶、單位、授權三種不同的服務提供服務外部系統調用的Web改造，需要對原有系統的源代碼進行修改。

4 實踐效果

新疆兵團建設了水利管理綜合門戶網站，其中的統一登錄門戶系統，分別采用映射方式和CAS方式，實現了用戶身份認證，并設定了用戶權限。用戶可以通過登錄該門戶網站“一站式登錄”，對山洪災害防治非工程措施、國家水資源監控能力、防汛抗旱指揮等系統進行訪問，不用來回切換到原來的系統才能瀏覽相應的信息。

通過委托一家技術服務單位，將滿足歸并數據源條件的數據（如水利普查數據、農田水利工程數據等）進行數據整合與更新，統一了數據版本，實現了數據的唯一來源；對于本身數據源唯一且能及時更新的數據（如水利基礎數據庫等），利用共享服務數據庫系統維持了數據源的物理集中，實現了用戶利用調用子系統調取數據資源的要求。

水土保持監測、水資源監控、中小河流水文監測等系統是由兵團水利行政管理部門下屬事業單位來管理和運維的。面對這類數據適用于邏輯集中的專業數據，在水利綜合門戶網站里建立了該類數據的資源目錄，用于共享用戶的檢索，并建立了共享交換機制，規范了數據共享的流程，從而保證數據共享交換的質量。用戶實現了通過共享數據庫來完成信息共享與業務協同工作。

5 結束語

綜上所述，通過以上數據資源的整合與共享，解決了新疆兵團水利信息分散、資源割據的不利局面，實現了“一數一源、共建共享”目標，促進了水利信息化的持續發展，為新疆兵團水利管理現代化建設夯實了基礎。