秦鼎 張帆



摘 要:本文分析了瀾湄六國水資源數據共享現狀及存在問題,設計了一套基于混合云的水資源數據共享體系,為瀾湄六國水資源數據共享提供了一套實用、完整、安全的信息化解決方案,并在瀾湄水資源合作信息共享平臺中成功實施,取得了較好的應用成效。
關鍵詞:瀾湄六國;水資源;數據共享;數據資源目錄;混合云
中圖法分類號:TV213.4;TP311.1? ? ?文獻標志碼:A? ? ? DOI:10.19679/j.cnki.cjjsjj.2021.0621
瀾湄水資源數據共享為瀾湄六國水資源和相關資源開發利用、管理和保護,以及洪旱災害防治決策提供數據支撐。數據共享不充分、不及時將對瀾湄水資源合作造成障礙和干擾,影響目前瀾湄水資源合作的良好發展勢頭。通過信息化手段推動瀾湄水資源數據共享,有利于瀾湄六國共同應對區域水資源挑戰,推動區域經濟社會可持續發展,提升流域綜合治理和水資源管理能力。
1? ?瀾湄六國水資源數據共享現狀
1.1? ?中國與湄公河國家之間的數據共享現狀
2002年,中國水利部與湄公河委員會(以下簡稱“湄委會”)簽訂了《中國水利部向湄委會秘書處提供瀾滄江—湄公河汛期水文資料的協議》,建立了汛期水文報汛機制,自2003年汛期以來向湄委會秘書處提供允景洪、曼安兩個出境水文站汛期實時水雨情數據。我國云南省航運管理部門與湄公河國家地方政府也建立了水文信息報汛制度,定期向湄公河國家共享水文流量變化信息,為湄公河國家航運管理部門和相關從業民眾提供了數據服務。此外,在梯級水電站檢修、水污染突發事件等緊急事件發生時,水位流量發生較大變化情況下,水利部通過瀾湄水資源聯合工作組向湄公河國家通報水位流量變化信息。2020年8月24日,國家總理李克強在瀾湄合作第三次領導人會議發言提出,中方將從今年開始,與湄公河國家分享瀾滄江全年水文信息,共建瀾湄水資源合作信息共享平臺,更好應對氣候變化和洪旱災害[1]。
1.2? ?湄公河國家之間的數據共享現狀
在湄委會和湄公河下游倡議等多邊合作組織或機制支持下,湄公河國家以項目資助的方式開展了信息平臺建設、數據共享標準制定等信息共享嘗試工作,推動了湄公河國家之間數據信息共享工作,取得了一定成效。2000年7月,湄委會開始建設湄委會信息平臺系統,簽訂了數據共享合作協議,建設了部分水文監測站點。依托多年來開展的數據采集項目以及與各成員國之間簽訂的合作備忘錄,湄委會信息共享平臺系統積累了16 000多個數據集,數據類型涵蓋行政區劃、農業、環境生態、洪水管理、自然資源、經濟社會以及水資源等十個大類。2017年在湄公河下游倡議第10次部長級會議上,美國提出湄公河水數據倡議概念,并在此倡議基礎上,啟動了湄公河水數據平臺(Mekong Water Data Platform,MWDP)的籌劃和建設工作。該平臺包括湄公河水文共享(Mekong Hydroshare)以及湄公河伙伴數據工具和服務兩大模塊,于2019年4月發布并投入試運行。由于尚處試運行階段,目前僅能檢索到越南共享的89個數據集。湄公河下游倡議MWDP平臺主要目的是打造湄公河區域水數據集,建設重點是針對科研工作者等注冊用戶提供數據檢索、存儲和管理平臺,增進不同用戶和機構間的數據共享。MWDP平臺開放和包容建設理念能夠充分調動機構和個人的參與度,不受政府間協議和湄公河下游倡議合作機制進展的影響。但該平臺數據集數據標準不一、數據關聯較弱,數據量較少,訪問速度比較慢,難以形成系統性數據體系,尚未提供模型模擬或者其他分析應用工具,不利于后期深入挖掘、分析和應用,且現有信息平臺架構難以支撐其在業務應用中發揮影響力。
2? ?存在的問題
缺乏全流域層面數據共享和權威信息發布平臺,造成涉水信息透明度不高,影響流域各國合作互信,影響瀾湄合作健康可持續發展。
目前瀾湄流域開展了一些數據共享工作,但仍然存在共享數據體系不明確、數據標準不統一等問題[2]。
中國向湄公河國家和湄委會提供水資源信息發布機制和通道,但缺乏雙向水資源數據流通與共享的機制和平臺。湄委會四個成員國之間也尚未形成全流域層面有效的、充分的信息溝通與共享,難以滿足瀾湄流域信息共享需求和瀾湄合作機制發展的需要。
瀾湄各國水資源管理人員、學者、公眾無法全面、系統地了解和利用合作成果,不利于促進各方消除分歧、達成共識、共同進步。亟需強化信息聚合度,提供長期、穩定、及時、權威、透明的信息發布渠道,提升各方深化合作的能力和水平。
3? ?共享體系設計
3.1? ?共享體系架構
(1)數據共享平臺
數據共享平臺由數據資源目錄、數據圖表展示、消息發布3個部分組成,其中數據資源目錄系統為提供以原始數據文件為形式的數據資源發布和共享的平臺,實現數據資源的共建共享,主要功能包括數據集上傳、掛接、發布、檢索、下載和資源目錄配置等[3];數據圖表展示則以曲線圖、折線圖等圖表形式展現水利數據的變化特點,如水雨情數據,便于數據使用者更直觀的遴選數據資源;消息發布則文字消息的形式發布水利水電工程重大調度信息、檢修信息以及水污染突發事件。
在功能設計上,考慮到水資源數據的敏感性,數據資源目錄系統除檢索可匿名使用外,其他功能均需注冊并登錄后方可使用,其中數據集的發布和下載使用申請審批機制,只有經系統管理員審批通過后方可發布和下載。
資源目錄分類是用戶檢索數據的主要手段之一[4],數據資源目錄系統除包含產品形式、發布機構、位置區域、文件格式、日期范圍、數據標簽、關鍵詞等常見分類外,還根據水利數據的特點,新增監測內容和主題兩大分類,其中監測內容的子分類有地表水監測、地下水監測、水質監測、用水監測;主題分類則在國際標準化組織發布的ISO19115主題類別的基礎上,根據數據資源情況選擇與瀾湄水資源合作相關的類別,篩選后的類別包括氣候/氣象學/大氣、經濟、環境、影像/底圖、內陸水域、規劃/地籍、社會、公用事業/通訊。
(2)應用支撐平臺
應用支撐平臺作為共享體系的基礎設施,為上層數據共享平臺提供應用支撐服務,包括用戶注冊和審核、登錄認證、用戶管理、權限管理、日志管理[5]。
(3)數據交換平臺
數據交換平臺對數據匯集平臺收集的數據按照數據標準進行流程化處理,并作為數據資源目錄系統的數據來源之一。數據交換平臺主要實現圖形界面設計ETL轉換配置[6],實現數據抽取、質量檢測、數據清洗、數據轉換、數據過濾,以及數據交換異常處理、監控管理等[7]。以水雨情數據為例,數據匯集發布流程如圖2所示。
由于水資源數據種類較多,數據交換平臺需要支持多種格式數據的處理,包括庫表數據、圖像、XML、JSON、XLS、CSV等。
(4)數據匯集平臺
數據匯集平臺通過適配器從目標數據源或業務系統中抽取數據,提供給數據交換平臺使用。數據匯集平臺主要包括下載任務配置、數據交換過程監控配置、交換異常報警配置、平臺數據庫寫入配置等[8]。根據不同的數據來源,數據匯集的對象可能是數據庫、FTP、數據服務接口、數據文件等。
(5)運行環境
運行環境基于私有云和公共云搭建,其中私有云提供數據共享平臺、應用支撐平臺、數據交換平臺、數據匯集平臺運行所需的各類計算資源,包括Web服務器、應用服務器、數據庫服務器、文件服務器等,公共云提供內容分發網絡(CDN)和對象存儲(OSS)服務,用于給數據共享平臺提供網頁加速和數據集存儲服務。另外,通過公共云的云監控技術,對數據共享平臺的運行狀態進行24小時監控,發生故障時及時告警。
(6)制度規范
包含“三制度兩規范”,其中“三制度”指共享體系管理辦法、運行環境定期巡檢制度、運維報告制度,“兩規范”指水資源數據格式規范、水資源數據處理規范。
(7)安全保障
根據《網絡安全等級保護測評要求》,對運行環境進行安全物理環境、安全通信網絡、安全區域邊界、安全計算環境、安全管理中心、安全管理制度、安全管理機構、安全管理人員、安全建設管理、安全運維管理等方面的測評并進行問題整改,使安全體系符合等保要求。
3.2? ? 共享體系特點
(1)用戶體驗好
由于數據共享服務面向覆蓋瀾湄六國,網絡環境復雜,容易出現系統訪問卡頓的現象,影響用戶體驗。通過在共享體系中集成公共云的內容分發網絡(CDN)和對象存儲(OSS)服務,可以很好的解決此問題。具體從兩個方面入手,一方面數據共享平臺采用前后端分離架構開發,針對各國用戶訪問前端靜態資源的場景,可使用CDN實現加速訪問;另一方面對于數據集上傳、下載等對網絡帶寬要求比較高的場景,可使用OSS實現數據集的高速上傳、下載,數據集通過高速通道直接上傳至OSS服務器,不需要經過數據共享平臺。
(2)統一數據標準
由于數據共享面對的是瀾湄六國,必須基于統一的數據標準才能使數據共享更加暢通。在共享體系中,通過數據交換平臺,可以對匯集的數據按照指定的標準進行清洗、轉換、檢測等操作,確保共享的數據符合標準,從而為數據的進一步利用創造有利條件。
(3)面向多層級用戶
數據共享平臺不僅面向瀾湄六國水行政主管部門,還面向科研機構、學者和社會公眾,通過在數據資源目錄系統中履行必要的注冊申請和數據資源下載申請手續,科研機構、學者等用戶也可以下載各類數據成果,這有利于各方全面、系統地了解和利用瀾湄水資源合作成果,促進各方消除分歧、達成共識、共同進步。
4? ?共享體系應用
瀾湄水資源共享體系已在瀾湄水資源合作信息共享平臺中應用,具體應用情況如下。
(1)通過數據交換平臺,定期從云南省水利廳抽取云南允景洪、曼安兩座測站的水雨情數據,并在數據共享平臺中使用圖表做數據展示,如圖3所示。
(2)通過數據交換平臺,定期匯總允景洪、曼安兩站的水雨情數據,形成兩站的周期性數據集,自動發布到數據共享平臺中的數據資源目錄中,供用戶下載。
(3)通過數據共享平臺中的消息發布,以文字的形式發布瀾滄江水電站調度信息。
參考文獻:
[1]黃漢文,李昌文,徐馳.瀾滄江-湄公河水資源合作的現實、挑戰與方向[J]. 人民長江.2021,52(07):88-94
[2]王志強,王海霞. 瀾湄水利標準體系構建探討[J]. 水利規劃與設計.2021,(04):1-6
[3]儲昭武,李雪凝. 公共數據資源目錄體系研究及應用[J]. 信息技術與標準化. 2019,(05):10-14
[4]司存友,高祥濤,李政道,等.基于元數據的江蘇省水利數據資源目錄服務系統[J]. 江蘇水利. 2018,(01):41-45
[5]楊小琴,朱光軍,陶鋒,等. 湖北水利數據資源整合共享實踐及關鍵技術研究[J]. 水利信息化. 2018,(05):11-17
[6]朱松挺,胡應龍. 江西水利數據資源整合共享實踐[J]. 江西水利科技. 2019,45(01):72-75
[7]常俊超,劉冠華. 河南水利數據交換共享服務平臺研究[J]. 江西水利科技.治淮. 2019,(01):55-57
[8]陸佳民,馮鈞,唐志賢. 水利大數據目錄服務與資源共享關鍵技術研究[J]. 水利信息化.2017,(04):17-20
收稿日期:2021-09-30
作者簡介:秦鼎,男,主要從事水利信息化工作。E-mail:qindingsky@qq.com
Research and Application of Lancang-Mekong Water Resources Data Sharing System
Qin Ding? Zhang Fan
(Network and Information Center of Changjiang Water Resources Commission,Wuhan 430010,China)
Abstract:This paper analyzes the current situation and existing problems of water resources data sharing in the six Lancang-Mekong countries,and designs a set of water resources data sharing system based on hybrid cloud,which provides a set of practical,complete and safe water resources data sharing in the six Lancang-Mekong countries The informatization solution was successfully implemented in the Lancang-Mekong water resources cooperation information sharing platform,and achieved good application results.
Keywords:the six Lancang-Mekong countries;water resources;data sharing;data resource catalog;hybrid cloud