全國山洪災害調查評價成果數據管理平臺設計

劉業森+郭良+張曉蕾+劉榮華

摘要：全國山洪災害調查評價成果數據類型多樣、數據量大、數據結構關系復雜、專業性強。全國匯總數據量超過100 TB，省級平均數據量達到TB級，數據有效管理難度大?；谛姓^劃隸屬關系和小流域兩條主線出發，設計全國山洪災害調查評價數據模型，建立了對象實體模型、梳理了對象關系，利用ETL技術進行海量數據的多級綜合與集成，形成多級數據綜合成果。在此基礎上，基于面向服務軟件架構進行數據管理軟件平臺設計與開發，實現了不同管理層級差異化信息組織、多維信息關聯分析、在線分析匯總統計等功能。解決了全國山洪災害調查評價工作中海量多源數據管理、不同業務層級需求差異化等問題，可為各級山洪災害調查評價數據管理與共享提供參考。

關鍵詞：山洪災害；調查評價；數據倉庫；數據模型

中圖分類號：P426文獻標識碼：A文章編號：

16721683（2017）06019607

Abstract：The results of the national investigation and evaluation of mountain flood come in various data types and large data volume，with complicated data structure and high degree of specializationThe national data volume reaches 100T，and the average provinciallevel data volume reaches TB scaleIt is difficult to manage these data effectivelyIn this paper，we designed a data model for national investigation and evaluation of mountain flood based on administrative division and small watershed，and established an entity model of the objects and analyzed the relationships of the objectsWe used ETL technology to realize multilevel aggregation and integration of massive dataOn this basis，we designed and developed a data management platform based on the serviceoriented software architecture，and realized various functions such as differentiated information organization of different management levels，multidimensional information correlation analysis，and online analysis and summaryThe construction of this platform solved some problems in national mountain flood investigation and evaluation such as multisource massive data management and differentiated demand of different business levelsIt can provide reference for management and sharing of mountain flood investigation data at all levels

Key words：mountain flood；investigation and evaluation；data warehouse；data model

我國山丘區自然地理環境復雜、極端災害性天氣頻發、人類經濟社會活動劇烈，多種因素共同影響，造成廣大山丘區山洪災害頻繁，每年導致大量人員傷亡。據統計，近年山洪災害死亡人數占洪澇災害死亡人數的比例上升到80%左右[1]。為做好山丘區山洪災害防御，減少人員傷亡，水利部、財政部在前期山洪災害防治非工程措施基礎上，聯合啟動了山洪災害調查評價工作[1]。

山洪災害主要是由山丘區突發溪河洪水造成的，作為一種自然災害，既有災害系統的共性，又有其特殊性。通過對全國山丘區范圍的山洪災害調查評價，調查清楚山洪災害系統的孕災環境、致災因子、承災體等各方面數據。孕災環境包括下墊面情況、匯流條件、涉水工程等；致災因子包括突發降雨、植被破壞等；受災體包括重點村鎮、沿河村落、企事業單位等。依據現狀調查情況和歷史數據，進行全國山丘區山洪災害危險程度的分析評價，計算沿河村落的防洪能力，確定預警指標。最終為山洪災害防治提供數據和技術支撐[23]。

截至2016年底，全國已經基本完成29個?。ㄗ灾螀^、直轄市）和新疆生產建設兵團的山洪災害防治區的山洪災害調查評價工作，通過全國各級審核匯集工作，各地的調查評價成果數據陸續匯總到中央級節點，形成了山洪災害調查評價成果數據庫。匯總的成果數據具有類型多、涉及范圍廣、邏輯關系復雜等特點，需要有一套完善的軟件平臺進行管理與共享，以發揮數據的最大價值。

1調查評價成果描述

各地匯總到中央級國家數據庫中的數據，主要包括調查數據和分析評價數據兩部分。調查數據是指通過內業收集資料填報和外業調查測量形成的一次成果，包括全國防治區的普查和沿河村落數據的詳細調查[4]。分析評價數據是指在調查數據的基礎上通過分析評價形成的二次成果，包括小流域暴雨洪水分析成果、沿河村落防洪能力評價成果、沿河村落的臨界雨量或臨界水位成果等內容[5]。endprint

匯總到中央級數據庫的全國山洪災害調查評價成果數據總量超過100 TB，總記錄上億條條，文檔資料和多媒體文件超過千萬個，空間標繪對象900多萬個。數據內容見表1。

全國山洪災害調查評價成果數據主要特點如下。

（1）空間覆蓋范圍廣。

山洪災害調查范圍為全國山丘區區（香港特別行政區、澳門特別行政區、江蘇省和臺灣省除外）、涉及29個?。ㄗ灾螀^、直轄市）和新疆生產建設兵團，共計2 058個縣級行政區域、涉及國土面積約700萬km2。

（2）數據類型多樣。

調查評價成果數據包括業務表格數據、空間數據、照片數據、成果報告等。成果內容以業務表格為主，具有空間位置信息的對象標繪了空間圖層，針對自然村、橋梁等14類調查對象在外業調查中還拍攝了照片數據。山洪災害分析評價工作是基于調查成果展開的，成果內容包括分析評價成果表、分析評價專題圖和成果報告等。

（3）數據多級匯總。

在村落層級，包括村落情況調查數據、河道斷面實地測量數據、沿河居民戶宅基高程測量數據、監測預警設施、涉水工程等大量現場調查數據；在縣一級，包括社會經濟情況調查數據、分析評價成果匯總數據等；省市一級，匯總各縣調查評價數據基礎上，又包含了水文氣象收集數據；中央級，在匯總各省上報數據的基礎上，包括國家基礎地理庫中的基礎地理數據、全國土地利用數據、全國植被覆蓋數據、全國土壤質地數據等全國范圍數據。

（4）數據應用主題與層級多樣。

山洪災害調查評價工作的主要目的是服務于山洪災害防治，既要用于村級山洪災害監測預警，也用于縣級單位的災害監測、應急指揮，還要服務于省、流域、國家層面的山洪災害防治規劃、投資匹配等宏觀尺度。對于一些山區建設，如山區基礎工程建設、山區交通建設與規劃等，都需要山洪災害防治相關數據作支撐。

2調查評價成果數據組織設計

21全國山洪災害調查評價數據模型設計

目前已有許多災害類數據模型相關研究，如地質災害數據模型、時空數據模型、基于事件的數據模型等[69]，這些模型研究從不同角度出發，解決了相應的問題。但對于全國山洪災害調查評價數據而言，存在兩方面問題，第一，大部分的數據模型基于災害事件，或者自然條件等連續類數據，很少涉及社會經濟類統計數據，山洪災害調查評價數據中，社會經[HJ203mm]濟類數據是非常重要的內容；第二，沒有考慮數據的多級綜合，全國山洪災害調查評價成果數據存在全國、省、市、縣、鄉、村各種管理級別的應用特征。因此，山洪災害調查評價數據模型的設計，既要融合自然條件類與社會經濟類數據，尤其需要能夠表達社會經濟數據內在關系，又要能解決同源數據的多級匯總問題。

本文綜合運用空間對象建模理論、面向對象方法，遵從統一建模語言（UML）標準，借鑒水利普查數據模型、ArcHydro數據模型等方面的理論和經驗[1012]，設計山洪災害調查評價成果數據模型。建模過程采用了從實體對象到數據對象、從邏輯結構到物理存儲、從數據存儲到業務應用的技術路線，實現了從山洪災害調查評價實體對象到空間要素對象，再到邏輯數據對象，再到物理數據存儲對象的層層深化與設計。建立了對象的全息模型，基于更新匯總機制的多級元數據控制，體現數據的概化抽取融合。通過分析山洪災害調查評價實體對象及其關系，在對象分類基礎上，進行對象類關系建模。數據模型以自然村和小流域為兩個核心對象，進行各類信息的匯總與關聯。

按照行政區劃隸屬關系和小流域兩條主線，以自然村和小流域對象為核心對象，梳理山洪災害系統中的承災體、孕災環境、致災因子、歷史災情等數據對象。社會經濟類數據（承災體對象），以自然村為核心，利用行政區劃隸屬關系，梳理山洪災害防治區內的人口、財產、企事業單位等相關社會經濟信息。自然條件類數據（孕災環境），以小流域對象為核心，梳理自然環境（地形、地貌、植被覆蓋、土地利用）、涉水工程（橋梁、路涵、塘堰壩）、歷史水雨情、暴雨資料等自然類信息，見圖1。社會經濟類數據和自然條件類數據通過自然村、小流域兩個對象建立聯系。

基于實體對象模型，分析對象之間及對象內部數據元之間的邏輯關系，將對象關系分為三類：拓撲關系、關聯關系、數值關系。拓撲關系反映實體之間的空間邏輯關系；關聯關系反映實體之間的關聯，指對象與對象之間有邏輯上或指向上的關聯；數值關系反映實體數值型屬性字段之間的關系，見表2

22調查評價成果數據多級綜合

全國山洪災害調查評價成果數據要滿足不同層級的應用以及實時查詢、管理，以及在線分析、統計、深度挖掘。基于此，山洪災害調查評價成果數據組織引入數據倉庫技術。數據倉庫（Data Warehouse）的概念，由數據倉庫之父比爾·恩門（Bill Inmon）在1991年出版的“Building the Data Warehouse”中提出[13]。數據倉庫的思路是面向主題，并能夠反映數據歷史變化的數據集合，適用于管理決策支持，并具有聯機分析處理（OLAP）能力，能夠支撐數據挖掘、知識發現。數據倉庫技術在通信、銀行、保險等數據密集型行業，都已經有成熟應用[1417]。在水利行業的數據質量管理、工程管理、大壩安全、調度決策中，也已經有了一些數據倉庫的應用[1820]。

本文基于全國山洪災害調查評價數據模型和數據關系，進行同源數據的多級集成與綜合，處理流程見圖2。采用數據ETL工具，對數據庫中的現場調查數據和分析評價數據進行多維深入分析，對數據進行不同主題的抽取與聚集，形成山洪災害成果的多維視角，為山洪災害調查評價工作提供統一的、面向分析的決策支持環境。山洪災害調查評價數據具有多種管理維度，包括不同批次和數據采集時間的時間維，包括全國省市縣鄉村的隸屬關系維，包括表格、圖層、多媒體的格式維、包括社會經濟、歷史災害、自然條件的屬性維，還包括基于流域匯流關系的匯流關系維度。本文基于OLAP技術，采用星型及雪花模型，以事實表為基礎，建立多維數據集，以及組織匯總的數據立方體，通過切片、旋轉、上卷、下鉆等分析模型剖析數據，能夠從多個角度，多個側面觀察數據倉庫中的工具，最后利用可視化工具進行表達，可以更直觀、深入的理解數據的內涵。endprint

山洪災害調查評價數據主題分為調查評價工作量情況、社會經濟情況、數據批次信息、數據質量情況等，在BI層面上，除傳統的報表、圖表之外，根據山洪災害調查評價數據的每類主題結合GIS制圖技術進行表達。如調查評價工作量情況表，按數據報送批次和時間，從所有實體調查對象數據庫表中抽取調查對象個數、標繪對象個數、多媒體文件個數，并對一些關鍵指標進行抽取匯總，包括防治區人口、危險區人口、防治區面積等。由于山洪災害調查評價大部分對象有空間位置標繪信息，因此采用GETL（GIS+ETL）方式進行部分數據信息的綜合，以沿河村落臨界雨量為例，通過分析評價名錄表，關聯臨界雨量信息表，讀取臨界雨量，通過關聯行政區劃名錄表，獲取沿河村落坐標，用沿河村落坐標與所在流域進行空間查詢，得到流域各時段設計暴雨，臨界雨量與設計暴雨比對，確認所選區域沿河村落的臨界雨量成果信息表和分布圖。

3成果管理平臺技術實現

31基于共享平臺的技術架構

基于數據模型和同源數據多級綜合成果，進行全國山洪災害調查評價成果管理平臺的框架設計和功能設計。為方便數據和業務功能的擴展與復用，系統采用分層設計和面向切面編程方法[2123]，層次上分為數據層、數據訪問層、數據模型層、業務邏輯層、控制器層、應用接口層以及視圖層七個層次，見圖3。

數據層，主要是采用商業軟件Oracle數據庫對山洪災害調查成果數據進行存儲；數據訪問層，將業務邏輯與數據進行“隔離”，關系型業務數據部分采用數據模型進行封裝并持久化，空間數據采用ArcSDE進行管理訪問；業務邏輯層，根據業務功能的劃分進行模塊化封裝，實現業務過程的處理；控制器層，主要是對頁面的轉發控制及簡單邏輯的處理，并提供業務數據的訪問API供外部應用集成調用；數據模型層，基于山洪災害調查評價成果數據模型，對業務數據及頁面表單進行建模封裝，方便各層次對數據的訪問；應用接口層，主要包括業務數據服務和地圖服務兩種API，業務數據服務來源于關系型數據，由控制層生成的API組成，地圖服務由ArcGIS Server發布的服務組成；表現層，作為與用戶進行交互的界面，主要使用JSP實現。采用面向切面間、時間、隸屬、關聯、指示等多種維度，在平臺設計中，以數據模型對象編碼和關聯關系為核心，采用多種查詢方式查詢山洪災害調查評價的數據成果，為專業人員進行數據瀏覽、對比、統計、分析提供工具。利用多維信息關聯分析，能夠支撐數據挖掘工作，發現數據之間的因果、關聯、尺度效應等內含信息。

34在線數據綜合

全國山洪災害調查評價成果數據條數超過100 TB，實際應用中，需要對多張表中的近億條有多重關聯關系的記錄進行數據抽取和信息綜合，以快速掌握山洪災害防治相關信息?；跀祿Ｐ秃完P聯關系，利用OLAP技術，構建數據在線分析匯總統計功能?？梢噪S時了解調查評價數據上報情況，可以根據暴雨或山洪突發事件，快速定位查詢匯總相關信息，為決策提供數據支撐。

4結論

基于全國山洪災害調查評價成果數據模型，對海量數據進行多級綜合，設計全國山洪災害調查評價成果管理平臺，實現了海量全國山洪災害調查數據的高效管理，實現了多級管理層級差異化信息組織、多維信息關聯分析、在線數據綜合等功能。目前，該系統已為全國山洪災害監測預警平臺提供數據與地圖服務[2425]，并為調查數據審核、數據質量在線分析和數據挖掘提供支撐。

本文所述工作，還有幾方面的工作待完善：（1）數據的更新維護工作，山洪災害防治區的下墊面和社會經濟信息，有很強的時間敏感性，需根據實際情況，及時進行數據更新維護；（2）本平臺基于數據模型和數據倉庫技術，能夠支撐數據挖掘工作。山洪災害調查評價成果數據庫是數據富礦，涵蓋了山洪災害防治相關的大量歷史數據和現狀基礎數據，可基于本平臺研究山洪災害發生機理、尺度效應、數值模型等。[HJ22mm]

參考文獻（References）：

[1]水利部，財政部全國山洪災害防治項目實施方案 （20132015 年）[R]2013（Ministry of Water Resources of the People′s Republic of China，Ministry of Finance of the People′s Republic of ChinaPlan for mountain flood prevention in China （20132015）[R]2013（in Chinese））

[2]郭良，劉昌軍，丁留謙，等開展全國山洪災害調查評價的工作設想[J]中國水利，2012（23）：1012（GUO L，LIU C J，DING L Q，et alWorking plan for mountain flood investigation and evaluation in China[J]China Water Resources，2012（23）：1012（in Chinese））

[3]黃先龍，褚明華，石勁松我國山洪災害調查評價工作淺析[J]中國水利：2015 （9）1718（HUANG X L，CHU M H，SHI J SAnalysis on flash flood investigation and assessment in China[J]China Water Resources，2015 （9）1718（in Chinese））

[4]國家防汛抗旱總指揮部辦公室，中國水利水電科學研究院山洪災害調查技術要求[R]2014（State Flood Control and Drought Relief Headquarters Office，China Institute of Water Resources and Hydropower ResearchTechnical requirements for investigation of mountain flood[R]2014（in Chinese））endprint

[5]國家防汛抗旱總指揮部辦公室，中國水利水電科學研究院山洪災害分析評價技術要求[R]2014（State Flood Control and Drought Relief Headquarters Office，China Institute of Water Resources and Hydropower ResearchTechnical requirements for evaluation of mountain flood[R]2014（in Chinese））

[6]國務院第一次全國水利普查領導小組辦公室第一次全國水利普查空間數據采集與處理技術規定[R]2011（State Council′s First National Water Resources Census Leading Group OfficeTechnical requirements for spatial data acquisition and processing of the first national water conservancy census[R]2011（in Chinese））

[7]龔健雅，李小龍，吳華意實時GIS時空數據模型[J]測繪學報，2014（3）：226232（GONG J Y，LI X L，WU H YSpatiotemporal data model for realtime GIS[J]Acta Geodaetica et Cartographica Sinica2014（3）：226232（in Chinese））

[8]薛存金，周成虎，等面向過程的時空數據模型研究[J]測繪學報：2010，39（1）：95101（XUE C J，ZHOU C H，et alResearch on processoriented spatiotemporal data[J]Acta Geodaetica et Cartographica Sinica2010，39（1）：95101（in Chinese））

[9]劉曉慧，吳信才，羅顯剛面向對象的地質災害數據模型與時空過程表達[J]武漢大學學報：2013，38（8）：958962（LIU X H，WU X C，LUO X GObjectoriented geological disaster data model and spatiotemporal process expression[J]Geomatics and Information Science of Wuhan University：2013，38（8）：958962（in Chinese））

[10][ZK（#]程益聯，郭悅水利普查對象關系研究[J]水利信息化：2012（1）：2327（CHENG Y L，GUO YResearch on object relation of national census for water[J]Water Resources Informatization：2012（1）：2327（in Chinese））

[11]蔡陽，謝文君，付靜，等全國水利普查空間信息系統的若干關鍵技術[J]測繪學報2015，44（5）：585589（CAI Y，XIE W J，FU J，et alSome key technologies of geospatial information system for china water census[J]Acta Geodaetia et Cartographica Sinica，2015，44（5）：585589（in Chinese））

[12]ZEILER MMODELING our world[M]ESRI Press，2000

[13]INMON W HBuilding the data warehouse （Fourth edition）[M]American，Hoboken：Wiley，2005

[14]SINGH S，MALHOTRA SData warehouse and its methods[J]Journal of Global Research in Computer Science，2011，2（5）：113115

[15]KIMBALLl R，CASERTA JThe data warehouse ETL toolkit：Practical techniques for extracting，cleaning，conforming and delivering data[J]Revista Brasileira De Oftalmologia，2012，71（3）：199204

[16]BORZA SFrom GIS database to spatial data warehouse[J]Academic Journal of Manufacturing Engineering，2015，13（2）：136141

[17]武彤，譚光煒基于索引視圖實現動態數據倉庫的實時數據加載[J]計算機科學，2016，43（s1）：493496（WU T，TAN G WRealtime data loading of dynamic data warehouse using index view set[J]Computer Science，2016，43（s1）：493496（in Chinese））

[18]KHAMBRA G，RICHHARIYA PA survey on data integration in data warehouse[J]Binary Journal of Data Mining & Networking，2014，4（1）：69endprint

[19]BERRAHOU L，LALANDE N，et alA qualityaware spatial data warehouse for querying hydroecological data[J]Computers & Geosciences，2015，85（85）：126135

[20]SELMOUNE N，ABDAT N，ALIMAZIGHI ZTowards a geographic data warehouse for water resources management[R]International Workshop on Advanced Information Systems for Enterprises，2012，18（3）：85 91

[21]Elrad T，Filman R E，Bader AAspectoriented programming：Introduction[J]Communications of the ACM，2001，44（10）：2932

[22]劉建川，楊軍，甘泉，等一種地理信息服務聚合軟件框架的設計與實現[J]測繪通報，2012（8）：6568（LIU J C，YANG J，GAN Q，et alA software architecture of GIS web service aggregation[J]Bulletin of Surveying and Mapping，2012（8）：6568（in Chinese））

[23]張弘北京段南水北調實時水量調度系統設計與開發[J]南水北調與水利科技，2015，13（4）：760764（ZHANG HDesign and development of realtime water quantity dispatching system of southtonorth water diversion project in Beijing[J]SouthtoNorth Water Transfers and Water Science & Technology，2015，13（4）：760764（in Chinese））

[24]劉榮華，劉啟，張曉蕾等國家山洪災害監測預警信息系統設計與應用[J]中國水利：2016（21）2426（LIU R H，LIU Q，ZHANG X L，et alDesign and application of national mountain flood monitoring and prewarning platform[J]China Water Resources，2016（21）：2426（in Chinese））

[25]陳煜，王樹偉，林林，等全國山洪災害防治管理平臺建設中的若干關鍵技術研究與實踐[J]中國水利水電科學研究院學報，2016，14（1）：3641（CHEN Y，WANG S L，LIN L，et alThe research and practice of key techniques used in constructing management platform of national mountain torrent disaster prevention[J]Journal of China Institute of Water Resources and Hydropower Research，2016，14（1）：3641（in Chinese））endprint