山東省地理國情監測數據管理系統的設計與實現

劉 現 印

(山東省國土測繪院 山東 濟南 250013)

0 引 言

地理國情普查與監測是我國最近幾年開展的一項重要的全國性調查,它采用空間化和可視化的方式描述地表自然和人文現象的相互關系和空間變化特征[1-2],能夠幫助我們深入了解地表資源分布狀況、使用情況并制定合理的使用計劃[3-4]。目前山東省已經具有了2015年、2016年、2017年、2018年和2019年五期覆蓋全省的地理國情數據,數據量達到39.5 TB。由于數據版本較多且數據量龐大,給數據的管理和應用帶來了很大困難。國內不少學者對地理國情數據的數據庫及應用系統建設進行了研究[5-6],但是研究內容基本都是對于一個年份的地理國情數據進行管理和應用,無法滿足多個年份且每個年份數據標準不完全相同的地理國情數據的管理及展示的需要。也有學者對多版本時空地理信息數據的管理和展示進行了研究[7],但是針對的都是數據標準完全相同的情況,沒有考慮到生產標準不完全相同的多年份數據的管理方法。另外,地理國情監測的目的是通過對多年份地理國情數據各個地類進行對比分析,并將統計結果和變化情況通過地形圖、統計圖、統計報表、統計報告等形式進行直觀形象化地展現,但是目前缺乏相應的技術手段自動化地完成上述工作,通過人工手段進行上述工作操作流程復雜、效率難以提升,并會浪費大量社會資源[8-9]。

鑒于山東省地理國情數據管理的現狀和對于實現時空數據一體化管理的迫切需求,本文提出一種多年份地理國情監測數據管理系統,通過構建時空數據模型實現標準不完全相同的地理國情監測數據的統一存儲;通過搭建數據庫集成管理系統,實現基于時間軸的多年份地理國情數據的管理與展示;通過搭建變化統計分析系統進行地理國情信息的快速統計及報告制作。系統建成后可實現多年份地理國情監測數據的統一管理,大幅提升地理國情數據的變化統計分析能力,較大幅度地提升地理國情監測數據的管理和應用水平。

1 系統設計

1.1 總體設計思路

基于ESRI Geodatabase模型構建地理國情監測時空數據庫,庫體設計時充分分析各年份地理國情監測數據標準[10](包括指標體系、圖層劃分、屬性字段等)的差異,并考慮今后國情監測數據標準可能發生的變化情況,采用靈活制定并創建各年份國情監測數據圖層模板的方式,將相應年份的國情監測成果數據導入到對應年份的圖層模板中?；诖蟊矸謪^和并行處理技術,開發入庫預處理、入庫質檢和數據庫集成管理軟件實現各類數據的快速入庫和集中存儲管理。對國情數據變化情況進行統計分析時,采用空間分析、時間序列分析、數字統計學中多種技術方法,對地理國情數據的地類空間分布狀況、地類變化情況及演變特征等內容進行變化統計分析[6]。

1.2 架構設計

山東省地理國情監測數據管理系統采用Oracle數據庫管理系統,通過Oracle Spatial和數據庫訪問接口,實現數據的高效存儲與訪問[11]。系統采用分層架構模式[12-13],系統總體技術架構如圖1所示。

圖1 系統總體技術架構

(1) 支撐層:由系統使用的基礎軟件、硬件、網絡、專用云平臺組成。本研究構建了私有云環境,實現了上述資源的統一管理和按需分配。支撐層是系統正常運行的基礎環境。

(2) 數據層:是整個數據管理系統的數據資源,提供數據的存儲和管理能力。數據內容包括普查與監測時期的多年份地理國情數據,如圖1所示,每一年份的國情數據都包括9種數據類型[10]。

(3) 接口層:提供功能組件和服務接口,具有靈活性好、使用方便、效率高等特點。

(4) 應用層:通過可視化的操作界面實現多年份數據時空化建庫,多時相數據入庫質檢、預處理、數據入庫、瀏覽、查詢、提取、專題圖制作,以及地理國情監測數據變化信息統計等。

1.3 系統功能設計

系統功能設計以完成山東省地理國情監測數據的入庫、管理及分析應用為目標,主要由地理國情監測數據入庫質檢、預處理、數據庫集成管理和變化統計分析四個子系統組成。

1.3.1入庫質檢工具

在進行預處理和數據入庫前,需要對可能影響入庫的數據問題進行檢查,對數據的組織結構、拓撲正確性、邏輯結構是否合理、空間參考是否符合要求、實體構建是否正確性等進行檢查,有些問題會嚴重影響數據入庫,對于查出的問題需要利用軟件結合人工進行數據修改。入庫質檢工具實現了上述檢查內容的自動化,功能模塊如圖2所示。

圖2 入庫檢查工具功能模塊構成

1.3.2預處理工具

為了便于進行統計分析和時空數據管理,還需要進行一系列的數據處理才能進行地理國情監測數據的入庫工作。根據國情監測數據特點,預處理工具提供了數據結構調整、要素對象化編碼更新處理、要素完整化更新處理、網絡數據更新處理、建庫字段賦值處理、要素修復處理、變化信息提取等功能。功能模塊如圖3所示。

圖3 預處理工具功能模塊構成

1.3.3數據庫集成管理系統

數據庫集成管理系統用來實現多年份地理國情監測成果數據、統計分析成果數據、專題數據的集中入庫、瀏覽、查詢檢索、專題制圖和數據提取等[14],達到多年份地理國情監測數據一體化存儲和管理目的。功能模塊如圖4所示。

圖4 數據庫集成管理系統功能模塊構成

1.3.4變化統計分析系統

變化統計分析系統將監測區域內不同年份的數據進行對比,快速發現它們之間的差異,監測地理國情數據要素級、地類級變化情況。實現變化統計、圖表制作、報表制作、圖件制作、報告制作等的自動化。功能模塊如圖5所示。

圖5 變化統計分析系統功能模塊構成

1.4 時空數據庫設計

1.4.1邏輯結構設計

地理國情時空數據庫基于Oracle Spatial進行構建,數據庫中分為矢量數據集(Feature Dataset)、柵格數據集(Raster Dataset)、表格數據(Table)、文檔數據(Document)等形式進行存儲和管理[14]。其中矢量數據集包括地表覆蓋數據(LCRA圖層)和地理國情要素數據的9個數據集;柵格數據包括數字高程模型(DEM)、坡度和坡向等衍生數據、地表覆蓋柵格化數據、正射影像數據(DOM)等5類數據[5];表格數據包括解譯樣本表格數據、基本統計數據、軟件系統業務管理數據等;文檔數據包括遙感影像解譯樣本照片及影像示例數據[6],技術設計、技術規定、技術總結等相關技術文檔數據。矢量數據集和柵格數據集用來存儲空間數據,采用Geodatabase模型進行存儲,空間參考使用CGCS2000國家大地坐標系。數據庫總體邏輯結構如圖6所示。

圖6 數據庫總體邏輯結構

1.4.2表空間設計

地理國情數據庫使用表空間進行管理,表空間中采用小數據文件,在空間不足時允許數據文件的自動增加。這種方式特別適合管理海量數據,也便于進行數據庫的備份和遷移。根據數據庫的邏輯設計和每種數據的特點,如表1所示,將地理國情監測時空數據庫劃分為7類表空間[5]。上述7類表空間按年份建立各自表空間,入庫之前根據當年國情監測數據的圖層劃分、屬性特征及地類編碼建立入庫模板,在數據入庫后通過版本注冊的方式建立各年份之間的圖層關聯。通過上述操作不僅實現了各期數據獨立存儲和時空一體化管理,還解決了不同年份數據標準不完全一致的問題。

表1 數據庫表空間設計

2 關鍵技術研究

(1) 地理國情監測時空數據管理技術。本文結合地理國情數據特點,建立集多基態、變化信息與歷史變化量于一體的地理國情時空數據模型,實現對多時態數據的集成管理。如圖7所示,該模型將版本數據與變化數據同時入庫。以2015年地理國情普查數據作為初始版本數據,以最新一年的基礎性監測成果數據作為最新基態數據,其他年份監測數據作為歷史基態,增量更新數據(變化數據)為歷史變化量,基態數據層存儲整個范圍數據,變化數據層僅存儲較上一基態的變化數據。最新基態數據作為現狀數據庫,歷史基態和變化數據作為歷史數據庫,按照基態和增量更新數據(歷史變化量)回溯地理國情歷史數據,現狀數據和歷史數據相對獨立存儲,既滿足了地理國情現狀數據的高效查詢應用,也保證了歷史數據的快速回溯、查詢。如果數據標準增加了新的圖層,例如2018年新增加了收費停車場圖層(V_PRKP),則將2018年的該圖層設為初始版本數據。

圖7 時空數據模型

(2) 柵格數據動態鑲嵌與管理技術。如圖8所示,該技術將影像數據的元數據、影像編目、影像范圍線、鑲嵌線、影像實時處理的一些設置參數存儲在數據庫中;將各種不同傳感器、分辨率、坐標系統的影像數據文件及各影像金字塔文件,在存儲設備中管理。在地圖窗口中顯示時,將邊界線、輪廓線和影像組合顯示。通過ArcGIS鑲嵌數據集進行存儲管理,在數據庫中只建立影像的索引,影像文件仍采用文件形式進行存儲。同時,為了提升瀏覽過程中影像顯示速度,通過原始影像的抽取逐級創建鑲嵌數據集的概視圖和金字塔。

圖8 動態鑲嵌模型

(3) 基于數據庫驅動的地理國情快速圖件制作技術。本研究通過建立數據庫表、統計計算指標及圖件成果之間的業務關聯,實現圖件制作與數據庫的聯動,通過“數據源-模板-成果”關聯模型、報告成果模板化、統計成果的一鍵式輸出等技術實現統計分析報告中圖件成果的自動生成。如圖9所示,系統通過建立一套完善的統計分析成果關聯模型,將統計數據源、統計成果模板和統計成果之間的關聯關系固定下來。同時將統計分析報告中圖件、文字、表格等的數據獲取條件,通過可配置界面保存到統計分析報告模板中。通過該模型可實現統計數據源與報告中圖件、文字、表格內容的聯動更新和一鍵化輸出。

圖9 “數據源-模板-成果”關聯模型

3 系統實現

3.1 系統開發環境

四個子系統均采用C/S架構,采用VS2012作為開發環境,基于Arcobjects提供的組件進行二次開發。數據庫集成管理系統和變化統計分析系統采用Oracle11g作為數據庫管理平臺。

3.2 系統功能實現

3.2.1入庫檢查工具

入庫質檢工具以檢查任務為中心、質檢方案為驅動實現匯交目錄和各類匯交成果的自動檢查,主要檢查內容包括文件與結構一致性檢查、屬性項值域正確性檢查、拓撲正確性檢查、網絡數據連通性檢查、道路連通性檢查等,保證數據入庫質量。系統運行界面如圖10所示。

圖10 入庫檢查工具

3.2.2入庫預處理工具

按照數據庫技術設計建立地理國情監測數據預處理框架,采用工作流的方式進行投影轉換、調整屬性結構、國情要素實體化處理、元數據合并處理、解譯樣本圖層生成等,預處理后的數據符合建庫和變化統計分析的要求。該工具實現了數據處理的自動化批量操作。系統運行界面如圖11所示。

圖11 入庫預處理工具

3.2.3數據庫集成管理系統

數據庫集成管理系統通過構建時空數據模型并利用時間軸進行時空數據的顯示,通過矢量切片技術和柵格數據動態鑲嵌與管理技術實現了對多年份地理國情數據、基本統計分析數據、行業專題數據的集中入庫、高效瀏覽、查詢檢索、專題制圖和數據提取、數據版本注冊等,達到了多年份監測數據集成存儲和管理的目的。系統運行界面如圖12、圖13所示。

圖12 數據庫集成管理系統

圖13 版本注冊界面

3.2.4變化統計分析系統

變化統計分析系統采用空間統計、任務并行等方法,實時統計圖斑的長度和面積,數據查詢效率得到大幅提升,實現了實時統計分析。通過基于數據庫驅動的地理國情快速圖件制作技術(見圖9)實現了圖表、報表、圖件、報告等的快速生成。系統運行界面如圖14所示。

圖14 監測成果變化統計系統

3.3 實際應用效果

利用該系統完成了山東省全省五期地理國情數據的入庫工作,構建了地理國情時空數據庫,經驗證系統能夠完成多版本海量數據(數據量39.5 TB)的數據入庫及管理工作。另外,挑選臨沂市作為實驗區進行了變化統計,完成一個縣的變化統計分析報告僅需十分鐘左右,系統建設前人工編寫需要10人/天左右。經驗證系統穩定可靠,實現了標準有差異的地理國情監測數據的時空數據一體化管理和高效變化統計分析的目標。

4 結 語

本文根據山東省五期地理國情數據的特點,設計時空數據模型和數據庫,搭建用于實現地理國情數據管理的軟件系統,使山東省具備了對標準有差異的多期地理國情監測數據的統一管理和地理國情信息的快速統計及報告制作能力。本文大幅提升了山東省地理國情數據的管理能力和應用水平,能夠為山東省區域變化監測、發展規劃制定、新舊動能轉換等提供科學依據和技術支撐。