地理省情監測變化統計分析系統的設計與實現
——以山東省為例

趙君

(山東省國土測繪院，山東 濟南 250013)

0 引言

現階段，省級第一次全國地理國情普查已基本完成，其成果在各行各業得到廣泛應用[1-2]。按照國務院對地理省情監測工作總體部署和測繪地理信息事業轉型發展需要，從2016年起地理國情信息獲取進入常態化監測階段，在地理國情普查的基礎上，進行地理省情監測業務化運行建設，形成常態化地理省情監測機制，提供地理省情信息業務化、常態化服務[3-4]。

伴隨山東省地理國情監測工作的深化，山東省已積累了大量地理省情監測數據，這些數據具備多時態、多版本、多年份的特點[5]。管理、利用好這些龐大、復雜、多樣化的省情監測數據，成為亟待解決的重點問題。為解決好地理省情監測數據的管理問題，并綜合考慮山東省省級地理信息時空大數據中心的相關要求，該文研發了地理省情監測變化統計分析系統。系統建設圍繞基礎性地理省情監測數據，對多年份地理省情監測成果進行變化統計分析，掌握山東省地表自然和人文地理要素年度變化情況，揭示要素變化規律和趨勢，以更好地為政府和社會提供地理省情信息服務。

1 總體設計

1.1 技術路線

以山東省地理國情(省情)普查成果和基礎性監測成果為基礎，以縣級行政單元作為變化統計工作區域，綜合運用空間分析、時間序列分析、數值統計等統計分析模型和方法，對地理省情監測要素的物理結構、空間關系及差異特性等內容進行變化統計分析。統計類型包括要素級變化統計和地類級變化統計，主要分析屬性變化、伸縮移位、新生、滅失、糾錯、打斷與未變化情況；統計內容包括植被覆蓋、居民地設施、鐵路與道路、水域、荒漠與裸露地表等地理要素的面積、長度和個數等指標[6-8]。

1.2 總體架構設計

地理省情監測變化統計分析系統數據庫管理系統采用商業化成熟的關系型數據庫，通過功能組件和服務接口等組件服務，實現數據存儲與訪問。整個數據庫管理系統由支撐層、數據層、接口層和應用層構成。系統總體技術架構如圖1所示。

圖1 系統技術架構圖

(1)支撐層：用于保障地理省情監測變化統計分析系統的正常運行，由基礎軟件環境、硬件環境及網絡環境組成。

(2)數據層：是系統的數據資源，并提供數據的存儲和管理能力。數據內容包括普查與監測時期的多年份地表覆蓋、地理省情要素、路網和水網數據、遙感影像數據、地形地貌數據、遙感影像解譯樣本、專題數據、統計分析成果數據以及系統管理數據。

(3)接口層：提供功能組件和服務接口，具有靈活性強、便于使用的特點。

(4)應用層：實現多年份數據時空化建庫，多時相數據入庫質檢、預處理、數據入庫、查詢、提取，及地理省情監測數據變化信息統計等。

1.3 數據庫設計

山東省地理省情監測變化統計分析系統建庫內容主要涉及普查成果數據、基礎性監測成果、統計分析成果(圖2)。普查成果是山東省第一次地理國情普查工程中形成的成果，成果包含國情要素數據、地表覆蓋數據、解譯樣本數據、遙感影像數據以及地形地貌數據5大類主要數據[9-10]。基礎性監測成果是以普查成果為基礎，每年開展常態化地理省情監測形成的，由各數據生產單位匯交的直接數據成果，成果內容包含地理省情要素數據、地表覆蓋數據、元數據、遙感影像與解譯樣本數據、專題數據、行業專題數據、基本統計分析成果數據等七大類數據[11-13]。統計分析成果是普查時期、監測時期建庫完成后進行的下一階段常規成果，主要包含基本統計成果、變化統計成果[14]。各個統計成果數據庫中包含統計成果數據集、統計成果圖件、報告、報表等。

圖2 系統數據庫內容

從存儲角度，地理國情數據分為矢量數據、柵格數據、網絡數據、表格數據和文件數據等5種，根據數據庫的邏輯設計，對5種類型的數據進行物理分開存儲。考慮每種數據的數據量，將地理省情監測時空數據庫劃分為7類表空間，分別為：不分區的地理國情矢量數據、分區的地理國情矢量數據、統計分析數據表空間、遙感影像數據表空間、地形地貌數據表空間以及數據庫空間索引和屬性索引數據表空間等。

2 關鍵技術分析

2.1 分布式集群架構

系統以數據版本匹配技術為基礎，圍繞任務調度這一核心，通過分布式集群架構，采用共享文件系統作為支撐，完成以數據為驅動的變化統計分析任務。通過版本匹配、并行調度框架、負載均衡任務調度、國情統計分析任務并行方式的優化、共享文件系統的分布式存儲等策略，實現高效的地理省情變化統計分析。

2.2 版本匹配變化統計

通過版本匹配技術進行空間分析，可以將幾個版本數據直接對比，也可以將FEATID作為標識信息加以對比，對整個山東省所有要素在各個版本中的發展變化信息進行監測。從時空變化角度反映地理省情要素空間分布、空間結構、空間關系的變化數量、變化特征、變化趨勢，分析其變化原因和影響因素。

2.3 高性能高可用的并行調度框架

并行調度框架是一個中間件，用于對地理大數據進行并行處理，目標是為大數據量的計算密集型的業務應用提供一個基礎開發平臺[15]。它可為上層應用系統提供模型管理、任務調度與進度監控等功能接口，提供并行調度環境部署與管理工具。框架對底層分布式通信、資源分配的復雜性進行了封裝，簡化業務系統的構建過程。

2.4 負載均衡任務調度策略

結合地理省情監測數據的特點，基于負載均衡策略，合理分解計算任務，同時考慮節點資源情況選取最合適的計算節點，然后在集群中的所有計算節點上動態分配計算任務。同時，計算節點可以根據需要，動態的增加或減少，以便合理有效地利用機器資源。并行調度系統可以實時監控節點資源狀態，以便為任務調度提供決策數據依據。

2.5 基于共享文件系統的分布式存儲

為解決數據集中式存儲所帶來的IO瓶頸問題，以共享文件系統為支撐，實現分布式存儲、管理空間數據。通過在各個計算節點上，分布式存儲待處理的數據，一方面可以解決單個節點存儲空間不足，以及網絡傳輸的壓力問題；另一方面，在執行統計任務時，將任務分配到最近的計算節點上，減少傳輸耗時，降低整體網絡壓力，同時提高運算性能[16]。

3 系統的設計與實現

3.1 系統的開發環境與工具

地理省情監測變化統計分析系統采用的數據庫為Oracle 11g，在數據庫服務器上選裝ArcSDE 10.3。Web服務器和應用服務器上需要安裝的服務軟件包括ArcGIS Server10.3、JDK(Java Development Kit)，并且部署Oracle 11g數據庫客戶端軟件。客戶端上需要安裝部署ArcMap、ArcEngine、Microsoft Office、Microsoft.NET Framework等(表1)。

表1 主要軟件環境構成情況

3.2 系統功能設計與實現

該系統借助空間統計、任務并行等技術手段，對比分析監測范圍內的歷史數據與現勢數據，發現各個版本數據之間的區別，對監測范圍內數據要素級、地類級變化情況加以監測。系統涉及統計計算模塊、成果生成模塊、任務管理模塊及配置維護模塊。

3.2.1 統計計算模塊

統計分析模塊從地理省情監測時空數據庫中抽取行政區域范圍作為監測區域，指定數據庫中的各類地理省情監測成果數據圖層作為監測對象，通過對劃定區域內的監測對象的歷史數據與現勢數據監測對比，并采用圖形、表格等多種方式展現變化情況，為地理省情長期持續的監測提供服務。支持按行政區劃和自定義范圍對比歷史數據與現勢數據；支持統計要素級和地類級數據變化情況；支持變化統計任務多機、多進程執行。

要素級變化統計，構建不同版本數據之間各類要素的變化分析指標，統計要素在各種空間變化下的數量變化、長度變化、面積變化等，以對比圖斑的形式展現監測對象的變化結果。地類級變化統計，基于監測數據或基本統計成果，統計各地類的數量變化和空間分布變化。變化統計模塊主要包括統計方案、數據方案和統計指標3個功能。統計方案是統計指標的組合，分為地理省情要素、地表覆蓋分類變化、地表覆蓋轉移變化。數據方案是根據實際需要統計分析的內容創建數據方案，實現數據與計算模板的匹配。統計指標是統計計算的核心功能，按照具體的數據類型，地類分類情況，年份信息構建變化統計指標。

3.2.2 成果生成模塊

成果生成模塊提供圖表制作、報表制作、圖件制作、報告制作4個功能。

圖表制作：地理省情變化統計分析系統的圖表制作功能可以根據不同的統計范圍對統計結果中各種變化類型的數量、長度和面積進行自動匯總，系統根據匯總的數據自動生成折線圖、直方圖、餅狀圖和柱狀圖。

報表制作功能：地理省情變化統計分析系統提供完善、靈活的報表制作能力，支持省情特色報表模板的制作，滿足多樣化展示的應用需求。執行完成變化統計后，可以輸出統計報表，采用.XLS文件格式。

同時，該模塊也支持對報表模板的修改、設計，提供設計器進行編輯，支持完善、靈活的報表制作能力。除此之外，還支持支持一鍵生成、輸出報表內容(圖3)。

圖3 報表生成

3.2.3 任務管理模塊

任務管理模塊主要是對統計計算的任務進行管理，包括未執行任務、執行中任務、已完成任務和所有任務。選擇某一個具體的任務，點擊該任務，可以查看相應任務的日志詳情。

支持按照任務的分類分別進行查看任務的名稱、任務類型、任務描述、統計范圍、創建人、創建時間、開始時間、狀態、任務進度、結束時間和任務結果信息。同時，支持對任務進行全選、啟動、刪除、刷新操作。其中是否展示創建人信息，與登錄的用戶權限有關，若是用戶權限為管理員權限，則展示創建人信息，若是用戶權限為普通用戶權限，則不展示創建人信息

3.2.4 配置維護模塊

配置管理模塊主要完善系統運行維護方面的功能，包括安全管理、建庫配置、時空配置、組織管理等功能，保障系統穩定運行。安全管理提供系統用戶管理功能，并對系統操作功能權限和數據訪問權限進行嚴格控制，保障數據庫運行安全。

建庫配置提供數據建庫基礎配置，連接共享存儲，掛接數據庫資源，包括數據資源管理、存儲設置和設置圖層范圍。時空配置功能建立時空數據模型，實現對多年份監測數據的時空管理，支持對省情監測數據版本進行注冊與維護，支持按年份對地理國情信息分類碼管理。組織管理提供數據目錄、數據區域配置等管理能力，支持自定義組建數據編目樹的結構，支持任務區劃配置，流域區劃配置，支持按照年份進行行政區劃配置。運行監控提供對系統運行情況進行實時的監控，以及業務數據的備份與恢復能力，支持顯示用戶在線狀態，支持系統運行業務數據備份與恢復。

3.3 系統部署

地理省情監測需要統計和分析多元化、多維度、多時相數據的變化，需要對統計分析結果進行快速查詢和調用，傳統的支撐環境難以滿足需要。因此，該項目的支撐環境需要云環境，進行網絡存儲、計算及資源服務。

云平臺采用私有云模式，通過云平臺管理軟件，將計算、存儲、網絡等資源虛擬化，并進一步池化管理。用戶通過云主機構建統計分析計算服務器集群、Web服務器集群、應用服務器集群、文件服務器等，使其具有高性能、高可靠性、高可擴展能力等特點。系統通過云平臺API為應用服務、GIS服務軟件系統提供自主化集群管理服務。云平臺通過對底層虛擬環境的統一調度管理，為上層的應用和GIS服務軟件系統提供包括計算、存儲和網絡資源的自動化動態分配，并提供對從底層物理資源、虛擬資源池、虛擬主機、GIS服務軟件、應用服務軟件的垂直監控。通過整合監控數據和并發訪問量，自動調整應用服務軟件、GIS服務軟件的集群規模，以保證集群的高效處理能力。

3.4 實例分析

因面狀要素兼具點要素與線要素的特性，且對面要素的變化統計最復雜，因此，文章以2015—2017年平度市耕地的變化統計分析進行測試。借助本系統從省情監測數據中提取水田、旱地地類作為耕地地類，進行變化統計，形成2015—2017年平度市耕地變化統計結果：(1)耕地主要流向分析。從地類來看，耕地與園地間流轉導致耕地面積減少最多，其次，是耕地與草地間流轉。(2)空間分布情況分析。耕地轉為園地的情況在平度各地均有分布，總體來看，北部大于南部，東部大于西部。且主要集中在北部大澤山、東北部尹府水庫、黃同水庫附近。耕地轉為園地的區域與2017年平度園地分布基本一致，且在園地集中區域耕地轉為園地的數量較多(圖4、圖5)。

圖4 平度市耕地轉入-轉出變化量構成情況

圖5 平度市耕地轉出為園地熱點區域

通過本系統計算得到的變化統計成果與人工判斷的結果一致，驗證了變化統計的準確性。對獲得的省情監測變化統計數據，進一步進行數據挖掘，可為決策部門提供良好的輔助支撐。

4 結語

該文以云環境為支撐，采用分布式集群架構、版本匹配技術、高性能并行調度框架、負載均衡任務調度策略等關鍵技術，設計了地理省情監測變化統計分析系統，利用空間統計、任務并行等技術模型，實現對監測區域內多時態、多版本、地理省情數據要素級、地類級變化情況的統計分析，解決了省情監測數據分散、管理困難的問題，極大地提升了地理省情時空數據的管理能力。