國土資源大數據上云高效運行體系及關鍵技術研究
——以山東省為例

安國強，仲陽，吳建廷，孔維劍，秦曉敏，許霄霄，陳龍飛

(1.山東省土地調查規劃院，山東 濟南 250014；2.山東師范大學地理與環境學院，山東 濟南 250038；3.山東省自然資源廳, 山東 濟南 250014； 4.山東省國土空間數據和遙感技術中心, 山東 濟南 250014；5.汶上縣自然資源和規劃局, 山東 汶上 272500)

0 引言

大數據為政府用戶、企業用戶與個人用戶提供前所未有的應用價值和服務能力[1]，自然資源統籌是當代自然資源信息化建設的基礎與核心工作[2]。國土資源大數據總量龐大，上云運行效率不僅是國土資源信息整合共享的瓶頸問題，也是一個新時代大數據應用的科學問題，是優化國土資源配置[3]，提高國土空間治理能力現代化水平的重要體現。國土資源大數據上云屬于數字地球概念的范疇，采用數字化的手段解決地球問題，最大限度地利用現有信息資源[4]。

國際上對于數字地球、云數據、數據源[5-7]等大數據的概念、理論與關鍵技術的研究較為多見，國內學者在實踐[8-9]的基礎上，研究了國土資源大數據的內涵、研究現狀[10]及國土資源相關系統平臺的建設目標任務[11]、構架體系[12]、平臺搭建及數據清理等相關技術[13-14]，為國土資源大數據應用[15]和共享提供了總體建設思路和框架[16]。然而針對提高國土資源大數據傳輸、顯示、查詢及分析效率的體系構建及關鍵技術的深化研究尚不多見。該研究以山東省國土資源大數據上云系統建設實踐為基礎，深入剖析保障國土資源大數據高效運行體系和提高效率的關鍵技術。從國土資源大數據管理的功能設計、數據組織、硬件配置、拓撲結構4個方面創建了提高數據上云系統運行效率的方法體系，有效提高了數據顯示、管理、查詢、分析的速度和處理能力，為同類國土資源管理信息系統的建設提供參考。

1 理論框架及系統結構

1.1 理論框架

數據是國家基礎性戰略資源[17]，實現國土資源大數據上云，是全國自然資源部門動態掌控自然資源，完善資源監管和智能服務技術支撐體系的重要信息化手段[18-20]，國土資源大數據的應用為我國自然資源的優化發展帶來極大的便利[14]。提升國土資源大數據系統應用的效率，需要從系統的硬件配置、功能設計、數據組織和拓撲結構等4個方面進行創新研究，形成國土資源大數據系統高效運行的方法理論體系(圖1)。

圖1 國土資源大數據高效運行體系理論框架圖示

硬件配置是通過網絡、服務器、交換機等硬件設備，搭建國土資源大數據高效運行體系的物理環境。功能設計是通過技術創新、GIS技術等先進技術，實現矢量、柵格等數據管理、查詢、分析等功能的效率提高。數據組織是通過對不同格式的數據進行統一管理，采用行政區、年度、比例尺等數據組織目錄進行數據的整理歸檔，實現數據的快速調閱瀏覽分析等。拓撲結構是指服務器環境、系統運行存儲結構、網絡結構，通過有效合理的拓撲方式進行組織建設，保證國土資源大數據上云系統的高效運行。

1.2 系統架構

國土資源大數據上云系統整合各類國土資源數據，實現分層疊加顯示、查詢與瀏覽、分析與數據挖掘等功能，能夠與其他業務系統實現對接，支撐對數據庫進行的管理和輔助決策，提供對外服務。系統采用懸浮倒掛式平臺，和粗粒度、松耦合面向服務的體系架構(SOA，Service-Oriented Architecture)，把各服務之間通過定義良好的接口和契約聯系起來。SOA架構下的系統易于擴展，能夠適應不斷變化的國土資源管理業務及大數據上云的需求，使開發者可將更多的精力轉移到專業服務上，形成統一的技術框架和運行環境，實現應用系統的快速搭建和靈活調整，為系統功能設計、數據組織、軟件環境、系統拓撲結構的整合提供了優越的條件，也為充分發揮各個子系統的特定功能奠定了基礎。

2 高效運行體系

2.1 功能設計

2.1.1 數據推送與接口調用

近年來，隨著計算機技術的快速發展，國土資源有關數據日積月累，不斷龐大，涵蓋了國土資源管理的各個業務，包括遙感影像、矢量地圖、屬性數據、掃描檔案、業務要件等多種類型[20-21]，是國家空間數據基礎建設的重要性組成部分，數據總量可達PB級。提高國土資源大數據利用效率，推進國土資源數據與政府部門的共享服務，有利于提升政府的服務能力和綜合效能[21]。山東省國土資源大數據上云系統可通過數據推送與接口調用實現數據的共享交換，與各部門數據互通互聯，共同融入全省政務云。

2.1.2 數據編輯、查詢與分析

上云系統提供多種工具實現對簡單要素類、注記類、對象類等空間數據和屬性數據的調閱和修改。提供對柵格數據分析與處理功能，包括：圖像變換、多波段遙感圖像處理、正態分布統計、多元統計、圖像數據和矢量數據的配準迭合、影像庫管理。支持修改屬性結構、屬性值；實現對屬性數據的導出；提供靈活的屬性數據批量處理工具。

數據查詢主要包括分類查詢和條件查詢。分類查詢是指在統一的操作界面下，通過人機交互查詢各類國土資源專題數據信息，如宗地的基本信息、界址點信息、界址線信息、土地利用現狀信息、基本農田信息、基礎地理要素信息等。條件查詢是指根據用戶自定義條件查看相應的空間圖形或屬性信息。

數據分析以Hilbert曲線作為空間聚集的典型劃分算法,從統計學的角度，將空間上具有相似性質的對象聚類，將聚類結果整體加入并行節點。通過大量實驗對比分析，這種方法相比傳統的方法更具有明顯的優勢，適合海量國土資源空間數據運算需求。采用多節點并行計算鎖，利用分布式數據存儲的模型，結合空間并行計算框架，實現任務的多節點調度和對結果的合并處理，大幅提升了分析的效率。數據分析主要包括：數據裁切分析、疊加分析、緩沖區分析等地理信息系統分析功能。對于十萬級別以下數據量的疊加分析采用多核并行處理策略。

2.1.3 數據遷移與轉換

支持不同數據庫之間、不同服務器之間的數據遷移。支持單個文件的遷移和整體數據庫的遷移。數據遷移工作在GDB企業管理器中完成。提供不同格式數據之間的轉換。如SHAPE、DXF、E00等類型數據之間的相互轉換，其操作界面友好、簡潔、通俗，并提供轉換日志查看轉換過程是否正常。

2.2 數據組織

國土資源大數據上云系統數據構成十分復雜，從區域方面看，有村級、鄉鎮級、縣(市、區)級、市級和省級5個層級，從業務角度有土地規劃數據、土地調查數據、土地評價數據、土地開發整理數據、遙感數據，從數據作用來看有空間數據、非空間數據、文字報告、現場調查記錄、實景照片等，還有柵格數據、矢量數據和屬性數據，從存儲格式上來看包括國內外常用GIS軟件所支持的矢量數據(如：DWG，DXF，E00，Shape，Coverage，Geodatabase，Mid，Mif，MapGIS6X，MapGIS K9等)和國內外常用遙感影像處理軟件所支持的柵格數據(如：TIFF，CEOS，HDF，RAW，TIF，GIF，JPG，MSI，PIX，IMG，ENVI等)，非空間數據包括各種文檔(如：pdf，bmp，xml，html等)和表格數據(如：Access，SQLServer，Oracle)等。山東省國土資源大數據上云系統，通過創新模式，實現了多種數據的共生性、多重性等關系表達，實現了基于行政級別、行政區劃、年度、比例尺、專題數據等多主題集中管理，大幅提高了系統運行的效率，為全省國土資源利用決策提供科學有效的支持。

2.3 硬件環境

服務器虛擬化架構設計是服務器虛擬化技術運用的核心，直接決定了整個服務器資源體系對應用系統的承載能力、運行效率以及可靠性。計算機資源池由機架式X86服務器構成，服務器通過虛擬化部署一般業務系統和web應用系統。以虛擬技術為頂層架構，基于高端八路服務器、小型機、磁盤陣列、光纖交換機、核心交換機等設備，搭建支持國土資源大數據上云系統高效運行的物理平臺。服務器虛擬化技術科學解決了傳統服務器系統建設的問題。通過提高物理服務器利用率大幅度消減物理服務器購置需求、數量和運營成本；通過利用服務器虛擬化中CPU、內存、IO資源的動態調整能力實現對業務應用資源需求的動態響應，提升業務應用的服務質量；通過在線虛擬機遷移實現更高的可用性和可靠性以及各種基于資源優化或節能減排策略的跨物理服務器的調度。

2.4 拓撲結構

系統是以計算機軟硬件環境、MapGIS集成開發平臺與網絡通信技術為依托，以信息化標準規范體系和數據交換體系為結構，以土地資源基礎類、管理類、專業類、文檔資料、元數據等各類核心數據庫為基礎，通過建設國土資源行業模型管理層，建立基于共享服務平臺的國土資源專業數據服務體系和數據集，最終形成以數據和服務為支撐，面向共享服務平臺的國土資源數據管理體系。系統拓撲框架從下到上分為運行支撐層、體系結構層、核心數據層、模型管理層、共享服務層和應用層6個層次(圖2)。

運行支撐層為硬件、軟件和網絡基礎設施，以MapGIS集成開發平臺作為基礎支撐環境。體系架構層則由標準體系和交換體系共同構成，標準體系包括數據規范、服務規范和應用規范；交換體系包括數據、應用和服務的綜合交換。核心數據層則由數據元數據庫、基礎類數據庫、專業類數據庫、管理類數據庫、文檔資料數據庫，以及支撐系統本身的系統元數據庫。模型管理層是基于核心數據層提供國土資源模型庫的各項功能。共享服務層是通過共享服務平臺對各類業務功能需求進行服務封裝，并以數據服務的方式提供給應用層服務支撐。數據服務層包括通用數據服務、專用數據服務和工具集3部分。應用層是利用數據服務層提供的相關服務來開展各項業務應用。

圖2 國土資源大數據高效運行體系拓撲結構圖

3 提高效率的關鍵技術

3.1 數據處理關鍵技術

高效的數據處理技術是國土資源大數據上云系統成敗的關鍵。對數據的快速裁切、查詢、快速顯示、柵格瓦片、GIS分析等，提供多核、多節點不同粒度并行策略，全面支撐空間并行計算。例如，對體量較大數據的疊加分析，采用多節點并行計算鎖，利用分布式數據存儲的模型，結合空間并行計算框架，實現任務的多節點調度。采用最近最少使用算法(Least Recently Used ，LRU)管理空間瓦片裁剪緩存和矢量數據預處理技術，可以達到減少顯示數據量的同時不影響顯示效果。通過坐標轉換、數據裁剪、減少渲染范圍、多線程、多處理器并發等手段，提高網絡地圖服務器集群的并行處理能力，可提高數據的顯示速度。

3.2 異構數據集成技術

國土資源數據異構性主要體現在3個層次：語法結構異構性、語義異構性和分布性異構性。采用上云系統GIS中間件技術可有效管理多個數據倉庫，而不改變原有的空間數據模型標準和數據表示方法。將MapGIS數據上載至ORACLE數據庫中，通過MapGIS數據系統發布標準的OGC服務，方便用戶在ArcGIS環境下進行數據的調閱。上云系統支持的各種GIS數據中間件主要有如下幾種。

(1)MapGIS中間件。該技術基于統一的空間要素實體模型，設計統一的功能操作接口，根據數據類型在語義上最終分派給某類格式插件進行處理，通過同一訪問接口實現對異構數據的直接編輯。

(2)ArcGIS中間件。把ArcGIS作為MapGIS的數據源，實現在MapGIS環境下操作ArcGIS的數據。ArcGIS中間件可訪問的數據包括：Shape、Coverage、Personal GDB和SDE GDB。

(3)SDO中間件。把Oracle Spatial作為MapGIS的數據源，實現在MapGIS的環境下操作Oracle Spatial的數據。

3.3 分布式數據存儲及挖掘技術

空間數據分布式管理的核心基礎是網絡空間數據庫。為了實現空間數據存取的設備無關性、位置無關性，上云系統從軟件結構上，把數據管理功能獨立成一個功能層，所有的數據存取均通過該功能層。在該功能層定義了“研究區”的概念，并在研究區的基礎上，定義了對空間實體相關的各種數據進行添加、刪除、更新、檢索、判斷等操作，這些概念和操作通過組件及API函數接口或C++類，暴露給上層程序。

利用空間數據庫引擎(SDE)，將多源國土資源空間數據存放在商業關系數據庫中管理，既可大大拓展空間數據的容量，又可以利用關系數據庫的海量數據管理、事務處理(Transaction)、記錄鎖定、并發控制、數據倉庫等功能，使空間數據與非空間數據一體化集成。數據可以存放在網絡服務器或Web服務器，也可以存放在本地。訪問數據時可以不必關心數據的存放位置，用戶可以像操作本地數據一樣去操作網絡數據。

數據倉庫提供聯機分析處理(OLAP)工具，用于多源異構數據的分析，有利于有效的數據挖掘。數據挖掘由數據選擇、數據清理、數據集成、數據變換、模式評估、知識表示等步驟的迭代序列組成。基于數據倉庫的數據挖掘，綜合了數據挖掘技術和空間數據庫技術，通過空間挖掘實現空間關系與非空間數據關系的發現，以及空間知識庫的構造、空間數據查詢的優化和其他有意義的模式的提取；還可以實現挖掘GIS異構數據的特征規則、分類規則和數據聚類。

3.4 海量圖庫管理技術

上云系統擁有海量數據管理能力，其中地形數據以分幅專題層的方式管理；專業數據以整體專題層的方式管理。不同類數據通過統一坐標下的空間位置疊加形成統一整體。海量地圖庫管理系統在平面上以圖幅為單位來管理各幅地圖，在縱向上以“要素層”來組織各圖幅數據。按這種組織方式，上云系統的海量地圖庫管理系統可以提供給用戶靈活直觀的數據入庫手段、強有力的數據查詢途徑和高效快捷的漫游顯示等功能和特性。上云系統還可以為用戶提供圖幅間接邊功能，以消除相鄰圖幅的接邊誤差，提高對跨圖幅圖元進行整體查詢和歸并檢索輸出的效率。

3.5 搭建式開發技術

上云系統是從界面表現到數據管理各個層面上實現搭建。可視化的搭建配置管理和工作空間管理實現界面表現，工作流管理實現功能邏輯和業務邏輯的控制，功能倉庫管理提供的功能倉庫系統實現GIS基礎功能和擴展功能服務，數據倉庫系統實現對多源異構的空間數據和非空間數據的集成管理。搭建配置管理是實現基于上云系統搭建C/S和B/S應用系統的集成開發環境。集成設計器主要用來搭建適合多種GIS平臺的基于C/S模式的應用系統，表單設計器主要用來靈活地搭建Web應用程序。

4 討論及結論

4.1 討論

山東省國土資源大數據上云系統采用了面向服務的體系架構，從功能設計、數據組織、硬件環境和拓撲結構4個方面構建了高效運行體系設計，實現了矢量數據、異構數據、分布式數據存儲及挖掘、海量圖庫管理、靈活的搭建式開發等技術，大幅提高了國土資源大數據的處理能力和處理效率。為測試上云系統的數據整體處理能力，采用一個市的國土資源管理數據對系統進行測試，實驗數據及軟硬件環境基本情況如表1所示。

表1 山東省國土資源大數據上云系統效率測試基本配置

采用矢量數據直接發布、多級緩存實現快速瀏覽、多核集群多線程并行化繪制、元素過濾、網格索引、D2D硬件加速等技術后，通過客戶端與服務器端的協作，實現矢量數據實時可視化任務的分解，調度集群中的多個服務器并行處理計算開銷較大的矢量數據實時可視化任務，提高了網絡地圖服務器集群的并行處理能力。使用不同的虛擬用戶數對采用上云系統的網絡地圖服務模型進行了仿真實驗，針對系統并發性能耗時情況采用1臺服務器10個用戶、5臺服務器10個用戶、5臺服務器100個用戶進行測試。試驗結果表明，并發性能耗時平均提速99.5%以上,100個用戶訪問5臺服務器的并發性能耗時由32.66s縮短到1～2s范圍內，其中快速引擎僅需1.13s，柵格瓦片僅需0.96s，可見山東省國土資源大數據上云系統快速顯示性能得到大幅度提升(圖3)。

傳統的GIS圖形存在裁剪瓦片耗時、耗力，GIS圖形顯示效率低的應用瓶頸。上云系統通過研發多線程、多處理器并發處理功能，制定多任務劃分調度策略，優化瓦片裁剪的算法，極大地減少裁剪瓦片的時間。新的瓦片裁圖方式的應用使本地數據源(HDF)矢量數據裁圖效率同比提升17倍，其他網絡數據源，如Oracle，SQL，Shapefile等矢量數據，瓦片裁剪效率同樣得到大幅提高(圖4)。

圖3 山東省國土資源大數據上云系統快速顯示效果對比圖

圖4 山東省國土資源大數據上云系統瓦片裁剪效率對比圖

4.2 結語

強化自然資源信息化建設，提高自然資源管理的信息化水平，及時、準確、全面掌握自然資源利用現狀和管理狀況，為促進全省經濟增長的宏觀決策提供科學支持，是保障新舊動能轉換的有力措施。依托自然資源現有國土資源大數據，建立物理分散、邏輯集中、資源共享、政企互聯的政務信息資源“大平臺、大數據、大系統”，是實現政務信息系統整合共享的新時代要求。國土資源大數據上云不僅是一個部門或單位可以單獨實現的目標和任務，需要聯合自然資源、大數據、信息化等各個部門數據、網絡、計算機等資源互通互聯，形成高效、統一、安全、政民互動的全省政務系信息系統。該文從提高上云效率的角度探討了國土資源數據融入全省政務云的體系建設思路及有關技術，旨在展開有關政務信息整合共享系統建設的廣泛關注和討論，促進全省信息化的建設。