吳楫捷 談暢



摘要: 構建省級時空地理信息云平臺是統籌協調各方資源,提高政府服務能力的需要。本文以省級應用為基礎,探討時空地理信息云平臺技術。通過超融合、海量數據存儲、云安全等技術構筑云平臺基礎,同時引入數據抽取、清洗、挖掘分析、可視化等數據處理技術,以及分布式平行計算、SOA、微服務、容器等云化技術,提升時空大數據云平臺的服務能力,為同類平臺建設提供借鑒。
關鍵詞:時空大數據分布式并行計算面向服務GIS技術業務云化微服務
隨著智慧城市建設、土地確權、地名普查、地理國情監測、土地調查等一系列國家重大工程的陸續開展,我國各行業對遙感測繪地理信息需求旺盛,地理信息云平臺是未來地理信息產業發展的基礎[1]。
在智慧城市方面,智慧城市建設已經上升為國家級戰略規劃,成為新型城鎮化的必由之路。截止到目前,國家智慧城市試點已達290個,投資過萬億。據工信部預計,中國智慧城市建設市場規模約4萬億。智慧城市建設需要基礎地理數據的支撐,同時會極大地促進地下管網、城市空間信息管理、交通、環保、防災減災等行業的信息化建設,所有這些行業的信息化都需要基礎地理云平臺的支持。
構建省級時空地理信息云平臺是統籌協調各方資源,提高政府服務能力的需要。平臺的建成,將豐富數據服務內容,使得獲取渠道和手段多樣化,提供高效、便捷的大數據服務。政府通過該服務平臺,既能規范、簡化和優化辦事流程,提高工作效率,又能促進政府決策合理化、管理科學化、服務高效化。
1現狀分析
時空大數據來源廣泛,數據的豐富性和飛速發展的云計算技術為GIS提供了新的應用模式,在這種形勢下,經歷了基礎設施的梳理到整合,從數據聚合到按業務梳理,不斷地探索時空大數據云平臺技術實現之路。為適應當前信息化要求,仍有以下任務[2]。
(1)做好總體框架設計,滿足未來發展需求。
(2)構建高效基礎支撐層,滿足計算、存儲、I/O吞吐量、系統穩定性等綜合要求。
(3)提升時空大數據挖掘分析能力,支撐更大范圍數據的快速分析和數據深入挖掘能力。
(4)以應用為導向盤活時空大數據,探索更深入的應用。
2時空大數據云平臺總體框架設計
以信息基礎設施為支撐,以地理信息資源為基礎,綜合采用遙感衛星數據組織技術、計算機技術、GIS技術、數據集成技術,采用統一的技術架構,將多源、多尺度、多類型的地理信息資源進行有機組織,實現海量信息的高效管理與持續更新,提供地理信息便捷、高效、安全的在線共享服務。平臺設計采用“層服務模型”思想,通過層次劃分將其分解為若干個邏輯平臺,降低實施的復雜度。項目的總體建設框架由運行支撐層、數據資源層、管理層、服務層和應用層所構成(見圖1)[3]。
2.1 運行環境層
支撐層是項目正常運行的基本保障,包括運行環境(基礎設施)、組織機構、安全體系、政策法規與標準規范體系。
2.2 數據資源層
數據層由基礎地理信息數據庫和平臺共享服務數據庫組成。平臺共享服務數據庫是在基礎地理信息數據庫的基礎上,經過提取、擴充、重組、保密等處理而形成的。在平臺地理空間框架數據的基礎上整合各類專題數據,形成可為用戶提供服務的共享服務數據。共享服務數據分不同網絡部署,在保障數據資源安全的前提下,滿足政府、公眾用戶的不同層面需求[4]。
2.3 管理層
地理信息公共服務平臺的管理層通過數據管理子系統和運維管理子系統,實現對平臺各類地理空間信息資源、資源目錄、運行日志、系統用戶等的管理。
2.4 服務層
服務層實現對地理信息公共服務平臺各類空間信息資源的對外發布、交換和共享。支持的Web服務與API包括服務注冊與檢索、共享數據服務、興趣點服務、地名庫服務、空間分析服務、地圖API等。這些Web服務和API能夠方便地整合到其他系統中,有效減少系統建設難度,降低投入。服務層主要由共享服務子系統、資源展示子系統及一系列地理信息在線服務、二次開發接口組成,通過上述系統為其他用戶提供服務[5]。
2.5 應用層
應用層是政府職能部門、企事業單位和公眾基于地理信息公共服務平臺的數據資源、功能接口及數據接口構建的各類應用系統,以提高輔助決策水平和公共服務能力。
3超融合高效基礎支撐環境
省級時空地理信息云平臺在原來虛擬化技術的基礎之上,按照統一標準構建時空大數據云技術架構,實現裸金屬服務器、虛擬機、容器環境、華為基礎設施等多套技術體系的融合,最終達到統一化管理[6]。通過隔離驅動層,一方面直接支撐本省時空大數據業務,另一方面通過接口為與“數字政府”之間對接打下基礎。詳見圖2。
4智慧云平臺關鍵技術分析
4.1 互聯網地圖引擎
基于自主研發的擁有自主知識產權的獨立地圖引擎。該地圖引擎主要用于地理空間數據的整合與管理、互聯網地圖的配置與發布、數據存取與分析,并提供符合OGC標準的地理信息服務。
4.2 多源異構地理空間數據聚簇索引技術
借鑒數據庫中聚簇索引建構技術思路,實現了非結構化的多源異構地理空間數據聚簇索引技術,實現多源異構空間數據的注記、屬性、空間位置的統一檢索,滿足了地理信息公共服務平臺“千萬圖層,一站檢索”的應用需求,保障海量空間數據的檢索效率。
4.3 地理空間數據前置交換技術
采用“服務器+智能代理”式松散耦合的地理空間數據前置交換架構模式,構建一個由地理空間數據交換管理端和各個應用軟件的交換智能終端(前置機)構成的分布式網絡環境下的地理空間數據交換系統。支持網絡單向連通環境下文件數據和異構數據庫的地理空間數據雙向交換和斷點續傳。
4.4 基于“文件-位置”形式的空間索引與查詢優化
通過對空間數據文件的空間位置信息創建索引,建立基于內存與文件形式的空間索引,實現了地理空間數據的綜合性空間查詢,解決了利用數據庫空間索引對大量的空間數據進行跨表查詢效率不高、對數據庫壓力大的問題。利用該技術對外提供了空間范圍查詢地名地址、專題數據等服務,提升了平臺服務的能力。如圖3所示。
5以應用為導向盤活時空大數據
5.1 業務云化技術
在面向服務GIS架構基礎上探索云化實現,從云化模板出發,結合容器技術實現業務微服務,達到云化業務程序的目的。
在微服務架構下應用docker容器技術,通過模板制作、應用類型注冊、投遞方案配置、投遞參數配置、投遞訂單解析、投遞流程實現等環節,初步構建了一套從開發、測試、部署、發布到持續交付的業務云化機制。
5.2 應用服務支撐
一是已實現包括三大陽光工程(陽光用地、陽光用礦、陽光用海)、國土空間規劃、城市地質和決策參閱等重點應用支撐。二是政務信息共享方面,擬通過數據交換、服務對接等方式和政務大數據中心等實現聯通對接,依照部門的職能按需共享,為其他政府部門共享自然資源專題數據,延伸數據服務范圍。三是豐富自然資源時空大數據資源。計劃利用政務大數據中心的人口、法人、社會信用等各類數據和服務,豐富數據內容。
6結語
省級時空地理信息云平臺自建設以來運行穩定,實踐證明取得較好效果:通過應用超融合架構,節省了硬件投資;通過云化業務技術,簡化了應用部署;通過分布式高性能計算框架,提升了業務的對外服務能力;依托云平臺建成的自然資源時空大數據中心,實現了數據資源的統一管理。隨著數字中國的發展,時空大數據云平臺將發揮更多作用。
參考文獻
[1]徐剛,周必高,馬奇蔚,等.顧及時空信息的暴雨精細化大數據平臺構建方法[J].地理空間信息,2021,19(3):28-30,37.
[2]曹春華,張澤烈,程宇翔,等.時空大數據服務平臺建設模式及應用研究——以重慶市為例[J].測繪通報,2020(10):135-138,156.
[3]趙朋.沈陽市時空大數據共享服務平臺關鍵技術研究[J].測繪與空間地理信息,2020,43(7):172-175.
[4]袁輝.面向時間地理分析的軌跡大數據建模與時空鄰近性分析研究[D].武漢:武漢大學,2018.
[5]周潔.面向服務的時空大數據統計分析平臺研究及實現[D].北京:北方工業大學,2020.
[6]喬天榮,馬培果,許連峰,等.智慧城市時空大數據云平臺發展策略的探討[J].地理空間信息,2021,19(12):94-96,105.