李仕佳


摘? 要:省級自然資源時空大數據云平臺立足于一網一庫一平臺N應用的信息化總體規劃,在省政務網(一網)環境下構建一體化數據庫(一庫),支撐自然資源政務管理與服務平臺(一平臺)、調查監測及政務服務等應用(N應用)。該文以省級應用為基礎,探討時空大數據云平臺技術。通過超融合、海量數據存儲、云安全等技術構筑云平臺基礎,同時引入數據抽取、清洗、挖掘分析、可視化等數據處理技術,以及分布式平行計算、SOA、微服務、容器等云化技術,提升時空大數據云平臺的服務能力,為同類平臺建設提供借鑒。
關鍵詞:時空大數據? ?分布式并行計算? ?面向服務GIS技術? ?業務云化? ?微服務
中圖分類號:P208? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼:A文章編號:1672-3791(2021)07(b)-0001-03
Research and Application of Provincial Natural Resources Spatio-temporal Big Data Cloud Platform
LI Shijia
(STARGIS (Tianjin) Technology Development Co., Ltd., Tianjin, 300384 China)
Abstract: The provincial natural resources spatio-temporal big data cloud platform is based on the overall informatization planning of one network, one database and one platform (N application). And it constructs an integrated database (one database) under the provincial government network (one network) environment to support natural resources government management and service platform (one platform), investigation and monitoring, government service and other applications (N application). Based on provincial application, explore the time and space big data cloud platform technology. Build a cloud platform foundation through Hyper-converged, massive data storage, cloud security and other technologies, and introduce data processing technologies such as data extraction, cleaning, mining analysis, and visualization, as well as cloud technologies such as distributed parallel computing, SOA, microservices, and containers to improve service capabilities of time and space big data cloud platform and provide reference for the construction of similar platforms.
Key Words: Spatio-temporal big data; Distributed parallel computing; Service-oriented GIS technology; Business cloudization; Micro-service
業務信息化的推進以數據為基礎,與傳統靜態的、已知的數據相比,大數據是動態的、未知的,時空數據是一種特殊類型的大數據[1]。時空大數據云平臺把各種分散的時空數據匯聚在平臺上,通過數據的多維融合、關聯分析和數據挖掘等過程,找出數據隱含的規律,幫助決策者做出快捷、全面、精準和有效的預判,正如王家耀院士所說“數據隱含價值,計算發現價值,應用實現價值”,時空大數據正日益成為治理體系和治理能力現代化的核心驅動力。近年來,可視化分析、并行數據處理、Hadoop計算框架等技術不斷應用到時空大數據業務中[2]。現階段,迫切需要利用云端運算,對結構復雜、數量龐大的數據進行融合分析,轉化為有價值的信息。
1? 現狀分析
時空大數據來源廣泛,數據的豐富性和飛速發展的云計算技術為GIS提供了新的應用模式,在這種形勢下,探索云平臺建設之路是必然的選擇,經歷了基礎設施的梳理到整合,從數據聚合到按業務梳理,不斷地探索時空大數據云平臺技術實現之路[3]。為適應當前信息化要求,需要完成以下任務:一是做好總體框架設計,滿足未來發展需求;二是構建高效基礎支撐層,滿足計算、存儲、I/O吞吐量、系統穩定性等綜合要求;三是提升時空大數據挖掘分析能力,支撐更大范圍數據的快速分析和數據深入挖掘能力;四是以應用為導向盤活時空大數據,探索更深入的應用。