大數(shù)據(jù)時代 GIS 發(fā)展路徑探究

韋怡 葉波

摘要：隨著第三次信息化革命浪潮的到來和移動互聯(lián)網(wǎng)技術的高速發(fā)展，大數(shù)據(jù)時代的萬物互聯(lián)開始讓我們感受到“位置” 連接一切，位置服務無所不在。GIS在其中相當于橋梁，精準的空間位置服務可以實時感知道路擁堵、給城市“治病”、控制人類疫情、改變城市生活質量。大數(shù)據(jù)時代，空間大數(shù)據(jù)雖然數(shù)據(jù)價值大，但價值密度低，導致實時分析決策能力不足，如何從中有針對性地提取感興趣的目標信息、信息量不夠豐富以及時效性差等是應用過程中的巨大挑戰(zhàn)。

關鍵詞： GIS技術;空間大數(shù)據(jù); 行業(yè)應用;第三次信息革命;萬物互聯(lián)

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）36-0046-02

開放科學（資源服務）標識碼（OSID）：

1 引言

中國工程院院士李建成在2017年4月首屆中國空間大數(shù)據(jù)產(chǎn)業(yè)高峰論壇上表示，GIS中的信息數(shù)據(jù)是大數(shù)據(jù)的重要來源之一，這也將成為大數(shù)據(jù)時代下各產(chǎn)業(yè)領域的一次重大變革。學術界公認的傳統(tǒng)GIS技術與其他信息系統(tǒng)和電子地圖的區(qū)別在于它能夠將空間數(shù)據(jù)管理以及空間分析能力與基于地圖的數(shù)據(jù)可視化能力進行深度融合。大數(shù)據(jù)時代的到來對傳統(tǒng)的GIS技術的應用和技術方面提出了巨大的挑戰(zhàn)，為了滿足大數(shù)據(jù)時代各行業(yè)各領域的實際需求，GIS技術絕不能僅僅是為了更加精準地描述地理實體，更重要的是結合分析功能在海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和預測趨勢。

2 大數(shù)據(jù)時代背景下GIS的挑戰(zhàn)

隨著大數(shù)據(jù)時代到來，空間大數(shù)據(jù)雖然數(shù)據(jù)價值大，但價值密度低，導致實時分析決策能力不足，如何從中有針對性地提取感興趣的目標信息、信息量不夠豐富以及時效性差等是應用過程中的巨大挑戰(zhàn)。大數(shù)據(jù)最基本的特征之一就是數(shù)據(jù)量巨大，以 GIS 空間大數(shù)據(jù)為例，面臨著不斷累積的數(shù)據(jù)存儲量和依舊不斷增多的數(shù)據(jù)量，用戶面臨的數(shù)據(jù)計數(shù)單位從之前的 GB 級到TB 級甚至到之后的 PB 級發(fā)展，隨著每天仍然有大量的用戶通過集中的關系型數(shù)據(jù)庫進行存儲，面臨逐步增加的數(shù)據(jù)容量，集中式存儲模式已經(jīng)無法承載如此大的數(shù)據(jù)量，同時也無法為計算分析提供高效的存儲保障。越來越多的用戶不僅需要接入傳統(tǒng)測繪數(shù)據(jù)類型，如矢量數(shù)據(jù)和影像數(shù)據(jù)，還需要可存儲新型測繪數(shù)據(jù)類型，如傾斜攝影模型、BIM、激光點云等，同時還需要接入帶有地理位置的 IT 大數(shù)據(jù)，系統(tǒng)接入的數(shù)據(jù)類別也越來越多，越來越豐富。前兩種數(shù)據(jù)類型還有相對比較規(guī)范的數(shù)據(jù)標準，而 IT 大數(shù)據(jù)還處于模態(tài)多樣、 雜亂無章、標準不統(tǒng)一、時空尺度不統(tǒng)一、精度不統(tǒng)一等階段，如何梳理成可信數(shù)據(jù)也成為一大挑戰(zhàn)。

3 大數(shù)據(jù)時代背景下GIS的機遇

傳統(tǒng) GIS 處理的是靜態(tài)數(shù)據(jù)，而如今98%都是動態(tài)的數(shù)據(jù)。龔建雅院士也提出了“實時 GIS 是未來的發(fā)展趨勢，在統(tǒng)一的空間大數(shù)據(jù)框架下，基于傳感網(wǎng)的實時動態(tài) GIS 可以實時管理與分析城市內部的人流、物流和事件流，因而能夠在智慧城市中發(fā)揮重要作用”。如何能夠接入多源的傳感設備，快速高效處理實時數(shù)據(jù)，同時動態(tài)實現(xiàn)實時數(shù)據(jù)的可視化展示也是 GIS 要面臨的一大挑戰(zhàn)。當然更大的挑戰(zhàn)就是如何從空間大數(shù)據(jù)中，通過 GIS 技術去實現(xiàn)數(shù)據(jù)挖掘， 通過 GIS 的空間分析、空間查詢和空間可視化等技術優(yōu)勢為用戶提供指導和決策。 這就需要 GIS 具有大數(shù)據(jù)的相關技術支持。在主流的 IT 技術體系下，已經(jīng)有相對成熟完善的大數(shù)據(jù)技術支持，從各種各樣類型的大數(shù)據(jù)中，快速獲得有價值信息技術，包括數(shù)據(jù)采集、存儲、管理、分析挖掘、可視化等技術集成為一體。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式存儲以及云計算平臺等。這就需要傳統(tǒng) GIS 基礎軟件在空間數(shù)據(jù)的各個環(huán)節(jié)去擴展、升級、優(yōu)化其大數(shù)據(jù)的處理能力，為空間大數(shù)據(jù)的挖掘提供平臺支持。現(xiàn)有的地理空間大數(shù)據(jù)價值還沒有充分發(fā)揮出來，深度挖掘地理空間大數(shù)據(jù)價值仍在路上，大數(shù)據(jù)本身不等于價值，它是“貧礦”，只有挖掘出它的價值， 才是“金子”。

GIS 技術并不僅僅要解決與空間大數(shù)據(jù)技術的融合，更重要的是如何能夠通過 GIS 大數(shù)據(jù)技術為各個行業(yè)的相關業(yè)務提供多元思維、多元決策。為了滿足各行業(yè)能夠迎合新技術的沖擊，新技術為各行業(yè)發(fā)展提供了堅實的技術基礎。當然更大的挑戰(zhàn)就是如何從空間大數(shù)據(jù)中，通過 GIS 技術去實現(xiàn)數(shù)據(jù)挖掘，通過 GIS 的空間分析、空間查詢和空間可視化等技術優(yōu)勢為用戶提供指導和決策。這就需要 GIS 具有大數(shù)據(jù)的相關技術支持，從各種各樣類型的大數(shù)據(jù)中，快速獲得有價值信息的技術的能力，包括數(shù)據(jù)采集、存儲、管理、分析挖掘、可視化等技術集成為一體。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式存儲以及云計算平臺等。這就需要傳統(tǒng)GIS 基礎軟件在空間數(shù)據(jù)的各個環(huán)節(jié)去擴展、升級、優(yōu)化其大數(shù)據(jù)的處理能力，為空間大數(shù)據(jù)的挖掘提供平臺支持。

4 大數(shù)據(jù)時代GIS的技術層

大數(shù)據(jù)時代的到來對GIS的技術層提出了新要求，需要其將大數(shù)據(jù)空間分析、大數(shù)據(jù)存儲管理和大數(shù)據(jù)流處理等技術進行結合，并貫穿空間大數(shù)據(jù)的各個環(huán)節(jié)，實現(xiàn)技術創(chuàng)新，全面擴展對大數(shù)據(jù)的支持能力的影響，全新的空間大數(shù)據(jù) GIS技術體系特點體現(xiàn)如下：

1）數(shù)據(jù)存儲主要涉及所有的空間數(shù)據(jù)格式以及大數(shù)據(jù)技術體系中常用的數(shù)據(jù)存儲技術，如 Oracle、HDFS、MongoDB 集群等，它們既可以利用存儲的數(shù)據(jù)進行數(shù)據(jù)分析，也可以用于存儲分析產(chǎn)生的中間數(shù)據(jù)和最終成果數(shù)據(jù)。在空間大數(shù)據(jù)時代下，通過對分布式數(shù)據(jù)庫、分布式文件系統(tǒng)等大數(shù)據(jù)技術的擴展支持，實現(xiàn)了對空間大數(shù)據(jù)高效穩(wěn)定的管理存儲能力。

2）通過空間大數(shù)據(jù)組件，從內核對Spark 空間數(shù)據(jù)模型進行擴展，在基于分布式計算技術重構已有的空間分析算法的基礎上，不但大幅提升了海量空間數(shù)據(jù)分析的效率，而且針對大數(shù)據(jù)研發(fā)了一系列新的空間分析算法，可直接嵌入到 Spark 內運行，在一定程度上解決了空間大數(shù)據(jù)分析和應用的難題（圖1為解決大數(shù)據(jù)空間問題的經(jīng)典DIKW模型）。

3）通過Apache Spark為大規(guī)模處理而設計的快速通用的計算引擎Spark，提供了全新的空間大數(shù)據(jù)分析、空間大數(shù)據(jù)存儲和流數(shù)據(jù)處理等 Web 服務，并內置了 Spark 運行庫，降低了大數(shù)據(jù)環(huán)境部署門檻;Spark 擁有許多特有的優(yōu)點，但其中的Job 中間輸出結果可以直接保存在內存中，HDFS不再需要重復讀寫，因此能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce 算法。通過Spark集群如此循環(huán)往復，直到將代碼全部執(zhí)行完，并且計算完所有的數(shù)據(jù)（Spark工作原理如圖2）。

4）在大數(shù)據(jù)時代，不斷累積的大數(shù)據(jù)體量，通過橫向擴展分布式處理集群方式實現(xiàn)分布式 GIS 空間分析能力，需要為用戶在物理環(huán)境或者基礎云環(huán)境上提供更加高效的大數(shù)據(jù)運維能力，包括快速部署、資源管理、運維監(jiān)控等，用于在多源基礎環(huán)境下為用戶解決大數(shù)據(jù) GIS 平臺難以管理和運維的諸多問題，讓 GIS 各個平臺產(chǎn)品聯(lián)系更加緊密、協(xié)同更加智能，并且提供了展現(xiàn)形式豐富的、兼具二維三維的各種聚合圖、密度圖、關系圖、熱度圖等空間大數(shù)據(jù)可視化技術，突破二維和三維等圖像海量動態(tài)目標可視化技術。

5）通過資源調度算法、任務自動化調度、資源監(jiān)控與預警，實現(xiàn)了基于大數(shù)據(jù)的運維管理。大數(shù)據(jù) GIS 技術著重解決兩類問題：新興的空間大數(shù)據(jù)的管理和傳統(tǒng)（經(jīng)典）空間數(shù)據(jù)的計算性能問題。因此，大數(shù)據(jù) GIS 技術體系架構包含兩個非常重要的部分（如圖3）。一個是空間大數(shù)據(jù)技術，專門針對空間大數(shù)據(jù)的處理和分析挖掘;另一個是經(jīng)典 GIS 功能的分布式重構，專門針對經(jīng)典空間數(shù)據(jù)的管理和處理。

該技術體系通過從 GIS 內核級別深度結合 IT 的空間大數(shù)據(jù)，例如分布式計算框架、分布式存儲技術、流數(shù)據(jù)處理框架等，在 GIS 基礎軟件中構建針對空間大數(shù)據(jù)的存儲、索引、管理和分析能力，僅需較少編程甚至不用編程就能管理和分析空間大數(shù)據(jù)，大幅降低了空間大數(shù)據(jù)分析的門檻。同時，利用 IT的大數(shù)據(jù)分布式存儲和大數(shù)據(jù)分布式計算框架，對經(jīng)典 GIS 的經(jīng)典空間分析方法和空間數(shù)據(jù)處理進行了 重構，對經(jīng)典空間數(shù)據(jù)處理與分析能力在數(shù)據(jù)量層面上有了質的提升。

5 大數(shù)據(jù)時代GIS的行業(yè)應用層

行業(yè)應用層通過時空大數(shù)據(jù)平臺提供的多種服務資源，提供面向桌面端、 Web 端和移動端的產(chǎn)品交付和開發(fā) SDK，為不同行業(yè)應用的建設需求提供時空大數(shù)據(jù)的業(yè)務應用支持。圍繞各個行業(yè)大數(shù)據(jù)應用需求，為大數(shù)據(jù)行業(yè)監(jiān)管、大數(shù)據(jù)決策支持、行業(yè)應急指揮、智能交通、精準農(nóng)業(yè)等提供大數(shù)據(jù)平臺的技術支持。 基于云架構的 GIS 大數(shù)據(jù)建設應充分利用云計算與大數(shù)據(jù)技術，構建四層架構（基礎設施層、數(shù)據(jù)資源層、平臺服務層、行業(yè)應用層）體系，深度融合大數(shù)據(jù)技術，實現(xiàn)了對時空大數(shù)據(jù)的存儲、計算、分析和可視化等。

6 結論

當今大數(shù)據(jù)時代來臨，對GIS技術提出更多要求，需要其貫穿大數(shù)據(jù)的各個環(huán)節(jié)實現(xiàn)技術創(chuàng)新，將大數(shù)據(jù)空間分析、大數(shù)據(jù)存儲管理和大數(shù)據(jù)流處理等技術與GIS 技術相結合，提高大數(shù)據(jù)全面的支持能力。GIS 技術并不僅僅要解決與空間大數(shù)據(jù)技術的融合，更重要的是如何能夠通過 GIS 大數(shù)據(jù)技術為各個行業(yè)的相關業(yè)務提供多元思維、多元決策，為行業(yè)能夠迎合新技術的沖擊，新技術助力行業(yè)發(fā)展提供堅實的技術基礎。

參考文獻：

[1] 陳雷鳴.基于BIM和GIS的智慧城市探索[J].土木建筑工程信息技術，2016，8（6）：91-95.

[2] 趙躍.智慧城市時空大數(shù)據(jù)云平臺建設探討[J].測繪與空間地理信息，2021，44（1）：93-95.

[3] 蒯希，賀彪，羅恒，趙志剛.城市空間三維地圖及其在智慧城市中的應用[J].測繪地理信息，2021，46（1）：66-70.

[4] 朱良峰.基于GIS的三維地質建模及可視化系統(tǒng)關鍵技術研究[D].武漢：中國地質大學（武漢），2005.

[5]劉同文.基于地質大數(shù)據(jù)的地質綜合成果信息平臺研究與實現(xiàn)[J].北京測繪，2020，34（6）：814-818.

[6] 王丹丹.基于GIS在水文水資源領域中的應用分析[J].黑龍江水利科技，2016，44（2）：95-98.

[7] 區(qū)燕棠.統(tǒng)計信息化和統(tǒng)計在大數(shù)據(jù)時代下的發(fā)展[J].中外企業(yè)家，2015（23）：68.

【通聯(lián)編輯：王力】