大數(shù)據(jù)時(shí)代地理信息系統(tǒng)的應(yīng)用分析

宋富玲

（山東建材勘察測(cè)繪研究院有限公司，山東 濟(jì)南 250000）

新時(shí)代背景下，大數(shù)據(jù)的衍生有效突破了傳統(tǒng)數(shù)據(jù)存儲(chǔ)與處理技術(shù)的局限性。而地理信息系統(tǒng)受海量空間數(shù)據(jù)屬性和數(shù)據(jù)處理快速響應(yīng)需求的限制，對(duì)大數(shù)據(jù)的應(yīng)用有著迫切需求。但傳統(tǒng)專家學(xué)者對(duì)大數(shù)據(jù)在地理信息系統(tǒng)中的應(yīng)用進(jìn)行研究時(shí)更傾向于整體方向，忽視了將大數(shù)據(jù)應(yīng)用到地理信息系統(tǒng)時(shí)的技術(shù)研究。對(duì)于此，圍繞著數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理2 個(gè)方面對(duì)地理信息系統(tǒng)中大數(shù)據(jù)的應(yīng)用進(jìn)行探究時(shí)，還需要根據(jù)大數(shù)據(jù)的MongoDB 和Dremel 2個(gè)功能提出具有針對(duì)性的解決策略，以此有效推動(dòng)地理信息系統(tǒng)應(yīng)用的創(chuàng)新與改革，真正為大數(shù)據(jù)時(shí)代下地理經(jīng)濟(jì)系統(tǒng)的應(yīng)用提供技術(shù)層面的支持。

1 地理信息系統(tǒng)應(yīng)用大數(shù)據(jù)的必要性

受傳統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)不發(fā)達(dá)的影響，地理信息系統(tǒng)在初期階段主要是依靠RDBMS 進(jìn)行數(shù)據(jù)處理，或者將文件和RDBMS 進(jìn)行有機(jī)結(jié)合實(shí)現(xiàn)綜合管理，如GIS 軟件GeoStar 就是通過(guò)這種方式進(jìn)行管理，其屬性數(shù)據(jù)仍以RDBMS 管理模式進(jìn)行處理，而圖形、音像、DEM 則是利用文件系統(tǒng)進(jìn)行管理[1]。但GIS 軟件原本就涵蓋了空間數(shù)據(jù)和海量數(shù)據(jù)的特征，在數(shù)據(jù)處理方面也有著快速響應(yīng)的迫切需求。這意味著基于RDBMS 的傳統(tǒng)數(shù)據(jù)存儲(chǔ)和以統(tǒng)計(jì)學(xué)、數(shù)據(jù)挖掘?yàn)橹鞯膫鹘y(tǒng)數(shù)據(jù)處理技術(shù)已無(wú)法滿足新時(shí)代發(fā)展需要，也無(wú)法適應(yīng)GIS 數(shù)據(jù)存儲(chǔ)和處理需求。而大數(shù)據(jù)時(shí)代的到來(lái)為地理信息系統(tǒng)提供了全新的改革思路，并且大數(shù)據(jù)處理方式與傳統(tǒng)數(shù)據(jù)處理方式還存在以下幾點(diǎn)差別。首先，大數(shù)據(jù)面向的是所有數(shù)據(jù)，也就是全樣本數(shù)據(jù)，而非通過(guò)抽樣的方式進(jìn)行數(shù)據(jù)處理。但傳統(tǒng)數(shù)據(jù)處理方式無(wú)論是站在統(tǒng)計(jì)學(xué)的角度還是數(shù)據(jù)挖掘的角度，都需要抽取一定的樣本進(jìn)行數(shù)據(jù)研究與分析。其次，傳統(tǒng)數(shù)據(jù)處理方式更依賴于統(tǒng)計(jì)學(xué)中的數(shù)據(jù)因果關(guān)系，而大數(shù)據(jù)可以完全忽視數(shù)據(jù)的因果關(guān)系，只需要參考數(shù)據(jù)信息的關(guān)聯(lián)性。與此同時(shí)，傳統(tǒng)RDBMS 處理技術(shù)對(duì)精確度和一致性提出了較高的要求，但在可擴(kuò)展性上卻具有一定的弊端，而大數(shù)據(jù)包含了形式多樣的數(shù)據(jù)類型，因此其必須具備良好的可擴(kuò)展性，在計(jì)算結(jié)果的精確性上并未提出較高的要求。此外，盡管RDBMS 的數(shù)據(jù)處理方式也有著并行計(jì)算的功能，但其過(guò)度追求一致性和容錯(cuò)性的特點(diǎn)決定了這種數(shù)據(jù)處理方式注定無(wú)法如同MapRduce 這類大數(shù)據(jù)并行處理技術(shù)一樣，具備秒級(jí)計(jì)算的可用性和可拓展性功能。最后，相比于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù)處理方式，大數(shù)據(jù)處理方式下的數(shù)據(jù)類型綜合涵蓋了數(shù)字、字符等結(jié)構(gòu)化數(shù)據(jù)、員工簡(jiǎn)歷信息這類半結(jié)構(gòu)化數(shù)據(jù)以及音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，在數(shù)據(jù)實(shí)際處理過(guò)程中不但面臨著較高的難度和龐大的任務(wù)量，還極大地提高了數(shù)據(jù)處理能力和效率。

從以上4 個(gè)角度著手將大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)處理方式進(jìn)行對(duì)比分析可知，大數(shù)據(jù)更能滿足地理信息系統(tǒng)在空間數(shù)據(jù)、海量數(shù)據(jù)和數(shù)據(jù)處理快速響應(yīng)等方面提出的要求，因此在新時(shí)代背景下將大數(shù)據(jù)靈活運(yùn)用到地理信息系統(tǒng)已成為緊跟時(shí)代發(fā)展潮流的必然選擇。

2 地理信息系統(tǒng)應(yīng)用大數(shù)據(jù)時(shí)存在的問(wèn)題

2.1 數(shù)據(jù)存儲(chǔ)問(wèn)題

由于地理信息系統(tǒng)原本就具有良好的空間數(shù)據(jù)存儲(chǔ)特點(diǎn)，因此在數(shù)據(jù)存儲(chǔ)過(guò)程中既體現(xiàn)出了非結(jié)構(gòu)化特征，又使其數(shù)據(jù)呈現(xiàn)出明顯的大數(shù)據(jù)優(yōu)勢(shì)，也就是所謂的海量數(shù)據(jù)規(guī)模、數(shù)據(jù)快速流轉(zhuǎn)以及動(dòng)態(tài)數(shù)據(jù)體系、多元化數(shù)據(jù)類型、高速變化的數(shù)據(jù)模型、高價(jià)值低密度和高復(fù)雜度的大數(shù)據(jù)特性。現(xiàn)階段我國(guó)市場(chǎng)對(duì)地理信息系統(tǒng)提出了迫切需求，尤其體現(xiàn)在空間數(shù)據(jù)存儲(chǔ)爆炸性增長(zhǎng)、數(shù)據(jù)處理響應(yīng)速度愈發(fā)快捷、數(shù)據(jù)描述需求逐漸趨于多元化等方面，而這些需求均對(duì)地理信息系統(tǒng)的大數(shù)據(jù)應(yīng)用提出了嚴(yán)格要求。最后，在大數(shù)據(jù)應(yīng)用過(guò)程中還面臨著地理信息系統(tǒng)在數(shù)據(jù)傳輸與保護(hù)方面的問(wèn)題，并且大量重復(fù)數(shù)據(jù)的處理也給大數(shù)據(jù)的應(yīng)用帶來(lái)了一定的挑戰(zhàn)。

2.2 數(shù)據(jù)處理問(wèn)題

盡管地理信息系統(tǒng)在實(shí)際應(yīng)用過(guò)程中已可以通過(guò)多種渠道對(duì)海量空間數(shù)據(jù)進(jìn)行集中處理，但在海量空間數(shù)據(jù)的組織、加工、存儲(chǔ)等技術(shù)的應(yīng)用上仍存在明顯弊端。特別是應(yīng)用數(shù)據(jù)處理技術(shù)時(shí)，非結(jié)構(gòu)化的海量空間數(shù)據(jù)還與傳統(tǒng)SQL 數(shù)據(jù)處理技術(shù)之間存在一定的矛盾和沖突，在某種程度上弱化了海量空間數(shù)據(jù)的加工和處理效果，阻礙了數(shù)據(jù)增值產(chǎn)品的生產(chǎn)進(jìn)度，這也是限制我國(guó)地理信息系統(tǒng)朝著市場(chǎng)化發(fā)展的主要原因。在激烈的市場(chǎng)競(jìng)爭(zhēng)下，由于用戶的現(xiàn)實(shí)需求愈發(fā)迫切，在地理信息系統(tǒng)空間數(shù)據(jù)采集過(guò)程中必須達(dá)到實(shí)時(shí)更新的目的，還需要在客觀層面上提高數(shù)據(jù)的計(jì)算能力和效率。因此，在地理信息系統(tǒng)中應(yīng)用大數(shù)據(jù)既是順應(yīng)新時(shí)代發(fā)展趨勢(shì)的必然結(jié)果，又是推動(dòng)海量空間數(shù)據(jù)優(yōu)化與改革的客觀需要。

3 大數(shù)據(jù)時(shí)代地理信息系統(tǒng)的具體應(yīng)用

3.1 利用大數(shù)據(jù)存儲(chǔ)方式，優(yōu)化地理信息系統(tǒng)存儲(chǔ)模式

盡管GIS 軟件在實(shí)際應(yīng)用過(guò)程中可以借由對(duì)象關(guān)系模型拓展RDBMS 的性能，使其實(shí)現(xiàn)對(duì)圖形、屬性數(shù)據(jù)、DEM 數(shù)據(jù)的并行管理，還能達(dá)到多比例尺空間數(shù)據(jù)存儲(chǔ)的目的。但這種數(shù)據(jù)存儲(chǔ)方式無(wú)法通過(guò)當(dāng)時(shí)現(xiàn)有的技術(shù)實(shí)現(xiàn)，并且這種方式在某種程度上還限制了地理信息系統(tǒng)空間數(shù)據(jù)的自動(dòng)綜合能力。與此同時(shí)，基于C/S 架構(gòu)的GIS 系統(tǒng)還會(huì)受到自身封閉性的影響，使其數(shù)據(jù)共享能力過(guò)于薄弱，無(wú)法保證批量數(shù)據(jù)處理后的存儲(chǔ)和同步更新能力，這也是借由大數(shù)據(jù)存儲(chǔ)方式革新傳統(tǒng)地理信息系統(tǒng)數(shù)據(jù)存儲(chǔ)方式的主要原因。

在數(shù)據(jù)信息存儲(chǔ)過(guò)程中，傳統(tǒng)數(shù)據(jù)處理方式主要是通過(guò)RDBMS 進(jìn)行存儲(chǔ)，而大數(shù)據(jù)處理方式是以NoSQL為主，這也是2 種數(shù)據(jù)處理方式存在差別的根本原因。傳統(tǒng)數(shù)據(jù)處理方式中的RDBMS 在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方面具有明顯優(yōu)勢(shì)，但大數(shù)據(jù)處理方式可以有效應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)數(shù)據(jù)化的存儲(chǔ)問(wèn)題，并且利用大數(shù)據(jù)進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)還可以實(shí)現(xiàn)分布式計(jì)算集群或分布式數(shù)據(jù)庫(kù)等多種方式，而這種數(shù)據(jù)庫(kù)存儲(chǔ)形式就是所謂的NoSQL云存儲(chǔ)技術(shù)。實(shí)際上，盡管傳統(tǒng)RDBMS 也包含了分布式數(shù)據(jù)庫(kù)，但其仍以結(jié)構(gòu)化數(shù)據(jù)為主，并且還有著較高的精確度和一致性要求，在一定程度上弱化了其拓展功能。而NoSQL 存儲(chǔ)技術(shù)則并不過(guò)多地要求精確度和一致性，在功能拓展方面也有著明顯優(yōu)勢(shì)[2]。

相比于RDBMS，NoSQL 的連接特性并不強(qiáng)，因此在NoSQL 數(shù)據(jù)存儲(chǔ)過(guò)程中其有著良好的可延展性，極大地提高了數(shù)據(jù)存儲(chǔ)模型的靈活多樣性，還節(jié)約了數(shù)據(jù)存儲(chǔ)和更新過(guò)程中可能產(chǎn)生的開銷。例如，MongoDB 存儲(chǔ)方式就是將RDBMS 中“行”的概念用“文檔”模型進(jìn)行替換，以此為文檔數(shù)據(jù)庫(kù)管理奠定了良好基礎(chǔ)，使其存儲(chǔ)形式達(dá)到了多元化和可兼容的目的，還形成了良好的拓展性功能。實(shí)際上這種文檔形式的替換為數(shù)據(jù)存儲(chǔ)過(guò)程中數(shù)組或文檔的嵌套創(chuàng)造了良好的先決條件，真正意義上實(shí)現(xiàn)了復(fù)雜層次關(guān)系單一存儲(chǔ)記錄的目的。與此同時(shí)，這種存儲(chǔ)方式下的數(shù)據(jù)還具有結(jié)構(gòu)松散的特點(diǎn)，有效提高了該數(shù)據(jù)存儲(chǔ)模型的靈活性和多樣性，還極大地簡(jiǎn)化了其數(shù)據(jù)模型的復(fù)雜層次關(guān)系，使得復(fù)雜屬性下的數(shù)據(jù)查詢和索引功能有著良好的簡(jiǎn)便性，真正為RDBMS 查詢功能的實(shí)現(xiàn)提供了大力支持。

基于此，文檔型NoSQL 存儲(chǔ)技術(shù)才能真正滿足地理信息系統(tǒng)對(duì)空間數(shù)據(jù)的存儲(chǔ)需求，還能有效避免地理信息系統(tǒng)應(yīng)用傳統(tǒng)數(shù)據(jù)存儲(chǔ)方式時(shí)面臨的各種問(wèn)題，如海量空間數(shù)據(jù)存儲(chǔ)過(guò)程中產(chǎn)生的數(shù)據(jù)壓縮與轉(zhuǎn)換系統(tǒng)開銷。因此，依托于全新的數(shù)據(jù)存儲(chǔ)方式可以有效提高地理信息系統(tǒng)在數(shù)據(jù)讀取和同步更新方面的效率。

3.2 借助大數(shù)據(jù)交互處理方式， 革新地理信息系統(tǒng)的數(shù)據(jù)處理模式

傳統(tǒng)空間數(shù)據(jù)庫(kù)利用地理信息系統(tǒng)提高數(shù)據(jù)處理的響應(yīng)速度時(shí)，通常需要構(gòu)建多種比例尺的空間數(shù)據(jù)庫(kù)，并結(jié)合實(shí)際應(yīng)用需求調(diào)整比例尺數(shù)據(jù)庫(kù)中的數(shù)據(jù)，但這種數(shù)據(jù)處理方法在實(shí)際應(yīng)用過(guò)程中，無(wú)法滿足地理信息系統(tǒng)對(duì)數(shù)據(jù)處理的要求，并且其矢量數(shù)據(jù)的綜合能力也有所欠缺[3]。但在大數(shù)據(jù)時(shí)代背景下，利用大數(shù)據(jù)交互式數(shù)據(jù)處理方式就能有效解決地理信息系統(tǒng)在空間數(shù)據(jù)處理方面的問(wèn)題。

3.2.1 大數(shù)據(jù)交互處理方式

大數(shù)據(jù)交互處理方式指依托于人機(jī)交換及時(shí)處理和調(diào)整相關(guān)數(shù)據(jù)信息，并將處理結(jié)果實(shí)時(shí)共享給用戶。目前現(xiàn)有的大數(shù)據(jù)交互處理系統(tǒng)主要由Dremel 和Spark 組成。其中Spark 系統(tǒng)指高效分布式計(jì)算系統(tǒng)，這種系統(tǒng)的性能遠(yuǎn)高于Hadoop 系統(tǒng)的數(shù)據(jù)處理效率，還有著性能優(yōu)良的API。最重要的是，Spark 的代碼也較為簡(jiǎn)潔，但Hadoop 若想表達(dá)出相同的功能代碼，還需要付出超十倍甚至百倍的代碼長(zhǎng)度。與此同時(shí)，Dremel 還能以秒為單位快速處理PB 級(jí)別的海量數(shù)據(jù)，利用上千個(gè)規(guī)模的集群共同組建完成。實(shí)際上Dremel 的設(shè)計(jì)原本就是基于MapReduce 衍生而來(lái)的，因此其有著優(yōu)越的規(guī)模和交互查詢能力。此外，Dremel 同步處理半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)時(shí)，通常需要以嵌套式數(shù)據(jù)模型為基礎(chǔ)進(jìn)行處理。

3.2.2 大數(shù)據(jù)列式存儲(chǔ)

Dremel 系統(tǒng)主要是通過(guò)列式存儲(chǔ)的方式保護(hù)相關(guān)數(shù)據(jù)信息，其在數(shù)據(jù)分析和處理過(guò)程中，只需要針對(duì)某些數(shù)據(jù)進(jìn)行集中處理，這種方式極大地減少了磁盤及CPU 的訪問(wèn)量。與此同時(shí)，在實(shí)際應(yīng)用過(guò)程中還可以將Dremel與Web 搜索、DBMS 技術(shù)進(jìn)行有機(jī)融合，依托于Web 搜索中的“查詢樹”這一功能，就能有效分割查詢搜索中的龐大數(shù)據(jù)庫(kù)，并將其科學(xué)分布到各個(gè)批量節(jié)點(diǎn)上，以此提高數(shù)據(jù)查詢處理的簡(jiǎn)便性。例如，以HBase 為基礎(chǔ)的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)，就是基于HBase 原有的分布式存儲(chǔ)構(gòu)架，充分發(fā)揮其可用性強(qiáng)、延展性良好的優(yōu)點(diǎn)。利用HMaste 對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行管理時(shí)，還可以將HRegion－Server 作為載體對(duì)每個(gè)子節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)管理，同時(shí)優(yōu)化原有的列式存儲(chǔ)格式，以此構(gòu)建成全新的嵌套式數(shù)據(jù)存儲(chǔ)格式。而基于Dremel 的嵌套式數(shù)據(jù)存儲(chǔ)文件格式還能達(dá)到數(shù)據(jù)持久化的目的。另一方面，以HBase 為基礎(chǔ)的嵌套式數(shù)據(jù)存儲(chǔ)系統(tǒng)中的存儲(chǔ)和讀取模塊還有著良好的讀寫功能，使讀寫模塊中的查詢功能發(fā)揮出明顯優(yōu)勢(shì)。實(shí)際上這種交互式數(shù)據(jù)處理方法還優(yōu)化了查詢功能和分片存儲(chǔ)數(shù)據(jù)功能，從整體上提高了海量數(shù)據(jù)的處理效率。

綜上所述，傳統(tǒng)地理信息系統(tǒng)主要是通過(guò)列式存儲(chǔ)Dremel 嵌套式模型來(lái)存儲(chǔ)多比例尺數(shù)據(jù)庫(kù)，利用類似于Web 搜索的數(shù)據(jù)處理方法查詢與整合分片數(shù)據(jù)，以此充分滿足數(shù)據(jù)的實(shí)際處理需求，進(jìn)而有效優(yōu)化與處理空間數(shù)據(jù)，節(jié)約數(shù)據(jù)搜索的系統(tǒng)開銷，最大限度地提高了地理信息系統(tǒng)的響應(yīng)速度。

4 結(jié)束語(yǔ)

隨著現(xiàn)代科技手段的日益完善，大數(shù)據(jù)技術(shù)逐漸在各行業(yè)領(lǐng)域中得到了廣泛應(yīng)用，因而在地理信息系統(tǒng)中科學(xué)運(yùn)用大數(shù)據(jù)已成為迎合新時(shí)代發(fā)展需要的必然選擇。在地理信息系統(tǒng)中正式應(yīng)用大數(shù)據(jù)前，還需要從數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理兩方面著手，研究地理信息系統(tǒng)應(yīng)用過(guò)程中存在的實(shí)際問(wèn)題，并在此基礎(chǔ)上依托于大數(shù)據(jù)存儲(chǔ)方式革新地理信息系統(tǒng)的數(shù)據(jù)存儲(chǔ)方式。與此同時(shí)，在大數(shù)據(jù)交互式處理方式的支持下，還可以從地理信息系統(tǒng)的處理和更新兩方面著手對(duì)其應(yīng)用進(jìn)行創(chuàng)新。