建設(shè)地理信息大數(shù)據(jù)的思考

翟永　劉津

建設(shè)地理信息大數(shù)據(jù)的思考

翟永劉津

“地理信息大數(shù)據(jù)的采集，一方面要堅(jiān)持傳統(tǒng)的數(shù)據(jù)采集的優(yōu)點(diǎn)，適當(dāng)擴(kuò)大數(shù)據(jù)采集接收面（如地市級(jí)測繪單位），另一方面要積極引入VGI（Volunteered Geographic Information，志愿者地理信息）數(shù)據(jù)?！?/p>

大數(shù)據(jù)作為一種新型戰(zhàn)略資源，提供了一個(gè)在虛擬信息世界中了解和掌握客觀現(xiàn)實(shí)世界的前所未有的機(jī)會(huì)。地理信息行業(yè)作為信息產(chǎn)業(yè)的重要分支，應(yīng)抓住大數(shù)據(jù)技術(shù)和應(yīng)用所帶來的新機(jī)遇，面向最廣大的公眾在地理信息大數(shù)據(jù)采集、分析與服務(wù)方面進(jìn)行機(jī)制創(chuàng)新，推動(dòng)地理信息行業(yè)的快速發(fā)展。

一、以數(shù)據(jù)為核心的地理信息行業(yè)

從20世紀(jì)50年代GIS（地理信息系統(tǒng)）誕生開始，地理信息行業(yè)就以數(shù)據(jù)為核心逐步發(fā)展壯大，其主要業(yè)務(wù)如采集、檢查、處理、建庫和分發(fā)服務(wù)無一不是緊緊圍繞數(shù)據(jù)進(jìn)行的。數(shù)據(jù)是地理信息行業(yè)的靈魂。

目前，測繪地理信息系統(tǒng)內(nèi)已經(jīng)積累了大量的地理信息數(shù)據(jù)，如全國重力、三角、水準(zhǔn)及GPS大地測量成果，各?。ㄗ灾螀^(qū)、直轄市）覆蓋重點(diǎn)區(qū)域的1:500—1:10000大比例尺地形圖數(shù)據(jù)，超過500萬張的航空影像數(shù)據(jù)，覆蓋陸地國土超過7000萬km2（含重復(fù)覆蓋面積）的多種分辨率衛(wèi)星影像數(shù)據(jù)，覆蓋全部國土的10～30m分辨率衛(wèi)星影像，對重點(diǎn)地區(qū)基本完成必要覆蓋的優(yōu)于5m分辨率的衛(wèi)星影像數(shù)據(jù)，以及分辨率優(yōu)于2.1m（截至2012年）的資源三號(hào)衛(wèi)星影像數(shù)據(jù)等。

以上地理信息數(shù)據(jù)成果（含歷史數(shù)據(jù)）在線存儲(chǔ)量超過560TB，離線存儲(chǔ)量超過1.3PB，并且在線數(shù)據(jù)成果以每年不低于300TB的增量擴(kuò)展。這些內(nèi)容豐富、類型繁多的地理信息數(shù)據(jù)是地理信息大數(shù)據(jù)的基礎(chǔ)，可以更好地促進(jìn)地理信息工作服務(wù)大局，服務(wù)社會(huì)與民生。

客觀來說，沒有地理信息數(shù)據(jù)，地理信息服務(wù)無從談起；沒有海量、規(guī)?；?、多類型的地理信息大數(shù)據(jù)，地理信息智能服務(wù)將舉步維艱。在即將來臨的“智慧中國”時(shí)代，擁有海量數(shù)據(jù)級(jí)別、高價(jià)值含量的地理信息大數(shù)據(jù)是推進(jìn)測繪地理信息服務(wù)走向智能化、智慧化轉(zhuǎn)型升級(jí)的必經(jīng)之路。大數(shù)據(jù)的發(fā)展是大勢所趨，是開啟智慧時(shí)代的必然要求。同時(shí)，測繪地理信息是國家重要戰(zhàn)略信息資源，建設(shè)地理信息大數(shù)據(jù)具有深遠(yuǎn)的意義和強(qiáng)烈的現(xiàn)實(shí)需要。

二、地理信息大數(shù)據(jù)發(fā)展中的制約因素

目前，地理信息系統(tǒng)已積累了大數(shù)據(jù)量級(jí)別和多種類的地理信息數(shù)據(jù)，但應(yīng)客觀看到地理信息大數(shù)據(jù)發(fā)展中的制約因素。

1 傳統(tǒng)數(shù)據(jù)采集機(jī)制的制約

地理信息數(shù)據(jù)的采集是地理信息行業(yè)的基礎(chǔ)環(huán)節(jié)，是大數(shù)據(jù)的孕育環(huán)節(jié)。傳統(tǒng)的地理信息數(shù)據(jù)采集機(jī)制是項(xiàng)目驅(qū)動(dòng)下的計(jì)劃模式，即中央級(jí)測繪地理信息單位申請國家立項(xiàng)后，將任務(wù)分包到各個(gè)省級(jí)測繪地理信息單位，分頭組織數(shù)據(jù)采集和質(zhì)檢，再集中匯交進(jìn)行數(shù)據(jù)建庫、分析與服務(wù)。這種采集模式在測繪信息化工作中發(fā)揮了重要作用，具有數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一和管理高效等特點(diǎn)。同時(shí)，應(yīng)該看到，這種模式存在數(shù)據(jù)獲取面不廣，未能納入市縣級(jí)測繪單位和數(shù)量眾多的公眾采集的地理信息；另一方面，數(shù)據(jù)的類型固化，更新周期長，現(xiàn)勢性不高，以1:50000基礎(chǔ)地理數(shù)據(jù)庫為例，全國范圍的更新周期一般需要3～5年；第三方面，傳統(tǒng)數(shù)據(jù)采集機(jī)制靈活度不高，反應(yīng)時(shí)間長，難以滿足應(yīng)急測繪等實(shí)時(shí)或準(zhǔn)實(shí)時(shí)服務(wù)要求。

2 傳統(tǒng)數(shù)據(jù)分析架構(gòu)的制約

地理信息行業(yè)傳統(tǒng)上以數(shù)據(jù)密集型、IO密集型處理為主，隨著大數(shù)據(jù)技術(shù)的進(jìn)步和新時(shí)期用戶的需求變化，計(jì)算密集型處理逐漸占有一席之地。在相關(guān)計(jì)算機(jī)裝備配置方面，大型高性能計(jì)算服務(wù)器主要配置在國家級(jí)數(shù)據(jù)中心的涉密局域網(wǎng)內(nèi)，其他地理信息單位難以使用；同時(shí)，傳統(tǒng)的地理信息算法受制于早期計(jì)算機(jī)技術(shù)的制約，以串行計(jì)算為主，未能及時(shí)改進(jìn)為并行算法，難以滿足大數(shù)據(jù)環(huán)境下分布式并行處理的架構(gòu)要求，不得不在昂貴的SMP（對稱多處理）服務(wù)器上運(yùn)行，本單位或有業(yè)務(wù)關(guān)聯(lián)的其他單位的數(shù)目眾多的計(jì)算機(jī)設(shè)備無法有效利用。

3 傳統(tǒng)數(shù)據(jù)服務(wù)模式的制約

大數(shù)據(jù)應(yīng)用的根本目的是將挖掘、分析得出的數(shù)據(jù)價(jià)值，快速全面向用戶服務(wù)，服務(wù)對象是政府、企事業(yè)單位、國防部門以及公眾的最大集合。否則，大數(shù)據(jù)就失去了全部或部分存在價(jià)值。傳統(tǒng)的地理信息服務(wù)主要面向涉密部門，在國民經(jīng)濟(jì)和國防建設(shè)以及應(yīng)急救災(zāi)中發(fā)揮了重要作用，例如2013年，國家級(jí)中心向用戶提供數(shù)據(jù)超過5TB，效果顯著。但是，應(yīng)該看到，在面向非涉密的企事業(yè)單位、社會(huì)公眾服務(wù)方面，存在不足：一是數(shù)據(jù)內(nèi)容較少，僅限于可公開的低分辨率、低精度的地理信息數(shù)據(jù)；二是現(xiàn)勢性不高，“舊數(shù)據(jù)”多，最新數(shù)據(jù)時(shí)效超過1年以上，其他數(shù)據(jù)多超過3年，這類用戶（數(shù)目更多）對此是不滿意的；三是功能不強(qiáng)，面向涉密單位的數(shù)據(jù)提供以人工為主、網(wǎng)絡(luò)手段為輔，面向非涉密單位的數(shù)據(jù)提供集中在“天地圖”網(wǎng)站，由于裝備能力不足，面向海量用戶服務(wù)存在等待時(shí)間較長、服務(wù)波動(dòng)等不足。

三、地理信息大數(shù)據(jù)建設(shè)的主要改進(jìn)措施

通過以上分析，地理信息大數(shù)據(jù)的采集、分析、服務(wù)需要不斷挖掘新思路，突破原有測繪專業(yè)部門進(jìn)行數(shù)據(jù)采集、質(zhì)檢、處理、分析和建庫的閉合環(huán)路，突破主要面向?qū)I(yè)用戶服務(wù)的制約。

1 地理信息大數(shù)據(jù)采集

目前，大多數(shù)地理信息系統(tǒng)是基于自上而下的方式建立的，只有官方提供者可以采集、處理、發(fā)布和維護(hù)數(shù)據(jù)資源，這種機(jī)制導(dǎo)致了資源維護(hù)技術(shù)比較復(fù)雜，限制了用戶的參與，造成貢獻(xiàn)資源的不足。地理信息大數(shù)據(jù)的采集，一方面要堅(jiān)持傳統(tǒng)的數(shù)據(jù)采集的優(yōu)點(diǎn)，適當(dāng)擴(kuò)大數(shù)據(jù)采集接收面（如地市級(jí)測繪單位），另一方面積極引入VGI（Volunteered Geographic Information，志愿者地理信息）數(shù)據(jù)。

VGI 數(shù)據(jù)主要來自于公眾的自發(fā)行為，每一個(gè)人都可以成為地理信息數(shù)據(jù)的采集者，人人都是數(shù)據(jù)的生產(chǎn)者。長期居住的居民會(huì)對周邊的地理環(huán)境（地名、交通路網(wǎng)）有著較為詳盡的了解，其中的部分信息是難以通過自動(dòng)化的手段快速獲取的。例如，專業(yè)部門通過航空攝影獲得一個(gè)區(qū)域清晰的像片后，需在后期投入大量的人力、物力和財(cái)力才可獲取其詳細(xì)的地名注記，而發(fā)動(dòng)公眾，以“人人都是傳感器”的思路，打破地理信息專業(yè)人員和公眾之間的界限，有效整合人們掌握的自己周邊的各種信息，降低成本，提高效率，可實(shí)現(xiàn)地理信息大數(shù)據(jù)快速分享和傳播。

在地理信息行業(yè)內(nèi)，將傳統(tǒng)模式采集的地理信息數(shù)據(jù)與VGI數(shù)據(jù)相融合，會(huì)創(chuàng)造出具有活力的滿足移動(dòng)互聯(lián)網(wǎng)時(shí)代用戶需求的大數(shù)據(jù)成果。

2 地理信息大數(shù)據(jù)分析

對于傳統(tǒng)的串行處理的大數(shù)據(jù)處理，基于涉密廣域網(wǎng)，面向省級(jí)測繪單位開放國家級(jí)中心的高性能計(jì)算服務(wù)器，充分利用寶貴的計(jì)算資源；對于可以分布式并行計(jì)算的大數(shù)據(jù)處理，基于涉密廣域網(wǎng)，充分利用省級(jí)測繪單位的中低端服務(wù)器資源，統(tǒng)籌協(xié)調(diào)，構(gòu)建基于云計(jì)算的大數(shù)據(jù)分析環(huán)境。

對于VGI數(shù)據(jù)，由于志愿者是自發(fā)貢獻(xiàn)數(shù)據(jù)，會(huì)存在數(shù)據(jù)分布不均勻、連續(xù)性不一致甚至錯(cuò)誤等問題，給VGI 數(shù)據(jù)的處理帶來挑戰(zhàn)。VGI 數(shù)據(jù)必須經(jīng)過處理和質(zhì)量檢查以保證數(shù)據(jù)的形式有效和內(nèi)容合法合規(guī)。在此基礎(chǔ)上，基于Hadoop等云計(jì)算架構(gòu)，利用MapReduce技術(shù)開發(fā)分布式并行算法，面向涉密廣域網(wǎng)調(diào)用計(jì)算資源，進(jìn)行地理信息大數(shù)據(jù)分析。

3 地理信息大數(shù)據(jù)服務(wù)

公眾是地理信息大數(shù)據(jù)的最終使用者，是地理信息大數(shù)據(jù)服務(wù)的主要對象。在國家保密法規(guī)許可的前提下，提高可公開大數(shù)據(jù)的分辨率和精度。同時(shí)，基于VGI數(shù)據(jù)，動(dòng)態(tài)更新傳統(tǒng)地理信息數(shù)據(jù)庫，增強(qiáng)現(xiàn)勢性，經(jīng)濟(jì)發(fā)達(dá)地區(qū)和災(zāi)害多發(fā)區(qū)數(shù)據(jù)時(shí)效應(yīng)在1年之內(nèi)；豐富內(nèi)容，數(shù)據(jù)層和屬性信息不應(yīng)少于Google Map。另外，提升“天地圖”網(wǎng)站計(jì)算機(jī)和網(wǎng)絡(luò)裝備水平，采用性價(jià)比較高的Hadoop云計(jì)算架構(gòu)和非關(guān)系型數(shù)據(jù)庫，在全國布設(shè)多個(gè)云計(jì)算分中心，全面提升網(wǎng)站服務(wù)質(zhì)量。

地理信息大數(shù)據(jù)分發(fā)服務(wù)，要快速將大數(shù)據(jù)及其分析成果與相關(guān)應(yīng)用發(fā)布到最廣大的用戶群之中，到公眾中去，為公眾服務(wù)。

四、結(jié)束語

將大數(shù)據(jù)與VGI理念相結(jié)合，立足傳統(tǒng)地理信息數(shù)據(jù)成果，構(gòu)建地理信息大數(shù)據(jù)，優(yōu)化分析和服務(wù)機(jī)制，發(fā)揮地理信息大數(shù)據(jù)的核心價(jià)值，即地理信息大數(shù)據(jù)來自公眾，地理信息大數(shù)據(jù)服務(wù)公眾。

（作者單位：國家基礎(chǔ)地理信息中心）