葉勇超+趙琪
摘要:大數據不僅使世界認識到數據的重要性,更引發了許多行業從根本上的變革。大數據時代也對GIS提出了諸多挑戰,如海量、多源、異構數據的存儲與管理以及面對大量噪音的價值挖掘等。該文主要介紹了GIS當前的發展現狀及瓶頸,探討了GIS在大數據時代下的數據采集、數據存儲與管理及數據分析和挖掘所面臨的問題和初步的解決辦法,展望GIS在大數據時代下的發展前景。
關鍵詞:GIS;大數據;空間數據
1 什么是大數據
大數據(Big Data)又稱為巨量資料,指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。“大數據”概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出,指不用隨機分析法(抽樣調查)的捷徑,而是采用所有數據進行分析處理。大數據有4V特點,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)[1]。
大數據技術的進步必將對世界產生巨大的推動作用,同時人們的觀念也要發生改變。維克托·邁爾-舍恩伯格認為,在大數據時代人們將發生三個巨大的思維變革:①人們對數據的操作不再是針對隨機的樣本,而是面對全體的數據;②人們不再過多地要求數據的精準性,而是需要數據紛繁復雜,種類多樣;③人們不再追求事物的因果關系,轉而關注數據之間的相關關系。這種觀念上的改變會隨著大數據的發展而逐漸作用于各個行業中,對整個人類社會的發展產生巨大的推動作用。
2 大數據時代下GIS的發展
2.1傳統GIS所面臨的挑戰
隨著GIS向著數據標準化、數據多維化、系統集成化、系統智能化、平臺網絡化和應用社會化(數字地球)的方向不斷發展,傳統GIS由二維逐漸向三維GIS(包括二三維一體化)、時態GIS、網絡GIS和移動GIS推進,但隨著大數據時代的來臨,管理的數據量越來越大、種類越來越多、數據結構越來越復雜,暴露出的問題也越來越多,如對計算機及存儲硬件要求更苛刻、數據分析處理技術及數據挖掘技術更高、三維仿真與虛擬現實技術與無線通訊技術結合等等。
2.2大數據時代下GIS的數據采集
大數據GIS的數據形式多樣,主要有地圖數字化、遙感影像、傳感器實時監測設備、RFID設備、歷史資料等媒介產生的各種數據。首先,由于大數據源的種類各異,獲取數據的方法也各不相同,在運用GIS對大數據進行采集識別過程中,需要建立多源數據的關聯和識別模型、多源多態數據的自動識別方法等,同時將不同來源、不同形式的大數據綜合分析,以多角度、全面地描述事物對象。其次,需要建立完善的正確性條件和約束性規則以確保數據的完整性和同一性。最后, 建立數據監管部門,以確保數據的真實性。
2.3大數據時代下GIS的數據存儲與管理
存儲是分析的基礎,管理是挖掘的保障,隨著數據量的增加,數據的存儲和管理也需要發生從量變到質變的改進。海量的數據雖然可以為分析和挖掘提供豐富的數據來源使分析和挖掘更加準確和全能,但是也對數據的存儲和管理提出了新的要求。分布式的存儲和管理是處理大數據的一個基本的思路。在數據庫與應用層之間建立良好的接口:大數據環境下的存儲與管理軟件棧,需要從上層應用中讀取PB甚至EB量級的數據,同時還需使上層應用能夠快速、準確、高效地訪問數據庫的各個節點以讀取數據,建立良好的訪問接口是必不可少的[2]。而數據在數據層和應用層之間的流動過程中必須保證其正確性和準確性,則需要建立數據評價模型和數據保障模型以確保數據的可用性。
2.4大數據時代下GIS的數據分析及挖掘
傳統的空間數據雖然具備大數據的屬性,但是由于缺乏足夠的大數據的理論支撐,空間數據并不像如今的大數據時代所提到的大數據那樣的全能。其主要功能是用于展示和描述性分析,在預測分析和決策支持的相關方面比較弱勢。而在大數據時代,建立在相關關系分析法基礎上的預測是大數據的核心,同時人們需要從傳統的決策模式過渡到數據指導決策的新的模式中,在大數據持續發展的過程中,會漸漸地進化為數據即決策的行為模式[3]。同時隨著智慧城市、智慧地球等概念的興起和推廣,遙感數據、衛星航圖影像數據隨著技術的更新而日益增加,傳感器數據隨著時間的推移不斷的累積,GIS的數據越來越多,然而與之相對應的是現在GIS行業面臨著一個問題:“數據龐雜,知識匱乏”。即人們擁有很多的數據,但是缺乏從數據中提取出來用于預測和決策支持的相關知識。在數據庫知識發現興起之后,隨著數據挖掘技術的不斷發展,人們將陸續從GIS 龐大的數據庫中挖掘出相關的知識用于指導實踐。
2.5大數據與GIS空間分析
空間模型是傳統空間分析重要思想,它考慮的是如何建立一個更高精度的數學模型。區別于傳統GIS空間分析,大數據GIS更多關注從不同空間或者時間尺度上挖掘數據中隱含的規則或知識。為了克服大數據的不確定性,在進行GIS空間分析時應盡可能地使用多源數據,并對多源數據進行融合,以充分發揮大數據所隱含的信息優勢。大數據GIS的空間分析需要具備空間建模功能,還應具備挖掘新模式、新知識、新規律的能力。
3結語:
總之,大數據時代,GIS面臨著以下挑戰和機遇:超大規模數據的高效管理,其中包括數據管理體系和架構、流數據的實時處理和分析以及歷史數據和模式的高效查詢和分析。針對大量數據噪音多及數據不確定性大的特性,需要重新思考空間統計模型的選擇、參數的訓練和使用及計算效率等問題。面對全體數據,需要發展適合的空間數據挖掘算法,發現數據背后所隱藏的模式和價值。高效地顯示和分析超大規模的時空數據,發展與地理計算相結合的可視分析理論。大數據GIS需要一整套系統、科學的理論和方法來應對大數據帶來的挑戰。
參考文獻
[1]李清泉,李德仁.大數據GIS[J].武漢大學學報(信息科學版),2014,6(39):641-644.
[2]孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,2013,50(1):146-169.
[3]王樹良,丁剛毅,鐘鳴.大數據下的空間數據挖掘思考[J].中國電子科學研究院學報,2013,8(1):8-17.
作者簡介:
葉勇超(1994.7.20-)男,漢族,身份證號:412727199407206519,本科生,河南省周口市,研究方向:地理信息科學.
趙琪(1996.11.02-)男,漢,身份證號:142726199611021237,本科生,山西省運城市,研究方向:地理信息科學