楊述偉
摘 要:多樣化的獲取能力、各行業的快速發展促進了地理信息數據的爆發式增長,也對其在線服務應用提出了挑戰。目前,在線方式提供的地理信息數據應用主要是通過WMTS提供地圖服務、通過WFS提供矢量服務,響應速度和數據量、服務器、網絡環境相關性大,而且還存在事先切片費時費力,切片后屬性信息缺失而無法支持空間分析和在線編輯兩個主要問題,嚴重制約了地理信息數據價值的共享與應用。因此,如何提升在線地圖的價值,發展快速、有效的海量地理信息數據在線服務模式,是最大化挖掘并發揮數據價值的關鍵。該文圍繞海量地理信息數據在線服務的現狀及需求,討論一種無需切片、直接基于數據服務的GIS地圖引擎,實現地理信息數據的快速發布、秒級響應、實時配圖渲染、前端分析與運算等需求。
關鍵詞:海量數據 在線地圖 提升價值 不切片 司南超擎
中圖分類號:TP701 文獻標識碼:A 文章編號:1672-3791(2017)06(c)-0028-03
在線方式提供的地理信息數據主要是通過WMTS提供地圖服務、通過WFS提供矢量服務,響應速度和數據量、服務器、網絡環境相關性大,而且地圖服務還存在事先切片費時費力,切片后屬性信息缺失而無法支持空間分析和在線編輯兩個主要問題,嚴重制約了地理信息數據價值的共享與應用。因此,發展快速、有效的海量地理信息數據在線服務模式,是最大化發揮、挖掘其數據價值的關鍵途徑。
該文主要圍繞海量地理信息數據在線服務,針對存在的問題及需求,討論地理信息數據快速發布、秒級響應、實時配圖渲染、前端分析與運算等需求的服務模式,一方面,滿足現有海量數據有效組織管理、快速查詢檢索的需求;另一方面實現地理信息價值的充分挖掘與共享。
1 在線地圖服務
在線地圖服務整合了網絡搜索引擎和地圖的優勢,使人們擺脫了紙質地圖時間和空間上的局限,通過自動搜索、人工查詢、在線交流等方式為用戶提供方便、快捷、準確的所需地圖及出行交通指引服務。豐富的數據類型、復雜的數據結構以及海量數據內容,是影響在線地圖服務響應速度的主要因素。地圖切片作為解決海量地理數據與有限網絡帶寬之間矛盾的通用技術,雖然一定程度上滿足了人們對地理信息數據瀏覽、查詢和定位的需求,但是因為其提供的是固定化、基礎性的數據服務,存在以下局限性。
1.1 數據發布準備工作費時費力
數據發布之前需要先將數據進行配圖、切片、入庫等工作。由于地理信息的范圍廣、數據量大,導致前期準備工作費時費力、成本頗高。以筆者所做的實驗為例,數據量為6.3 T的影像數據,切片后數據量再增加6 T的切片數據,完成切片一般需要3~4個月的時間,再加上入庫3~4周的時間;而且,一旦有區域更新服務時,還需要重新進行整合、配圖、切片、入庫。
1.2 時效性難以保證
用戶客戶端請求到的地圖信息是預先生成的,考慮到地圖服務更新區域大小、聚集程度、重新配圖切片等因素的影響,用戶查詢到的信息不一定就是最新的地理信息。
1.3 前端無法編輯處理、分析計算
同樣,由于用戶客戶端請求到的地圖信息是預先生成的切片數據,已而非原始的矢量地圖數據,除了空間信息以外,屬性信息以及不同圖層之間的關系信息已經丟失,無法再根據用戶需求進行進一步的編輯處理、分析計算。例如:無法基于地圖切片進行特征識別,提取用戶感興趣的農田、水域、城區、道路等,并生成專題圖信息,以便進行農業估產、城市規劃的應用;無法基于地圖切片和其他業務數據疊加分析,服務于商業選址、配貨調度到公路網,鐵路網、電力網、市政管網等設施的優化管理調度等;無法進行時空數據分析計算,快速發現土地、建筑、氣溫、環境、水文的變化,從而積極響應并做出預防措施。
1.4 難以支持大數據量的應用
WFS矢量服務雖然一定程度上可以解決切片數據的弊端,支持對地理要素的編輯(插入、刪除和更新)、檢索和發現服務、支持基于空間幾何關系的查詢,基于屬性域的查詢,當然還包括基于空間關系和屬性域的共同查詢。但是,WFS服務的響應速度受到數據量的限制,難以支持大數據量應用。
1.5 數據安全
在線地圖服務一方面需要考慮客戶的需求,盡可能提供較高精度的地圖數據;另一方面又需要考慮數據保密,做好數據安全維護工作。而如何將這兩者兼得,即保證數據的精度,又確保數據安全,是目前在線地圖服務難以兼顧的。
2 司南超擎
司南超擎地圖將專業GIS和公眾地圖在體系架構、功能、性能上進行了取長補短的融合,是互聯網化的GIS服務,實現互聯網+GIS,既能實現專業GIS的功能,又能達到公眾地圖的性能(海量并發、秒級響應),開啟了地信行業地圖服務不切片新時代,提升了在線地圖服務中海量地理信息數據的價值,通過構建數據服務(DaaS,Data-as-a-Service),來支撐軟件服務(SaaS,Software-as-a-Service)。
2.1 技術架構
司南超擎整體技術架構由表現層、服務層和數據庫層組成,表現層通過網頁和移動端提供查詢檢索分析統計更新等功能,服務層基于GIS平臺建立空間數據索引、發布服務以及生產緩存等,數據庫層用來存儲司南超擎格式的空間索引文件,具體如圖1所示。
2.2 技術特點
司南超擎具有以下幾個技術特點。
(1)數據直接發布,無需切片。
不用局限于數據量大小、服務器、網絡等基礎設施的限制,實現柵格、矢量地理信息數據不切片、直接發布。既節約了切片工作的時間人力,又解決了互聯網上海量數據與有限帶寬的問題,支持前端數據編輯處理、空間分析與運算,支持在線配圖,直接配圖,直接瀏覽。
(2)空間聚類索引。
首先,現有索引是通過矢量數據的外包矩形來構建,司南超擎的索引通過坐標點來構建,不僅能表達矢量數據內部的坐標信息,還能表達由此延伸的矢量數據之間空間關系,解決了現有索引“微觀不夠微觀”的問題。
其次,司南超擎的索引解決了現有技術按照數據集來分別構建索引后,不能動態地將任意多個數據集的索引無縫融合的難題,也就是解決了現有索引“宏觀不夠宏觀”的問題。
最后,目前的索引技術會使響應時間隨著數據量的增長呈非線性指數級增長,嚴重影響數據應用,而司南超擎地圖采用的索引技術,使數據響應時間不隨原始數據量增長而成比例增長,而是近似趨向于無關,解決了現有索引的數據量大、效率低的問題。
(3)分布式索引技術。
采用分布式索引技術,真正實現數據的分布式存儲,保證數據的單獨唯一存儲。同時,無需對數據進行切片預處理,一份數據即可滿足不同顯示級別下的應用需求,避免數據的多份重復儲存,降低數據的存儲空間及成本。
(4)化簡壓縮技術。
在不擾亂拓撲關系的前提下對原始采樣數據進行合理的刪減,實現對數據的無損壓縮,既保證數據在傳輸過程中的效率,又保證數據顯示繪制的質量。
(5)漸進傳輸技術。
在顯示繪制的過程中,每一次的數據請求,通過增量數據標識,計算增量數據,并實現增量數據的查詢、讀取、傳輸和繪制,提高系統性能。
(6)數據加密與安全保護。
由于直接發布的是原始數據,司南超擎在數據傳輸、內容控制、加密算法等方面保證數據安全,通過傳輸二進制數據,需要通過司南超擎客戶端解析,私有加密算法和加密秘鑰,在內容和精度方面控制數據安全。
3 應用案例
目前,司南超擎已成功應用到多個部委級數據資源管理系統,下面分別舉出兩個有代表性的例子。案例1的應用特點在于海量多元數據的管理、查詢及后續應用;案例2的應用特點在于實現前端空間分析與計算。
3.1 應用案例1
(1)數據內容。
案例1中主要包括影像和矢量數據兩大類。其中,影像成果數據共涉及到91 919幅TIFF影像,總數據量達150 T。矢量數據共涉及到67個圖層,要素數量334 921 309個,總數據量約290 G。如此巨大的數據量,是很難進行管理和調用的。
(2)司南超擎應用示例。
利用司南超擎管理數據,不但極大地提高了計算效率,而且極大地減少了讀取、傳輸的數據量。表1是發布的矢量服務的要素和響應時間(單點式部署下的測試效果),圖2是全國矢量數據在1:2 300萬比例尺下的展示效果,數據量約290 G。
3.2 應用案例2
(1)數據內容。
案例2的數據包括基礎地理信息矢量數據和專題矢量數據,共22個圖層,圖元數量110 263個,數據量為70 M。
(2)司南超擎應用示例。
案例2系統涉及到各省市多個用戶,每個用戶提出僅能顯示各自管轄范圍的數據,例如:北京市的用戶只查詢北京范圍內的長城。如果采用傳統切圖方式,是不可能實現的,而WFS服務難以支持大數據量應用,司南超擎產品實現直接發布矢量服務,實時繪制。
4 結語
地理信息數據對經濟社會發展的意義是不言而喻的,而深入發揮并挖掘其價值的服務模式,是行業內目前的工作重點。司南超擎地圖能夠快速、直接提供基于原始地圖數據的服務(包括多尺度、多類型、多時相的影像和矢量數據),并且不受數據量劇增、硬件及網絡環境的限制,除了支持瀏覽查詢、導航定位外,還支持數據分析計算、增量更新、在線專題地圖產品配置等,大大提高了地理信息價值的共享與應用,為城市規劃、地形圖更新、環境保護、智慧城市建設等方面提供數據支持和決策依據,具有非常重要的現實意義。
參考文獻
[1] 符海月,趙軍,李滿春.從GoogleMaps看我國全球化地理信息服務面臨的挑戰和對策[J].地理與地理信息科學,2006,22(2):1-3.
[2] 劉岳峰.地理信息服務概述[J].地理信息世界,2004,2(6):26-29.
[3] 李艷,高揚.基于地圖API的Web地圖服務及應用研究[J].地理信息世界,2010,8(2):54-57.