王燕楓+陳高+王冬

[摘 要]文章闡述了在環保大數據環境下利用Hadoop和HTML5技術解決WebGIS系統建設中的可視化效率問題，針對海量數據的圖像化渲染中容易出現的加載延時長、系統響應慢的問題，構建基于Hadoop的大數據處理模型和WebGIS系統架構，通過數據庫、空間數據服務、WebGIS客戶端實現等多個環節，提高WebGIS系統的效率。

[關鍵詞]環保；大數據；Hadoop；WebGIS

[DOI]10.13939/j.cnki.zgsc.2017.09.029

隨著環保工作的不斷展開和深化以及環保大數據工程的建設實施，對基于WebGIS的數據可視化查詢和綜合分析等要求也越來越高，目前江蘇省環境信息系統的設計架構，受到傳統數據庫對大數據處理性能和瀏覽器加載能力的制約，在WebGIS中加載大量的幾何圖形（如在頁面中加載上萬個污染源點位）時，容易發生加載延時過長，甚至瀏覽器崩潰的問題，極大地影響了工作效率。

隨著大數據技術的快速發展，Hadoop等大數據計算平臺能夠將海量的數據進行分布并進行處理，為海量環保地理數據的有效存儲和高效運算提供了可能。同時，隨著WebGIS技術的發展，如HTML 5等技術的不斷成熟，也為大數據在瀏覽器客戶端的加載繪制提供了優化的方案。

江蘇省生態環境大數據圖形化展示平臺的建設，就是在面對大數據環境下，利用Hadoop技術和HTML 5技術，提出一種GIS數據可視化系統的優化方案。

1 Hadoop和HTML 5技術綜述

1.1 Hadoop技術

Hadoop是一個由Apache基金開發的分布式系統基礎架構。Hadoop由HDFS、 MapReduce、HBase、Hive等部分組成，其設計核心是HDFS和MapReduce，HDFS為海量的數據提供了存儲，而 MapReduce為海量的數據提供了計算，Hbase則為處理后的數據提供存儲。

1.2 HTML 5技術

HTML 5是標準通用標記語言下的一個應用超文本標記語言（HTML）的第五次重大修改，HTML 5提供了高度的兼容性和標準性，能夠將視頻、音頻、圖像、動畫以及同電腦的交互都標準化，同時，HTML 5提供了豐富的標簽對微數據和微格式等方面的支持，為用戶構建數據驅動的Web應用提供支撐。其中的HTML Canvas，作為一個HTML 5支持的圖像標簽，可以用腳本進行高性能的圖像繪制、渲染功能。

2 基于Hadoop的數據架構設計

在環保大數據可視化系統中，Hadoop作為一個大數據分布式處理架構，主要利用其中HDFS、 MapReduce、HBase等技術實現數據層面的數據庫設計，為環保空間大數據提供分布式的計算架構。

2.1 構建GeoJson的地理數據格式

GeoJson是一種對各種地理數據結構進行編碼的格式，基于Javascript對象表示法的地理空間信息數據交換格式。

由于Hadoop不支持傳統的空間數據格式，因此對于矢量空間數據而言，可以采用基于GeoJson格式來實現空間幾何實體的描述。它支持OGC定義的以下幾種幾何類型：Point、LineString、Polygon、MultiPoint、MultiLineString、MultiPolygon和GeometryCollection。又因為其具有表達數據的簡潔性、JavaScript原生支持等特點。

GeoJson格式的地理數據中包含對一條空間數據對象的空間坐標、id、type等內容描述。格式如下：

以GeoJson格式存儲的數據，通過數據轉換軟件，將空間數據轉換成對應的JSON文本，就能滿足Hadoop管理和運算的需求。

2.2 基于Hadoop的系統存儲結構

基于Hadoop的環保大數據可視化系統存儲結構設計如圖1所示，利用Hadoop分布式技術為系統設計數據存儲和數據處理的模型和架構，使用Hadoop分布式文件系統存儲海量環保數據，使用MapReduce并行處理數據，使用Hbase存儲處理后的海量數據，從而實現海量環保數據的存儲和計算。

數據層基于Hadoop的分布式架構，其中，HDFS用于數據存儲和數據管理，基于HBase建立空間數據表，其中地圖和業務元數據存儲在HBase表中，地圖瓦片數據存儲在HDFS中，這樣解決了HDFS不便管理小文件的問題，同時利用HBase時間戳來實現數據版本控制。通過MapReduce分布式并行計算機架構，將空間數據的處理和分析任務分散到各個計算節點，利用各節點上的地圖服務、業務數據服務，對海量數據進行并發計算，以提高數據處理的效率。

Hadoop存儲架構設計

2.3 數據查詢與分析過程

環保大數據可視化系統中，包含基本的空間查詢，如空間位置查詢、空間分析等；還包含空間數據的屬性數據查詢，如監測點位的監測數據，這兩種查詢在傳統查詢模式下，多利用建設空間索引和數據索引的方式，來減少I/O的使用次數，來提高系統效率，而在Hadoop存儲結構下，利用數據分割和MapReduce能夠提供更好的數據運行效率。

基于MapReduce的空間查詢，是在Hbase表中，將表分為多個Region，每個以Hbase表分塊作為Map任務劃分依據，Map函數的key作為該要素的ID，value為該要素ID對應的記錄。在針對查詢條件對各要素進行查詢篩選。對于篩選后的數據進行分類，將分類ID作為Map結果的key，再交由Reduce進行合并處理，結果存入數據庫。

3 HTML 5可視化優化設計

HTML Canvas作為一個HTML 5支持的圖像標簽，可以通過腳本在瀏覽器中進行圖形渲染，通過JavaScript腳本將圖形直接繪制到Canvas容器內。利用Canvas中的API，實現對圖形的繪制，其優勢在于，可以實現百萬級空間對象的快速渲染，為環保大數據的可視化提供客戶端優化解決方案。

4 系統實現

4.1 系統整體架構設計

基于Hadoop的環保大數據可視化系統為B/S結構的Web系統，系統采用三層架構設計，包含數據層、服務層、應用層。

（1）數據層。數據層由關系型數據庫SQL Server和非關系型數據系統HDFS、Hbase組成，在數據存儲中Hadoop分布式文件系統（HDFS）用于存儲非結構化數據包括Geojson格式的瓦片文件，Hbase用于存儲空間數據和運行數據，業務數據中的各類元數據和屬性數據存儲在關系型數據庫中。

（2）服務層。服務層通過對外提供WMS、WFS、WPS等Web服務的方式，對外提供地圖數據服務、元數據管理服務、業務數據服務等，為系統提供應用支撐。

（3）應用層。應用層作為系統的表達層，利用HTML 5技術，在瀏覽器端為系統提供各類基礎應用服務、業務數據應用服務，為用戶提供系統展示及交互界面。

4.2 系統功能設計

4.2.1 空間數據查詢

（1）污染源空間查詢。實現江蘇省40余萬污染源（工業類、農業類、生活類污染源）的快速分類查詢、快速點位查詢，并實現污染源名稱、編號、所屬流域、地址、行業類別等屬性信息的查詢展示。

（2）空氣質量站點查詢。實現全省空氣質量監測站點位置的快速查詢，并實現全省空氣質量監測數據的實時查詢展示。

（3）水質監測站點查詢。實現全省水質監測站點查詢，以及水質監測數據及流域污染物種類的查詢展示。

（4）危廢監控查詢。實現全省危廢企業點位查詢和監測數據的查詢展示。

4.2.2 數據統計分析

（1）主要水污染物統計查詢。以水質監測數據為基礎，針對各流域實現流域內主要污染物，包括氨氮、總磷、總氮等指標的數據統計。并在地圖上以圖表等形式進行展示。

（2）污染源分布統計。統計全省污染源企業按照不同行業、不同污染類別等指標，在全省空間上的分布統計，在地圖上進行渲染展示。

4.3 性能測試與結果分析

江蘇省生態環境大數據平臺利用本文提出的系統架構，部署運行在一個6個節點Hadoop集群上，DataNode節點5個，NameNode節點1個，HMaster節點1個，RegionServer節點5個，Zookeeper節點3個。

為測試系統的實際查詢與渲染能力，對全省污染源點位進行查詢渲染，對14萬企業污染源數據進行測試，性能測試結果如下表所示：

5 結 論

本文通過利用Hadoop和HTML 5技術，對傳統結構的WebGIS結構進行了優化，并利用此結構，建設了江蘇省生態環境大數據平臺。

實驗證明，使用Hadoop的體系架構和HTML5展示大數據量的地理數據對于傳統架構在數據處理和展示效率上有著極大的增強，對于使用此方法來構建WebGIS系統有著高效的空間存儲效率和展示效率。

參考文獻：

[1]葉娜，雒偉民，張峰，等.基于WebGIS的圖形加載性能優化研究[J].福建電腦，2013，11（9）.

[2]尹芳，馮敏.基于開源Hadoop的矢量空間數據分布式處理研究[J].計算機工程與應用，2013，49（16）：25-29.