面向分布式共享的海洋監測時空數據表達與傳輸模式研究

宋苗苗，李文慶，王文彥，劉世萱，王曉燕，苗斌

(齊魯工業大學(山東省科學院)，山東省科學院海洋儀器儀表研究所，山東省海洋監測儀器裝備技術重點實驗室，國家海洋監測設備工程技術研究中心，山東 青島 266001)

海洋監測是環境監測的重要組成部分，包括傳感器數據采集、數據傳輸、數據接收與存儲、數據發布與共享等，經過數十年的積累，產生了大量的時空監測數據，但是普遍存在數據共享程度不高、甚至是無共享的問題，嚴重影響了相關組織和部門的協作和面向國際、公眾的社會化服務能力。廣義的數據共享包括數據的開放式訪問、網絡發布、下載、互操作、引用、語義關聯等，李國慶等[1]提出了基于數據開放、交換、互聯三個層次的數據共享概念體系。在分布式數據共享與集成系統[2]中，數據表達和數據傳輸是關鍵，數據表達指面向網絡傳輸的數據編碼式表達。海洋時空監測數據的分布式共享對于擴大海洋監測活動的社會化效益、促進海洋科學領域大數據化分析技術的發展具有重要意義。

開放地理空間聯盟(open geospatial consortium, OGC)國際標準化組織致力于全球地理信息的共享與互操作，先后推出了地理標記語言(geography markup language, GML)、keyhole標記語言(keyhole markup language, KML)[3]、觀察與測量(observations and measurements, O&M)數據模型[4]、GeoJSON[5]等數據編碼標準，以一種自描述且支持語義的方式定義了地理信息數據概念結構與模型，促進了分布式時空數據服務系統中的數據互操作式共享。OGC采用面向服務的思想和技術，在全球范圍里建立數據共享的方案和思路，提供了可調用的網絡數據服務[6]實現數據共享，如已建立的網絡地圖服務(web map service,WMS)、網絡要素服務(web feature service,WFS)、網絡覆蓋服務(web coverage service,WCS)、網絡處理服務(web processing service, WPS)，均在經濟、氣象觀測、環境、城市規劃、土地利用、農業、海洋觀測等領域[7-9]得到廣泛應用。遵循統一的標準建立和發布的數據共享服務，能夠更好地支持跨平臺、異構數據的無縫集成。目前，在CyberGIS[10]系統中，GML、GeoJSO、KML表達矢量數據已經非常普遍。雖然各類的開源軟件(如GeoServer、Openlayers、leaflet、GDALOGR、GeoTools、D3等)中通常也支持這幾種數據編碼格式，但是其表達空間數據所產生的數據量卻相差很大。Li等[11]在通過實驗證明表達線數據時，發現采用GML格式 與 GeoJSON格式產生的數據量較小，而對于點數據則相反，GeoJSON格式的數據量要遠遠小于GML。數據格式的選擇不僅受到數據類型的影響，還與數據構成密切相關，數據的幾何信息和屬性信息所占的比重不同，各種數據格式所表現出的優勢也不同。Chen[12]在信息基礎設施 Portal中集成了地理空間Web服務，建立了精準農業輔助決策系統，但是數據量較大的情況下，數據實時網絡傳輸會成為性能瓶頸，在分布式環境下運行將直接影響客戶端的數據總體響應時間。黃冬梅等[13]采用金字塔模型對海洋空間數據進行分層和分塊處理，建立柵格瓦片地圖，提高了海洋大數據的顯示速度，但是此方法展示的空間數據不具有空間和屬性信息，亦不支持查詢監測時序數據。時空矢量數據實時壓縮[14]成為提高數據傳輸性能的有效途徑，但是已有的模式將數據的解壓縮放在Web Server端進行，并沒有直接有效地提高客戶端的數據響應效率。

本文從分布式數據在線共享與協同查詢分析的需求出發，針對海洋時空數據的特點，研究高效穩定的數據編碼方式和快速高質量的數據壓縮方法，建立海洋時空數據表達與傳輸模式，實現面向海洋監測的分布式GIS系統，并通過實驗對比和定量分析，驗證和評價海洋時空數據表達與傳輸模式的適用性。

1 面向服務的海洋時空數據分布式共享框架

在地理空間網絡基礎設施環境下構建面向服務的分布式海洋時空監測數據Web GIS 系統，邏輯上分為4個層次(圖1)，自底向上分別是數據層、Web 服務層、應用系統Portal 層、客戶端瀏覽器層。數據層定義了數據的組織形式和物理存儲結構，包括基礎地理數據、電子海圖數據、海洋監測數據(如臺站數據、船舶報數據、斷面數據、浮標數據)等原始時空數據，以及經過規整化處理后的預處理數據，支持數據庫和文件兩種存儲方式。在Web服務層，數據訪問接口被設計成表述性狀態表達(representational state transfer， REST) Web服務，向應用層提供海洋時空監測數據的讀寫改刪操作，并建立時空索引策略和查詢優化策略，以提高數據的訪問效率。 Web服務層的設計使得系統可以進行分布式部署，且具有松散耦合性、高度可擴展性，為數據共享、數據開放式訪問提供了有力的技術支撐。應用系統層，建立Web GIS應用程序，提供統一的門戶，實現海洋監測信息管理、查詢、可視化、分析、統計等功能，用以輔助決策和預警預報等。最后，用戶可通過瀏覽器訪問系統，數據在瀏覽器中實時解析和渲染。

在分布式的應用場景中，Web服務層用于提供統一的數據訪問接口，應用系統層負責提供交互式操作界面和數據可視化繪制。數據層和Web服務層位于同一網絡中，可部署于不同的計算節點上。應用系統可以集成本節點或其他分布式節點的Web服務，通過網絡訪問應用系統的任何一臺計算機均可作為客戶端。數據實時傳輸是系統的性能瓶頸，存在于兩個階段：(1)實時查詢數據從Web服務層傳輸到應用系統層；(2)數據從應用系統層傳輸到客戶端。因此，涉及兩個關鍵問題需要解決：(i)數據的編碼格式直接影響數據的大小，采用何種格式對數據進行編碼表達產生的數據量最小；(ii)采用何種數據傳輸策略使得系統的總體響應速度最快。

圖1 面向服務的海洋時空數據分布式共享服務框架Fig. 1 Service-oriented distributed sharing framework for ocean observing spatio-temporal data

2 關鍵技術

2.1 矢量數據共享式編碼表達

GML、KML、GeoJSON編碼方式能夠有效表達地理要素的空間位置和屬性等，解決了異構Web GIS系統中數據編碼多樣化、可重用性差、交換困難等問題。表1給出了3種編碼格式的對比， GML、KML采用XML結構編碼，每個數據元素都包裹在開始標記和結束標記之間，可讀性強，但是字符冗余度較高；GeoJSON采用鍵值對(key-value pairs)文本標記結構，對數據進行編碼，具有簡潔的特點，但是依賴于輔助字符(如：大括號、中括號、雙引號)建立數據分層結構。

時空數據表達的復雜性，體現在給定實體的空間和非空間屬性在不同時間以不同頻率發生變化。海洋浮標監測數據以站位為基本單位進行物理劃分，包括監測站點的位置信息、水文氣象監測參數等信息，數據隨時間變化具有時序特性。采用關系模型和面向對象的思想對海洋監測數據進行組織與存儲，建立空間、屬性和時間綜合集成的時空數據模型，基于GML、KML、GeoJSON實現模型的編碼表達。表1列出的3種海洋監測數據共享式編碼方式，增加"stationID"擴展屬性信息，將海洋監測數據的空間、屬性和時間信息關聯在一起，體現時空過程特性，具有開放、共享、松散耦合的優勢。

表1 3種海洋監測數據共享式編碼方式

2.2 文本數據壓縮算法

文本數據不同于視頻、音頻數據，對數據的真實性要求較高，要求數據壓縮后信息無損失，經過解壓能夠還原全部原始信息，基于這一原則，文件壓縮多采用無損壓縮算法[15]。根據算法原理不同，無損數據壓縮算法分為基于字典的壓縮算法和基于統計的壓縮算法兩類。基于字典的壓縮算法采用一個滑動的窗口向前向后遍歷數據，選取重復出現的字符串建立字典，用代碼表示字典中字符串，達到壓縮數據減少數據量的目的，匹配越長，壓縮效果越好，陸續發展起來的有LZ77算法、LZ78算法、LZSS算法、LZMA算法、LZMA2算法等。基于統計的數據壓縮算法對每個字符出現次數進行統計得到字符概率，建立統計模型，采用二進制對數據重新編碼，典型的算法有Shannon-Fano 編碼算法，huffman編碼算法、動態自適應huffman算法、算術算法等。字典壓縮算法壓縮速度較快、壓縮率較低；統計壓縮算法理論上更能夠接近熵的極值，壓縮率較高、壓縮速度較慢。壓縮效果的好壞不僅依賴于壓縮算法，也依賴于壓縮數據的特點，不同的數據最適應的壓縮算法可能不同。實際中，通常結合各原始算法的優勢，進行組合和改進，設計出綜合性較強、性能較高的壓縮算法，表2對比分析了國內外比較成熟的幾種改進的無損壓縮算法。

表2 國內外幾種改進的無損壓縮算法對比分析

2.3 數據壓縮傳輸模式

數據實時壓縮傳輸機制的基本原理是在數據傳輸的開始端對數據進行壓縮，在數據傳輸的終端對數據進行解壓縮，在分布式系統下，根據壓縮與解壓位置的不同，將其歸納分為4種模式,如圖2所示。

圖2 分布式WebGIS系統中的數據壓縮傳輸模式Fig. 2 Data transmission mode based on data compression in distributed WebGIS system

模式a：無壓縮模式，數據以GML、KML、GeoJSON編碼格式進行傳輸；

模式b：在web服務層對數據進行壓縮，在web應用系統收到數據后進行解壓縮，該模式減少了第一個階段的數據傳輸量，在該模式中數據的壓縮/解壓縮均在服務器上執行；

模式c：在Web應用系統層對數據進行壓縮，在客戶端瀏覽器層對數據進行解壓縮，該模式減少了第二階段的數據傳輸量；

模式d：在web服務層對數據進行壓縮，在客戶端瀏覽器層對數據進行解壓縮，該模式中，第一階段和第二階段的數據傳輸量均減少了，但是在客戶端的計算能力較弱的情況下，解壓縮的速度會較慢，進而影響整體響應時間。

當web服務與web應用系統在同一臺服務器上時，模式b的壓縮/解壓縮在同一臺機器上進行，其實質等同于無壓縮模式。模式c等同于模式d，可以簡單地歸納成在服務器端進行壓縮數據，在瀏覽器端對數據解壓縮。在完全分布式環境下，即web服務、web應用系統、web瀏覽器分布位于不同的機器上，模式d可以最大程度地減少數據的實時傳輸量。系統響應時間，通過以下方式計算：

Ttotal=TI/0+Tcom+Ttrans+Tdecom

，

(1)

式中，Ttotal為總時間，TI/0為數據讀寫時間，Tcom為數據壓縮時間，Ttrans為數據傳輸時間，Tdecom為數據解壓縮時間。

Ttrans=m*s′，

(2)

式(2)中，m為網絡數據讀取速率的倒數，s′為壓縮后的數據大小。

s′=s*r，

(3)

式中，r為壓縮比，s為原始數據字節數。

所以，Ttotal最終由式(4)計算得出：

Ttotal=TI/0+Tcom+m*s*r+Tdecom。

(4)

對于相同的空間區域和時間范圍，采用不同的文件格式表達數據，產生的原始數據字節數不同，不同壓縮/解壓縮算法的Tcom，Tdecom及壓縮比不同。壓縮時間、解壓縮時間，與壓縮比往往是成反比的，壓縮比較高的，往往壓縮/解壓縮時間比較長；相反，壓縮/解壓縮速度較快的，往往壓縮比較高。當網絡狀況較穩定的情況下，m可以看做是常量，但是由于每個終端用戶所處的網絡位置不同、網絡傳輸速度也千差萬別，直接影響m的值。當網絡數據讀取速度較快時，m的值較小；當網絡數據讀取速率較慢時，m的值較大。當m的值較小時，會消減壓縮比，使得壓縮比對總時間的貢獻削弱，那么可以采取犧牲壓縮比，換取壓縮/解壓縮時間的策略，即用較短的時間壓縮出一個較大的數據，但是網絡數據讀取速率較快，可以完全抵消多出的壓縮/解壓縮時間。反之，當m的值較大時，則應考慮盡量使傳輸的數據量小。

3 面向海洋監測的分布式GIS系統

基于開源GIS軟件工具(PostgreSQL/PostGIS、GeoServer 和Openlayers)，采用圖1所示分布式框架，集成矢量數據共享式編碼格式、數據壓縮算法、數據壓縮傳輸模式，建立面向海洋監測的分布式GIS系統，實現了海洋浮標監測數據的實時在線接收、解析、入庫、發布和共享。該系統支持完全分布式部署，為云計算環境下的海洋時空大數據表達與傳輸模型實驗提供軟件平臺。該系統采用PostgreSQL/PostGIS時空數據，存儲和管理海洋監測時空數據，使用GeoServer搭建Web服務引擎將海洋浮標監測數據發布為REST服務，提供實時/歷史數據查詢服務，利用OpenLayers實現圖形化顯示界面與數據的可視化顯示，有效融合谷歌影像數據、天地圖地名和道路網數據等多源空間信息數據服務，對海洋浮標的實時和歷史位置進行準確標定，實現了浮標路徑顯示和軌跡回放，支持實時和歷史監測數據的查詢、顯示和分析。數據發布與共享支持采用主動推送數據和被動響應索要數據請求兩種方式，浮標監測數據采用GML、KML、GeoJSON數據格式表達，對于大數據采用數據實時壓縮傳輸策略，以保證系統的穩定性和時效性，在實際應用中該系統可容納的海洋浮標個數達到200多個，數據更新頻率支持10、20、30 min/次 等。圖3、4展示了面向海洋監測的分布式GIS系統可視化界面及時空查詢分析結果。

圖3 面向海洋監測的分布式GIS系統界面Fig. 3 Graphical user interface of a distributed GIS system for marine monitoring

圖4 海洋監測數據時空查詢分析Fig. 4 Spatio-temporal query & analysis results of marine monitoring data

4 實驗分析

通過構建系統化的實驗，揭示GML、KML、GeoJSON用于表達海洋時空監測數據時的性能優劣，以及Deflate、GZIP、XZ、LZ4、Snappy 5種壓縮算法對于海洋時空監測數據的適應性。選取Argo剖面浮標數據為實驗數據，時間范圍為2010—2017年，空間區域為太平洋海域，觀測量為溫度、鹽度、海水壓力。在阿里云平臺，搭建分布式系統軟件，運行第3節所述海洋監測GIS系統進行實測分析。

4.1 3種矢量數據編碼格式的性能對比

通過改變監測記錄的條數來使數據遞增，進而觀測KML、GML、GeoJSON3種數據編碼格式產生的數據量大小。采用7組數據進行實驗，分別為2 000、4 000、8 000、16 000、32 000、64 000、128 000條記錄。實驗結果如圖5所示，12.8萬條監測記錄，KML產生的數據量最大，為180 MB；GML 次之，為 169 MB；GeoJSON最小，為145 MB。 且隨著監測記錄條數的增加，GeoJSON的增幅最小。對比分析3種矢量數據編碼格式,GeoJSON具有較突出的性能優勢。

4.2 5種壓縮算法的性能對比

壓縮算法的壓縮性能差異表現為壓縮比、壓縮時間、解壓縮時間的不同。本實驗中選用GeoJSON數據編碼格式對比分析各壓縮算法對性能。

壓縮比是衡量壓縮算法性能的一個重要指標。如圖6所示，隨著監測記錄條數的成倍增加，數據量也是成倍增加的。采用GeoJSON格式表達12.8萬條監測記錄，產生的數據量大約是146 MB。XZ壓縮后是27 MB，Deflate-6和GZIP壓縮后是39.7 MB左右，Snappy壓縮后是73 MB，LZ4壓縮后是83 M字節。從壓縮后的數據量比較，XZ具有較好的壓縮效果， 采用XZ 壓縮后的數據量約是LZ4的1/3， Deflate-6和GZIP壓縮后數據量約為LZ4和Snappy的1/2。進一步對壓縮比進行統計得出(見圖7)，Deflate-6與GZIP的壓縮比均為27%，壓縮比最高是的XZ，達到了15%，壓縮比最低的是LZ4，保持在57%左右，Snappy的壓縮比為50%，略高于LZ4。壓縮比由高到低的排序結果是XZ、Deflate-6/GZIP、Snappy、LZ4，并且隨著數據量的增加，壓縮比基本保持穩定。

另一衡量壓縮性能的指標是壓縮和解壓縮時間，表示壓縮算法的時間效率。5種壓縮算法的時間效率差別較大。從圖8可以看出，XZ壓縮算法耗時最長，并且隨著數據量的不斷增加，壓縮和解壓縮時間也不斷增加，而且增幅較大。相比之下，Deflate-6和GZIP，LZ4和Snappy的時間效率較高，壓縮和解壓縮時間遠遠低于XZ。壓縮16 000條以下的數據，Deflate-6和GZIP所需時間僅為毫秒級，壓縮16 000條數據只需0.5 s左右的時間(圖8中的第4組數據)。另外，LZ4和Snappy壓縮32 000條數據僅需1 s(圖8中的第5組數據)，隨著數據量的增加，壓縮與解壓縮時間增幅較小。壓縮/解壓縮128 000條記錄，Deflate-6和GZIP耗時16 s，XZ耗時135 s，LZ4和Snappy耗時1.5 s(圖8中的第7組數據)。盡管XZ算法的壓縮比擁有絕對的優勢，但是過長的壓縮時間使其在網絡實時壓縮傳輸中并不占據優勢。

圖5 采用GML、KML、GeoJSON 3種格式產生的數據量對比Fig. 5 Comparison of data size using three encoding formats, including GML, KML and GeoJSON

圖6 壓縮前后的數據量對比 Fig. 6 Comparison of data size before and after compression

圖7 5種壓縮算法的壓縮比 Fig. 7 Comparison of compression ratio of five algorithms

圖8 5種壓縮算法的壓縮/解壓縮時間對比Fig.8 Compression/decompression time of five algorithms

4.3 云計算環境下的實驗

在阿里云平臺選取華北(青島)區域和華南(深圳)區域搭建兩個計算節點，分別部署海洋監測GIS系統的Web服務器和客戶端，針對10 Mbit/s、100 Mbit/s兩種差別較大網絡帶寬條件，對2.3節所述數據壓縮傳輸模式d進行測試，分別記錄數據I/O時間、壓縮時間、網絡傳輸時間、解壓縮時間，得到圖9所示結果。

圖9 分布式環境下的數據總體響應時間Fig.9 The overall data response time in a distributed environment

海洋浮標監測數據經過壓縮傳輸后總體響應時間縮短，隨著數據量的增加，壓縮傳輸的優勢更突出。5種壓縮算法，按照總體響應時間從大到小的順序排列為Deflat-6(GZIP)、Snappy、LZ4、XZ。總體響應時間由數據庫I/O時間、壓縮時間、網絡傳輸時間、解壓縮時間組成，數據庫I/0時間基本維持在一個恒定值(約11 s)，不因數據量的增加而增長。所有壓縮算法的解壓縮時間較小可忽略不計。總體響應時間主要由網絡傳輸時間和壓縮時間決定，因此公式(4)可以進一步優化為：

Ttotal≈Tcom+m×s×r+B

,

(5)

式中，m為網絡數據讀取速率的倒數，r為壓縮比，s為原始數據量大小，B表示數據I/O讀取時間，為常量。

針對海洋監測時空數據，在10 Mbit/s、100 Mbit/s網速帶寬條件下分別進行分布式測試，結果均表明，除XZ外，壓縮比對總體響應時間起主要作用，壓縮比高的總體響應時間則快。總體響應時間可以由公式(5)估算。XZ壓縮算法，由于其過長的壓縮時間(壓縮時間大于網絡傳輸時間)，不適合在分布式環境下的數據實時壓縮傳輸模型中使用；Deflate-6/GZIP壓縮算法，在數據實時壓縮傳輸模型中表現出較好的性能；Snappy、LZ4算法的性能相對較差。相比無壓縮模式，采用Deflate-6/GZIP實時壓縮模式能夠獲得4～5倍的時間效率提升。采用該模式后在深圳、青島兩地實時按需共享12.8萬條Argo浮標數據的時間從490 s降到123 s，表現出較突出的性能優勢。

5 結語

本文建立的基于共享式編碼與實時壓縮的時空數據表達與傳輸模式，在分布式共享與集成系統中表現出較強的適用性和較突出的性能優勢。該研究對于促進分布式計算環境下海洋時空數據的高效共享與互操作具有重要的意義，能夠有效提高海洋時空大數據的實時在線查詢效率與空間分析的性能，并且可以向更廣闊的領域提供智能高效空間信息服務。

參考文獻：

[1]李國慶,張紅月,張連翀,等.地球觀測數據共享的發展和趨勢[J].遙感學報,2016,20(5):979-990.

[2]蔣永國.面向傳感網的海洋觀測數據集成關鍵技術研究[D].青島:中國海洋大學, 2010.

[3]曾建剛,苗放,葉成名.基于GML/KML的空間數據庫研究[J].計算機與數字工程,2009,37(2):51-54.

[4]COX S. An explicit OWL representation of ISO/OGC observations andmeasurements[EB/OL].[2017-10-12]. http://ontolog.cim3.net/file/work/OntologyBasedStandards/2013-10-17_Ontologies-for-Geospatial-Standards/wip/Cox_OM-OWL_20131017b1.pdf.

[5]ATKINSON S C, JUPITE S D, INGRAM J C, et al. Fiji mapped mangrove ecosystem service rankings in GeoJSON format[J]. PLoS ONE, 2016, 11(3): e0151992.

[6]程華兵. 基于Web服務的水文時空數據集成方法研究[D].武漢:華中科技大學, 2013.

[7]GORDOV E, OKLADNIKOV I, TITOV A. Development of Web GIS for complex processing and visualization of climate geospatial datasets as an integral part of dedicated Virtual Research Environment[EB/OL]. [2017-10-12].http://adsabs.harvard.edu/abs/2017EGUGA..19.2100G.

[8]CANNATA M, ANTONOVIC M, MOLINARI M E. Load testing of HELIDEM geo-portal: an OGC open standards interoperability example integrating WMS, WFS, WCS and WPS[EB/OL]. [2017-10-12]. https://www.researchgate.net/publication/266086638_Load_testing_of_HELIDEM_geo-portal_an_OGC_open_standards_interoperability_example_integrating_WMS_WFS_WCS_and_WPS.

[9]SONG M M, ZHOU B, ZHOU Z. The interoperation framework of ocean observation data using spatial information service[M]// 2012 2nd International Conference on Computer Science and Network Technology.[S.l.]:IEEE, 2012.

[10]WANG S W. A CyberGIS framework for the synthesis of cyberinfrastructure, GIS, and spatial analysis[J]. Annals of the Association of American Geographers, 2010,100(3):535-557.

[11]LI W W, SONG M M, ZHOU B, et al. Performance improvement techniques for geospatial web services in a cyberinfrastructure environment - A case study with a disaster management portal[J]. Computers Environment & Urban Systems, 2015,54:314-325.

[12]CHEN N C, ZHANG X, WANG C. Integrated open geospatial web service enabled cyber-physical information infrastructure for precision agriculture monitoring[J]. Computer and Electronic in Agriculture, 2015, 111:78-91.

[13]黃冬梅,季麗偉,袁小華,等. 基于時空一體化的海洋大數據快速展示平臺[J]. 海洋環境科學,2015,34(5):743-748.

[14]JANET J, BALAKRISHNAN S, PRASAD E R. Optimizing data movement within cloud environment using efficient compression techniques[M]//2016 International Conference on Information Communication and Embedded Systems. [S.l.]:IEEE, 2016.

[15]鄭翠芳.幾種常用無損數據壓縮算法研究[J].計算機技術與發展,2011,21(9):73-76.