海洋大數據處理軟件體系結構設計?

孫朝隨，劉 青，胡 桐，郭忠文

(中國海洋大學 1.信息科學與工程學院; 2.圖書館，山東 青島 266100)

?

海洋大數據處理軟件體系結構設計?

孫朝隨1，劉 青2，胡 桐1，郭忠文1

(中國海洋大學 1.信息科學與工程學院; 2.圖書館，山東 青島 266100)

針對海洋數據格式與海洋信息應用系統的異構性，提出一種基于移動代碼(Mobile code)的海洋大數據處理軟件體系結構。首先，利用統一的網絡服務接口與數據交換格式，規范海洋信息應用系統之間的數據訪問與共享。其次，通過移動代碼將海洋大數據的處理過程移至云端,提高信息處理效率。應用示例實現了異構海洋信息應用系統間的互操作，并且縮短了海量數據的處理時間，驗證了該體系結構在海洋大數據處理中的通用性與有效性。

海洋大數據； 軟件體系結構； 移動代碼

大數據處理技術是當前和未來一段時間內計算機領域的重要研究課題之一，在物聯網、云計算及軍事安全方面具有重要作用。大數據具有數據量大、數據結構多樣、查詢分析復雜等特點[1]。目前，大數據處理在互聯網方面已經取得了較好的研究成果[2]。

在“數字海洋”及國家海洋公益項目建設成果基礎上，中國的海洋信息化水平有了長足的發展，涉及到海洋物理、海洋生物、海洋化學、海洋氣象、海洋經濟、海岸帶等多個研究領域。然而，不同領域數據采集的方法與設備各異，并且數據存儲與處理也形式多樣，主要體現在：(1)海洋數據格式多樣，存在很多海洋行業專業文件格式標準；(2)不同海洋觀測平臺的觀測設備、通信協議、數據質控及預處理方法各不相同；(3)用戶需求的復雜多樣性，包括海洋數據管理、海洋業務管理、海洋科學研究及海洋管理決策等；(4)已有各類海洋信息應用系統存在異構性：在國家海洋局等相關涉海業務部門，已經存在多個海洋數據管理及業務應用信息系統，這些系統面向不同業務，各自相對獨立、結構各異，互操作困難。隨著大量結構化或非結構化的海洋數據不斷累積，各類海洋信息應用系統對海洋數據交換與共享的需求日漸顯著，系統間的互操作性與海量數據的處理速度成為海洋大數據處理的2個重要問題。

本文根據海洋數據格式多樣的特點，提出了一種基于移動代碼(Mobile code)的海洋大數據處理軟件體系結構，在滿足海洋大數據處理性能需求的同時為各類海洋信息應用系統之間的互操作提供支持。

1 海洋大數據

隨著人類海洋活動的拓展，綜合性海洋觀測網絡已經在構建之中，包括部署在岸基的各類海洋臺站、錨定和漂流的各類海洋觀測平臺、海洋科學調查作業、海底觀測網和航空遙感等。綜合性海洋觀測網絡通過長期、定點、連續、多要素的海洋觀測獲取到海量的觀測數據。

1.1 海洋大數據的特點

1.1.1 高實時性與動態變化 海洋觀測目前以長期連續監測和階段連續監測為主，監測時間長，部屬范圍廣，產生的數據量大。由于綜合性海洋觀測網絡的任務需求與天氣變化等原因，海洋數據流具有高實時性特點。各類綜合性海洋觀測網絡的互聯和協作也將產生動態變化的大數據流。

1.1.2 多源異構性 由于海洋觀測涉及的學科較多，包括物理海洋、海洋氣象、海洋生物、海洋化學、海洋地質、海洋遙感等，資料內容多樣，年限跨度大且數據格式不統一。另外，由于存在多種海洋觀測手段，數據的存儲方式和語義描述也不一致，沒有統一的標準規范。在不同的應用場景中，數據處理和使用的方式不同也給海洋數據的檢索和分析帶來了困難。

1.1.3 交互服務模型復雜 海洋觀測數據往往被應用于各類不同的海洋信息應用系統中[3]，實踐的應用需求差異決定了各應用系統中組件之間的交互接口各異。當新的應用需求產生時，開發人員需要對數據庫進行重新設計與代碼重構。隨著海洋觀測網絡的大規模接入，對各類海洋信息應用系統的集成難度越來越大。

1.1.4 數據處理分析模型普適性差 對于海洋觀測采集到的大量高維數據的不同應用場景，參與計算的參數、計算任務以及計算結果的內容存在較大差別，使得構建具有普適性的大規模海洋數據處理應用較為困難。面對龐大的數據量，海洋大數據處理的高實時性需求也給數據的處理分析方法提出了更高要求。

1.2 海洋大數據的處理過程

1.2.1 數據采集與傳輸 海洋環境觀測利用多種儀器或觀測平臺對海域進行高密度高頻率的立體觀測[4](包括岸站觀測、浮標觀測、船舶觀測、衛星遙感、航空遙感、雷達監測等)，以便獲得有關要素的數據資料。目前，海洋觀測數據由集中、間斷性傳輸逐漸向實時、連續性傳輸發展。海洋數據的采集與傳輸過程見圖1，監測對象即各類海洋要素。監測儀器或平臺采集到的時間序列數據在經過格式轉換與質量控制后，通過有線或者無線的方式由網絡服務接口進行錄入并存儲。統一的網絡服務接口(Web service interfaces)提供規范的數據獲取與傳輸功能，通過Web發現、訪問獲得實時的數據資源，后文將介紹各類網絡服務接口的概要設計。

圖1 數據采集與傳輸Fig.1 Data acquisition and transmission

1.2.2 數據存儲與檢索 由網絡服務接口錄入的大量海洋數據一般采用分布式數據庫(如Hbase[5])或分布式文件系統(如GFS[6]、HDFS[5])進行存儲，由主服務器負責維護海洋數據的元數據與系統日志，而由塊服務器存儲實際數據。在數據處理過程中采用MapReduce編程模型[7]對任務進行調度以便提高海量數據處理能力(見圖2)。

元數據庫的主要作用是存儲各種異構海洋數據的描述信息，以便在構建各類海洋信息應用系統時實現互操作。采用統一的元數據存儲格式也有利于對各類異構海洋數據進行查詢檢索。

1.2.3 數據集成 統一的網絡服務接口使得海洋數據集成得到簡化，并且能同時提供實時與非實時的數據集成功能。數據集成主要包含兩個方面，一是對監測數據的元數據按照統一格式進行整合，二是將產品數據按照服務接口規范進行發布，避免信息孤島的形成。

圖2 數據存儲與檢索Fig.2 Data storage and retrieval

2 海洋大數據處理軟件體系結構

2.1 系統框架

本文提出的海洋大數據處理軟件體系結構的整體框架見圖3，該框架結構在面向服務框架基礎上將各類異構的海洋信息應用系統無縫集成，然后利用移動代碼(Mobile code)實現海洋大數據的云端處理，縮短海量數據的處理時間。

圖3 系統框架

該框架中，各層之間采用統一的網絡服務接口進行數據交換，包括在數據采集過程中，通過注冊服務在元數據庫中添加相應的數據描述，并將采集所得的數據以文件或數據集的形式存儲到分布式文件系統或分布式數據庫中。數據訪問層主要由維護元數據庫的主服務器與存儲實際數據的塊服務器組成，應用服務層包括各類異構的海洋信息應用系統。來自應用服務層的數據訪問請求根據元數據庫中的描述信息被重定向到存儲實際數據的塊服務器。應用服務層在獲得數據后，根據元數據庫中的描述對數據格式進行解析。考慮到客戶端的處理能力相對較弱并且傳輸海量數據所需時間較長，該框架通過移動代碼將海洋大數據的處理過程由客戶端移至云端(即應用服務層)，由具有較高運算能力的應用服務器進行處理之后將結果返回至用戶，從而使得數據的處理與傳輸時間顯著降低。另外，采用移動代碼方式在云端處理數據也避免了系統的重復開發，用戶通過網絡服務接口完成代碼的上傳與更新。

2.2 網絡服務接口 基于面向服務框架的網絡服務接口是構成海洋大數據處理軟件體系結構的核心組成部分。由于采用統一的服務接口名稱(圖4為部分目錄服務接口列表)與數據交換格式，諸多復雜的異構海洋信息應用系統之間能夠實現彼此透明與互操作，并且能夠提供實時數據的集成功能。各網絡服務接口按照功能劃分為以下幾個類別:

(1)目錄服務接口：提供數據目錄的注冊訪問與數據查新功能。

(2)基礎數據訪問服務接口：提供海洋基礎數據的錄入與查詢獲取功能。

(3)產品數據訪問服務接口：提供產品數據的查詢獲取與發布功能。

(4)實時海洋數據獲取服務接口：提供海洋環境要素實時觀測數據的自動發現與傳輸功能。

(5)數據轉換服務接口：提供文件格式轉換與數據抽稀功能。

(6)移動代碼管理服務接口：提供移動代碼的上傳、更新與下載功能。

圖4 部分目錄服務接口列表Fig.4 Category service interfaces(partial)

3 應用示例

在實際的海洋數據處理應用的開發過程中，基于本文提出的海洋大數據處理軟件體系結構，構建并部署了一個海洋數據集成與應用系統，并以此檢驗該體系結構在海洋數據集成過程中的通用性與有效性。該項目包括2個實際的子任務：海洋調查與區域數值模擬。海洋調查按照規劃的站位進行了定時定點觀測，采集大量海洋要素數據。區域數值模擬用于動態模擬調查海域的海洋要素物理變化特征，包括溫度、鹽度、潮流、波浪等變量。這兩類數據主要以文件格式為主。海洋調查數據的錄入首先通過目錄訪問接口進行注冊，然后通過基礎數據訪問服務接口存儲至分布式文件系統，并將元數據錄入至元數據庫。區域數值模擬則首先通過基礎數據訪問服務接口獲取所需的海洋調查數據，然后將數值模擬結果通過產品數據訪問服務接口進行發布。客戶端通過移動代碼將本地的數據可視化處理推至應用服務器，由特定的應用服務器對解析后的基礎數據與產品數據進行處理，將可視化結果傳回客戶端顯示。圖5(a)顯示了可視化的系統用戶接口，通過選取感興趣的調查航次查看相應觀測站位的儀器與要素信息。圖5(b)為數值模擬數據查詢界面，用于即時查看指定要素在某一時間的可視化輸出。由于采用了統一的基礎數據與產品數據網絡服務接口，該應用示例在數據集成過程中的測試難度被顯著降低。并且，采用移動代碼方式在云端處理海量數據不僅提高了系統性能，也維持了較低的開發成本，縮短了開發周期。圖6顯示了由客戶端下載數據并進行可視化與采用本文提出的海洋大數據處理軟件體系結構由云端進行可視化的系統性能對比結果，采用本文提出的海洋大數據處理軟件體系結構顯著縮短了平均任務完成時間。

圖5 用戶接口示例

圖6 系統性能對比

4 結語

本文針對諸多海洋數據格式與各類海洋信息應用系統的異構特點，提出了一種基于移動代碼(Mobile code)的海洋大數據處理軟件體系結構，其主要設計思想是：利用統一的網絡服務接口與數據交換格式，規范海洋信息應用系統之間的數據訪問與共享行為，實現異構海洋信息應用系統間的互操作；通過移動代碼將海洋大數據的處理過程移至云端，利用云端處理能力縮短海量數據的處理時間。本文通過應用示例實現了異構海洋信息應用系統之間的互操作，并且縮短了海量數據的處理時間，證明了該體系結構在海洋大數據處理中的通用性與有效性。今后將對已有的網絡服務接口進行細化并根據實際的應用需求添加系統安全服務接口與管理接口。

[1] 倪明選, 羅吳蔓. 數據爆炸時代的技術變革 [J].中國計算機學會通訊, 2011, 7(7): 12-20.

[2] Sakr Sherif, Liu Anna, Daniel M, et al. A survey of large scale data management approaches in cloud environments [J]. IEEE Communications Surveys & Tutorials, 2011, 13(3)： 61-65.

[3] Guo Zhongwen, Chen Pengpeng, Zhang Hao, et al. IMA: an integrated monitoring architecture with sensor networks [J]. IEEE Transactions on Instruments and Measurement, 2012: 61(5): 1287-1295.

[4] 馬毅.我國海洋預報觀測系統概述 [J]. 海洋預報, 2008, 1: 56-62.

[5] Shvachko K, Huang H, Radia S, et al. The hadoop distributed file system [C]. Incline v: Proceedings of the 26th IEEE Symposium on Massive Storage Systems and Technologies(MSST2010), 2010.

[6] Ghemawat S, Gobioff H, Leung ST. The Google file system [C]. Proceedings of the 19th ACM Symp on Operating Systems Principles， New York: ACM Press, 2003: 29-43.

[7] Dean, Jeffrey, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters [C]. Sam Fran cisco: Proceedings of the 6th conference on Symposium on Operating Systems Design & Implementation (OSDI 2004), 2004: 1-13.

責任編輯 陳呈超

Software Architecture for Oceanographic Big Data Processing

SUN Chao-Sui1， LIU Qing2， HU Tong1， GUO Zhong-Wen1

(1. College of Information Science and Engineering; 2. Library, Ocean University of China, Qingdao 266100, China)

This paper presented software architecture for oceanographic big data processing to address the integration problem among heterogeneous marine-oriented information systems. The proposed software architecture firstly took advantage of unified exchanging data format and web service interfaces to regulate the access and sharing behavior between heterogeneous marine-oriented information systems, and then pushed data processing procedure to cloud computing by means of mobile code in order to improve data processing efficiency. Application examples prove that such software architecture has a set of advantages on scalability and versatility, and significantly shortens the time of massive data processing.

oceanographic big data；software architecture；mobile code

國家海洋公益項目(200905030-4)資助

2013-08-20；

2014-02-20

孫朝隨(1965-)，男，博士生。E-mail: guozhw@ouc.edu.cn

TP393

A

1672-5174(2015)02-134-04

10.16441/j.cnki.hdxb.20130193