基于大數據的海洋測繪數據分析研究

周彬翀 羅劍 陳增琦 王正猛 郭松杰

摘要：近幾年的海洋測繪數據日益增多，其多樣性、異質性、復雜性等特性決定了傳統的數據收集、存儲和處理技術已經跟不上日益增長的需求;通過大數據框架處理技術（Hadoop），可以成功解決這些海量海洋測繪數據問題，這項技術使我們能夠收集海洋測繪數據，獲取必要的有用信息。

關鍵詞：海洋測繪;Hadoop;數據分析;存儲

1大數據技術

在高性能計算機和互聯網資源技術飛速發展的大環境背景下，大規模信息技術被廣泛應用于社會的各個領域。在當前條件下，這種大規模信息技術得到了廣泛的應用，如Hadoop和Hbase，Hive等技術。其中，Hadoop是一個分布式計算平臺，包括HDFS文件系統和MapReduce計算系統，運用最為廣泛。作為一種分布式的文件管理與儲存系統，HDFS（hadop文檔系統）非常易于擴展。它也可以存儲在不同節點上。HDFS的目的是存儲海量數據，從而更好地處理萬億字節甚至更高級別的數據。MapReduce也是Hadoop的主要部分，它是一種并行計算模型，可以使用大量的計算能力來解決復雜的技術問題。

2海洋測繪和特點與分析

2.1海洋測繪的基本特征

在土地測繪過程中，測點的三維坐標需要不同的手段和方法。換言之，在海圖繪制中建立相應的控制點通常并不容易。在這一階段，應盡可能選擇適當的島嶼作為控制點，或在海床和洋底上大間隔設置相應的控制點，海洋測量比地面測量有更多的大地測量距離。常規地面測量之間的距離不超過5公里，普通海洋之間的距離通常為50公里～500公里，有的甚至超過100公里。

與陸地測繪相比，海洋測繪的環境處于動態變化過程中，這就需要相關測量人員在觀測進行連續測繪，與陸地觀測相比，海圖精度較低。海洋測繪圖具有觀測點距離較遠的特點，在測量過程中選擇的傳播信號可能會有一些差異，與陸地相比，海上測量通常使用低頻電磁波，但其傳播不能簡單均勻，因此，信號源只能選擇海水中的聲波。

2.2海洋測繪數據的特點分析

通過對大量海洋測繪數據的整理和分析，可以發現海洋測繪數據具有以下幾個特點：

（1）數據量大。收集的海洋調查數據包括工作人員在海洋和地址等各個方面的辛勤工作，在繪制海洋圖的過程中，需要有廣泛的監測區域和復雜的海洋數據結構，這些數據收集在處于不同的監測點，存在于各種動態過程中，這增加了繪圖過程中的數據量，如果僅使用計算機主板的存儲方式就無法滿足大量數據在存儲方面的要求。

（2）海洋測繪數據的結構和格式存在一定的差異。海圖數據存在多樣性，如海底地形數據和沿海地區的遙感數據、海岸線測量數據等，海圖繪制時需要使用大量的監測點、不同的記錄格式以及相應的數據存儲結構變化，這導致大量海圖數據未按照約定的數據結構標準進行保存。

在收集的大量圖表數據中通常包含地址信息，因此，必須特別注意數據的收集和存儲。利用相關技術提高數據存儲和處理效率，不同于以往的統一海圖，目前，海上測量、海岸線遙感數據和海岸線測量數據將采集包括海底地形數據在內的各種制圖數據。不同類型的數據通常具有不同的數據特征。在處理這些數據時，我們必須充分考慮數據之間的差異。

3海洋測繪數據的存儲與分析

3.1海洋測繪數據分析

中國擁有廣闊的海洋空間和多樣的海洋生產資料和生活資料，在繪制海洋資源圖時，我們可以得到溫度、鹽度和海水深度的多種繁雜的信息，不同的數據類型具有不同的特征。在存儲和處理繪制數據時，必須充分考慮不同數據類型的處置要求和信息的存儲方式，不僅包括溫度、鹽度和深度的水文信息，還包括地址信息、生物和航空遙感數據。這些不同類型的數據具有不同的特性，因此在整理歸類及保存它們時，必須考慮這些數據的處理要求和存儲格式。

對海洋調查數據的分析表明，海洋調查數據具有以下特點：（1）數據量大;海洋測繪中觀測點多，數據結構復雜，動態性強，決定了這將產生大量的地圖數據。僅使用本地存儲庫很難滿足存儲大量數據的需要（2）數據格式和結構存在差異。不同地形數據記錄格式和存儲結構的差異導致缺乏統一標準的數據存儲結構。已經收集到的海量海洋測繪數據包含了海洋、地址、水文等多方面工作人員的辛勞汗水，所以在收集到的數據的積累、存儲等方面需要慎重考慮，需要結合海洋測繪數據的特點提高存儲和處理的高效性和安全性。

3.2測繪數據的保存

收集的海洋測繪數據將持續傳輸到相應的本地存儲位置，并以固定的時間間隔傳輸到HDFS文件系統。所有測繪地形點都會以client的形式將地圖數據下載到HDFS。成功下載數據的組織結構是透明的，即HDFS分布式文件系統對應于本地存儲，映射數據將在本地存儲，然后以固定的時間間隔加載到HDFS中。對于繪圖過程中設置的不同繪圖點，采集的圖表數據可以以統一格式傳輸到HDFS文件系統，并成功加載到HDFS文件系統。它一般以HDFS文件系統為基礎，并在其上與本地存儲系統相匹配，收集的圖表數據將永久、定期地傳輸到系統的HDFS文件系統。對于繪圖過程中設置的不同繪圖點，采集的海圖數據可以統一格式傳輸到HDFS文件系統，并可以成功加載到HDFS文件系統中，此過程通常是在透明組織的基礎上運行，即HDFS文件系統將匹配本地存儲系統，用戶不會知道具體的存儲位置，即數據是本地存儲還是顯示在HDFS文件系統中。

總結

由于我國海洋面積巨大，海洋測繪過程中存在著各種復雜的數據，隨著計算機信息技術和網絡技術的飛速發展，海洋數據的存儲也備受關注，大規模信息技術廣泛應用于社會各個領域，顯示出強大的數據處理能力。本文介紹了大數據處理技術在海洋測繪中的應用，分析了常規數據的收集和處理方法。其中Hadop技術應用最為廣泛。用戶可以對采集到的海圖數據進行存儲和處理，顯示了海洋測繪數據處理的顯著優勢。考慮到海洋測繪數據的復雜性和異質性，本研究采用了廣泛的數據處理方法，其特點是數字數據的并行存儲和分發，它可以幫助用戶在解決海洋調查數據的問題中達到預期目的，為海洋資源的開發提供有限的支撐與支持。

參考文獻

[1]袁延藝，金際航，李海濱."基于Hadoop的海洋環境信息分布式架構設計."海洋測繪v.39;No.191.06（2019）：82-85.