海洋3S數據存儲處理系統研究

趙樹平　禹小弦

摘要：針對大量海洋3S數據的存儲處理復雜和低效率的問題，提出了一種海洋3S數據存儲處理的設計方案。該系統通過海洋遙感ORS連續影像處理和GPS立體測量，建立三維形狀模型，然后提取目標特征更新海洋地理系統MGIS的數據，并將收集到的海洋3S數據通過Hadoop架構的HDFS進行存儲、MapReduce進行處理。該系統運用Hadoop技術進行海洋3S數據存儲與處理并提供了可行性的方案。

關鍵詞：海洋3S數據;存儲處理;Hadoop;HDFS;MapReduce

中圖分類號：P73 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）13-0003-03

Abstract： Aiming at the complexity and low efficiency of storage processing of a large number of marine 3S data， a design scheme of marine 3S data storage processing is proposed. The system uses the remote sensing ORS continuous image processing and GPS stereo measurement to establish a three-dimensional shape model， and then extracts the target feature to update the marine geographic system MGIS data， and collects the collected marine 3S data through the Hadoop architecture HDFS for storage and MapReduce processing. The system uses Hadoop technology to store and process marine 3S data and provides a viable solution.

Key words： Marine 3S data; storage processing; Hadoop; HDFS; MapReduce

隨著人們對海洋環境和資源的高度重視，越來越多的海洋數據被大量發掘出來，包括水文信息，還有地形，地貌等地質數據，還有各種衛星遙感和浮標等獲得的海洋數據。海洋3S數據是通過海洋遙感ORS采集或通過海洋中的各種傳感器捆綁GPS定位數據采集和海洋遙感ORS數據及GPS定位數據通過海洋地理系統MGIS分析處理得到的綜合海洋數據。它具有屬性多樣性，動態不穩定性，復雜性和無序性等特點[1-4]。

本文主要是以大量海洋3S數據作為基礎，結合海洋3S數據和Hadoop，構建一個簡單的包含數據的存儲部分以及數據的處理部分的海洋3S數據存儲處理系統的整體框架[5-7]。

1 海洋3S數據存儲處理系統框圖

海洋3S數據存儲處理系統分為數據收集模塊、數據在HDFS存儲模塊、數據轉換模塊和MapReduce數據處理模塊。數據收集模塊是以海洋3S技術探測為背景，通過連續影像處理和立體測量，建立三維形狀模型，然后提取目標特征更新MGIS數據并獲得數據，并將收集到的海洋3S數據按照特定的原則暫時存儲在本地上;數據在HDFS上的存儲模塊包含了數據存儲功能和重復數據的刪除功能。所有監測獲取的數據文件最終都會自動存儲進HDFS分布式文件系統中。如果在傳輸過程中遇到被破損的文件或者重復多次傳輸的情況，那么為了節省HDFS的有限存儲空間，此模塊將對傳輸的所有數據進行去重工作;數據轉換模塊是因為存儲在HDFS中的數據并不是接收所有格式的文件，因此，此模塊將不接收的數據格式，轉換為HDFS接收的數據格式，使數據正常進入數據庫中。MapReduce處理模塊是轉換格式后的數據將在此模塊中進行數據的格式轉換操作，并將數據傳入HDFS中存儲。根據海洋數據的不同種類進行數據的處理，提供并保證了數據處理的功能[8-9]。

如圖1所示，此系統可以看成4個層次，由上至下分別為數據層，過渡層，處理層，存儲層[10]。。首先數據層是通過海洋遙感及GPS精確定位對海洋3S數據進行初始的收集以及對其數據進行相應的簡單處理并進行物理上的存儲，在過渡層，可以輸入的格式將直接通過DFS外殼的過渡將數據轉到HDFS中存儲，不可以輸入的格式將會通過數據格式的轉換后轉到HDFS中存儲，起到了對服務的過渡以及相應的格式轉換調用的作用，而處理層包括MapReduce，它與HDFS的數據相互交互以及共同作用是對海洋數據進行高效處理的主要部分，同時也擁有著存儲的作用，處理完的所有的數據最終都會存儲在HDFS上，最后放在存儲層上的為HDFS服務器，其中存儲著所有的數據。在對數據進行存儲處理的過程中，應該先把所有通過監測點收集到的數據全部存儲到HDFS分布式文件存儲系統中，對數據進行去重的操作， 然后進行數據格式的轉換和轉換后數據的處理操作，并根據查詢條件MapReduce實現對數據的查詢操作。

2 海洋3S數據存儲處理軟件流程圖

2.1 數據存儲軟件流程圖

海洋3S數據存儲部分采用了主從結構，此部分包含有一個主元數據節點，一個輔助元數據節點和幾個數據分節點。主元數據節點是整個HDFS的主節點，有且只能有一個，其中存儲著HDFS的元數據信息。它的作用多且強大，它可以用來管理文件的數據信息，如文件的屬性、大小、位置、名稱等;在用戶對文件的修改、刪除、增加等操作的相關部分信息也可以起到維護的作用，同時保持文件與數據塊之間的對應關系也可以用到它。輔助元數據節點雖然可以看作是主元數據節點的備份，但并不是主元數據節點的備份，因為當主元數據節點出現故障時，輔助元數據節點并不能迅速、徹底頂替它的位置。輔助元數據節點會定期合并元數據信息，并推送給主元數據節點，當主元數據節點出現故障時，它會暫時接替主元數據節點繼續進行工作。 數據分節點是HDFS中的從屬節點，存儲實際的數據塊并執行數據塊的讀寫功能。HDFS客戶端可以實現數據的等量拆分，它是通過與主元數據節點之間的相互交流來確定文件的具體位置信息，還通過與數據分節點的相互交流來讀寫入數據。在HDFS當中，文件會被分割為很多的等大的數據塊，且這些數據塊的默認值為64MB，所有的數據塊會根據特定的方案存儲在數據分節點上，同時，這些數據文件的存儲位置以及相關信息會記入主元數據節點中，如果其中有分節點出了問題，可以在其他的節點中獲取一樣的數據。具體存儲過程為，首先，數據分節點1以數據包的形式從HDFS客戶端收進數據時會立刻在本地存儲，同時給數據分節點2傳送數據，同樣當數據分節點2收到數據時在本地存儲并發給數據分節點3，以此類推，數據包就會被所有的數據分節點備份上，那么所有數據分節點都收到數據后都會向自己的前一個數據分節點發一個確認消息，直到數據分節點1發送給HDFS客戶端，此時，HDFS客戶端會與主元數據節點進行數據存儲到所有節點的相互確認。

數據存儲流程圖見圖2，數據監測點采集到數據后先把數據放在本地，然后將海洋數據存儲到HDFS上面，系統通過Hadoop提供的接口把本地獲取的3S數據上傳并存儲到HDFS上。每個監測點都作為一個端口，將海洋3S數據上傳到HDFS端口中，實時更新中的數據文件們將被監測點收集并不間斷存儲進特定的文件中。因為數據是在不斷更新中的，所以要設置一個合理的時間間隔，那么每到達一次指定時間，數據就會從本地再次向HDFS通道進行數據的存儲。并且在確認文件存儲完成時直接刪除已經進行過操作的本地文件。按照上面的過程反復執行，可以將實時更新的數據，準時、高效的存儲到HDFS中[11-15]。

首先收集的文件開始存儲，因為數據是在不斷地更新中，因此設置了一個時間的間隔，那么每到達這個時間間隔時將會進行數據的更新同時再次存儲文件，此時要判斷文件是否存儲成功，如果不是，則直接結束并刪除掉數據，反之存儲成功則直接進行本地文件存儲，并建立HDFS存儲通道，此時判斷該數據文件是否為可以讀取的信息，是則將本地文件存儲到HDFS通道后進行下一批次的判斷，反復執行，直到出現不是，然后結束存儲，并關閉HDFS的通道，同時直接刪除掉已經成功存儲完成的本地文件數據，避免空間的過度浪費。反復執行以上操作，這樣可以實時的更新HDFS的數據，保證完整性以及準確度。上述的流程，在存儲數據的過程中，系統的故障和網絡傳輸延遲都可能會導致發送處理中的數據的波動，導致海洋3S數據文件被反復的上傳到HDFS中。這樣會極大浪費存儲空間，所以在數據存儲之前需要進行數據的檢查和去重工作，使每個文件在HDFS中只有一個，保證數據的唯一性。

2.2 數據處理軟件流程圖

數據處理部分以Map和Reduce為核心。首先是Map階段把輸入的數據按照標準切分，每個輸入分塊的大小都應該是一樣的。在沒有手動更改的情況下，數據塊的大小與輸入塊的大小是一樣的。如果以數據塊的大小是初始的默認值64MB，輸入文件有兩個，一個大于64MB，一個小于64MB。那么大文件會分為兩個數據塊，也就是兩個分塊，而小的文件是一個分塊，一共會產生三個文件的分塊。每一個分塊會由一個Mapper進程處理，三個數據分塊，就會有三個Mapper進程處理。然后是對數據分塊中的內容依靠一定的方法分解成為鍵值對，其中把每一行文本內容解析成默認規定的鍵值對， “鍵”是每行的初始位置，“值”是本行的內容。接下來是運用Map方法，在前面解析出來的每一個鍵值對，都使用一次Map方法，有多少個鍵值對就會使用多少次，每一次使用Map方法都會不定的輸出多個或者零個鍵值對。然后在一定的原則基礎上對上面得出的鍵值對進行詳細分區，分區是基于鍵進行的，相同的鍵值對放到一個區域中。在默認的情況下只有一個區， Reduce任務運行的數量與分區的數量有著直接的關系，因此默認只有一個Reduce任務。下一步是對每個分區當中的鍵值對進行排序。按照鍵的優先級比值高來進行排序，那么對于鍵值對的鍵一樣的情況下，按照值的大小來進行排序。

在上面的處理結束后，來到Reduce任務階段，首先Reduce任務會主動從Mapper任務輸出的鍵值對復制，因為Mapper任務可能并不是只有一個，所以Reduce可能會復制多個Mapper的輸出作為輸入鍵值對。然后把整理得到的鍵值對復制到Reduce本地，把所有的鍵值對進行合并，也就是把分散開的數據合并成一個大的完整的數據，再次對合并后的數據進行重新排序。最后將排序完成的鍵值對使用Reduce方法，鍵相等的鍵值對使用一次Reduce方法，每次使用都會產生零個或者多個鍵值對，最后把這些輸出的鍵值對寫入到HDFS文件中。

數據處理的流程圖如圖3所示，開始進行數據處理，對NetCDF格式的數據的處理就是讀取出文件中的各種要素并且將讀取的數據保存成.txt格式的數據，所以先讀取了NetCDF數據，然后經過Hadoop的處理平臺中的數據格式轉換模塊將無法讀取的格式的數據進行數據格式的轉換，然后通過Map操作，將切分好的數據進行并行處理后結合中間數據傳遞給Reduce，當Reduce接到數據后再次進行深層次的匯總處理工作，然后輸出判斷是否讀取完成，如果沒有讀取完成則重新反復地進行數據處理操作，反之，將讀取完成的數據以不同的格式存儲到HDFS上，處理完成[16-20]。

3 結論

本文探討了海洋3S數據存儲與處理的可行性方案。首先將HDFS搭建在一個便宜的設備上面，然后采用HDFS分布式的存儲系統對海洋3S數據進行了存儲，實現了大量3S海洋數據的存儲，并且使用MapReduce來對數據進行了讀取及相應處理，最后輸入回HDFS進行存儲，實現了部分數據處理的功能。利用MapReduce實現了數據的并行處理，便于數據的分類存儲，解決了3S海洋數據動態變化，多樣性和復雜性的問題。

參考文獻：

[1]劉金鳳. 基于Hadoop的海洋數據存儲處理系統[D].中國海洋大學，2015.

[2]池亞平，楊垠坦，許萍，楊建喜.基于Hadoop的監控數據存儲與處理方案設計和實現[J].計算機應用與軟件，2018，35（06）：58-63+157.

[3]林文輝. 基于Hadoop的海量網絡數據處理平臺的關鍵技術研究[D].北京郵電大學，2014.

[4]邰建華. Hadoop平臺下的海量數據存儲技術研究[D].東北石油大學，2012.

[5]朱珠. 基于Hadoop的海量數據處理模型研究和應用[D].北京郵電大學，2008.

[6]張弛，龔茂珣.基于云存儲的海洋數據存儲策略研究[J].海洋信息，2014（01）：21-24.

[7]沈飛飛，郭忠文，胡克勇.一種海洋環境數據存儲模型設計與應用[J].中國海洋大學學報（自然科學版），2015，45（06）：122-127.

[8]謝紹鋒，肖化順.森林資源時態GIS數據存儲與時空分析方法研究[J].西北林學院學報，2011，26（01）：181-186.

[9]沈飛飛，郭忠文，胡克勇.一種海洋環境數據存儲模型設計與應用[J].中國海洋大學學報（自然科學版），2015，45（06）：122-127.

[10]黃明哲，王巧藝.“3S技術”在海洋漁業中的應用[J].福建水產，2011，33（01）：77-81.

[11]姜鳳輝，李樹軍，姜鳳嬌.“3S”技術在海洋氣象信息處理中的應用[J].測繪科學，2010，35（S1）：186-187+238.

[12]李丹. 土地整理項目中3S數據的處理與應用[D].中南大學，2011.

[13]楊海軍，邵全琴.GIS空間分析技術在地理數據處理中的應用研究[J].地球信息科學，2007（05）：70-75.

[14]趙春宇. 高性能并行GIS中矢量空間數據存取與處理關鍵技術研究[D].武漢大學，2006.

[15]陳軍，蔣捷.多維動態GIS的空間數據建模、處理與分析[J].武漢測繪科技大學學報，2000（03）：189-195.

[16]溫玉波，黃全中.基于XML的海洋環境基礎數據格式轉換的研究[J].海洋通報，2017，36（06）：700-705.

[17]鄒鶴敏，黃海于.大文件分塊上傳和下載軟件的設計與實現[J].電子技術應用，2013，39（08）：137-139.

[18]馬同星. 網絡型海洋環境監測數據挖掘和動態發布信息系統研究[D].山東大學，2006.

[19]逯晨. 海量空間環境數據分布式并行處理關鍵技術研究[D].電子科技大學，2014

[20]黃冬梅，杜艷玲，王振華.海洋大數據分級存儲中遷移模型的研究[J].計算機應用與軟件，2014，31（09）：45-47.

【通聯編輯：王力】