海底觀測網絡數據管理系統設計

陳杰, 張曉楠, 蔡玉龍, 高皜, 劉杰, 李正寶

(齊魯工業大學(山東省科學院)，山東省科學院海洋儀器儀表研究所，山東 青島 266001)

海洋是地球的動態引擎，驅動能量傳輸和基本循環，對全球的氣候變遷、生態循環、物種繁衍、人類進化等具有舉足輕重的作用[1]。海底觀測網能夠長期實時、連續獲取海洋物理、化學、地質、生物等觀測數據，對于海洋科學研究、海洋環境保護以及海底資源勘探與開發都具有十分重要的意義[2-3]。近年來，海底觀測網絡的研究與建設已經成為國際海洋研究領域的熱點[4]。

數據管理系統(data management system for seafloor observatory network， SON-DMS)是海底觀測網絡的數據核心、控制核心，是連接遠程用戶與海底設備之間的紐帶[5]。在海底觀測網絡運行過程中，SON-DMS需要與海底設備建立實時通信鏈路，采集各類傳感器數據和狀態數據；需要管理成百上千種儀器并對設備運行狀態和故障進行實時監控和應急處理。同時，SON-DMS需要對實時采集的數據進行解析、存儲、顯示、管理等，為用戶提供數據服務。因此，SON-DMS已經成為海底觀測網絡的重要組成部分，設計開發自適應、可擴展、開放式的SON-DMS成為海底觀測網絡的重要研究內容。

目前，國內外開展的海底觀測網絡研究中，比較成熟的海底觀測網信息系統主要是VENUS和NEPTUNE的信息管理系統(data management and archiving system， DMAS)。DMAS能夠將海底觀測數據通過互聯網共享給全球用戶，在線查看觀測的視頻、傳感器數據等觀測資料。管理用戶可以對設備進行在線控制，例如在線開啟其海底攝像頭[6-8]。但DMAS以文件系統形式保存觀測數據[9]，其觀測數據比較分散，對歷史數據的查詢分析和數據產品制作等處理難度大、效率低。隨著國內海底觀測網絡研究的發展，相關研究單位也開發了一些觀測網SON-DMS。但是這些系統的功能比較單一，或只適用于其對應的局域觀測網，難以完全滿足海底觀測網動態管理和自適應控制的需求。本文通過分析海底觀測網在通信、管理、故障診斷、數據質量控制等方面的系統需求，構建了SON-DMS的功能模型，設計了SON-DMS關鍵技術的相關實現算法，給出了系統的實現方案并通過海試驗證了系統的性能。

1 系統分析

海底觀測網絡是一個比較龐大的觀測系統，通過鎧裝海底光電復合纜連接成百上千種科學觀測儀器，實現海底大范圍的長期實時連續觀測。在網絡運行過程中，SON-DMS需要實時接收、存儲海量采集數據，這些數據在存儲格式、采集頻率、數據質量等方面存在差異，設計高效的海量數據自動接收、解析和存儲算法，實現海量數據實時并發接收及異構解析功能成為SON-DMS的基本功能。同時SON-DMS還需要對海底連接的上千種儀器設備實現動態管理，這些儀器的數量、種類、數據格式、指令格式、供電通信格式、布放位置等存在較大差異，采用可擴展的設計模式，實現海底觀測儀器動態管理成為SON-DMS的又一重要功能需求。而且，海底觀測網絡需要實時監測海底設備能源分配狀態、通信信道狀態、艙內環境參數、傳感器狀態等水下接駁設備與傳感器的狀態參數，并對異常和故障進行快速診斷和分級處理。因此，實現故障診斷和自處理能力是SON-DMS系統設計的又一關鍵需求，能為海底觀測網絡長期穩定可靠運行提供重要保障。最后，海底觀測網絡還需要對接收的數據進行質量控制、產品制作等處理，為用戶提供多類型、多學科海洋數據可視化展示平臺，采用可視化展示分析技術實現智能交互是SON-DMS的關鍵技術和難點[10-13]。

通過上述分析，我們建立SON-DMS功能模型如圖1所示，該模型從數據通信、設備管理、數據處理、數據產品方面對SON-DMS功能進行了分解：

(1)數據通信。SON-DMS要接收海底觀測儀器通過光纜上傳的數據，必須具有網絡通信的功能。數據通信部分要能夠達到以下要求：同時處理多個網絡連接，對每個連接進行IP判斷，保證通信數據的完整，能夠正確收發數據，能夠轉發控制指令。

(2)設備管理。整個海底觀測網絡會有多個節點，每個節點會有數個接駁盒，每個接駁盒可以接有多種傳感器。每種設備的IP地址、通信協議、通信數據格式等都會有所區別。SON-DMS必須具備設備管理功能，管理系統的節點信息和子系統信息，同時可以查看節點信息及子系統信息內容，并且可以添加、修改相關信息，保證設備增加或者刪除時，系統能夠以最短的時間適應這些動態變化。

(3)數據處理。SON-DMS的核心是為了獲取、存儲海洋數據，而設備上傳的數據可能是采集到的“源數據”，SON-DMS必須要區分不同類別的數據，然后經過相應的公式換算得到用戶“可理解”的數據，再將這些數據依據各自的時間信息存儲到數據庫指定的數據表里面。SON-DMS需要解析存儲觀測數據、狀態數據、故障數據并對異常進行自動監控及報警。

(4)數據產品。為了對數據進行直觀顯示，SON-DMS需要將數據制作成數據產品展示給用戶，以數據表格或者曲線形式對實時數據及歷史數據進行顯示。同時，為了提高數據分析的準確性，SON-DMS需要對解析的數據進行有效的質量控制。

2 關鍵技術與算法實現

在SON-DMS系統設計中，數據通信是其正常運行的前提，設計高質量的通信策略是海底觀測網能否正常運行的關鍵；設備動態管理是SON-DMS保證海底觀測網掛載的各設備正常運行的基礎；故障診斷與自適應處理技術是海底觀測網絡長期可靠運行的必要保障；數據質量控制是SON-DMS提供優質用戶服務和數據產品的關鍵。因此，通過重點分析SON-DMS設計中的難點問題和關鍵技術，設計相關實現算法才能保證SON-DMS的長期可靠運行。

2.1 數據通信

海底觀測網長期放置在水下，每天24 h不間斷產生大量的數據，而且不同設備的數據在采集頻率、數據格式等方面存在差異。另外海底觀測網系統龐大，水下環境復雜，海底通信網的不穩定有可能導致重要數據或者指令丟失，因此，實現海量數據的同步并發處理及提高指令執行成功率是數據通信所要解決的難點問題。

由于通信協議是通信傳輸中的基本單位，協議設計的好壞直接影響數據通信的效率，本文針對海底觀測網絡數據特點首先設計了一種通用型的通信協議，其協議格式如表1所示，結構圖如圖2所示。該協議將內容形式各異的數據進行封裝，可以提高系統的解析速度，保證數據通信完整性。該通信協議主要分成3部分：包頭、包體和校驗位。包頭部分包含節點ID號定義、時間戳等公共信息定義，長度以及格式固定。包體為完成的具體業務需要的接口參數信息，根據各自設備內容不同而有不同的格式和長度，依據具體數據內容進行分裝、定義。校驗位為包頭與包體的CRC32校驗，長度及格式固定。

表1 自定義通信協議格式

圖2 通信協議結構圖Fig.2 Structure chart of communication protocol

SON-DMS與水下設備進行通信時，為了兼顧通信效率和通道利用率，將數據接收與指令發送設計成兩個相互獨立的并發通信模塊，各自獨立完成其功能。數據接收模塊每次接收數據時對數據進行包編號、校驗和判斷，若二者都正確則對數據進行解析并存儲到數據庫，通過重連機制實時監測網絡狀態并自動恢復通信連接，以提升網絡系統的可靠性和自恢復能力。數據指令發送模塊采用握手機制提高單次通信成功率，通過重發機制保證指令可靠傳輸與執行反饋。

2.2 設備管理

海底觀測網在長期運行過程中會遇到傳感器需要變更物理接口或隨著探測需求的變化而增加傳感器的情況。這種設備狀態的動態變化對系統設計提出了更高的要求，需要設計可擴展性高的算法和結構來實現設備的動態管理需求。

參考MBARI以及VENUS數據管理系統設計方案[14-16]，在吸取國外數據管理經驗的基礎上，根據前面介紹的設備管理需求，本文首先建立水下接駁設備的元數據表格與動態配置表格。元數據表格主要是對電氣參數、接口形式、數據格式、通信參數、指令格式等設備基本信息進行管理。當設備信息改變時，主要通過對元數據表格的增刪改查來進行維護。動態配置表對實際物理接口、協議編號、設備名稱進行動態管理。物理接口與數據包中的節點ID號有唯一的映射關系，而與所接的設備不存在唯一的對應關系，其映射關系如圖3所示。

圖3 設備動態管理映射圖Fig.3 Device dynamic management map

從圖3中可以看出，物理接口com1可以連接設備1至設備n中的任意一個，當接口更換新的傳感器，只需要在SON-DMS中完成對動態配置表格的更改，即建立好物理接口與實際設備的映射，程序便能從設備元數據表格中找出對應設備的映射，從而查找對應的數據格式等參數，然后利用正則表達式解析出數據。如果新增傳感器，則首先在設備元數據表格中增添新增設備的數據格式等參數信息，然后在SON-DMS動態配置表中配置該設備所連接的物理接口。

2.3 故障診斷

海底觀測網需要長期布放在海底，海底環境復雜多變，海底觀測網絡布放工程難度大，維修費用昂貴，一旦某一設備出現通信異常、數據異常等故障問題后不及時處理可能會影響整個海底觀測網絡的穩定性，從而對整個系統造成致命打擊。SON-DMS需要實現對水下設備運行狀態進行實時故障檢測與診斷、異常信息報警及應急處理等。海底觀測網需要監控的設備較多，狀態參數具有大數據特點，如何快速定位故障并給出故障優先級處理順序是故障診斷研究的重點內容。

故障診斷的難點在于海底觀測網絡布放在深海，只能依靠獲取的狀態數據進行判斷。本設計首先按照海底觀測網監控的狀態參數進行分類，主要包括各路電參數監測，艙體內溫濕度、漏水、壓力狀態監測，過壓過流保護監測和通信控制監測。具體故障診斷內容如表2所示。

表2 故障監測內容

2.4 數據質量控制

海底觀測網絡中的傳感器可能受周邊環境、傳感器本身非線性等因素的影響出現數據丟失或者數據失真的現象。SON-DMS在數據產品制作時必須對解析完成的傳感器數據進行有效的數據質量控制，以降低數據錯誤率。海底觀測網絡中傳感器數值有可能是隨機干擾造成的無效異常值，也有可能是海洋參數連續變化出現的有效參考值，因此，在線剔除異常數值，并最大限度地保留在線數據有效信息是數據質量控制的重要研究內容。

本文采用一種改進的53H算法。53H算法最先是由Tukey提出的，其基本思想是產生一個曲線的平滑估計，然后通過將測量值與這一估計值進行比較來識別異常點[17]。其步驟如下：

第1步 設x(i)為測量的在線數據序列。為從x(i)構造一個新序列x1(i),取x(1)，x(2),…，x(5)的中間值作為x1(3)，然后舍去x(1)、加入x(6)，取中間值得到x1(4)；以此類推，直到加入最后一個數據。顯然，x1(i)的項數比x(i)少4項。

第2步 用類似的方法在x1(i)的相鄰3個數中選取中間值而構成序列x2(i)。

第3步 最后由序列x2(i)按如下方式構成x3(i)：

x3(i)=0.25x2(i-1)+0.5x2(i)+0.25x2(i+1)。

(1)

這是一個Hanning平滑濾波器[18]，因此該方法稱為53H法。

第4步 如果有下式成立，則用x3(i)代替x(i)，

|x(i)-x3(i)|>k，

(2)

其中，k為一預定值。

由運算步驟可以看出序列x(i)的開始4個點和末尾4個點沒有得到有效平滑，因此本文將此算法作如下改進。

第5步 將x(i)序列開始的8個點和末尾8個點反序排列生成序列x′(i)，即為：

x(8),x(7),x(6),x(5),x(4),x(3),x(2),x(1),x(9),…,x(n-8),x(n),x(n-1),x(n-2),x(n-3),x(n-4),x(n-5),x(n-6),x(n-7)。

由于改進的53H算法對序列開始和末尾的8個點進行了正反兩次平滑，因此，只要選定適當的k值，該算法可以在不改變序列特性的情況下使所有的點都得到有效平滑。

3 系統實現

SON-DMS開發環境采用Microsoft Visual Studio 2010，編程語言采用C#，數據庫類型為MySQL，數據通信骨干網采用基于TCP-IP協議的Socket通信技術，儀器端口采用串口通信技術。

3.1 數據通信

SON-DMS數據通信采用多線程處理機制實現并行處理，為每個連接創建一個線程來解決數據處理的并發問題，并采用雙Socket、長短連接相結合的通信模式保證接收與發送過程互不干擾。數據接收模塊采用Socket長連接，其流程圖如圖4所示，在保持連接期間，如果沒有數據包發送，需要雙方發送鏈路檢測包以維持此連接，若連接斷開，系統設有網絡狀態檢測及重連機制以保證通信可靠性。指令發送模塊采用Socket短連接， SON-DMS發送完指令并接收到來自水下表示已經正確接收和解碼的返回包后，馬上斷開連接以減少系統開銷。其流程圖如圖5所示，其中nT(n

圖4 接收數據流程圖Fig.4 Flow chart of receiving data

圖5 發送指令流程圖Fig.5 Flow chart of sending instruction

3.2 設備管理

主要通過對數據庫設備信息表的維護實現設備的動態管理，程序界面設計時使用動態樹控件來顯示設備名稱以及設備數值等信息，動態配置解析完成傳感器數據后，從數據庫讀取信息或者利用C#委托回調機制直接送到界面動態樹顯示。

3.3 數據處理

數據處理使用多線程機制提高執行效率和程序工作的并發性。SON-DMS數據處理子系統的工作流程是當建立連接后，由SON-DMS發送數據采集等控制命令，海底采集程序接收到命令后將所得到的數據按照自定義協議打包，然后傳送給SON-DMS處理，數據處理流程圖如圖6所示。同時，SON-DMS后臺程序創建每種異常自動監測的線程，每隔固定時間按表2中的內容進行監測，無需人員實時守護。SON-DMS中集成SMS短信報警平臺，異常出現后，會立即通過手機短信通知相關人員。

圖6 數據處理流程圖Fig.6 Flow chart of data processing

3.4 數據產品制作

SON-DMS處理兩種類型的傳感器數據，即每種傳感器實際測量的數據以及經過53H數據質量控制算法計算得到的數值，數據產品的展示主要是將此兩類傳感器數據以及其他被測物理量使用C#委托回調機制送到界面制成實時曲線圖或者表格，同樣可以采用曲線或者表格的方式查詢歷史數據。使用線程機制保證圖形界面的實時響應。

4 系統試驗

4.1 試驗方案

采用本文設計的SON-DMS的海底觀測網于2017年8月—11月在青島膠州灣中苑碼頭完成3個多月的海試試驗。海試過程中，數據采集器上掛載5個傳感器，實時自動監測溶解氧、甲烷、葉綠素、濁度、CDOM五類海洋環境參數。另外在岸邊安裝攝像頭，遠程終端設備可連接攝像頭對岸邊進行遠程監控。

4.2 試驗結果及其分析

試驗結果表明，SON-DMS在3個多月連續運行期間能夠準確獲取包括溶解氧、甲烷、葉綠素等五種海洋化學參數，能夠成功發送各類指令并成功執行。系統對各種數據進行準確解析、存儲、查詢以及顯示。SON-DMS具有較好的穩定性、完善的功能性和友好的人機接口，典型界面如圖7～8所示。此外，SON-DMS還解決了海底觀測網關鍵技術涉及的難點問題，具體表現在：

圖7 SON-DMS典型界面IFig.7 Typical interface I of SON-DMS

圖8 SON-DMS典型界面IIFig.8 Typical interface II of SON-DMS

(1)SON-DMS具有強大的數據通信能力。

海底觀測網實時監控系統連續穩定運行3個多月，SON-DMS收到有效科學數據多達560萬條，數據丟包率僅為0.045%，指令響應時間小于3 s，指令執行成功率高達98.2%，這些性能指標說明在保證系統響應能力前提下，海底觀測網數據通信關鍵技術中采用的通信協議格式能保證數據通信的完整性，雙Socket、長短連接結合的機制能提高數據傳輸的可靠性。

(2)SON-DMS具有靈活的設備動態管理能力。

海試中，傳感器設備需要更換接口或在接口上新增傳感器時，只需在SON-DMS配置界面中動態配置物理接口所接的實際設備，該映射建立完成后，整個系統便可以在2 min之內以Socket網絡通信方式接收到數據，說明以動態配置表與元數據表映射關系建立的方式動態管理設備比改變代碼更為靈活。

(3)SON-DMS具備異常自動監控、故障及時報警的能力。

在實際驗證中，考慮到無法現場復現觀測儀器故障，采用模擬故障方法，針對電參數、溫濕度、漏水故障，通過改變閾值檢測診斷工作；針對通信故障，通過主動切斷網絡連接檢測。模擬試驗表明，SON-DMS能監控表2中列舉的任意一種故障，而且能夠通過短信及時報警。

(4)海底觀測網絡實時監控系統具有較低的數據錯誤率。

以溶解氧采集到的頻率為例，經53H數據質量控制處理后，傳感器數據的錯誤率(指SON-DMS接收到的異常傳感數據與全部傳感器數據的比值)由0.011%降低為0.000 81%，如表3所示。溶解氧原始頻率曲線與數據質量控制處理曲線對比如圖9所示。從對比曲線整體圖以及局部放大圖中可以看出，經過53H數據質量控制處理后得到的曲線有效剔除了異常值，并且在保留原始曲線趨勢性的基礎上，對原始的曲線進行了有效的平滑。

表3 海底觀測網絡實時監控系統的傳感數據錯誤率分析

圖9 數據對比曲線圖Fig.9 Curve of data comparison

5 結論

本文設計的SON-DMS由數據通信、設備管理、數據管理、數據產品4大子系統構成，解決了SON-DMS中涉及的數據通信、設備管理、故障診斷及數據質量控制等難點問題。經試驗驗證，該SON-DMS具有良好的穩定性、完善的功能性和便捷的人機接口。此外，系統集成的數據質量控制機制降低了系統數據錯誤率，提高了可靠性。這些特性使得開發的SON-DMS能夠滿足海底觀測網監控系統現階段的應用需求。

目前，SON-DMS已實際應用一年，運行情況良好。但是隨著海底觀測網的擴大，SON-DMS并沒有包括對接駁盒的管理，而且存在界面不夠美觀等問題。因此，下一步的工作是在保證和提高系統穩定性的同時，逐步完善系統現存的不足之處。