基于TSDB的船舶風險管理系統的數據預處理

王小輝，金華標，秦 雷,李 朋

(1.武漢理工大學 能源與動力工程學院，湖北 武漢 430063；2.長江海事局，湖北 武漢 430016)

船舶風險管理即運用科學管理辦法，制定或采取合理安全措施，有效地防范和控制船舶航行中的風險[1]。建立船舶風險管理系統，對船舶機艙重要設備和系統的相關參數進行實時監控，并分析相關參數變化與船機故障的關系，明確造成風險的具體機制和影響后果，對提升船舶安全有重要意義。

傳統數據管理系統數據庫有2種選擇方式，一種是選用SQL Server[2-3]、Mysql[4]等關系型數據庫，此類數據庫結構復雜，不利于數據的擴展且無法做到大量數據的實時寫入。另一種是選用MongoDB[5]、Redis[6]等非關系型數據庫，但此類數據的開發與維護成本較高。在船舶風險管理系統中，由于船舶各類數據的實時性高，數據量大，且較為嚴格地按照時間序列進行排列，在數據查詢過程中，也以時間段查詢為主，致使傳統數據庫無法滿足船舶風險管理系統使用要求。傳統數據庫由于結構問題或開發與維護成本，均不適用于作為船舶風險管理系統的數據庫。某地鐵風險管理系統的設計中，設計者使用SQL Server作為其數據庫，存在數據寫入能力不足的問題[7]；時間序列數據庫(TSDB)已經在高速鐵路接觸網在線監測系統實時數據庫的設計中得到運用，并取得了良好的效果[8-9]。在此基礎上，本文將TSDB引入到船舶風險管理系統的數據庫建設中，同時，通過使用基于三次指數平滑法(Holt-Winters算法)的數據預處理方法，將接收的數據進行解析后預處理，將缺失數據進行補充，將錯誤數據進行修正，保證數據在實時顯示及監測時的準確性，防止監測系統的誤報警等一系列問題[10-11]。

1 船舶風險管理系統整體設計

船舶風險管理系統數據庫整體系統示意圖見圖1。船舶實時數據通過公網傳輸至岸端，其中數據包括主機負荷、轉矩、轉速、燃油溫度等多個參數，通過接收與解析、異常數據剔除及缺失數據補充的數據預處理后，將數據存入TSDB中；后續讀取TSDB中數據，實現實時監測、超限報警、數據分析及風險預警等功能；并搭建相應的數據平臺，將監測內容與后續分析結果進行可視化展示。

圖1 數據庫整體系統示意圖

2 數據接收與預處理

數據發送裝置將實時數據發送至岸端時，在保證數據可讀性的同時，防止他人竊取或篡改數據，需通過統一協議進行發送；與此同時，由于網絡等問題，數據會出現錯誤或者缺失。因此在接收到數據后，需先進行數據解析，然后進行異常值的剔除與缺失值的填充。

2.1 數據接收與解析

在數據傳輸的過程中，為了避免發生信息泄露及信息錯誤，必須制訂或使用相應的數據傳輸協議，本系統采用基于JT-T808協議的自定義協議，協議框架圖如圖2所示。參考JT-T808協議，每包數據以“0x7e”為起始位和終止位，數據中的“0x7e”均以“0x7d”后緊跟“0x02”代替，數據中的“0x7d”均以“0x7d”后緊跟“0x01”代替，以保證數據中不與標志位中的“0x7e”沖突。標志位后緊跟的消息頭中包含數據長度、數據是否分包等信息，消息體包含所有參數信息，在傳遞參數時，通過一套自定義協議對船舶設備參數進行定義，在解析過程中，只有通過相應的協議才能正確解析數據，保證數據即使被截取之后，仍不能獲取其數據信息；后續的異或校驗位用于上位在接收數據后判別數據是否和下位發送數據不一致，避免接收錯誤信息。

圖2 協議框架圖

解包與數據解析流程圖如圖3所示，系統在接收到數據后，進行解包與解析工作。接收到數據后，首先對接收到的數據進行拆包解析，通過“0x7e”這一數據標識位找到數據包的起始位置與結束位置，之后根據協議內容對數據體進行轉義，即將消息體“0x7d 0x01”轉換成“0x7d”，將“0x7d 0x02”轉換為“0x7e”，保證數據可以準確解析，通過異或校驗算法對數據進行校驗，保證接收數據與發送數據一致。

圖3 解包與數據解析流程圖

2.2 異常數據剔除

在本系統中，按照上述協議無法解析成功的數據認定為異常數據。同時，由于傳感器故障及網絡通信問題，可能造成相關參數數值錯誤，通過設置數據參數上下限，對部分數據進行鑒別后，剔除超限數據。對于數據包中用于鑒定范圍的數據集合[X1,X2,…,Xn]，其任一參數上、下限為Ximax與Ximin，對參數分別進行判別：

(1)

在解析數據包時，若[X1,X2,…,Xn]中存在任一Xi不在[Ximin,Ximax]的范圍內，則認為該數據包存在錯誤，將此數據舍棄，不存入數據庫中。部分鑒別參數范圍如表1所示。

表1 部分鑒別參數范圍

2.3 缺失數據填充

由于在傳輸過程中存在數據漏傳，以及在上述過程中對部分錯誤數據進行了篩除，因此，按照某一時間周期或時間段進行時序查詢，可能存在多個時間點的數據缺失。由于船舶風險數據的接收頻率較高，而采集數據多為船機設備的參數，參數變化是一個連續的過程，缺失值和與缺失值前后的數據有較強的關聯性。因此，為消除此類數據缺失對后續數據分析的影響，本文采用Holt-Winters算法對此類缺失數據進行填充。三次指數平滑公式為：

(2)

(3)

At、Bt、Ct分別為：

(4)

(5)

(6)

3 功能測試

為了測試設計的系統性能，通過搭建功能調試平臺，在實驗室環境下進行功能測試，在驗證預處理算法對錯誤數據與缺失數據的處理能力時，由于實驗室環境下網絡狀況良好，模擬數據的相關參數出現錯誤數據與缺失數據沒有隨機性，在實際運營船舶上進行實船測試，以運營船舶實際數據進行預處理功能測試。

3.1 數據接收與解析驗證

通過1臺PC機和1個數據發送源在實驗室內搭建的測試環境，將與真實數據格式一致的模擬數據通過數據發送源向系統發送測試數據，同時令其向網絡調試助手發送十六進制數據，若網絡調試助手能成功接收到數據并解析正確，則證明數據發送源功能正常。在測試時，發送轉速為638 r/min，轉矩為220 N·m的2個測試參數，則變換為十六進制數據“0x7e 0x02 0x7e 0xDC 0x7e”，在網絡調試助手上接收數據為“0x7e 0x02 0x7d 0x02 0xDC 0x7e”，在數據發送過程中，發送裝置根據數據傳輸協議要求，將除起始位與終止位的其他數據的“ 0x7e”轉換為“0x7d 0x02”。系統接收到此數據后，解析得出轉速為638 r/min，轉矩為220 N·m，與發送數據吻合。多次測試，并將解析后數據與發送數據及網絡調試助手接收數據進行逐一比對，驗證得到結果相同。

3.2 數據預處理效果驗證

通過對比使用數據預處理算法與未使用預處理算法的運營船舶實際數據進行對比分析，檢驗數據預處理的效果，發動機轉速數據處理前、后對比如圖4所示，選取某一時間段該船的轉速為預處理算法的評價指標。由圖4(a)知，在預處理前，可發現A、B等多處轉速為0，在船舶實際運行中，不會出現此類轉速突然變為0，又馬上恢復正常的工況，可認定此類數據為缺失或錯誤數據。由圖4(b)知，使用數據預處理后，A、B兩點的缺失數據和錯誤數據得到了補充和修正，其他未錯誤的數據與預處理前一致。發動機轉矩數據預處理前、后對比如圖5所示，選取另一時間段船舶的轉矩為預處理算法的評價指標。由圖5(a)知，C、D、E點等處轉矩明顯超出船舶正常轉矩范圍，可認定此類數據為缺失或錯誤數據。由圖5(b)知，使用數據預處理后，C、D、E等處的缺失數據和錯誤數據得到了補充和修正，其他位置數據與預處理前一致。選取多個不同時間段的數據、并以分別以不同參數為評價指標，驗證結果顯示預處理后缺失數據和錯誤數據被很好地補充和修正。

圖4 發動機轉速數據預處理前、后對比

圖5 發動機轉矩數據預處理前、后對比

4 結束語

本文將TSDB數據庫應用于船舶機艙重要設備的風險管理系統中，提高了數據庫大量實時數據寫入和數據查詢能力，并通過在存庫時進行數據預處理，使用Holt-Winters算法，將缺失數據補充回填。經過驗證，通過預處理之后的數據準確性與可讀性明顯提高。