基于實船結構監測數據的異常檢測及處理方法

孫夢丹，汪雪良，吳國慶，姚驥，蔣鎮濤

（中國船舶科學研究中心,江蘇 無錫 214082）

為適應世界海運發展，加強海洋資源開發，船舶技術發展尤為重要。張鳳梅等[1]提出，我國是一個海洋大國，對海洋科學裝置與相關產業技術創新的研究亟待深入。船舶行駛在復雜的海域環境中，易受到波浪激勵、設備振動、電磁干擾等環境因素的影響，造成船舶結構損壞。汪雪良等[2-4]從理論預報、模型試驗和實船測試3 個方面，針對波浪激勵、設備振動對船舶的影響展開了研究。徐春等[5-6]針對船體波激振動的響應特征，采用小波預報、傅里葉變換的方式進行分析和處理。周天宸等[7]提出，需要建立實時監測船體健康的系統，從結構應力監測數據角度對船體結構進行故障識別與診斷。因此，需要建立船體狀態實時監測系統，收集船舶在行駛中的數據，分析并判斷船舶行駛狀態下存在的問題，以保障航行安全。實船結構監測數據通過在船上布放傳感器獲取，鄭慶新等[8]針對應用于船舶結構安全監測的應變傳感器開展了研究，提出了嚴格的技術規定。然而，直接獲得的數據往往含有異常現象，影響統計分析的客觀性。

綜上所述，船舶在行駛過程中易受到外界環境因素干擾，造成結構失效等不良影響。因此，為開展船體結構安全分析，需開發船體結構監測系統，獲取船舶在行駛中的結構應力數據。然而，直接獲取的監測數據往往含有異常現象，現針對真實海況下船舶結構應力數據存在的異常現象，開發數據異常處理算法，為開展后續船體結構安全分析提供數據輸入。

1 信號異常分析及處理方法

1.1 信號異常分析

針對某實船結構應力數據，選取一段含有典型異常現象的4 h 信號作為分析對象。信號原始圖像如圖1 所示。由圖像分析可得，信號中存在的典型異常現象為信號跳變，即信號中存在離群值。離群值是指數據中與其他值明顯不同的異常值，可能由于數據損壞或錯誤導致，也可能由于真實數據的異常情況導致[9]。Mandhare 等[10]開展了基于聚類、距離、密度等一系列離散值的監測技術研究。徐鵬濤等[11]針對數據中離群值的處理，開展了卷積神經網絡模型訓練等一系列方法研究。本目標案例中存在的信號離群值是由設備振動、電磁干擾、波浪激勵等外界干擾因素造成的，與正常數據段中信號特征有顯著差異。為避免對后續船舶結構特征分析造成誤差影響，故研究異常值處理算法，對真實海況下船舶結構應力數據存在的信號異常跳變現象進行去除。

圖1 信號原始圖像Fig.1 Original signal image

1.2 信號異常處理方法

本文針對3 種信號異常處理方法開展研究，分別為Hampel 濾波法、Smooth 平滑函數法和Z-score 異常檢測及平均值異常處理法。

1.2.1 Hampel 濾波法

Hampel 濾波法是一種基于決策的濾波法，通過該濾波法可以找到數據序列中的異常數據點，以更有代表性的數值替換，如濾波法移動窗口中的短序列的中值[12]。李麒等[13]基于Hampel 濾波法，針對某土石壩滲流壓力原始監測數據進行識別粗差處理，證明Hampel 能在不獲取數據完整趨勢的情況下進行判斷，具有良好實時性和識別效果。常見的Hampel 濾波法通過中位數進行離群值檢測，并消除數據中存在的離群值。

對于數據序列a1,a2,…,ai設定每個樣本ai兩邊的樣本數量l，則滑動窗口長2l+1，窗口樣本中值可表示為：

為驗證窗口選取值對Hampel 處理精度的影響，分別選取窗口樣本數為1、2、3、5、7。驗證數據為同一組原始信號及其加跳變現象后生成的異常數據。通過不同窗口樣本數的Hampel 濾波法對異常數據做處理，求處理誤差，結果見表1。

表1 不同窗口樣本數的異常處理誤差Tab.1 Anomaly processing error for different window sample sizes

由誤差結果可得，窗口樣本越少，異常處理的誤差越小。已知隨著窗口樣本數減少，運行時間增長。綜合考慮異常處理誤差及運行時間，選取3 作為窗口樣本數。

絕對中位差的定義為，用原數據減去中位數后得到的新數據的絕對值的中位數，常用來估計標準差。由CNAS-GL002:2018[14]算法A 可知，標準差=1.483×絕對中位差。窗口樣本的標準差的計算見式（2）。

GB/T 28043—2019/ISO 13528:2015[15]規定，能力驗證結果的評價一般應包括指定值的確定、能力統計量的計算、能力評定。其中能力統計量（z值）在國內外各項能力驗證計劃中得到了廣泛應用，能力驗證結果xi的z值（即zi）可以采用式（3）計算。

式中：xi為實驗室測定結果；xpt為指定值；σpt為能力評定標準差。以z值評價參加能力驗證計劃各實驗室的結果：當|z|≤2.0，表明結果可接受；當2.0<|z|<3.0，給出警戒信號；當|z|≥3.0，結果不可接受（或給出行動信號）[16]。

在本方法中，xi為窗口內某值，xpt為窗口中值，σpt為ei。如果窗口內某個值大于3 倍中值絕對偏差ei，則將其判定為離群點，并由窗口中值代替。

新生成的窗口數據序列bi可表示為：

1.2.2 Smooth 平滑函數

Smooth 函數是一種常用的數學函數，其基本原理為使用滑動平均濾波算法，對每一個數據進行卷積運算，采用卷積算子模擬線性非時變系統對信號的影響，使之趨于一定數值[17]。Yuan 等[18]、Bai 等[19]利用Smooth 函數，針對超聲波探傷儀、風電場等不同領域的輸出信號中存在的噪聲或平滑不連續現象，開展了信號平滑處理，取得了顯著效果，證實了Smooth函數在研究中的信號優化作用。

滑動平均濾波法原理為，將連續取的N個采樣值看成一個隊列，隊列的長度固定為N，每次采樣到一個新數據放入隊尾，就扔掉原來隊首的一次數據（先進先出原則）。把隊列中的N個數據進行算術平均運算，獲得新的濾波結果[20]。

Smooth 函數計算類似一維卷積的工作原理，使滑動平均濾波法的N對應一維卷積核大小（長度）。進行算術平均運算時，一維卷積核大小（長度）和N相等，步長設置為1，核參數初始為1，沿著輸入滑動窗口并計算窗口內容的平均值[20]，獲得濾波結果。由于一維卷積計算速度快，Smooth 函數可高效地實現異常信號消除功能。

1.2.3 Z-score 異常檢測及平均值異常處理

在傳統信號異常處理方法外，結合統計學異常檢測方法與常見數據異常值去除方法開發效果更好的信號跳變處理方案。

首先采用統計學中的Z-score 異常檢測方法，識別信號存在的跳變現象。Z-score 是一維或低維特征空間中的參數異常監測方法[21]。唐瑜婕等[22]、Ismail等[23]、韓霞等[24]分別使用Z-score 數據異常檢測方法針對企業財務、馬來西亞產品質量、文獻引用等不同領域數據進行異常值檢測，證實了Z-score 異常檢測法在信號離群值方面的識別效果。該方法假定數據是高斯分布，異常值是分布在尾部的數據點，因此遠離數據的平均值。距離的遠近取決于使用公式計算的歸一化數據點Zi的設定閾值Zthr：

式中：xi是一個數據點；μ是所有點xi的平均值；σ是xi的標準偏差。

經過標準化處理后，Zi的絕對值大于Zthr的點判斷為異常值[25]。根據上述能力統計量（z值）規定，選擇異常值參數為3。

為避免異常檢測過度，防止正常信號被剔除，此處閾值為3。信號異常識別結果見圖2，圖中圓點為異常點。最后，使用數據處理中的平均值法去除上述信號跳變。計算異常點前后20 個數據的平均值，作為異常點的新值。

圖2 Z-score 異常檢測結果Fig.2 Z-score signal anomaly detection results

2 異常處理結果及分析

為驗證不同信號處理方法的準確性，首先，采用3 種方法處理同一組異常數據，初步判斷信號的處理效果。其次，創建驗證數據，從差值角度判斷3 種異常處理方法的準確性。最后，基于各組異常處理后數據，計算其對應的結構信號統計值，并與正常數據的統計值作比對，進一步說明異常處理方案在結構監測數據數值統計上的意義。

2.1 異常處理結果

首先，分別使用Hampel 濾波法、Smooth 平滑函數法、Z-score 異常檢測及平均值異常處理法處理同一組異常數據，即1.1 小節中展示的某船4 h 異常數據。信號處理結果如圖3 所示。由信號處理結果可初步推測，Z-score 異常檢測及平均值異常處理法對結構監測數據的異常處理效果最佳。

圖3 3 種異常處理方法效果對比Fig.3 Comparison of three types of anomaly processing results:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing

2.2 實船數據驗證

通過實船結構監測數據驗證3 種異常處理方法的處理精度。選擇一段4 h 信號良好的某實船監測數據，加入同類型信號跳變，獲得2 組驗證數據。原始數據及兩組驗證數據如圖4 所示。

圖4 原始數據及驗證數據圖像Fig.4 Original data and validation data images:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing

分別使用3 種異常處理方法處理2 組異常數據，并與原始數據做差值計算，得到如圖5 所示2 組差值對比圖。

圖5 3 種異常處理差值Fig.5 Three types of anomaly processing differences:a) validation data 1;b) validation data 2

由左側差值對比圖可得，Hampel 濾波法對跳變現象的異常處理效果不佳。Smooth 方法與Z-score 異常檢測及平均值處理方法均存在少量誤差。由右側放大后的差值對比圖可得，經Smooth 方法處理后的數據大量點存在一定程度的誤差，Z-score 及平均值方法處理后的數據只有少數點存在一定程度的誤差，單點誤差程度略大于Smooth 方法。

接下來從工程應用角度，基于傳統的結構應力數據處理方法，對比Smooth 方法與Z-score 及平均值異常處理方法的數據處理效果。

2.3 統計值精度驗證

在結構應力數據的實際工程應用方面，基于傳統的結構應力數據處理方法，通過實驗驗證Z-score 異常檢測及平均值異常處理方法對結構應力數據處理的準確性和計算價值。

在傳統的結構應力數據分析方法中，通常采用包括信號濾波、信號成分提取、信號特征值計算的處理方法對結構監測數據進行價值挖掘，生成包括低通、高通、合成3 種信號成分的峰值、谷值、全幅值，并計算其對應的平均值、三一值、最大值，共獲得27 個特征值，通過特征值反映船舶結構各部位的受力情況。

現選擇一段4 h 不含異常跳變的結構應力數據作為原始數據，并計算其特征值，結果見圖6 和表2。

表2 原始數據特征值計算結果Tab.2 Calculation results of original data eigenvalue

圖6 原始數據圖像Fig.6 Original data images

在正常信號中加入與異常數據同類型的信號跳變，獲得3 組驗證數據。驗證數據如圖7 所示。針對3 組驗證數據，分別使用3 種信號異常處理方法處理數據，并針對處理后的數據進行特征值計算，特征值對比結果如圖8 所示，精度見表3。

表3 3 種異常處理方法的統計值誤差Tab.3 Statistical value error of three anomaly processing methods%

圖7 驗證數據圖像Fig.7 Validation data images:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing

圖8 3 種異常處理方法的統計值對比Fig.8 Comparison of statistical values of three anomaly processing methods:a) validation data 1;b) validation data 2;c) validation data 3

由特征值的對比圖和誤差計算結果可得，由Z-score 異常檢測及平均值處理方法處理后的數據獲取結構特征值的精度最高，平均精度在90%以上。因此，在Hampel 濾波法、Smooth 平滑函數法、Z-score異常檢測及平均值處理方法中，Z-score 異常檢測及平均值處理方法針對實船結構應力監測數據存在的異常處現象效果最好。

4 應用與討論

4.1 算法的應用演示

通過上述論證可得，Z-score 異常檢測及平均值處理方法可應用于處理實船結構監測數據中的跳變異常。選取一段相同船其他測點不同時間段的數據，應用算法后處理效果如圖9 所示。

圖9 異常處理算法應用Fig.9 Application of anomaly processing algorithms:a) original image;b) application results of anomaly processing method

采用包括信號濾波、信號成分提取、信號特征值計算的信號處理方法對異常處理后的數據進行統計值計算，結果見表4。

表4 算法異常處理后的數據統計值Tab.4 Statistical values after algorithm anomaly processing

4.2 異常處理方法的應用范圍

本文提出的Z-score 異常檢測及平均值處理方法的適用對象為，真實海況下實船結構應力監測數據中存在的由于設備振動、電磁干擾等環境因素造成的異常信號跳變現象。對于包含其他種類信號異常現象的實船或其他領域數據，算法需經過驗證后再使用。

5 結論

本文針對實船結構監測數據中存在的典型異常現象，開展高精度異常處理算法研究，生成Z-score異常檢測及平均值異常處理算法，實現對實船結構監測數據的高精度快速異常處理。主要結論如下：

1）Z-score 異常檢測及平均值處理方法的適用對象為，真實海況下實船結構應力監測數據中存在的由于設備振動、電磁干擾等環境因素造成的異常信號跳變現象。

2）相比Hampel 濾波法、Smooth 平滑函數等傳統的信號處理方法，從差值結果可以看出，Z-score異常檢測及平均值計算方法的異常處理精度最高。

3）對Z-score 異常檢測及平均值計算方法處理后的結構數據，進行信號濾波、信號成分提取和信號特征值計算，獲得的統計數據誤差在10%以內，可應用于后續的實船結構應力信息挖掘。