針對滑坡位移監測的數據預處理方法研究

王勇　董欣悅　劉先林　劉定祥

摘要：文章以滑坡變形監測中最常見的位移實時監測數據為例，采用卡爾曼濾波、拉依達準則、最小二乘法等方式對監測數據進行預處理，實現異常值的識別與數據的波動平滑，以減少數據的異常波動干擾，更準確反映滑坡變形過程，為預警系統提供更科學有效的數據。

關鍵詞：滑坡;拉依達準則;卡爾曼濾波;數據預處理

中圖分類號：U416.1+63

0 引言

滑坡是常見的地質災害，在我國山區，每年都有滑坡災害發生，造成巨大的生命財產損失。為減少滑坡災害影響，實現提前感知與防范，可對滑坡進行實時自動化變形監測。但在實際監測過程中，有許多客觀環境和人為因素導致測量數據有各類誤差因而使得預測結果出現偏差。因此，為了保證滑坡災害預測的準確性，應該先對監測數據進行預處理，從而達到更為理想的數據曲線，提高預警的準確率。本文針對滑坡自動化監測中的位移數據，采用拉依達準則來判斷數據采集過程中所出現的粗大誤差，進行異常數據剔除，再利用卡爾曼濾波對數據進行去噪，使得數據的噪聲減小，從而降低擬合時的誤差，最終將數據用最小二乘法進行擬合，得到更為準確、平滑的數據曲線，能夠直觀地為預警系統提供更科學的數據，提高預警的準確率。

1 異常數據識別

1.1 基于拉依達準則的識別方法

在對滑坡進行實時監測時獲取的數據往往會因為各種客觀和人為因素導致異常值，例如設備本身會產生一定的誤差，也可能因環境、氣溫的變化產生誤差。而在數據采集時，若監測體系被破壞、人為操作誤差或者碰動儀器也會引起監測序列中產生較大異常值。對于數據樣本中的異常偏離點，在預處理中往往會采取剔除處理。常用的異常數據判別法則有拉依達準則、肖維勒準則、格拉布斯準則、狄克遜準則、t檢驗和極差法等。拉伊達準則，又稱3σ準則，其適用于樣本數量n≥10并且可以計算樣本數據{X}（i=1，2，…，n）的算術平均值X—和標準差的情況。針對服從正態分布的測量時間序列，對{X}以30為控制限構建控制限區間 （μ-3σ ，μ+3σ）進行異常值識別。本次試驗所采用的數據體量足夠大且數據總體服從正態分布，故采用無須查表的簡便的拉依達準則。拉依達準則將在區間內的數據定義為正常數據，將不屬于區間內的數據定義為變形數據。

由于此時的置信概率為99.73%，基本滿足統計特性，因此可以有效地判別大偏移數據在監測序列中的異常值存在情況。

對于裂縫計所給定的測量次數充分大的樣本數據，可以采取拉依達準則來判斷殘余誤差，從而進行異常值剔除。

通過計算出樣本標準差σ后，根據拉伊達準則確定一個控制限區間（μ-3σ，μ+3σ），對超出該區間的數據認為是粗大誤差予以剔除。

1.2 異常位移數據識別

以滑坡監測中常見的裂縫計實時數據為例。該原始數據中存在某些數據因客觀環境、人為因素等原因所造成的裂縫計位移，從而導致某些采集值異常偏大。這種在觀測過程中所產生的不符合正態分布的粗大誤差，會導致在對數據進行擬合時的均值產生整體偏移。而使用拉依達準則進行判別，可對數據中的異常值進行剔除。某滑坡隱患點的裂縫原始監測數據如圖1所示。

如圖2所示，為經過拉依達算法剔除異常數據后的效果圖，可以看到在82 500次、87 500次、92 500次和97 500次附近的特小和特大異常數據均被識別且剔除，并保持了正常數據的完整性。

2 數據平滑與擬合

2.1 卡爾曼濾波去噪方法

卡爾曼濾波是一種軟件濾波方法，其基本思想是以信號和噪聲狀態空間模型作為最佳估計標準，利用前一時刻的估計值和當前時刻的觀測值來更新狀態向量的估計值，找出當前時刻的估計值，并根據既定的系統方程和觀測方程對最小平均方差進行估計。

傳統濾波算法有中位值濾波、算數平均濾波等。本次采用卡爾曼濾波是由于滑坡位移數據的實時變化性，卡爾曼濾波的核心是預測和更新，與傳統的頻域濾波不同，其為一種狀態預測的時域濾波，對于滑坡的監測有一定的時效性，監測數據呈現出一種動態的過程。采用卡爾曼濾波去噪可以使數據更加精準，從而更客觀地反映滑坡變形過程，為預警系統提供更科學有效的數據。卡爾曼濾波的兩個基本方程為：

通過計算k時刻噪聲協方差矩陣Qk，觀測矩陣Hk及觀測噪聲協方差矩陣Rk來達到預測k時刻狀態向量估計值及其協方差矩陣、更新k時刻濾波增益矩陣Kk+，從而以“預測-更新”的周期來實現。接著構建出觀測向量yk，可以達到更新k時刻狀態向量估計值及其協方差矩陣的目的。

式中：Rk[DW]——第k時刻觀測噪聲協方差矩陣。

卡爾曼濾波的估計值要通過反向濾波進行最優的固定區間平滑處理，需要計算出k時刻反向濾波增益矩陣Kk-和反向濾波狀態向量估計值及其協方差矩陣。

式中：

K——用于加權平均的平滑增益矩陣;

x+和P+——正向濾波估計中的xk和Pk;

x-和P-——反向濾波估計中的xk+1和Pk+1;

xs和Ps——平滑后的待估參數估計值及其協方差矩陣。

2.2 去噪方法應用

算法中通過在實例變量中存儲各種矩陣來實現過濾器，所有卡爾曼濾波器都以“預測-更新”周期運行。使用方法或函數 “predict（）” 實現的 predict 步驟使用狀態轉換矩陣F來預測下一個時間段（epoch）的狀態。狀態存儲為高斯 （x，P），其中x是狀態（列）向量，P是其協方差。協方差矩陣Q指定過程協方差。使用方法或函數“update（）”實現的更新步驟將具有協方差的測量值z合并到狀態估計值（x，P） 中。

圖3所示為裂縫數據通過卡爾曼濾波去噪算法后的效果，能明顯看出數據噪聲減小，濾波后曲線更加平滑。

2.3 最小二乘擬合方法

最小二乘法通過最小化真實值和預測值的誤差（殘差）的平方和來尋找數據的最佳函數匹配，利用最小二乘法可以較好地進行數據擬合。

對于在時間x得到的觀測值y，假設存在以下的函數關系：

式中：c1，c2，…，cm——m個需要通過實驗來確定的參數。

對于n>m，設測量過程中的系統誤差可忽略或已修正，則在xi時的觀測值yi圍繞著期望值f（xi;c1，c2，…，cm） 波動，其分布可認為符合正態分布，則yi的概率密度為：

式中：σ——正態分布標準誤差。

對于n組觀測數據（xi，yi），i=1，2，3，…，n，若n≤m，則將數據代入式（14），無法確定所有參數。

考慮到各次測量相互獨立，則yi的似然函數為：

2.4 數據擬合實現

由于在濾波去噪后的數據仍然較為跳動，故而在卡爾曼濾波去噪的基礎下對算法進行了改進，添加了最小二乘法的曲線擬合，選取擬合曲線時按照偏差平方和最小的原則，并且采用二項式方程為擬合曲線。

圖4所示為使用了最小二乘法擬合后的數據曲線圖。由圖4可見擬合后的曲線相比于使用單一卡爾曼濾波去噪后的曲線更加平滑。

3 結語

為給滑坡預警系統提供更準確、平滑的數據，本文探究了利用拉依達準則剔除異常數據、卡爾曼濾波去除數據中噪聲與最小二乘法對數據曲線進行擬合的數據預處理方法。在實際監測現場裂縫數據上進行試驗并取得了不錯的效果，能夠使數據曲線更加平滑，從而達到提升滑坡預警模型準確率的目的。

參考文獻

[1][ZK（#]張振慧，張正江，胡桂廷，等. 基于拉依達準則與線性擬合的改進型無跡卡爾曼濾波粗大誤差補償算法[J]. 計算機測量與控制，2019，27（11）：153-156，162.

[2]盛敏漢，儲日升，危自根. 四川理縣西山村滑坡微震探測[C]. 2016中國地球科學聯合學術年會論文集，2016.

[3]王 振，白星振，馬夢白，等. 一種基于數據預處理和卡爾曼濾波的溫室監測數據融合算法[J]. 傳感技術學報，2017，30（10）：1 525-1 530.

[4]張 敏，袁 輝. 拉依達（PauTa）準則與異常值剔除[J]. 鄭州工業大學學報，1997，18（1）：84-88.

[5]龍 悅，徐光黎，高幼龍，等. 數據預處理在滑坡位移相關分析中的應用[J]. 地質科技情報，2012（2）：125-130.

[6]李華清，張志雄. 地形變測量誤差分析與處理[J].內蒙古科技與經濟，2021（4）：102-103.

作者簡介：

王 勇（1973—），高級工程師，主要從事工程項目管理工作;

董欣悅（2000—），主要從事數字信號處理相關工作;

劉先林（1982—），碩士，高級工程師，主要從事巖土工程勘察設計與科研工作;

劉定祥（1999—），主要從事數值分析與算法類研究工作。