數據異常值檢測及修正方法研究

摘 要： 針對雷達測量數據中存在的異常值，對數據中的時間參數根據其變化規律的等差性進行異常值檢測。對雷達發射功率、角度、距離參數異常問題，基于鄰近去最值均值濾波原理，采用滑窗方式進行檢測并修正。實驗結果表明，提出的檢測方法能夠有效檢測并修正數據中的異常跳變點且不改變正常值。

關鍵詞： 雷達； 均值濾波； 異常值； 檢測修正

中圖分類號： TN957.52?34 文獻標識碼： A 文章編號： 1004?373X（2013）11?0005?03

0 引 言

測量雷達在軍用和民用領域都有著廣泛的應用。近年來，針對不同應用領域的測量雷達相繼研制成功，分別在目標的精密跟蹤、RCS測量，氣象預報，地理測繪等軍民領域發揮了巨大的作用，為各項基礎理論研究和工程應用提供了有力的數據支撐。然而，由于測量設備本身、數據傳輸或者人工操作等原因，可能使測量數據中包含某些錯誤的信息。如果不將這些錯誤的測量信息檢測并剔除掉，將給后續的數據處理帶來很大的誤差。

目前，針對異常數據檢測問題已經提出過很多種方法，包括基于統計學的方法、基于最近鄰居的方法、基于分簇的方法、基于聚類的方法等。這些方法在無線傳感器網絡的數據檢測中得到了廣泛的應用[1]。針對雷達測量中的異常值檢測，文獻[2]和[3]通過對卡爾曼濾波方法進行改進，分別提出了適合靶場測量和火箭飛行測量的異常值檢測方法。兩種方法均能夠檢測出數據中的異常值，提高了目標的定位精度，但同時對非異常點數據進行了一定程度的平滑，不利于事后的數據處理與應用。

本文首先介紹了均值濾波及其改進算法——基于鄰近去最值均值濾波的原理，其次根據時間的連續等差變化特性對時間參數進行了檢測修正，采用基于鄰近去最值均值濾波方法對發射功率、方位俯仰角、距離參數進行檢測修正，最后利用實測數據進行了驗證。

1 異常值檢測原理

1.1 基于鄰近去最值均值濾波原理

均值濾波算法是基于統計理論的一種能有效抑制噪聲的非線性信號處理技術。通常應用于圖像處理中的平滑和去噪。其基本原理是對圖像中的每個合法像素點鄰域中的像素按照灰度級進行排序，然后將該組的均值輸出作為該像素點的值。均值濾波定義如下：

[g（x，y）=mean{f（s，t）}， s，t∈Sxy] （1）

式中：[g（x，y）]為[（x，y）]點的輸出值；[f（s，t）]為以[（x，y）]點為中心的鄰域內[（s，t）]點的輸入值；[Sxy]為以[（x，y）]為中心的鄰域。鄰域類型可以根據研究或者應用需要選擇方形、一字形、十字形、×形等，鄰域大小一般可以選擇[3×3]，[5×5]。對本文數據類型進行均值濾波，相當于采用一字形窗口。均值濾波可以消除圖像中的椒鹽噪聲和突變點，但是會改變圖像中的原始數據?；卩徑プ钪稻禐V波是對均值濾波的改進，它對模板S內的數據做了去最值修正處理，即在得到模板S內的數據后，去除了其中的最大最小值（以[f（s，t）]表示），再進行均值濾波。該濾波方法極大減小了由于異常點參與運算而導致的濾波結果偏離真值的影響，但是同樣會改變原始數據。

1.2 基于鄰近去最值均值濾波檢測

濾波和檢測的目的不同，前者主要是對數據進行去噪和平滑，而后者主要是在不修改原始數據的前提下找出數據中的異常點。因此，本文根據式（1）給出如下判別規則：

[Δf（x，y）>3std（f（s，t））] （2）

其中：

[Δf（x，y）=f（x，y）-mean（f（s，t））] （3）

式中[f（s，t）]為去除模板內數據的最大最小值的其他數據。若式（2）成立，則[（x，y）]點為異常點。

2 檢測方法

測量雷達根據其應用領域不同，所記錄的參數也存在一定的差異。但是，雷達時統的GPS時間、角度、發射功率、回波功率、目標距離為其必要參數。其中，時間異常點可以直接根據其連續性進行判斷，發射功率、角度和距離異常可以通過鄰近去最值均值濾波方法進行檢測。根據目標特性理論[4]，由于雷達回波功率本身就存在很大的起伏，無法通過簡單算法對回波數據進行異常檢測。而基于卡爾曼濾波及其改進算法的雷達回波功率異常檢測方法，在檢測出異常值的同時，很有可能將正常值剔除或平滑。因此，回波功率檢測問題需要進一步深入研究。

2.1 時間異常檢測

時間異常主要是指時、分、秒、毫秒中的某一項或者某幾項出現跳變，使得該條記錄的時間與記錄前后時間不連續。飛行試驗過程中，在目標起飛至降落期間，雷達一般對目標進行持續跟蹤，并同步記錄回波數據，數據記錄時間是連續變化的。因此，可以根據時間變化的連續性對數據記錄中的跳變時間點進行檢測和修正。

假設雷達脈沖發射重頻為N，某段時間內采集的數據記錄時間為：t0，t1，…，ti，…，i為1～N，那么相鄰脈沖（即采樣記錄）的時間間隔Δti=ti-ti-1=[1N]。如果連續檢測到Δti，Δti+1不為[1N]，則說明ti存在跳變，直接以ti-1+[1N]代替ti即可修正。

2.2 發射功率、方位俯仰角、距離異常檢測

雷達跟蹤目標過程中，發射功率基本保持穩定，角度和距離連續變化。因此，根據數據變化的特性，本文通過一滑動檢測窗口，對發射功率、方位俯仰角、距離參數進行檢測。具體檢測方法為：

（1）設計一滑動檢測窗口，長度為9。

（2）對窗口內的數據去除最大最小值后，求均值及標準差。

（3）對待檢測項進行判別，若滿足式（4），則該點為異常點：

[x-u>3std] （4）

式中：u為滑窗內其他7個點數據的均值；[std]為對應的標準差。

（4）同步對本條記錄的其他參數進行檢測。如果有另外一項參數同時異常，則剔除該條記錄；否則以步驟（2）計算的均值修正該異常值。

3 檢測結果及分析

本文針對測量雷達錄取的一段飛行數據進行異常值檢測，各異常項檢測修正結果如圖1～圖4所示。

3.1 時間檢測修正結果

為方便對檢測結果的有效性進行驗證，將時間格式統一轉換為毫秒。時間檢測修正結果如圖1所示。

由圖1（a）可見，原始時間存在4個階梯式跳變。產生跳變的原因為：目標超過雷達某個重頻（PRF）工作方式下的作用距離時，雷達信號處理算法自動切換PRF，使得特定PRF工作方式下的雷達回波數據在某幾個時間段內無數據，進而導致個別數據記錄的時間不連續（本文后續由該原因引起的數據正常跳變不再另作解釋）。圖1（b）為檢測修正結果，由于時間數據量級太大，無法反映出時間異常檢測結果。圖1（c）為檢測修正前后數據差值結果，從圖中可以明顯觀察到，原始數據存在2個時間異常跳變點。

3.2 發射功率檢測修正結果

圖2為發射功率異常檢測結果。圖2（a）為原始發射功率數據分布，圖2（b）為檢測修正結果，圖2（c）為修正前后的數據差值結果?？梢姡l射功率存在一異常點。其中，發射功率數據做了歸一化處理。

3.3 角度檢測修正結果

圖3為雷達俯仰角異常跳變檢測。從圖3（a）中可以明顯觀察到兩個異常跳變點，圖3（b）為檢測修正結果，圖3（c）為修正前后的數據差值結果。

3.4 距離檢測修正結果

圖4為距離異常檢測結果。其中，圖4（a）為原始距離數據分布，圖4（b）為檢測修正結果，圖4（c）為檢測修正前后的數據差值結果。由圖4（a）和圖4（c）可以明顯觀察到，原始距離數據存在一異常點。

4 結 論

在實際工程測量中，記錄數據出現異常值的現象是經常發生的。本文對測量雷達采集數據異常值檢測問題進行了研究，通過鄰近去最值均值濾波檢測方法，對實測數據進行了檢測修正。結果表明：本文算法在有效檢測出數據異常點并修正的同時，并未改變非異常數據，是一種有效、可行的測量雷達數據異常值檢測修正方法，給后續的數據處理及應用提供了準確的數據輸入。

值得提出的一點是：根據鄰近去最值均值濾波的原理，本文方法能夠很好地檢測出數據中單個異常跳變點，但是對于連續出現的數據異常問題，本文方法失效，需要采用其他方法進行檢測。

參考文獻

[1] 姜旭寶，李光耀，連朔.基于變寬直方圖的無線傳感器網絡異常數據檢測算法[J].計算機應用，2011，31（3）：694?697.

[2] 吳建業，鄭建輝，丁軍輝.靶場測量中野值的判別與剔除方法研究[J].戰術導彈技術，2011（2）：98?100.

[3] 翟茹玲，柴毅，張可.火箭飛行測控數據野值處理及其無跡Kalman濾波[J].計算機工程與應用，2011（3）：233?236.

[4] 黃培康，殷紅成，許小劍.雷達目標特性[M].北京：電子工業出版社，2005.

[5] 盧大威，晏行偉，占榮輝，等.線性調頻寬帶PD制導雷達目標檢測研究[J].現代電子技術，2011，34（7）：1?4.

[6] 王云飛，李輝，趙乃杰.雷達目標一維高分辨距離像的特性分析及預處理方法研究[J].現代電子技術，2011，34（5）：9?14.

[7] 安利，葉雪梅.一種飛參數據的野值剔除和平滑方法研究[J].現代電子技術，2012，35（18）：102?104.