兩種剔除異常數據的方法比較

摘 要：介紹測量系統中剔除異常數據的兩種方法，其中包括一種新的判據。根據應用數理統計參數估計理論，詳細分析兩種方法的工作原理、剔除步驟。對某次實驗測量數據，分別利用兩種方法進行異常數據的判別和剔除，并用C語言實現，然后進行分析比較。實驗證明，在采樣次數較少（n≤10）的情況下，新方法剔除異常數據較多，可能容易丟掉重要信息，考慮可靠性和準確性，宜采用羅曼諾夫斯基準則。

關鍵詞：測量系統；異常數據；數理統計；剔除方法

中圖分類號：TP274文獻標識碼：B

文章編號：1004-373X(2008)24-148-03

Comparison of Two Methods in Eliminating the Excrescent Data

SHAO Tingting1，2，ZHANG Shuili1，ZHANG Yongbo1

((1.College of Physics and Electronic Information，Yan′an University，Yan′an，716000，China;

2.College of Electronic and Information，Northwestern Polytechnical University，Xi′an，710072，China)

Abstract：Two methods of eliminating the excrescent data in measuring system are introduced，which include a new method.Using statistical estimation theory，the principle and the eliminated process of the two methods are expatiated.For certain experimental data，the two methods are used to distinguish and eliminate the excrescent data，which is based on the C language，and the result is compared and analyzed.The experiment shows that when sampling time is fewer (n≤10)，more excrescent data are eliminated if the new method is used，and some essential information may lose，so Rule RomanNoff is better to be used.

Keywords：measuring system;excrescent data;mathematical statistics;eliminated method

1 引 言

隨著計算機技術的迅速發展，測控系統也趨于微機化。微機直接接收數字電信號，而被測對象常是一些模擬信號，故信號送入微機處理之前必須要將模擬信號轉化成數字信號，然后進行數據采集^［1］。在數據采集過程中由于操作者的失誤、外界條件等原因可能會產生粗大誤差。含有粗大誤差的測量數據是不可信賴的，是對測量數據的一種嚴重扭曲，必須予以剔除^［2］。在剔除時，首先應盡可能地提高測試人員高度的工作責任心和嚴謹的科學態度，其次是正確判斷粗大誤差。應該注意不能輕易剔除一個數據，否則可

能會因為丟掉重要信息而得到錯誤的結果。

2 兩種剔除異常數據的方法

2.1 剔除異常數據的新方法

對同一信號進行重復測量，測量數據一般符合正態分布^［3］。如n個采樣值為x1，x2，…，xn，并且它們獨立同分布，即X~N(μ，σ2)，則樣本的平均值^［4］：

=1n∑ni=1xi~N(μ，σ2n)(1)

樣本方差：

S2=1n－1∑ni=1(xi－)2(2)

根據期望與方差的點估計理論，是μ的無偏估計值；S2是σ2的無偏估計值，構造統計量：

T=－μS2/n~t(n－1)(3)

對于給定的α（0<α<1 ），又因為

P－μS2/n≤tα/2(n－1)=1－α，查t分布表，得tα/2(n－1)的值，可得μ的置信度是1－α的置信區間，即：

－tα/2(n－1)S/n，+tα/2(n－1)S/n(4)

對于給定置信度1－α（0<α<1），有:

P［－tα/2(n－1)

=∫tα/2－tα/2f(t)dt=1－α(5)

式(5)中：tα/2(n－1)是t(n－1)分布上的上α/2分位點，可查表得出，由式（5）得：

－tα/2(n－1)S/n<μ<+tα/2(n－1)S/n(6)

而μ落在該區間之外的概率很小，屬于小概率事件，在正常的測量過程中不會發生^［5］。因此取δ=tα/2(n－1)S/n為臨界值，若xi(i=1，2，…，n)滿足：|xi－|>δ，則xi可判為含有粗大誤差的數據，應予以剔除，所以，把|xi－|>δ作為新的判別異常數據的判據。

基于該方法的剔除步驟如下^［6］：

（1） 將n個測量數據按從小到大的順序排列，最小值為xL，最大值xH;

（2） 計算出所有測量數據的算術平均值=1n∑ni=1xi，和測量數據的方差S2=1n－1∑ni=1(xi－)2，則S=1n－1∑ni=1(xi－)2;

（3） 查t分布表得到tα/2(n－1);

（4） 計算δ=tα/2(n－1)S/n，若|xi－|>δ，則可判定xi為異常數據，應予以剔除，若|xi－|<δ，則此xi就不是異常數據，應予以保留。

2.2 羅曼諾夫斯基準則

一般處理數據前，認為測量數據服從正態分布，但是數理統計學可以證明，在測量次數較少的情況下，t分布更符合實際分布，該準則就是以t分布為依據建立的^［7］。在一定測量次數n下，設等精度獨立測得的一組數據為x1，x2，…，xn，若對某一數據xk有懷疑，可以按照如下步驟判別^［8］：

（1） 先將懷疑數據xk去掉，計算出不包含xk的測量數據的算術平均值′：

′=1n－1∑ni=1，i≠kxi

（2） 計算出不包含xk的殘差在內的標準偏差s′：

s′ = (∑nn = 1，i≠kv2i )/n-2

（3） 根據選定的顯著水平α和測量次數n，在t分布表中查出檢驗系數K(α，n)，δ=K(α，n)s′;

（4） 若|xk－′|>K(α，n)s′，則可判定xk為異常數據，應予以剔除，若|xk－′|

3 程序實現框圖及結果分析

在某次測量^［9］中實驗采樣數據依次為：

205.30，204.94， 205.63， 205.24， 206.65， 204.97，205.36，

205.16，204.85，204.90，取顯著性水平α=0.01。分別用上述2種方法對采樣數據中的異常數據進行剔除。其程序^［10］實現框圖如圖1，2所示。

3.1 新方法的實現框圖

新方法的實現框如圖1所示。

圖1 新方法的實現框

3.2 羅曼諾夫斯基準則實現框圖

羅曼諾夫斯基準則實現框如圖2所示。

圖2 羅曼諾夫斯基準則實現框

仿真結果表明：在該組測量數據中，采用新方法時，數據204.85，205.63和206.65為異常數據，應予以剔除；而采用羅曼諾夫斯基準則，僅數據206.65為異常數據，應予以剔除。可見，對同一組測量數據（測量次數較少即n≤10時），使用新方法剔除的異常數據比使用羅曼諾夫斯基準則要多，這樣可能容易丟掉重要信息而得到錯誤的結果。

4 結 語

測量系統中盡量減少粗大誤差、剔除異常數據，是保證正確數據采集的前提。文中涉及的2種方法均能剔除異常數據，但它們建立的理論基礎有所不同。由實驗結果可得在采樣次數n≤10的情況下，羅曼諾夫斯基準則是種比較成熟的判斷準則，建立的基礎符合數理統計理論的有關已證明的結論，剔除異常數據時比較謹慎；然而新方法，雖然也可以剔除異常數據，但它是建立在測量數據服從正態分布的條件下的，與數理統計的有關證明結論有些偏差，即它的理論存在一定的缺陷，剔除的異常數據較多。所以在測量次數較少（n≤10）時，為準確起見用羅曼諾夫斯基準則，其效果更可靠。

參考文獻

［1］孫傳友，孫曉斌，漢澤西，等.測控系統原理與設計［M］.北京：北京航空航天大學出版社，2002.

［2］馬建倉.電子測量技術［M］.西安：西北工業大學出版社，2004.

［3］盛驟，謝式千，潘承毅.概率論與數理統計［M］.北京：高等教育出版社，1989.

［4］陳魁.應用概率統計［M］.北京: 清華大學出版社，2000.

［5］耿素軍，余劍.智能測量系統中粗大誤差的處理［J］.電氣電子教學學報，2005，27(3):37-39.

［6］余劍.高精度智能測量系統中粗大誤差的處理技術［J］.測試技術學報，2003，17(3):258-261.

［7］吳天鵬.對粗大誤差判別的理論探討［J］.黃石高等專科學校學報，1995(2):62-66.

［8］葉川，伍川輝，張嘉怡.計量測試中異常數據剔除方法比較［J］.計量與測試技術，2007，34(7):26-27.

［9］邵婷婷，馬建倉，胡士峰，等.電子羅盤的傾斜及羅差補償算法研究［J］.傳感技術學報，2007，20(6):1 335-1 337.

［10］譚浩強.C程序設計［M］.2版.北京:清華大學出版社，2000.

作者簡介 邵婷婷 女，1982年出生，山東淄博人，助教，碩士研究生。研究方向為智能信息檢測與處理。

張水利 女，1974年出生，山西運城人，碩士研究生。主要研究方向為智能信息處理、圖像信號處理等。

張永波 男，1980年出生，山西繁峙人，碩士研究生。主要研究方向為智能信息處理、移動通信中的信號處理等。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文