測量誤差分析及數(shù)據(jù)處理若干要點系列論文（三）——隨機性分布統(tǒng)示法推薦應(yīng)用

林洪樺

特約論文

測量誤差分析及數(shù)據(jù)處理若干要點系列論文（三）——隨機性分布統(tǒng)示法推薦應(yīng)用

林洪樺

（北京理工大學(xué)，北京 100081）

闡述現(xiàn)代數(shù)據(jù)處理中隨機性分布統(tǒng)示法應(yīng)用，分析小樣本數(shù)據(jù)處理難點與對策，詳細描述分布統(tǒng)示法的矩估計方法、分布統(tǒng)示法的分位數(shù)估計方法、高斯混合模型用于粒子濾波等方法應(yīng)有的觀念、對策與基本方法、步驟及應(yīng)予關(guān)注的問題等。

數(shù)據(jù)處理；數(shù)學(xué)模型；誤差；統(tǒng)示法

在文獻[1]中，筆者闡述了現(xiàn)代數(shù)據(jù)處理基本觀念，包括數(shù)據(jù)處理目標、依據(jù)、實質(zhì)、現(xiàn)實問題的性質(zhì)和隨機性分布，并根據(jù)數(shù)據(jù)處理對策，對現(xiàn)代數(shù)據(jù)處理歸結(jié)出“實、佳、智、驗”四字要訣。在文獻[2]中，筆者闡述了現(xiàn)代數(shù)據(jù)處理中隨機性分布統(tǒng)示法的必要性以及表示方法。數(shù)據(jù)處理實質(zhì)在于按樣本數(shù)據(jù)推測其待求總體信息，依據(jù)可靠先驗信息十分必要，須輔以對先驗信息的處理，其中重中之重在于處理現(xiàn)實的隨機性分布問題。本文延續(xù)文獻[2]，在非高斯性為常態(tài)觀念下，論述運用隨機性分布統(tǒng)示法處理概率分布模式的實用統(tǒng)計處理方法。

1 隨機性分布統(tǒng)示法應(yīng)用概述

傳統(tǒng)的誤差分析多基于誤差呈正態(tài)分布的假定。實際上，這樣的假定經(jīng)常并不成立，有些起決定性因素的誤差呈均勻分布、瑞利（Rayleigh）分布或反正弦分布等非正態(tài)分布，其與一些次要因素的誤差合成后，經(jīng)常表現(xiàn)為一種非典型的概率分布。如齒輪測量、雷達回波、水聲信號，生物與醫(yī)學(xué)、社會學(xué)與經(jīng)濟學(xué)中的測量數(shù)據(jù)等更常遇到非典型的概率分布，現(xiàn)統(tǒng)稱為非高斯分布。實際上，以往并非不認為非高斯性誤差為常態(tài)，但對其沒有實用處理方法。當(dāng)前已有非高斯性數(shù)據(jù)實用處理方法，且仍在不斷發(fā)展完善中，可見分布統(tǒng)示法值得提倡應(yīng)用，尤其有必要探討分布形態(tài)覆蓋面廣，且簡捷有效的小樣本數(shù)據(jù)處理方法。

2 小樣本數(shù)據(jù)處理難點與對策

文獻[1]總結(jié)：大多數(shù)現(xiàn)實數(shù)據(jù)宜按小樣本處理。小樣本數(shù)據(jù)處理的特點：1）本質(zhì)特征在于含有總體信息較少，同一總體的小樣本分布并不相同，不同總體的小樣本分布可能類同，難以推斷其總體分布；2）小樣本分布不對稱，難以體現(xiàn)出其總體對稱性；3）小樣本特征量欠穩(wěn)定，同一總體的小樣本矩或分位數(shù)不盡相同，難以推斷其總體特征量及待求的總體特性。

為得出實且準的待求總體特性處理結(jié)果，需擬定合適的小樣本數(shù)據(jù)處理對策。文獻[1]、文獻[2]根據(jù)現(xiàn)代數(shù)據(jù)處理對策歸結(jié)出四字要訣“實、佳、智、驗”，且大體上對應(yīng)4方面要素：模型、準則、算法、驗證。現(xiàn)從其中歸納出如下具體對策：

總原則為從特殊到特殊的轉(zhuǎn)導(dǎo)型推理原則，即按所掌握的有限信息直接估計、預(yù)測現(xiàn)實問題待求的結(jié)果；

1）在模型化上，在概率分布模式未掌握確切信息時運用統(tǒng)示法，并按分布統(tǒng)示法優(yōu)先，需覆蓋拖尾分布時用分布統(tǒng)示法，需覆蓋多峰型分布時才選用混合分布統(tǒng)示法的次序建模策略；

2）以樣本統(tǒng)計特征量（樣本前四階矩或分位數(shù)等）為主，且輔以可靠先驗信息；

3）充分利用統(tǒng)示分布參數(shù)，如按樣本前四階矩估計統(tǒng)示分布參數(shù)，按樣本分位數(shù)估計統(tǒng)示分布參數(shù)，進而確定待求總體特性，以往刻意地求出小樣本所屬的典型概率分布毫無實際意義；

5）可用自助（Bootstrap）法擴展樣本所含有總體信息，即運用統(tǒng)示法要求樣本容量大才夠準，采用自助法對原樣本{x,= 1,…,}進行重新獨立隨機抽樣，獲得再生大量自助樣本= [x],1,2,…,= 20，借其估計前四階矩或分位數(shù)等可多含些總體信息，使估計的結(jié)果更準確可靠[3]。

在做數(shù)據(jù)處理對策之前，首先，進行一些必要的數(shù)據(jù)預(yù)處理：觀察數(shù)據(jù)圖（如坐標圖、直方圖等）、分析特征量、檢驗異常值、檢驗對稱性、檢驗趨勢性和周期性；然后，通過理論分析、實驗結(jié)果、技術(shù)資料以及主觀經(jīng)驗等搜集先驗信息；最后，匯集便于初步擬定數(shù)據(jù)處理方案。

3 β分布統(tǒng)示法的矩估計方法

分布統(tǒng)示法已應(yīng)用多年，詳見文獻[3]~文獻[5]。由文獻[2]表1可知：分布統(tǒng)示法優(yōu)先應(yīng)用，且宜運用矩估計。設(shè)樣本數(shù)據(jù)為{x}，按上述小樣本數(shù)據(jù)處理對策擬出分布統(tǒng)示法的矩估計方法如下：

2）檢測、排除異常數(shù)據(jù)和顯著系統(tǒng)誤差，推薦采用文獻[3]中式(7.5.3)或式(7.5.4)作為初判，若置信概率(+1)，樣本容量≥ 20，則

系統(tǒng)誤差主要應(yīng)排除變量系統(tǒng)誤差，通過檢驗數(shù)據(jù)隨機性（符號檢驗、游程檢驗、秩相關(guān)檢驗等）即可發(fā)現(xiàn)是否存在變量系統(tǒng)誤差；排除變量系統(tǒng)誤差主要依靠專業(yè)技術(shù)，可輔以回歸分析；

*必要時，如< 20，可采用自助法借自助樣本估計前四階矩[3]：

7）估計非對稱分布界限，

【示例1】測長儀重復(fù)20次實測數(shù)據(jù)為： 150.14, 150.04, 149.97, 150.08, 149.93, 149.99, 150.13, 150.09, 149.89, 150.01, 149.99, 150.04, 150.02, 149.94, 150.19, 149.93, 150.09, 149.83, 150.03, 150.07(mm)。

【示例2】原始數(shù)據(jù)(= 30)：4.4, 4.9, 4.5, 4.4, 4.6, 4.5, 4.6, 4.3, 4.2, 4.4, 4.3, 4.5, 4.6, 4.2, 4.3, 4.8, 4.8, 4.2, 4.2, 5.3, 4.6, 4.6, 4.5, 4.9, 4.1, 4.5, 4.4, 4.7, 4.2, 4.8 (μm)。

注：該例以往基于正態(tài)性數(shù)據(jù)處理結(jié)果，原始數(shù)據(jù)中5.3判為異常值而棄之。

4 λ分布統(tǒng)示法的分位數(shù)估計方法

由文獻[2]可知：現(xiàn)實問題用到拖尾型概率分布時宜應(yīng)用分布統(tǒng)示法，如壽命、磨損等專業(yè)領(lǐng)域。小樣本下應(yīng)用分布統(tǒng)示法，實際上就是按樣本數(shù)據(jù)確定分布參數(shù) (1,2,3,4)，因其更宜用分位數(shù)形式表述，且前四階矩較分位數(shù)與 (1,2,3,4) 的關(guān)系更為復(fù)雜，故運用樣本分位數(shù)估計統(tǒng)示分布參數(shù)的方法（盡管也能應(yīng)用矩估計法）[7]。

以常量測量下按樣本數(shù)據(jù)求其總體分布范圍為例，可歸納出分布統(tǒng)示法具體數(shù)據(jù)處理方法及步驟。

1）預(yù)處理

②檢測異常數(shù)據(jù)：一般采用文獻[3]中式(7.5.4)作為初判，即粗差e判別式為

用樣本分位數(shù)估計時，也可采用文獻[3]中具有穩(wěn)健性的式(7.5.16)作為初判，即異常數(shù)據(jù)判別式為

式中，1.5由正態(tài)性導(dǎo)出，可另用非高斯性范圍。

③排除變量系統(tǒng)誤差：如前述，通過檢驗數(shù)據(jù)隨機性即可發(fā)現(xiàn)是否存在變量系統(tǒng)誤差；排除變量系統(tǒng)誤差主要依靠專業(yè)技術(shù)，可輔以回歸分析。

2）原數(shù)據(jù)的分位數(shù)估計

對原數(shù)據(jù)統(tǒng)計其順序統(tǒng)計量為(1),(2), …,(n)，則樣本的分位數(shù)估計為

式中，為正整數(shù)；為余數(shù)。

按文獻[2]中表2，分位數(shù)特征量的4式估計分別為

且取= (0.05, 0.10, 0.15, 0.20, 0.25, 0.50, 0.75, 0.80, 0.85, 0.90, 0.95)。

3）自助法估計分位數(shù)

對原數(shù)據(jù)生成自助樣本x1,x2,…,x，1,2,…,，按式(2)同樣方法估計自助樣本分位數(shù)，即

1,2,…,

且取= (0.05, 0.10, 0.15, 0.20, 0.25, 0.50, 0.75, 0.80, 0.85, 0.90, 0.95)。

4）對稱性處理優(yōu)先

估計對稱分布參數(shù)：

②估計(1,2)：同理利用文獻[2]表2相應(yīng)的分位數(shù)特征量公式，可得

5）估計一般分布參數(shù)

②估計(1,2)：按中位數(shù)和分位差公式，可得

6）估計總體分布范圍

估計(1,2,3,4)后，按文獻[2]表2中分位數(shù)函數(shù)式，令= 0，= 1算出總體分布范圍[,] = [(0),(1)]。

【示例3】：示例2的數(shù)據(jù)按上述分布統(tǒng)示法的數(shù)據(jù)處理方法及其步驟估計其總體分布范圍，結(jié)果如下：

分位數(shù)關(guān)系：（中位數(shù)，10分位差，10分位比，10分位差比）=（4.5, 0.3, 2, 1)；

異常數(shù)據(jù)檢測：若= 2.9449_4= 3.6512，則判定該樣本不含有粗差，其中為標準化樣本最大值；_4為粗差界限；

估計結(jié)果：原數(shù)據(jù)范圍為[4.1, 5.3]，重復(fù)3次估計統(tǒng)示分布參數(shù)與總體分布范圍的結(jié)果如下：

①分布參數(shù)：(1,2,3,4) = (4.51, 1.06141, 0.166337, 0.166337 )；

分布范圍：[a, b] = [3.56786, 5.45214]；

②分布參數(shù)：(1,2,3,4) = (4.51, 0.737381, 0.110353, 0.110353 )

分布范圍：[a, b] = [3.15385, 5.86615]；

③分布參數(shù)：(1,2,3,4) = (4.51, 1.18289, 0.18882, 0.18882)；

分布范圍：[a, b] = [3.66461, 5.35539]。

該估計結(jié)果與示例2同樣否定按正態(tài)性處理識別5.3為異常。

綜上所述，在小樣本下適于應(yīng)用分布統(tǒng)示法，且宜按樣本分位數(shù)估計（采取自助法及多點平均法）統(tǒng)示分布參數(shù)后求解待求現(xiàn)實問題，如總體分布范圍[,]。顯然，按樣本分位數(shù)估計與按樣本矩估計構(gòu)成兩類相輔相成基本方法。

5 高斯混合模型用于粒子濾波

現(xiàn)實的科技問題多具有三非性（非線性、非高斯、非平穩(wěn)），導(dǎo)致當(dāng)前不斷研究適于求解三非性問題的數(shù)據(jù)處理方法，如粒子濾波（PF）方法。在現(xiàn)實問題隨機性分布信息不足且分布較復(fù)雜時，可用適于對稱性、非對稱性、拖尾型、多峰型等覆蓋面最大的高斯混合模型（GMM），以及其樣本數(shù)據(jù)直接統(tǒng)示分布的馬爾科夫鏈-蒙特卡羅（MC-MC）方法。

PF方法實質(zhì)是以遞歸貝葉斯統(tǒng)計分析為理論基礎(chǔ)的動態(tài)濾波方法。過程或系統(tǒng)模型化：

狀態(tài)空間模型為

濾波過程的核心問題在于表述濾波過程的后驗分布，其核心技術(shù)為序貫重要性分布重采樣（SIR）。對后驗分布作恒等變換

式中，重要性分布(*)可按需任選；(*)為權(quán)函數(shù)，即歸一化加權(quán)值。

于是，一列不同的加權(quán)粒子樣本可逼近不一樣的后驗分布。為避免粒子退化和樣本枯竭而保持粒子集有效性和多樣性，按該權(quán)值方差確定是否重采樣閾值。最后做出任一后驗分布期望估計。

在文獻[8]中運用如下方法：盡管其中后一ARMA模型階數(shù)已定的參數(shù)估計部分欠妥，應(yīng)當(dāng)運用一般參數(shù)估計方法。在此僅作為PF算法示例（其中GMM-EM算法見文獻[2]）。

---------------------------------------------------------------------

雙重PF聯(lián)合估計狀態(tài)與參數(shù)方法：

For= 1:;

%估計狀態(tài)

%估計參數(shù)

---------------------------------------------------------------------

仿真結(jié)果見文獻[8]，表明其運行的均方差都較小。初步驗證應(yīng)用GMM-EM及MC-MC方法重采樣的PF方法是可行、有效的。

6 結(jié)語

本文闡述了當(dāng)前對小樣本數(shù)據(jù)處理應(yīng)有的觀念、對策與基本方法，及對分布統(tǒng)示法推薦分布、分布及高斯混合分布等應(yīng)用中應(yīng)有的觀念、對策與基本方法、步驟及應(yīng)予關(guān)注的問題。對分布統(tǒng)示法推薦只是提示性應(yīng)用，遠未能達到解決實際問題程度。其中涉及自助法、異常數(shù)據(jù)檢測、系統(tǒng)誤差檢測和排除、粒子濾波算法等具體問題和應(yīng)用，均非一紙即可道明。

[1] 林洪樺.測量誤差分析及數(shù)據(jù)處理若干要點系列論文（一）——現(xiàn)代數(shù)據(jù)處理基本觀念與四字要訣[J].自動化與信息工程,2020,41(1):1-4,9.

[2] 林洪樺.測量誤差分析及數(shù)據(jù)處理若干要點系列論文（二）——隨機性分布統(tǒng)示法綜論[J].自動化與信息工程,2020, 41(2):1-7.

[3] 林洪樺.測量誤差與不確定度評估[M].北京:機械工業(yè)出版社,2010.

[4] 林洪樺,潘峰.重復(fù)測量數(shù)據(jù)分布的自助法估計[J].北京理工大學(xué)學(xué)報,2004(11):947-951.

[5] 林洪樺.再薦誤差的分布統(tǒng)示法[J].中國計量學(xué)院學(xué)報，2004(2):96-101.

[6] 席同鑫,林洪樺,王中宇.誤差分布對稱性的識別方法研究[C]//第20屆測控、計量、儀器儀表學(xué)術(shù)年會論文集.2010.

[7] 林洪樺,席同鑫,王中宇.分布統(tǒng)示法用于小樣本數(shù)據(jù)處理的探討[C],第十一次全國誤差理論與不確定度學(xué)術(shù)與教學(xué)交流研討會,海南三亞,2011.

[8] Li Shuhui, Feng Xiaoxue, Lin Honghua, et al. Joint State and Parameter Estimation of Stationary ARMA Model with Unknown Noise[Z]. CCC,Dalian, 2017.

[9] 林洪樺.探討小樣本下“三非”問題的分析與處理[C].第十四次全國誤差理論與不確定度學(xué)術(shù)與教學(xué)交流研討會,南京,2018.

Some Key Points of Measurement Error Analysis and Data Processing Series Papers (3)——Recommended Applications of Random Distribution Uniform Expression Method

Lin Honghua

(Beijing Institute of Technology, Beijing 10081, China)

This paper expounds the applications of random distribution uniform expression method in modern data processing, the difficulties and countermeasures of small sample data processing are analyzed. The moment estimation method ofdistribution uniform expression method, the quantile estimation method ofdistribution uniform expression method and Gaussian mixture models for particle filtering are described in detail, including concepts, countermeasures, basic methods, steps and issues that should be paid attention to.

data processing; mathematical model; error; uniform expression method

林洪樺，男，1932年生，教授，主要研究方向：測試誤差分析及數(shù)據(jù)處理。

TP274

A

1674-2605(2020)03-0001-07

10.3969/j.issn.1674-2605.2020.03.001