Bayes Bootstrap方法在小樣本參數估計中的應用*

孫慧玲　胡偉文　楊美妮

(海軍工程大學理學院　武漢　430033)

?

Bayes Bootstrap方法在小樣本參數估計中的應用*

孫慧玲胡偉文楊美妮

(海軍工程大學理學院武漢430033)

摘要針對小樣本實驗數據的概率分布特征較難確定,傳統(tǒng)小樣本估計方法無法提供準確的參數估計問題,工程上常用Bayes Bootstrap方法對小樣本可靠性參數進行估計;鑒于該方法對具體問題有其局限性,論文對Bayes Bootstrap方法進行了改進,在不改變原樣本數據的基礎上將樣本量進行了自助擴充,并利用Bayes Bootstrap方法對擴充后的樣本進行參數估計;最后結合具體算例分析,運用蒙特卡羅仿真方法進行建模仿真,驗證方法的可行性。

關鍵詞小樣本; Bayes Bootstrap方法; M-C仿真

Class NumberO212.1

1引言

從統(tǒng)計學角度分析,武器裝備的可靠性研究是參數估計的范疇,是參數估計的具體實例。因此,如何在小樣本條件下估計裝備系統(tǒng)的可靠性參數是一個值得研究的問題[1～3]。目前,工程上已經積累了不少方法來處理小樣本問題,根據有無先驗信息這點進行界定,它們大致可以被分為兩大類:一類是以Bayes方法為代表的傳統(tǒng)估計方法。該方法僅利用原始積累實驗數據即歷史信息來估計參數。根據原有的實驗積累的大量數據,常規(guī)Bayes方法就可獲得小樣本問題比較正確的估計。另一類是以Bootstrap和Bayes Bootstrap方法為代表的方法。該方法僅僅利用當前實驗數據,在樣本量較小的情況下,可以對參數進行估計。根據研究文獻,Bootstrap和Bayes Bootstrap方法是對原樣本的重復抽樣,并沒有增加樣本外的任何信息,在樣本量很小的情況下,容易導致再生樣本淹沒原生樣本信息導致估計不準確。本文對Bayes Bootstrap方法提出改進意見,新方法是在Bayes Bootstrap抽樣方法的基礎上增加樣本信息,使得對參數的估計更加準確。

2小樣本參數估計Bayes Bootstrap方法介紹

2.1Bootstrap方法的基本思想

1) 觀測樣本X=(x1,x2,…,xn)為總體樣本,其樣本量是有限的,稱該樣本為原生樣本,xi～F(x),i=1,2,…,n,由這些原生樣本構造的經驗分布函數如下:

(1)

其中,x(1)≤x(2)≤…≤x(n)是順序統(tǒng)計量,是按x1,x2,…,xn從小到大排序后得到的。

2) 從Fn中抽取N組樣本,方法如下:

(1)在區(qū)間0～M(M?n),計算機產生隨機數η(η為整數且具有獨立性、均勻性);

(2)令i=η%n;

(3)在觀測值中找到對應下標為i的樣本xi作為再生樣本x*,則x*為所需的隨機樣本。

3) 計算:

(2)

2.2Bayes Bootstrap方法的基本思想

對Bootstrap數據生成方法進行部分改進,使得抽樣數據對原樣本點的重復出現率大大降低,就是Bayes Bootstrap方法的基本思想。設觀測樣本X=(x1,x2,…,xn)為總體樣本,其樣本量是有限的,Bayes Bootstrap方法步驟為

1) 取自具有Dirichlet分布的隨機變量Vi=Ui-Ui-1(i=1,2,…,n),其中,U1,U2,…,Un-1為來自(0,1)均勻分布的隨機數,令U0=0,Un=1。顯然,V1+V2+…+Vn=1。

重復步驟1)、2),逐步得到均值和方差的平穩(wěn)值。

從以上兩種方法的基本步驟可以看出,Bootstrap方法和Bayes Bootstrap方法都沒有考慮試驗設備裝備的先驗信息,僅僅是利用實驗數據即觀測樣本信息來進行參數估計。在對這兩種方法的研究下,根據已有的成果[4～7],Bayes Bootstrap方法本質上就是對Bootstrap方法的數據生成部分進行了改進,使得抽樣數據對原樣本點的重復出現率大大降低,Bayes Bootstrap方法比Bootstrap方法在均方意義下效果更好,被認為是一種目前最適用的統(tǒng)計方法,因此,在工程上得到了廣泛的應用,更具體來說,對于小樣本情況(樣本量為10),Bootstrap方法和Bayes Bootstrap方法都優(yōu)于經典統(tǒng)計法,而Bayes Bootstrap方法在參數點估計更接近真實值,并且得到的估計置信區(qū)間更短[8]。

在研究過程中發(fā)現,Bayes Bootstrap方法對Dirichlet分布和原生樣本依賴性較大。也有專家學者對Bayes Bootstrap方法提出了改進意見,從文獻資料來看,大致可分為兩類,一是對經驗函數提出改進意見,重新構造更為合理的經驗分布函數[7],二是對小樣本的Bootstrap抽樣方法進行改進。目的在于調整抽樣方法,增大樣本容量[3],在具體工程問題中,這些改進方法都有較好的適應性。為了更好地進行估計,在樣本量一定的情況下減少誤差提高精度,本文提出對Bayes Bootstrap方法進一步改進措施。

3改進Bayes Bootstrap方法

假設X1,…,Xn是來自總體的按時間序列的簡單隨機小樣本,按照時間順序將n個數據分為K組,每組數據長度為h,其中,B1=(X1,…,Xh),…,BK=(XK,…,Xn),K=n-h+1;拆分之后,就是對這K組數據進行重抽樣了,假設n可以整除h,這n/h個數據組拼接在一起的樣本量大小仍為n。對樣本的重組擴充如下:

1) 將B1=(X1,…,Xh)中的數據按從小到大的順序排列,排列好的數據為:(X(1),X(2),…,X(h)),對順序統(tǒng)計量X(i)的觀測值x(i)做如下鄰域:

U1= [x(1)-(x(2)-x(1))/p,x(1) +(x(2)-x(1))/p]Ui= [x(i)-(x(i)-x(i-1))/p,x(i) +(x(i+1)-x(i))/p]Uh= [x(h)-(x(h)-x(h-1))/p,x(h) +(x(h)-x(h-1))/p]ì?í???????? i=2,…,n-1

(3)

這里p≥2。

2) 在鄰域U1=[x(1)-(x(2)-x(1))/p,x(1)+(x(2)-x(1))/p]中取得x(0),在鄰域Uh=[x(h)-(x(h)-x(h-1))/p,x(h)+(x(h)-x(h-1))/p]中取得x(h+1);由此將第一組樣本量擴充為h+2個。

3) 重復步驟1)～2),依次將K組數據進行樣本量擴充,擴充后樣本容量即增加為n+2K個。

4) 將K組擴充后的樣本合并作為再生樣本,運用Bayes Bootstrap方法針對該再生樣本求參數的點估計和區(qū)間估計。

4算例及其比較

前面介紹了小樣本參數估計的兩種方法,本文提出了基于Bayes Bootstrap方法的改進意見,下面通過一個具體實例來比較三種方法在實際問題中的適應性,驗證改進方法的優(yōu)越性。

計算機生成服從正態(tài)分布N(2,0.5)的10個隨機數1.7837,1.1672,2.0627,2.1438,1.4268,2.5955,2.5946,1.9812,2.1636,2.0873,計算機仿真10000次,分別用傳統(tǒng)小樣本估計方法、Bayes Bootstrap方法以及改進Bayes Bootstrap方法對參數μ作點估計和區(qū)間估計。

圖1　Bayes Bootstrap方法的參數分布圖

圖2　改進Bayes Bootstrap方法的參數分布圖

方法參數點估計置信區(qū)間估計值期望值誤差估計值區(qū)間長度經典統(tǒng)計方法2.00602.00.006[1.7388,2.2625]0.5237BayesBootstrap方法2.00312.00.0031[1.9999,2.0063]0.0064改進BayesBootstrap方法2.00212.00.0021[1.9997,2.0045]0.0048

5改進方法的評價

鑒于Bayes Bootstrap方法對原始數據及Dirichlet分布的依賴性較大,在樣本量較小情況下很難得到滿意的估計[9～11],所以,改進方法的優(yōu)點是:第一,先將樣本按時間序列分組,在每一組中重構順序統(tǒng)計量,克服了Bayes Bootstrap方法中再生樣本數據向中間點集中的趨勢;第二,調整抽樣方法從而擴展了樣本容量,將每一組的樣本容量都進行了擴充,并且將最大最小順序統(tǒng)計量延拓至非觀測點,極大地降低了再生樣本與原樣本的相似性。

表1的數據顯示,改進方法對參數μ的點估計與真實值最接近,精度有所提高,而在相同置信度的情況下對參數μ的區(qū)間估計精度明顯比Bayes Bootstrap方法更好,原因是改進方法對樣本的延拓必然增大了樣本信息,在置信度一定的情況下,提高估計精度只能依靠增加樣本容量。

6結語

本文研究了Bayes Bootstrap方法對小樣本的可靠性參數估計,針對原方法的不足提出改進意見,最后以正態(tài)分布為例,分別用原方法和新方法估計參數μ的點估計和區(qū)間估計,仿真顯示了改進方法的優(yōu)越性,本文并未對參數σ進行估計,那么,改進方法對參數σ是否也具有良好的適應性還有待進一步研究。

參 考 文 獻

[1] Efron B. The Jackknife, the Bootstrap and other Resampling Plans[M]. New York: John Wiley,1982.

[2] Berger J. The Robust Bayesian Viewpoint in Robustness of Bayesian Analysis[M]. Orth-Holland, Amsterdam: J. Kadane(Ed),1985.

[3] 張金魁,唐雪梅,等.Bayes方法(修訂版)[M].長沙:國防科技大學出版社,1993:7-23.

ZHANG Jinhuai, TANG Xuemei, et al. Bayes Method(re-vise dedition)[M]. Changsha: Press of National University of Defense Technology,1993:7-23.

[4] 呂鵬,袁永生,等.小樣本下改進的PWM方法及其在導彈精度評定中的應用[J].重慶理工大學學報(自然科學版),2014(4):139-142.

LYU Peng, YUAN Yongsheng, et al. Improved PWM Method under Small Sample and Tts Application on Missile Precision Evalution[J]. Journal of Chongqing University of Technology(Natural Science),2014(4):139-142.

[5] 馬智博,朱建士.有關正態(tài)分布的小樣本可靠性評估[J].核科學與工程,2003(4):31-35.

MA Zhibo, ZHU Jianshi, XU Naixin. Reliability assessment based on small samples of normal distribution Chinese Journal of Nuclear Science and Engineering,2003(4):31-35.

[6] 劉江,姚安東.新型彈藥可靠性評估方法[J].兵工自動化,2014(5):1-3.

LIU Jiang, YAO Andong. Reliability Evaluation Method of New Ammunition[J]. Ordnace Industry Automation,2014(5):1-3.

[7] 黃金龍,汪立新.基于改進Bayes Bootstrap陀螺儀壽命預測研究[J].壓電與聲光,2014(6):384-387.

HUANG Jinlong, WANG Lixin. Study on Gyroscope Life Prediction Based on Iomproved Bayesian Bootstrap[J]. PIEZOELECTRICS and ACOUSTOOPTICS,2014(6):384-387.

[8] 孫慧玲,胡偉文.小樣本條件下參數估計方法比較研究[J].統(tǒng)計與決策,2014(12):1-5.

SUN Huiling, HU Weiwen. The Comparison of Methods of Small-sample Reliability Assessment[J]. Statistics and Decision,2014(12):1-5.

[9] 戴邵武,等.基于自助法的小樣本數據分析方法研究[J].海軍航空工程學院學報,2009,1(1):26-28.

DAI Shaowu, GAO Huaming, XIAO Zhicai. Research on Data Analysis of Small Sample Based on Bootstrap Method[J]. Journal of Naval Aeronautical and Astronautical University,2009,1(1):26-28.

[10] 張守玉,封偉書.基于Bootstrap方法的正態(tài)分布樣本數據生成研究[J].裝備指揮技術學院學報,2009,2(20):97-100.

ZHANG Shouyu, FENG Weishu. Study of Sampled Data Creation for Norm Distribution on Bootstrap Method[J]. Journal of the Academy of Equipment Command and Technology,2009,2(20):97-100.

[11] 鄒艷,羅文強.改進Bootstrap方法對比及應用研究[J].應用數學,2008(21):62-66.

ZOU Yan, LUO Wenqiang. Comparative Study anel Application of Improved Bootstrap Method[J]. Mathematica Applicata,2008(21):62-66.

Application of Bayes Bootstrp Method in Small Samples Parameter Estimation

SUN HuilingHU WeiwenYANG Meini

(College of Science, Naval University of Engineering, Wuhan430033)

AbstractBecause it is difficult and complex to determine the probability distribution of small samples, it is improper to use traditional probability theory to process parameter estimation for small samples. Bayes Bootstrap method is always used in the project. But, the Bayes Bootstrap method has its own limitation. In this paper, an improvement is given to the Bayes Bootstrap method. The method extends the amount of samples by numerical simulation without changing the circumstances in a small sample of the original sample. Finally, the Monte Carlo(MC) is used to model and simulate with specific small sample problems. The effectiveness and practicability of the improved-Bootstrap method is proved.

Key Wordssmall sample, Bayes Bootstrap method, Mont Carlo simulation

* 收稿日期:2015年11月6日,修回日期:2015年12月24日

基金項目:國家自然科學基金(編號:61074191);海軍工程大學青年基金(編號:HGDQNJJ15003);海軍工程大學理學院青年基金(編號:HJGSK2014G125)資助。

作者簡介:孫慧玲,女,講師,研究方向:概率統(tǒng)計,軍事運籌學。胡偉文,男,教授,博士生導師,研究方向:軍事運籌水中軍用目標特性仿真。

中圖分類號O212.1

DOI:10.3969/j.issn.1672-9722.2016.05.002