正態逼近與基于覆蓋寬度的EM估計

韓立巖 蔡明生 尹力博

(北京航空航天大學 經濟管理學院，北京100191)

在工程設計、工程統計和價值評估的參數統計推斷中，統計量分布的確定是一個關鍵環節.當一個統計量由眾多獨立而微小的因素所決定時，中心極限定理保證了設定其服從正態分布的合理性.目前主流參數統計說到底還是基于正態假設的.但是，在工程與價值評估相關的統計分析中，眾多實例的數據分析結果不能給出統計顯著的支持正態假設的證據.例如金融投資中收益率往往具有尖峰后尾或者偏斜特性，工程可靠性分析中的部件壽命也往往不滿足正態特性.對此，以往的研究重點集中在特殊分布的選擇上，由此往往導出十分復雜的分布形式，使得后續的統計分析難以展開.對此，本文提出一個新的思路:非正態分布的正態逼近，并在極大似然估計的期望最大化(EM，Expectation Maximization)算法中提出基于最大覆蓋寬度的定階原則.

1 分布選擇問題

1.1 對正態分布的突破

在工程領域，任何隨機擾動都是以正態分布為基礎.在經濟學領域，Bachelier在1909年開創性提出用正態分布研究股票價格之后，正態假設逐漸成為價值分析的正統.馬克維茨最優資產組合理論和Black-Sholes-Merton期權定價理論奠定了正態假設之下新古典金融學的基石.而在其后對有效市場理論的檢驗過程中，否定正態假設的經驗證據卻主導了文獻.人們發現當信息不均勻地傳遞到市場時就會導致收益分布呈尖峰厚尾或者偏斜狀態，而且在不同的時間頻率上差異顯著.在最新的文獻中，Kim等人以深入的實證研究拒絕了收益率的正態分布假設，并分別采用連續型和離散型市場模型歸納了正態破缺的條件異方差效應［1］，金融統計的成果對于工程領域也具有啟發性.只要信息傳導出現集簇現象，正態性假定就很難成立.

系統極端事件發生的頻率往往大于正態分布蘊含的概率，Levy穩定分布對資產收益率分布的左右尾部進行單獨建模，可以描述分布的不對稱性并對極端風險進行比較.Longin的實證檢驗發現歐美金融市場收益分布尾部可用指數大于2的穩定分布描述［2］.該分布適合描述具有胖尾特征的分布，特征指數越小尾部越胖，當指數小于2時穩定分布的方差不存在.穩定分布一般用特征函數表示，含有4個參數:特征指數(尾部形狀)、偏斜度(對稱性)、尺度參數和位置參數.Nolan指出該特征函數在參數空間內是連續的，且是最簡單的表示形式，因而數值計算和統計推理都比較方便［3］.然而，穩定分布不存在有限方差卻與市場實際情況不符合.經驗分析表明，長時間標度的低頻金融數據經驗分布的方差一般是有限的.對此，Mantegna等提出截斷Levy分布，具有有限方差，同時保留了良好的尖峰性質［4］.Koponen提出的平滑截斷 Levy分布［5］、Gupta和 Campanha提出的漸近截斷 Levy分布［6］、Matsushita和 Gleria等提出的指數阻尼Levy分布［7-8］，可以更好滿足收益率長期記憶性和波動持續性的正反饋情形.雖然截斷Levy分布可以較好地描述經驗收益分布特征，但其密度函數十分復雜，使其應用受到限制.

證券市場的豐富數據為分布選擇提供了試驗場.陳啟歡認為中國股票市場大體符合自由度為5～9的t分布［9］.王新宇和宋學峰對中國滬深股市收益的統計分布特征和市場風險規律進行了定量比較研究，分別采用穩定分布、漸近Pareto分布和截斷Levy分布擬合中國股票市場收益統計分布，實證研究發現中國股市收益分布的中間部分適合用穩定分布描述，分布的尾部適合用尾部指數大于2的漸近Pareto分布描述［10］.都國雄和寧宣熙根據上證綜指和深證成指在此前7年中不同時間標度的高頻數據，對收益的波動特性進行了實證分析，發現收益的概率分布不僅具有明顯的尖峰胖尾特征和標度不變性，而且遵循漸近冪律特性，穩定分布較好地描述了分布的中間區域，其特征指數表明價格波動具有非線性分形特征［11］.黃德龍和楊曉光利用scaled-t分布、logistic分布、指數冪分布和GARCH-M模型等對滬深股指收益數據分布進行擬合，認為scaled-t分布可以較好模擬股指收益分布［12］.用t分布、對稱Levy分布等代替正態分布描述具有尖峰厚尾的統計量分布以及建模中的誤差項分布是目前比較好的選擇，但仍然是屬于經驗主導的選擇.

1.2 混合分布模型

在工程計算和價值評估中由于不同信息的到達時間以及對統計量的影響程度不同，同分布的假設往往不滿足，人們需要異質性的分布刻畫.混合分布模型就是一個自然的結果.混合模型通常由2個分布構成，其中一個為正態分布，描述統計量的分布形式，另一個分布則描述干擾項的波動情況，控制正態分布方差的變動.由于在不同時間長度上信息的到達是不均勻的，因此在不同時刻，方差的分布很可能就不同，混合模型的形式也就不同.研究者探索了大量的混合模型，Press構造的復合事件模型起到了引領作用［13］.Praetz研究了正態分布方差服從Gamma-2分布的情況，他證明在這種情況下收益率服從 t分布［14］.Blattberg與Gonedes研究了正態分布方差服從特征指數小于1的嚴格正的漸進Pareto分布的情況，此時收益率服從對稱的漸進Paretian分布，且特征指數小于2［15］.由于Gamma-2分布與特征指數小于1的嚴格正的漸進Pareto分布都是非對稱有偏分布，因此這2類模型都較好地刻畫了信息到達的不均勻特征，特別刻畫了外部沖擊所引起的統計量較大變動.

通過以上文獻分析可以看出，采取分析統計量形成機理從而確定對應的統計分布，具有堅實的理論基礎，但是難以滿足良好的統計特性;使用現有函數擬合經驗數據的方法獲得統計分布，有較好的精確度，但是缺乏堅實的理論依據.在長期探索之后，人們又開始關注經典的由正態分布的線性組合所構成的混合正態分布.

2 非正態分布的正態逼近

正態分布以其簡潔、參數線性和清晰的統計理論依據而得到最為廣泛的認可，任何一種偏離正態分布的具有非對稱、尖峰后尾性質的分布都是依某種程度對于正態的扭曲.從標準函數空間逼近其他函數的思想出發，能否選擇一個恰當數量的正態分布的線性組合來逼近一個非正態分布，這可能是選擇其他非正態分布的最為簡潔的替代.而有限混合正態分布自19世紀被提出后，在工程領域有著一定程度的應用，但是缺乏統計理論支持.近年來混合正態分布的應用有了新的進展，趙希男和崔海波針對上證指數和深圳成分指數采用2個正態分布加權的混合辨識模型，運用5階矩估計和均方誤差最小化迭代方法確定權重分配，并運用柯爾莫哥洛夫優度檢驗判定二元混合辨識的統計效果［16］.隨著計算機的出現和發展，對混合正態分布參數估計的研究緊密結合Dempster等人的最大期望(EM)算法，獲得了新的估計方法［17］.熊明和謝民育給出了均值混合正態分布的估計方法［18］.Caudill針對混合正態分布的受限回歸模型給出了部分自適應估計［19］.

考慮到有限混合正態分布的簡潔性，借鑒泰勒級數和傅里葉級數的逼近思想，本文提出替代非正態分布選擇的新思路:選擇若干個正態分布的凸組合而形成的有限混合正態分布在極大似然估計意義下逼近所考慮的狀態分布.從統計上講，極大似然估計是概率意義下的最優化選擇，這就從統計理論上支持了非正態分布的正態逼近.

3 基于極大似然參數估計的EM算法

下面從有限混合正態分布的概念開始，順序給出有限混合狀態分布及其參數的極大似然估計的EM算法.

3.1 有限混合正態分布

假定X為一隨機變量，其概率密度為

則式(1)的分布密度的參數形式為

其中權重要保證密度函數的積分等于1.

3.2 有限混合正態分布參數的極大似然估計

給定總體，抽取樣本為n的簡單隨機樣本，X1，X2，…，Xn，其樣本似然函數為

用極大似然法估計的參數為

3.3 參數極大似然估計的EM算法

EM算法是分E(期望)步和M(極大化)步兩個步驟的迭代運算.

1)E步.給定參數向量初值:

則在初值條件下樣本 X1，X2，…，Xn中 Xi∈N(μ(0)j，σ2(0)j)的后驗概率為

3.4 正態逼近成分分布數目k的確定

EM迭代中成分分布數目k的確定是關鍵環節.對一個確定的k來講，EM迭代除了給出所估計的參數外，還給出相應的對數似然函數值l().赤池準則(AIC，Akaike Information Criterion)根據最大熵原理得出了極大似然函數與熵之間的關系.根據這個關系，在有限混合正態分布參數的極大似然估計中，確定k使AIC準則AIC=-2l()+2N(k)最小，其中N(k)是所估計參數的數目.

但是考慮到極端情形的覆蓋程度，本文提出覆蓋性準則:計算每一個混合正態分布的經過標準差調整的最大均值與相應權重的乘積減去經過標準差調整的最小均值與相應權重的乘積，稱之為“覆蓋寬度”，選取最大覆蓋寬度的混合正態分布作為原始分布的正態逼近.

4 實證案例

下面選擇北美股市的綜合股指MSCI_NA從2006年2月到2011年1月的日度數據，進行收益率分布的正態逼近.MSCI全球指數，是摩根士丹利資本國際公司(Morgan Stanley Capital International)所編制的覆蓋全球的使用廣泛的權威證券指數.所選擇的時間段覆蓋了2008年全球金融危機的前后時間，具有代表性.

采用混合正態分布對于經驗分布做逼近.根據上面介紹的EM迭代算法，用Matlab實現.正態逼近的支數(成分分布個數)最大取到11.覆蓋寬度的結果如表1所示.覆蓋寬度在經過權重調整前，最大覆蓋寬度的逼近支數為7，而經過權重調整后的最大覆蓋寬度的逼近支數為5.因此最佳逼近的參數如表2所示.

表1 混合正態分布覆蓋寬度

表2 基于最大覆蓋寬度的正態逼近參數

圖1 5支混合正態分布逼近的分布密度

5支混合正態分布的分布密度如圖1所示.根據最小AIC準則的逼近選擇為2支混合正態分布，5支混合正態分布的擬合效果優于通常的2支效果.另外，在實驗中與主要非正態分布的擬合相比，正態逼近方法具有估計時間短、方法統一并適用正態情形的理論框架的優勢.

5 結論

針對涉及統計數據建模的工程與價值分析中復雜的分布選擇問題，結合混合正態模型的實踐，本文提出非正態分布的正態逼近的思路，并在EM算法中提出最大覆蓋寬度的定階原則.實證結果驗證了方法的可行性.今后研究的重點應放在分布逼近的穩健性評價與控制準則上，以滿足復雜情形對于估計有效性的要求.

References)

［1］ Kim Y S，Rachev S T，Bianchi M L，et al.Financial market models with levy process and time-varying volatility［J］.Journal of Banking ＆ Finance，2008，32(7):1363-1378

［2］ Longin F.The asymptotic distribution of extreme stock market returns［J］.Journal of Business，1996，69(7):383-408

［3］ Nolan J P.Stabledistributions:models for heavy-tailed data［M］.Verlag:Birkhauser，2003

［4］ Mantegna R N，Buldyrev S V，Goldberger A L，et al.Linguistic features of noncoding DNA sequences［J］.Physical Review Letters，1994，73(23):3169-3172

［5］ Koponen Ismo.Analytic approach to the problem of convergence of truncated Lévy flights towards the Gaussian stochastic process［J］.Phys Rev E，1995，52:1197-1199

［6］ Gupta H M，CampanhaJ R.The gradually truncated Lévy flight for systems with power-law distributions［J］.Physica A:Statistical Mechanics and Its Applications，1999，268(1):231-239

［7］ Matsushita R，Rathie P，Silva S D.Exponentially damped Lévy flights［J］.Physica A:Statistical Mechanics and Its Applications，2003，326(3):544-555

［8］ Gleria I，Figueiredo A，Matsushita R，et al.Exponentially damped Lévy flights，multiscaling and slow convergence in stock markets［J］.Physica A:Statistical Mechanics and Its Applications，2004，342(1):200-206

［9］陳啟歡.中國股票市場收益率分布曲線的實證［J］.數理統計與管理，2002，21(5):9-11 Chen Qihuan.The curve of stock market yield in China［J］.Journal of Application of Statistics and Management，2002，21(5):9-11(in Chinese)

［10］王新宇，宋學峰.擬合中國股票市場收益的統計分布［J］.系統工程理論與實踐，2006(12):40-46 Wang Xinyu，Song Xuefeng.A study on describing the statistical distribution of returns in Chinese stock markets［J］.Systems Engineering-Theory ＆ Practice，2006(12):40-46(in Chinese)

［11］都國雄，寧宣熙.我國股市收益概率分布的統計特性分析［J］.中國管理科學，2007，15(5):16-22 Du Guoxiong，Ning Xuanxi.Statistical properties of probability distributions of returns in Chinese stock markets［J］.Chinese Journal of Management Science，15(5):16-22(in Chinese)

［12］黃德龍，楊曉光.中國證券市場股指收益分布的實證分析［J］.管理科學學報，2008，11(1):68-77 Huang Delong，Yang Xiaoguang.Empirical study on distributions of stock index returns in China’s securities market［J］.Journal of Management Sciences in China，2008，11(1):68-77(in Chinese)

［13］ James S.A compound events model for security prices［J］.The Journal of Business，1967，40(3):317-335

［14］ Praetz P.The distribution of share price changes［J］.Journal of Business，1972，45(1):49-55

［15］ Blattberg，R C，Nicholas J G.A comparison of the stable and student distributions as statistical models for stock prices［J］.Journal of Business，1974，47(2):244-280

［16］趙希男，崔海波.確定金融資產收益率分布形式的一種方法［J］.數量經濟技術經濟研究，2004(9):56-63 Zhao Xi'nan，Cui Haibo.A kind of methods to determining return distributions of financial assets［J］.Quantitative ＆ Technical Economics，2004(9):56-63(in Chinese)

［17］ Dempster，Nan Laird，Donald Rubin.Maximum likelihood from incomplete data via the EM algorithm［J］.Journal of the Royal Statistical Society:Series B，1977，39(1):1-38

［18］熊明，謝民育.均值混合正態分布統計量的性質［J］.數學物理學報，2009(3):685-690 Xiong Ming，Xie Minyu.The properties of the mean-mixture of normal distribution［J］.Acta Mathematica Scientia，2009(3):685-690(in Chinese)

［19］ Caudill S B.A partially adaptive estimator for the censored regression model based on a mixture of normal distributions［J］.Statistical Methods and Applications，2012，21:121-137