基于EM算法實現混合密度極的大似然參數估計

鄒小云

（湖北職業技術學院，湖北 孝感 432000）

基于EM算法實現混合密度極的大似然參數估計

鄒小云

（湖北職業技術學院，湖北 孝感 432000）

在介紹極大似然估計與EM算法的基礎上，探討了基于EM算法的兩混合正態分布極大似然參數估計，并舉例說明了若干經典場合的極大似然估計的算法.

極大似然估計；EM算法；似然函數；參數估計

極大似然估計參數也稱為最大概似估計，這就是一種概率論在統計學中的應用，同時也是參數估計的方法，它用來求一個樣本集的相關概率密度函數的參數.其主要意思就是已知某隨機樣本滿足某種概率分布，但其中具體參數還不確定，參數估計就是通過很多次反復的試驗，看其結果，利用它的結果推算出參數的大概值.極大似然估計就是建立在這種思想上：已知某個參數能使這個樣本出現的概率最大，我們自然就不會再去選擇其他小概率的樣本，所以就把這個參數作為估計的真實值，這種算法就是EM的模型.付淑群給出了《EM算法正確收斂性的探討》的文章；李述山給出了《兩混合分布的一種參數統計方法》[1]的文章；楊珂玲,韓惠芳給出了《兩混合正態分布的參數統計方法》[2]的文章.本文在介紹一般極大似然估計法和EM算法的基礎上，綜述了文獻[1],[2],[3]的結果，并給出了幾個極大似然估計算法的實例.

1 極大似然估計

定義1[4]設總體X的概率函數為f(x|θ)，其中θ={θ1,…, θm}為未知參數，θ∈Θ.設x=(x1,…,xN)，是來自X的簡單隨機樣本，令

稱作為θ的函數L(θ|x)為似然函數.

定義2[4]在定義1的記號下,若(x)是θ的一個估計量，滿足條件

概率函數大都具有指數函數的形式，采用似然函數的對數求解通常更加簡便.稱

為對數似然函數.因為對數變換是嚴格單調的，所以lnL (θ|x)與L(θ|x)在求極大值的時候是等價的.因此通常將(1.3)式分別對θi求偏導，并令期值為零，得到似然方程組如下:

按上面介紹的思想又會存在一些問題：對于很多具體情況不能構造似然函數解析表達式，或似然函數表達式過于復雜，導致求解方程組(1.4)很困難.必須借助其它方法，其中EM算法就是在實際應用中的一種廣泛且有效方法.

2 極大似然估計的算法

2.1 常規算法

通過對似然函數L(x|θ)或對數似然函數lnL(x|θ)求導而得到似然方程

得似然方程的解，驗證其解從而得極大似然估計.

一般說來，我們并不要求似然函數一定關于θ可微，如果它關于θ可微，則往往用求似然方程的根來求解θ的M L E.要指出的是似然方程的根不一定是MLE，反過來，似然方程若無根，也可能有M L E存在.

2.2 極大似然估計的EM算法

2.2.1 EM算法

EM算法主要應用在缺失數據條件下的參數估計，是進行極大似然估計時的一種有效方法.根據EM算法的特點，我們可以在觀測數據的基礎上添加一些“潛在數據”，從而簡化計算過程，完成一系列簡單的極大化或者模擬.

假設Y為服從某一分布的非完全觀測數據，Z為缺失數據，則完全數據X=(Y,Z)，由乘法公式，X的概率函數f(x|θ)與Y的概率函數f(y|θ)及Z的概率函數f(z|θ)的關系為

由(1.5)式給出的X,Y,Z概率函數之間的關系，可以得到新的函數

則稱此函數為完全數據X的似然函數，但是由于隱變量未知，導致似然函數L(θ/X)是隨機的，并且由Z決定，這樣我們用不完全數據Y來估計參數θ的極大似然估計準則如下：

EM算法第一步(E-step)是給定觀測數據Y和當前參數估計初值，來計算完全數據對數似然函數lnf(Y,Z|θ)，關于未知數據Z的條件期望，定義對數似然函數的期望

其中θ(i)為已知當前的參數估計值.在(1.7)式中Y和θ(i)都為常數，θ為待優化參數，Z為隨機變量，并且假設它服從某一分布f(z|Y,θ(i))，因此(1.7)式可寫作為

其中f(z|Y,θ(i))是未知數據Z的邊緣分布的密度函數，且依賴于觀測數據Y和當前參數θ(i)，D為Z的取值空間.由乘法公式可得

由于f(y|θ(i))與θ無關，因此在實際過程中f(z,Y|θ(i))用來代替f(z|Y,θ(i))并不影響(1.8)式中似然函數的最優化.

EM算法第二步(M-s t e p)：最大化期望Q(θ,θ(i))，即找到一個θ(i+1)使之滿足

如此進行依此迭代θ(i)→θ(i+1)，將上述E步和M步進行迭代下去直到||θ(i)-θ(i+1)||或Q(θ,θ(i+1))-Q(θ,θ(i))充分小為止.

2.2.2 混合正態分布參數極大似然估計的EM算法

下面我們就兩混合正態分布參數的極大似然估計問題來證明極大似然估計的EM算法

設觀測樣本X=(x1,x2,…,xN)是從兩正態混合密度

(其中θ=(α1,θ1,θ2),α1+α2=1且f1,f2為正態分布的密度函數,θ1, θ2為分布參數)的總體中獨立抽取的，則觀測樣本的對數似然函數表達式為

下面就于EM算法來求解兩混合正態密度的極大似然估計.

假設Y為觀測數據，Z為遺失數據，則完全數據X=(Y, Z).因為遺失數據Z未知，假定Z為隨機變量，所以要確定Z的分布

則Zj=(Z1j,Z2j)T,Xj=(Yj,ZjT).

在一次觀測中，有兩種結果，每種結果的概率為α1,α2，所以

Zj～，其中Z1,Z2,…ZN獨立同分布，從而

則完全數據的對數似然函數為

其中Yobs指Y的觀測數據，θ(k)表示當前參數，令

M步：極大化Q(θ,θ(k))，并用極大值點處的θ代替θ(k)作為下一輪循環的迭代的初始值，在極大化(1.1 7)式時只需要極大化含αi和θi的項即可.為了估計αi我們可引入拉格朗日乘法，約束條件為.故

兩邊分別對αi,θi,λ求偏導.解方程組可得

假如混合分布中的兩部分為d維多元正態分布，則概率密度函數為

把(1.2 0)代入(1.1 7)中，忽略與θi無關的項得

對上式關于μi求偏導并令其為0得：

我們改寫(1.2 1)式得

因此一次過程由式(1.19)，(1.22)，(1.24)實現.

將求得的參數值θ(k+1)代替θ(k)開始下一輪迭代，將最終收斂到極大似然估計值代入對數似然方程，即可獲得對數似然函數的極大值.

3 若干經典場合的極大似然估計的算法

例1 設X1,…,Xn是來自B(1,θ)的一個樣本，0<θ<1.求參數θ的極大似然估計.

解 因為P(X=k)=θk(1-θ)1-k,k=0,1，所以θ的似然函數為

對數似然函數為

例2 設X1,…,Xn為取自Poisson分布P(λ)總體的簡單隨機樣本，求參數λ的極大似然估計.

解 因為似然函數為

所以對數似然函數為

易驗證l"(λ|x)<0,所以上式中的λ^即為l(λ|x)唯一的最大值點，即為λ的極大似然估計.

例3 (定數截尾壽命實驗)設某種電子元件，由于種種隨機因素的干擾，其壽命不同，抽取n個作試驗，設元件壽命的分布為

指定一個時刻T>0.實驗進行到全部抽出的n個元件都失效，或到時刻T為止.記Xi=元件i的壽命或T，視元件在時刻T時已失效或否而定，要由X1,…,Xn作λ的極大似然估計.

若xi

對數似然函數為

似然方程的根為

這λ即為的極大似然估計.

在以上的例子中,許多常用的分布如正態分布,Bernoulli分布,Poisson分布等其參數的極大似然估計和矩估計是一致的,但也有許多情況如均勻分布,其參數的極大似然估計和矩估計并不同,而進一步比較往往是極大似然估計有更多的優良性,對于許多估計問題,求極大似然估計或似然方程的解,往往無法得到明顯的表達式,所以在實際數據分析中常用的做法是用各種最有化算法求得極大似然估計的值,其中EM算法就是極大似然估計的一種有效方法.

〔1〕付淑群.EM算法正確收斂性的探討[J].汕頭:汕頭大學學報,2002.1～12.

〔2〕李述山.兩混合分布的一種參數統計方法[J].山東輕工業學報,1999.73～77.

〔3〕楊珂玲,韓慧芳.兩混合正態分布的參數估計方法[J].黃岡師范學院學報,2006.16～19.

〔4〕陳希孺.數理統計引論[M].北京:科學出版社,1988.55～56.

〔5〕茆詩松,王靜龍,濮曉龍.高等數理統計[M].北京:高等教育出版社,2006.115～116.

O212

A

1673-260X（2013）12-0008-03