EM算法下的快速收斂參數(shù)預(yù)估策略

蘇嘉庚

EM算法又稱為期望最大化算法，是求參數(shù)極大似然估計的一種迭代優(yōu)化策略，優(yōu)勢非常明顯，簡單、收斂，但是也存在缺點，為實現(xiàn)快速受限參數(shù)預(yù)估，需要對EM算法最初改進，研究中重點分析EM算法下快速收斂參數(shù)估計策略相信隨著研究不斷深入，EM算法將會得到更大的改進。

【關(guān)鍵詞】EM算法 收斂參數(shù)估計 收斂速度

在通信中，快速可靠的同步參數(shù)估計是關(guān)鍵步驟之一，EM算法是一種求解參數(shù)最大似然估計的迭代算法，EM算法收斂速度與缺失數(shù)據(jù)的信息量有關(guān)，在每次迭代后健概率密度函數(shù)值均能夠得到提高，本文分析EM算法下快速收斂參數(shù)預(yù)估策略。

1 EM算法收斂速度

EM算法最大優(yōu)點在于收斂穩(wěn)定，，在吉布斯不等式中l(wèi)og（x）0，f（x）=g（x），H（f/g）=-∫f（x）dx+∫g（xdx），只有f（x）與g（x）相等時，式子才會成立。

EM算法估計序列設(shè)定為{θ（k）}，log（p（x）lθ（k+1））≥log（p（x）/θ（k）），已知Q（θlθ（k）=∫[logp（z/θ] p（y/x，θ（k）dy，由Bayes統(tǒng)計先驗函數(shù)關(guān)系式p（z/θ）=p（x/θ）p（y/x，θ），θ在分布均勻情況下，能夠觀測到X密度，logp（z/θ）給定觀測到的數(shù)據(jù)后密度，log（p（zlθ））+C=log（p（xlθ））+log（P（ylx，θ））+C，log（p（zlθ）=Z（θ）+log ho（Y），得到l（θ）=Q（θ/θ（k）-∫[loghθ（Y）]hk（Y）dy，M極大化，Q（θ（k+1）/θ（k），X）=maxθQ（θ/θ（k），X），可以看到Q一直都在增大。∫log[hk（Y）/hk+1（Y）]hk（Y）dy>0。EM算法在E與M交替運算下，可以認(rèn)為估計參數(shù)序列收斂到似然估計。在每次迭代中，計算似然函數(shù)，選擇函數(shù)最大化θ（k+1）代替θ，構(gòu)成標(biāo)準(zhǔn)EM算法。

EM算法映射了一個映射函數(shù)，如果收斂到映射的一個不動點，θ（k+1）一θ≈Φ（θ（k） （θ（k）-θ*），如果P=1算法線性收斂。迭代算法收斂率與矩陣最大特征跟有關(guān)，收斂速度與缺失信息比例量有關(guān)。

2 EM算法改進

EM算法執(zhí)行算法能夠達(dá)到似然函數(shù)最優(yōu)質(zhì)的，適應(yīng)性和可操作性都較強，為了使其更好的適用于多個領(lǐng)域，EM算法進行了多個方面的改進。在E步算法改進中，假設(shè)第i此迭代開始已經(jīng)有了估計值，從b（x1，pi）中抽取隨機數(shù)，計算Q函數(shù)，Q（θ/θ（i））=（x1+x4-y）logθ+ （x2+x3）log（1-θ）.在M步中，θ（i+1）=（159-y）/（197-y），采用Matlab編程實現(xiàn)ECEM算法，結(jié)果與EM算法估計結(jié)果想接近，m值過大時，計算速度下降。

在M法算法改進中， 為避免出現(xiàn)迭代M步，采用簡單條件來代替M不，計算函數(shù)Q極值，設(shè)計簡單優(yōu)化問題，在每一次CM步中增加函數(shù)，為保證算法的收斂性，需要保證每一次循環(huán)都搜索函數(shù)最大值點，保證EM的收斂性。迭代算法收斂率與矩陣最大特征值類似，隨著缺失信息比例的增加，收斂速度下降。ECM算法迭代速度與EM相接近，但是考慮到迭代次數(shù)，ECM算法要更快。根據(jù)ECM算法理論，因此需要選擇約束條件，將自然將θ分成S個子向量，在8個CM步下求函數(shù)Q極值，這種策略就是迭代條件模式。

3 快速收斂參數(shù)估計方法

提出基于EM算法迭代中，用符號后驗概率，修正虛高先驗概率，降低缺失數(shù)據(jù)熵，降低參數(shù)估計CRB，并進行驗證。信號模型為r（t）=s（t，b）+n（t），令b=[r0，r1，r2，…，rk-1]，忽略待估計b不相關(guān)項，數(shù)似然函數(shù)lnp（r/a，b）=-2Re{ΣakYk（v，t）e-jθ}+Σak2。EM算法收斂速度屬于現(xiàn)行的估計誤差在e（i+1）r=C（r）ei（r），缺失數(shù)量越小，迭代誤差越小，因此C（r）=I（r）Im（r），式子兩邊取條件期望，得到平均誤差，Er/b[e（i+1）（r）]=McEr/b[e（i）（r）]，式中Mc為收斂速度。EM收斂到ML估計值平均毒素與函數(shù)有關(guān)，Mc在[0，1]之間。由于a、b相互獨立，CRB-1（b）=-[∫p（r，a/b）б2logp（r，a/b）drda/бb2]=MCRB-1（b），隨著CRBr（b）的降低，Mc越小參數(shù)估計平均誤差變小，降低CRBr（b）能夠加快收斂速率。利用符號后驗證得到CRB精確表達(dá)式，由于待估參數(shù)b與缺失數(shù)據(jù)以概率和估計值的行賄出現(xiàn)，隨著估計值的準(zhǔn)確，符號后驗概率也更加精確。

定義符號后驗概率Ckm=p（a=am/b），表示m個星座點概率，設(shè)定Φ={Ckm，b}，對于Ckm，定義為Q/=Q1+λ（∑Ck，m-1），求偏導(dǎo)，бQ//бCk，m=p（a=am/r，bi-1）/c/k，m=0，將符號后驗概率看做未知參數(shù)，得到c/km=p（a=am/r，bi-1），修正方法不會概念其性質(zhì)，仍然收斂，修正后對EM算法性能沒有影響。

性能仿真中，以數(shù)字接受QPSK載波估計為例，觀測模型rk=akejθ+vk，k=0，1，2，…，N-1，式中ak為QPSK信號，N為觀察數(shù)據(jù)長度，通過讀好后驗概率比較未知符號先驗分布和載波相位估計CRB降低香味估計，向DA方式性能逼近。相位估計中，考慮未編碼QPSK信號，符號長度1000，比較相位估計MCRB與先驗概率勻后相位估計標(biāo)準(zhǔn)，結(jié)果表明，性能沒有變化，在Eb/E0>/kb時，香味估計標(biāo)準(zhǔn)差在10-3以內(nèi)，接近MCRB，可以看出EM算法能夠滿足突發(fā)模式需求。SNR=10dB，初始相偏∏/4，仿真表明，修正先驗概率時收斂速度顯著得到提高。

4 結(jié)語

綜上所述，本文研究中通過EM算法迭代中用符號后驗概率修正符號先驗概率，降低缺失數(shù)據(jù)對參數(shù)的影響，仿真結(jié)果顯示本文估計方法估計性能沒有下降，收斂速度得到提高，能夠用于突發(fā)數(shù)據(jù)的同步參數(shù)估計。

參考文獻

[1]邢長征，苑聰.一種快速、貪心的高斯混合模型EM算法研究[J].計算機工程與應(yīng)用，2015，51（20）：111-115.

[2]劉波.基于EM的突發(fā)通信參數(shù)估計技術(shù)研究[D].鄭州：解放軍信息工程大學(xué)，2009.

[3]王戈，于宏毅，沈智翔等.一種基于EM算法的快速收斂參數(shù)估計方法[J].吉林大學(xué)學(xué)報：工學(xué)版，2013，43（02）：532-537.

作者簡介

蘇嘉庚（1986-），男，河北省石家莊市人。CCF會員，碩士研究生/助教，2014年畢業(yè)于河北師范大學(xué)數(shù)信學(xué)院。研究方向為主要研究方向為數(shù)據(jù)挖掘、智能信息處理。

作者單位

石家莊郵電職業(yè)技術(shù)學(xué)院 河北省石家莊市 050021