基于期望最大算法的高斯混合模型參數(shù)估計(jì)

余瑞艷

(長(zhǎng)江大學(xué)一年級(jí)教學(xué)工作部，湖北 荊州 434023)

基于期望最大算法的高斯混合模型參數(shù)估計(jì)

余瑞艷

(長(zhǎng)江大學(xué)一年級(jí)教學(xué)工作部，湖北 荊州 434023)

高斯混合模型(GMM)已在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛應(yīng)用，對(duì)于該GMM模型中各項(xiàng)參數(shù)的估計(jì)依然是一件值得研究的問(wèn)題。采用期望最大算法(EM)來(lái)估計(jì)該模型對(duì)應(yīng)的多參數(shù)，并給出其詳細(xì)的推導(dǎo)過(guò)程。試驗(yàn)結(jié)果表明，EM算法在估計(jì)GMM模型中各項(xiàng)參數(shù)時(shí)具有很強(qiáng)的魯棒性，并取得了很好的效果。

期望最大算法；高斯混合模型；估計(jì)

在圖像處理(image processing)和計(jì)算機(jī)視覺(jué)(computer vision)領(lǐng)域，常利用自然圖像的統(tǒng)計(jì)模型將對(duì)應(yīng)的問(wèn)題轉(zhuǎn)化為圖像的Bayes估計(jì)問(wèn)題，正確的圖像統(tǒng)計(jì)模型可作為先驗(yàn)知識(shí)或約束項(xiàng)來(lái)增強(qiáng)該問(wèn)題估計(jì)過(guò)程中的魯棒性。近年來(lái)，拉普拉斯先驗(yàn)(Laplacian Prior)模型與超拉普拉斯先驗(yàn)(Hyper-Laplacian Prior)模型已被廣泛應(yīng)用于自然圖像梯度分布的統(tǒng)計(jì)分析[1-3]，并取得了很好的應(yīng)用效果。2006年，F(xiàn)ergus采用高斯混合模型(Gaussian Mixture Model, GMM)來(lái)擬合自然圖像的先驗(yàn)分布，有效地解決了運(yùn)動(dòng)模糊圖像的盲復(fù)原問(wèn)題[4]。進(jìn)一步地，GMM模型在理論與實(shí)際應(yīng)用上得到了廣泛的應(yīng)用[5-10]。雖然GMM模型在眾多工程領(lǐng)域得到了廣泛的研究，且基于GMM模型的數(shù)學(xué)方法取得了很好的應(yīng)用。但GMM模型中需估計(jì)的多參數(shù)限制了該模型在實(shí)際問(wèn)題中的應(yīng)用，因此對(duì)于GMM模型中的多參數(shù)估計(jì)是值得研究的問(wèn)題。下面，筆者將采用期望最大算法(Expectation Maximization Algorithm, EM)來(lái)估計(jì)對(duì)應(yīng)GMM模型中的多參數(shù)，并利用實(shí)際案例來(lái)檢驗(yàn)EM算法在GMM模型中的有效性。

1 高斯混合模型

高斯混合模型(GMM)是由C個(gè)單一的高斯模型N(x|μ,?)構(gòu)建而成，參數(shù)C依實(shí)際情況而定：

(1)

假設(shè)不完全數(shù)據(jù)(incomplete data)x中的每個(gè)概率密度函數(shù)分量pc(x|μc,?c)服從d維高斯分布：

(2)

2 GMM參數(shù)估計(jì)中的EM算法

式(1)中不完全數(shù)據(jù)x的對(duì)數(shù)似然函數(shù)(log-likelihood expression)[11]為：

(3)

式中，“子集核”θc?Θ。對(duì)含log的式(3)難以?xún)?yōu)化求解，為此引入一組指示函數(shù)y={y1,y2,…,yN}：{yi=k|xi屬于第k個(gè)單一高斯模型},且滿(mǎn)足yi∈{1,2,…,C}。此時(shí)對(duì)數(shù)似然函數(shù)(3)可轉(zhuǎn)化成：

(4)

的優(yōu)化求解。由Bayes公式，有:

根據(jù)基本EM算法中的“E-步驟”[11]，式(4)又可轉(zhuǎn)化成如下問(wèn)題的求解:

(5)

根據(jù)概率密度函數(shù)分量pc(x|μc,?c)的定義，對(duì)其兩邊取自然對(duì)數(shù)，忽略其中的常數(shù)項(xiàng)，并與式(6)聯(lián)立起來(lái)，有：

(7)

在有效估計(jì)期望μc的基礎(chǔ)上，接下來(lái)估計(jì)方差?c，此時(shí)式(7)可重新改寫(xiě)成：

(8)

式中，矩陣的跡tr(·)表示成對(duì)應(yīng)矩陣的特征值之和，且Nc,i=(xi-μc)(xi-μc)T。

綜上所述，估計(jì)高斯混合模型(GMM)中各項(xiàng)參數(shù)的EM算法為：

圖1 概率統(tǒng)計(jì)直方圖與GMM擬合曲線(xiàn)

3 試驗(yàn)結(jié)果及分析

例1假設(shè)一高斯混合模型的函數(shù)表達(dá)式為：

GMM=0.3Ν(1,1)+0.7N(1,9)

(9)

其對(duì)應(yīng)的概率統(tǒng)計(jì)直方圖如圖1所示。

利用筆者介紹的EM算法，得到GMM模型(9)中各參數(shù)的估計(jì)值，如表1所示。由表1中數(shù)據(jù)可以發(fā)現(xiàn)，利用筆者介紹的EM算法可以很好地估計(jì)了GMM模型中的各項(xiàng)參數(shù)，其對(duì)應(yīng)的擬合曲線(xiàn)較好地逼近了真實(shí)的概率分布情形(見(jiàn)圖1)。

4 結(jié) 語(yǔ)

表1 GMM模型中的各參數(shù)的估計(jì)值

高斯混合模型(GMM)已被廣泛地應(yīng)用地圖像處理領(lǐng)域，并取得了令人滿(mǎn)意的效果。但對(duì)于GMM模型中對(duì)應(yīng)參數(shù)的估計(jì)，依然是一個(gè)值得繼續(xù)探討的問(wèn)題。筆者給出了估計(jì)GMM模型中各項(xiàng)參數(shù)(權(quán)重、期望與方差)的期望最大算法EM，推導(dǎo)了其詳細(xì)的計(jì)算過(guò)程。并基于1個(gè)實(shí)際案例，驗(yàn)證了EM算法在估計(jì)GMM模型中各項(xiàng)參數(shù)的有效性和魯棒性，為GMM模型在圖像處理中的進(jìn)一步應(yīng)用奠定了基礎(chǔ)。

[1]Levin A.Blind motion deblurring using image statistics[C]//Proceedings of Advances in Neural Information Processing Systems, 2006, 19: 841-848.

[2]Levin A, Fergus R，F(xiàn)reeman W T.Image and depth from a conventional camera with a coded aperture[J] .ACM Transactions on Graphics, 2007, 26(6): 70-77.

[3]劉文, 吳傳生, 呂琪.含噪徑向模糊圖像的復(fù)原算法研究[J].武漢理工大學(xué)學(xué)報(bào), 2011, 33(4): 139-143.

[4]Fergus R, Singh B, Hertzmann A, et al.Removing camera shake from a single photograph[J] .ACM Transactions on Graphics, 2006, 25(3): 787-794.

[5]劉文.空間變化運(yùn)動(dòng)模糊圖像的復(fù)原算法研究[D].武漢: 武漢理工大學(xué), 2011.

[6]李明, 趙勛杰.改進(jìn)的基于高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用, 2011, 47(8): 204-206.

[7]何信華, 趙龍.基于改進(jìn)高斯混合模型的實(shí)時(shí)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[J].計(jì)算機(jī)應(yīng)用研究, 2010, 27(12): 4768-4771.

[8]Hammond D K, Simoncelli E P.Image denoising with an orientation-adaptive Gaussian scale mixture model[C]//Proceedings of IEEE International Conference on Image Processing, Atlanta: IEEE Computer Society, 2006:1433-1436.

[9]Permuter H, Francos J，Jermyn I.A study of Gaussian mixture models of color and texture features for image classification and segmentation[J].Pattern Recognition, 2006, 39(4): 695-706.

[10]熊彪, 江萬(wàn)濤, 李樂(lè)林.基于高斯混合模型的遙感影像半監(jiān)督分類(lèi)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2011, 36(1): 108-112.

[11]Mitchell T M.Machine learning[M].New York: The McGraw-Hill Company, 2002.

[編輯] 洪云飛

10.3969/j.issn.1673-1409(N).2012.11.005

TP301 6

A

16731409(2012)11N01203