基于高斯混合模型和Ｒｅｎｙｉ熵的圖像分割方法
2009-01-01 00:00:00黃金杰蓋光建
計算機應用研究 2009年4期
(哈爾濱理工大學 自動化學院，哈爾濱 150080)
摘 要：采用高斯混合模型（GMM）來估計圖像灰度值的空間坐標概率分布，再在二階Renyi熵的基礎上構造目標熵函數，在圖像灰度范圍內搜索各個灰度級別的坐標集合，使此目標熵函數最大的灰度值作為最佳分割閾值。實驗結果表明此方法對圖像分割的精度較高，適應性較好，具有較穩定的性能。
關鍵詞：高斯混合模型；Renyi熵；閾值函數；圖像分割
中圖分類號：TP391文獻標志碼：A
文章編號：1001-3695(2009)04-1541-03
Image segmentation approach based on GMM and Renyi entropy
HUANG Jin-jie，GAI Guang-jian
(College of Automation， Harbin University of Science Technology， Harbin 150080， China)
Abstract:This paper firstly used the Gaussian mixture models to estimate the spatial probability distribution of image gray level values， then constructed an object function with Renyi entropy，and searched the best threshold in the scope of gray level to maximize the object function. The results of experiments show that the method has high accuracy， fine adapt ability and more stable performance.
Key words:GMM(Gaussian mixture models); Renyi entropy; threshold function; image segmentation
圖像分割是圖像處理與機器視覺的基本問題之一[1]，是圖像分析和目標識別的重要步驟及技術，其目的是將圖像分成具有某種特征差異的不同區域。目前已經提出了很多種圖像分割方法，它們各自基于不同的圖像模型，利用不同的特性，有各自的適用范圍和優缺點，沒有一種普遍適用的最優圖像分割方法。其中最為簡單和有效的是基于圖像灰度值的閾值分割方法。圖像閾值分割是一種廣泛使用的圖像分割技術，它利用了圖像中要提取的目標與其背景在灰度特性上的差異，把圖像視為具有不同灰度級的兩類區域（目標區域和背景區域）的組合，選取一個合適的閾值，以確定圖像中的每一個像素點應該屬于目標還是背景區域，從而產生相應的二值圖像。閾值分割不僅可以大量壓縮圖像資料，減少存儲容量，而且能大大簡化后面分析和處理的步驟。
如何選取合適的閾值進行有效的分割是分割的關鍵。多年來已經提出了各種各樣的閾值選取方法[2]。其中熵閾值法因實現簡單、性能穩定、具有良好的信息論背景而成為一類典型的閾值選取方法，并在實際中得到了廣泛的應用。近年來，為控制分割中造成的信息損失，在圖像分割的理論與實踐中引入了信息論中最大香農熵、最大交叉熵、最小交叉熵(也稱為相對熵)、Tsallis熵等一些客觀評判依據。但這些方法通常都是用圖像的灰度直方圖來近似估計圖像灰度級的概率密度，計算比較簡單。圖像的灰度直方圖只是描述了各個灰度級出現的頻率，以此來代替概率是不夠精確的，具有較大的估計誤差。
1 GMM與Renyi熵原理
高斯分布即正態分布，是應用最廣泛的連續概率分布，很多隨機變量的概率分布都可以近似地用正態分布來描述。從理論上看，高斯分布具有很多良好的性質，是許多統計方法的理論基礎，許多概率分布可以用它來近似。其表達式為
G(x，μj，Σj)=1/[(2π)d/2|Σj|]exp[1/2(x-μj)TΣ-1j(x-μj)](1)
GMM采用的是多個單高斯分布的線性組合，因此被稱為高斯混合模型，是一種能夠利用已知樣本對總體分布密度函數進行估計的有效的非參數估計方法。其基本思想就是對集合中的每個類別建立一個概率模型，將數據集的個性特征在特征空間的分布抽象為該概率模型隨機產生的結果。表達式為：
P(x，Θ)=Mj=1ωjG(x，μj，Σj)，ωj≥0且Mj=1ωj=1(2)
其中：x表示特征向量；d是特征向量x的維數；Θ是每個高斯密度函數的參數向量集合；狀態均值向量μj是x的元素期望值；方差矩陣Σj代表著特征向量元素的互相關(非對角線項)與方差(對角線項)；ωj是模型中各個高斯密度函數的權重；M是模型中高斯密度函數的數目。
作為概率統計模型，GMM通過高斯概率密度函數的線性加權組合刻畫灰度特征參數的空間統計分布。根據統計理論，用若干個高斯概率密度的線性加權組合可以逼近任意分布。其中，均值參數μ表示每個高斯分布的位置，方差參數σ表示每個高斯分布的范圍，權重參數ω表示每個高斯分布的幅度大小(即分布在該高斯的數據多少)。這樣，一個任意的分布就可以通過GMM模型的M個權重參數、均值和方差和來擬合。一個GMM模型可簡記為Θ=（M，ω，μ，Σ）。
熵的概念最先于1865年由Clausius引入，以孤立系統熵增加定律的形式表達熱力學第二定律。1896年，Bolzm等人把熵與系統的可積微分狀態數聯系起來，說明了熵的統計意義。1948年，Shannon將統計熵概念推廣應用于信息領域，以表示信源的不確定性。1985年，Pal等人引入圖像熵的概念，許多學者通過對Shannon熵的重新定義設計了很多圖像分割算法，在不同的領域取得了比較好的效果。1970年，Renyi在相空間中提出q階廣義熵，其定義式為
Rq=1/（1-q） InN(ε)i=1Pi(ε)q(3)
不難證明，其一階廣義熵即為Shannon熵。設X是一個離散隨機變量，Shannon定義一個有n個狀態的系統的熵為
H（X）=-ni=0Pi log (Pi)(4)
其中：Pi是事件i發生的概率。在信息論中，熵通常作為某信源所蘊涵的信息量的量度，從一個事件獲得的信息量與它發生的概率成反比。它也是不確定性的衡量，不確定性越小，即概率越大，熵越小，信息量越小。在此，H(X)表達了屬性X所包含的信息量的多少。
2 圖像分割算法描述
熵閾值法計算熵需要較好的灰度概率密度函數，才能有效控制選取閾值造成的信息損失。估計圖像的概率密度函數常用圖像的灰度直方圖來近似估計，其計算比較簡單，但具有較大的估計誤差。針對這一問題，本文提出使用GMM來估計圖像的空間概率密度。將GMM用于估計圖像灰度的空間概率密度分布，具體方法如下:
假設f(x，y)是一幅圖像矩陣大小為m×n的灰度圖像， 像素的總個數N=m×n，并假設圖像有L個灰度級，P1，P2，…，PL是各個灰度級的累積概率之和，Cl，C2，…，CL是各個灰度級的像素總數。采用GMM對每一個類灰度級別樣本的密度用GMM模型估計， 對應到圖像中可得到圖像各個灰度級的概率密度估計函數為
P(X)=Mj=1ωjG(X，μj，Σj)=
Mj=1ωj/(2π|Σj|)
exp{1/2[(X-μj)TΣ-1j(X-μj)}(5)
由此可得第k(k=1，2，…，L)級灰度值上所有坐標點的空間累積概率之和為
Pk=Cki=1P(Xki)=Cki=1P(xki，yki)(6)
其中：Xki表示第k灰度級中第i個灰度像素值的坐標向量；xki和yki分別表示第k灰度級中第i個灰度像素值的橫坐標和縱坐標。對于GMM的參數Θ，通常使用EM算法來進行估計[3，4]。
EM(expectation maximization，最大期望)算法采用最大似然值估計的辦法來計算，即首先計算模型的期望值，然后計算參數的最大值。對上述兩步經過反復迭代，直到收斂即可得模型的最佳參數。訓練中，首先設置Θ初始值，估計出一個新的參數Θ′，使得在新的模型下的似然概率p(X/Θ′)≥p(x/Θ)。新的模型參數再作為當前參數進行訓練，這樣迭代運算直至模型收斂。
好的Θ的初始值不僅能加快收斂速度，而且有助于收斂到全局最優點，避免進入局部最優點。使用的K-均值聚類算法可以較簡單地得到各灰度級上所有坐標點的累積概率密度值來作為待估計參數Θ的初值。
使用EM算法訓練GMM估計出每一個灰度值的空間概率分布模型的參數后，得到的概率密度估計參數用于計算圖像Renyi熵。從圖像分析的角度來看式(4)，i是灰度圖像的某一灰度值，Pi是圖像中像素為i的概率。在圖像數據集中，設k為圖像分割最佳閾值，其中小于k的像素為目標區域，灰度值大于k的像素構成背景區域。分界點k的選取就是為了弱化甚至消去灰度值大于k的像素，強化灰度值小于k的灰度值。
按照圖像灰度值k將各灰度級的空間累積概率分布分為目標區域(A類)和背景區域(B類)兩類，定義p0，p1，p2，…，p255為灰度值從0到255的概率分布，從中可以得出目標區域和背景區域的概率分布如下所示［5］:
目標區域：
A:P0/P(A)，P1/P(A)，…，Pk-1/P(A)，P(A)=k-1i=1Pi
背景區域：
B:Pk/P(B)，Pk+1/P(B)，…，P255/P(B)，P(B)=255i=kPiP(A)+P(B)=1
有了目標區域和背景區域像素點的空間概率分布，根據Renyi熵的定義，可以定義圖像的Renyi熵[6]為Ha=1/（1-a）In255i=0(pi)a。其中a(≠1)是一個正實數。因此，圖像的目標區域和背景區域灰度級的空間分布概率相應的Renyi熵就可表示為
HaA(k)=1/(1-a)Ink-1i=0(Pi/P(A))a
HaB(k)=1/(1-a)In255i=k(Pi/P(B))a
整個圖像的Renyi熵為
H(k)=HaA(k)+HaB(k)(7)
H(k)反映了被閾值k分成目標區域和背景區域兩部分之后，目標熵和背景熵之和，從另一個意義來說就是圖像反映的目標和背景分離后的信息量。閾值法的目的就是在最大程度上把目標和背景分開，同時保留圖像的最多細節，即信息量，所以將使H(k)最大時的k作為圖像分割閾值是可行的，且會取得較好效果。即所有灰度值中使式(7)達到最大時的灰度值K，認為是最優閾值。最優閾值可通過式(8)得到
K=arg max[HaA(k)+HaB(k)]=arg max{1/（1-a）× In[k-1i=0(Pi/P(A))a×255i=k(Pi/P(B))a]}(8)
根據文獻［5］可以知道，當a接近1時，灰度值K與使用最大熵方法得到的最佳閾值是一樣的;當a>1時，灰度值K與使用熵的相關性方法得到的最佳閾值是一樣的，即使最大熵法和熵的相關性法都無法得到圖像的最優閾值，那么Renyi熵法也有可能得到最佳閾值。具體的算法描述如下:
a)讀入一幅m×n的灰度圖像f，輸入參數a、M和迭代閾值ε。
b)計算圖像f(x，y)的灰度統計直方圖，得到灰度級數L。
c)定義兩個行向量灰度向量k(1:L-1)，概率向量P(1:L)；遍歷整個圖像，將第i個灰度級的橫坐標保存到行向量Xi，縱坐標保存到行向量Yi中。
d) for i=1:L-1
(a)使用K-均值聚類算法確定每一個灰度級的Θ的迭代初值，包括高斯密度函數權重參數ω、均值參數μ、對角矩陣Σ；
(b)使用EM算法計算出每一個灰度級的θi=(ωi，μi，Σi)；
(c)將x，y，θi=(ωi，μi，Σi)代入式(2)(3)計算p(i)，將計算結果保存到k(1:L-1)；
(d)計算k=1:L-1的Renyi熵H(k)，并將結果保存到HH(k)中；
(e)計算K=max(HH(k))，得到最優閾值kop。
e)以kop作為最優全局圖像分割閾值，將圖像二值化輸出，結束。
3 實驗結果與分析
為了測試GMM+Renyi算法對圖像分割的有效性， 進一步體現算法的可行性，選用六幅圖像來作實驗。這六幅圖分別是Toumor.tif、Coins.tif、Flower.tif、Bacteria.tif、Circuit.tif和Rice.tif。其中Toumor.tif、Flower.tif取自文獻[7]，其他圖像來自MATLAB工具箱附帶的圖像。從實驗結果中可以看出，不論是使用圖像灰度數據集還是使用圖像灰度空間數據集，都能得到較好的圖像分割效果。
實驗1：圖1(a)為一醫學X射線圖，其中白色的明亮區域是腫瘤，周圍是正常的區域圍繞。通常的閾值分割是使用兩個灰度峰值之間的最低點來作為閾值的，但這幅圖的灰度直方圖幾乎是單峰型的分布(圖1(b))，因此要選取這類圖像的閾值是較為困難的。本文的方法對此類直方圖的圖像分割是比較有效的，采用不同q參數計算得到的結果如圖1(c)～(f)所示， 每幅結果圖下均注有參數值q及得到的相應最佳閾值kop。可知使用閾值kop=118是比較合理的。
實驗2：圖2(a)是一幅多硬幣圖像，它的直方圖如圖2(b)所示，具有較為明顯的雙峰值分布。若使用單純的灰度閾值分割則由于有多個最低值可能得不到較好的分割結果。使用本文方法用不同的參數q計算得到的結果如圖2(c)～(f)所示?？芍褂米罴验撝祂op=137是比較合理的，其分割效果非常清楚；而當分割閾值kop=78時則有些過分割。
實驗3：圖3(a)是一朵花的單獨圖像，其背景單一，直方圖如(b)所示，有一個較為明顯的峰值。根據本文方法得到的圖像分割結果可知，使用最佳閾值kop=132進行圖像分割是比較合理的。
實驗4：圖4(a)是一幅大米的多顆粒圖像，其背景部分中上下兩部分的亮度明顯不同，直方圖如(b)所示，具有明顯的三峰值的分布圖。使用本文方法，可知用最佳閾值kop=135分割結果較好；使用閾值kop=90欠分割，圖像上半部分明顯欠分割?？梢姳疚姆椒▽D像的背景有些敏感。但當q值升高以后可得到分割效果較好的圖像。
在以上四個實驗中，選擇的EM算法中誤差精度的值均為0.002，分割的實驗結果主要是通過調節Renyi熵中參數q得到的。
為了進一步說明本方法對圖像分割的有效性，本文將文獻[8]使用基于Parzen窗法和Renyi熵的圖像分割閾值選取方法與本文方法進行比較。實驗結果比較如表1、2所示。
表1 不同的q值計算得到的最優閾值
ImageK(q=1.1)K(q=1.5)K(q=2)K(q=2.5)
Toumor 137137137160
Coins77777777
Flower90 333333
Rice117111105104
表2 不同的q值下本文方法得到的最優閾值
ImageK(q=1.1)K(q=1.5)K(q=2)K(q=2.5)
Toumor116118118128
Coins137137 7878
Flower132131132130
Rice 96111135134
從以上實驗可以看出:
a)由表2的最優分割閾值可知：雖然選擇不同的參數q，但卻可以獲得大體相同的最優閾值，且閾值較為穩定，從而可以看出算法的適用范圍廣?？梢圆槐靥貏e選擇q值的范圍即可得到較好的分割效果。通過表1和2的對比結果分析，可以看到在圖像的灰度直方圖包含單峰或雙峰的情況下，兩種方法得到的閾值大體相近；而在多峰值條件下，兩種方法得到的閾值有較大不同。從圖像分割結果來看，本文方法能夠刻畫出較多的圖像細節，得到較好的圖像分割效果。
b)GMM用于非參數估計，其優點是它的普遍性，即對規則不規則、單峰或多峰分布均可以用此方法得到密度函數，而且由于圖像的數據量比較大，總可以保證收斂于任何復雜的未知密度。所以用此方法估計的結果與圖像真實的分布較為接近，能夠較好地刻畫圖像分布的細節，通常得到的閾值也是比較理想的。這一點在使用EM算法對GMM參數進行估計的實驗中得到了證實。
c)使用EM算法估計GMM模型參數時，設置初始值時有兩種方法：(a)求取隱含變量(設為Zij)的各個類別的比例值ωj、均值向量μ和協方差矩陣Σ；(b)使用K-均值聚類算法求取圖像數據集X的各個類別的比例值、均值向量μ和協方差矩陣Σ。方法（b）收斂速度較快，但兩種方法都可以收斂到最優值。
d)通過調節式(3)中的q值，可控制不同概率像素點灰度值對圖像分割效果的影響。當0
4 結束語
本文針對圖像數據灰度值概率分布函數不惟一、灰度概率直接使用直方圖描述不準確的情況，使用高斯混合函數來估計圖像的概率密度函數，使之與真實的分布結果相接近，能夠較好地刻畫圖像分布的細節，然后再采用與Renyi熵相結合的方法構造判斷函數，對圖像進行閾值分割。實驗結果表明，本文算法圖像分割精度較高、適應性較強、分割質量較好，即便是對目標和背景整體分布不均勻，不滿足具有雙峰分布性質圖像的分割，結果亦令人滿意，得到的結果以后也可用于圖像目標進一步的識別、分類。但因算法實時性不強，限制了它在實際中的應用，且進行GMM模型參數估計也需要花較多的時間，這也是以后需要解決的問題。
參考文獻：
［1］PAL N R，PAL S K.A review on image segmentation techniques[J].Pattern Recognition，1993，29(8):1277-1294 .
[2]吳一全，朱兆達.圖像處理中閾值選取方法30年(1962~1992)的進展[J].數據采集與整理，1993，8(3):193-201.
[3]BILMES J A.A gentle tutorial of the EM algorithm and it’s application to parameter estimation for Gaussian mixture and hidden Markov models，ICSI TR-97-021[R].[S.l.]:U.C.Berkeley， 1997.
[4]王源，陳亞軍.基于高斯混合模型的EM學習算法[J].山西師范大學學報:自然科學版，2005，19(1):46-49.
［5］劉晶.基于熵的水下圖像預處理與水下目標識別方法研究[D].哈爾濱：哈爾濱工程大學，2005.
[6]SAHOO P K，ARORA G.A thresholding method based on two-dimensional Renyi’s entropy [J].Pattern Recognition Letters，2004，37(6):1149-1161.
[7]ALBUQUERQUE M P，ESQUEF I A，MELLO A G R.Image thresholding using Tsallis entropy[J].Pattern Recognition Letters，2004，25(9):1059-1065.
[8]熊福松，王士同.一種基于Parzen窗法和Renyi熵的圖像分割閾值選取新方法[J].計算機應用研究，2006，23(12):313-315.
