基于GMM和MRF的自適應陰影檢測*

閔華清 呂居美 羅榮華 陳聰

(華南理工大學計算機科學與工程學院，廣東廣州510006)

視頻序列中運動目標的準確檢測對智能監(jiān)控、基于內容的視頻編碼以及人機交互等應用非常重要.然而，潛在的因素如由運動目標投射形成的移動陰影、光照變化以及深色目標誤分類為陰影都將會影響目標提取的準確性.因此目標提取算法［1］必須具有足夠的健壯性以應對移動陰影、光照變化和偽陰影等問題.

混合高斯模型(GMM)是當前最為流行的目標提取方法，對于攝像頭固定、目標相對于背景比較突出的情況具有較好的分割效果.Stauffer等［2］提出了一種更一般的混合高斯背景建模方法，在學習模型參數過程中，用在線K均值近似的方法代替了嚴格的期望最大化(EM)算法，提高了混合高斯模型的學習效率.Martel-Brisson等［3］利用混合高斯聚類思想進行陰影抑制，調節(jié)參數學習率，試圖使陰影收斂于某一個高斯分布.但這些模型均基于單獨的像素點建模，沒有包含空間的鄰域信息.

充分利用像素的鄰域信息對提高陰影檢測的準確性與效率具有十分重要的意義.文獻［4］中將顏色信息和邊緣信息結合起來，在HSV(Hue，Saturation，Value)顏色空間根據物體的對稱信息進行陰影檢測，但該方法只適用于形狀對稱的物體，且在復雜背景中效果不理想.Kato等［5］針對汽車跟蹤問題提出了基于隱馬爾科夫模型/馬爾科夫隨機場(HMM/MRF)的運動分割方法，該方法利用HMM模型建立各圖像區(qū)域在時間上的相互關系，并將HMM模型的輸出作為MRF的輸入，通過最大化后驗概率(MAP)來實現優(yōu)化估計，但該方法參數較多，且訓練過程復雜.

針對以上問題，文中提出了基于GMM和MRF的自適應陰影檢測方法.首先，對GMM進行改進，使其可以自適應調整參數學習率，從而消除淺陰影，分離出背景以及包含部分陰影的前景;然后，對已經提取出來的包含陰影的前景，根據信息容量來選擇顏色分量，并利用最大類間方差自適應確定陰影檢測閾值;最后，利用陰影檢測閾值自適應標記初始陰影和目標，將其作為MRF的初始標記，并根據像素間的空間依賴關系，通過MAP和條件迭代模式(ICM)［6］精確分離出目標及陰影.

1 基于GMM的前景分割

1.1 GMM介紹

混合高斯模型的基本思想是:對每個像素點，定義K個狀態(tài)來表示其呈現的顏色，K值一般取3～5之間［2，7］.如果t時刻每個像素點的顏色取值用變量Xt表示，則其概率密度函數可用K個高斯函數來表示:

其中:x為像素的顏色取值;η(x，μi，t，∑i，t)為t時刻的第i個高斯分布，其均值為μi，t;協方差矩陣為單位矩陣為方差;wi，t為權重.建立混合高斯模型的一般過程如下:

1)初始化.通常在圖像序列中，第一幀為場景背景的可能性較大，因此可利用第一幀的像素值來初始化其中一個高斯分布的均值，并給該高斯分布分配較大權值1，而其它高斯分布的初始權值為0，同時所有高斯分布的初始方差均取較大值，即

其中σmax可設為30.這樣，在GMM的更新過程中，該高斯分布為背景分布的可能性較大，因而可提高EM算法的收斂速度.

2)模型參數更新.得到新的視頻幀后，將當前像素值Xt與K個高斯分布逐一比較，若(δ通常設為2.5～3.5)，則更新第i個高斯分布，其它高斯分布保持不變，更新方程為

式中:α為模型的學習率;Ai，t用來表示t時刻第i個高斯分布與Xt是否匹配，若匹配則Ai，t為1，否則為0.如果沒有一個高斯分布和Xt匹配，則該像素的最后一個高斯分布被新高斯分布取代，新高斯分布的均值為Xt，初始標準差取較大值而權值取較小值.在更新完成后，各高斯分布的權值被歸一化，以使

3)背景分割.根據wi，t/σi，t(i=1，2，…，K)對各高斯分布從大到小排序.符合式(3)的前B個分布被認為是背景分布，則匹配前B個分布的像素點被認為是構成背景的像素點.

式中，T為背景分割閾值，wj為排序后第j個高斯分布的權重，b為滿足條件的高斯分布個數.

1.2 GMM的改進

文中通過添加幀差測量值ΔD來對GMM進行改進，使得學習率α可以自適應地調整.

學習率α影響參數學習率，即背景更新的速度.α越大更新速度越快，α越小則更新速度越慢.過快的更新速度可能將速度慢的運動目標更新為背景，從而出現空洞;過慢的更新速度則會使背景模型跟不上背景更新速度，從而出現虛影.為此，文中使用幀差測量值ΔD來衡量目標的運動速度，以使α能自適應地調整.

定義1幀差測量值ΔD表示一段時間內運動目標質心的平均移動速度，即

式中:di為當前幀與前一幀的運動目標相對質心差;f為要統(tǒng)計的幀數，可根據視頻中目標的特征調整f的取值;τ為設定的閾值，根據當前實際應用場合給出.若ΔD＜τ，則表明當前目標運動速度偏慢，給予一個較小的學習率αl，以延長緩慢移動物體融入到背景中參與前景檢測的時間，從而減少前景檢測時運動區(qū)域內部產生的空洞;若ΔD＞τ，則表明當前目標運動速度過快，給予一個較大的學習率αu，以消除虛影，從而得到更好的前景分割結果.

通過以上改進后，在以色列Weizmann科學院的人體運動數據庫上進行測試.實驗中參數取為:αl=0.0025，αm=0.005 0，αu=0.007 5，f=10，τ=10.GMM改進前后對提取運動目標的影響如圖1所示，其中圖1(b)、1(c)所示的前景圖像沒有經過加工處理.由圖1可見，利用改進的GMM分割前景和背景，可消除運動目標的淺陰影和虛影，運動目標的輪廓更加清晰.

圖1 GMM改進前后對運動目標的影響Fig.1 Effect of improvement of GMM on moving object

2 基于MRF的陰影檢測

2.1 MRF介紹

設Q={1，2，…，N;N=n×n}，表示大小為n×n的二維圖像的像素集合，表示二維圖像的鄰域系統(tǒng)，ms為像素點s的鄰域，即圖2中所標注s的鄰居為Q中的勢團，c中的像素點互為鄰居;，表示(Q，M)上所有勢團的集合.圖2顯示了平面上的二階鄰域系統(tǒng)和勢團.

圖2 平面上的二階鄰域系統(tǒng)和勢團Fig.2 The second-order neighborhood system and cliques on the plane

定義2設存在(F，M)，M為隨機場F上的鄰域系統(tǒng)，若對一切s∈Q有則稱F是關于鄰域系統(tǒng)M的二維馬爾科夫隨機場(MRF)［8］.

Besag［9］提出了關于方形網格上數據的統(tǒng)計學模型，把MRF和Gibbs分布聯系起來.如果F是一個MRF，則F的取值x(x=(x1，x2，…，xN))的概率可表示為

其中U(x)為能量函數為勢團上的勢函數;歸一化常數

2.2 陰影檢測的MRF模型

文中將GMM分割出的前景像素作為MRF，鄰域系統(tǒng)M只包括圖2(b)所示的前5種鄰域.設d={d1，d2，…，dN}，表示前景像素的取值;ω={ω1，ω2，…，ωN}，表示像素的標記集合，標記集L={G，O}，O表示目標，G表示陰影，則陰影檢測的問題轉化為求取使聯合概率P(d，ω)最大的標記根據MAP準則有，其中?表示所有可能的標記的集合.根據MRF的性質，P(ω)可表示為

λ為大于1的參數，文中λ的取值為2.0.

根據式(5)與(6)可知:

所以，

2.3 MRF模型的參數初始化

在MRF模型中，令θt，l={μt，l，σt，l}(l∈L)，θt，l的初始值會影響陰影檢測的正確性和收斂速度.文中根據顏色信息對陰影進行初步檢測，為θt，l選擇合理的初始值.實驗研究表明，當像素點被陰影覆蓋時，其亮度會變暗，飽和度通常會變小，而色度變化不大［10］.為減少計算量，文中僅在HSV顏色空間中選取一個顏色特征進行陰影檢測.由于文獻［11］中定義的信息容量可以表征圖像有意義的灰度層次的豐富程度，因此文中利用信息容量來評價HSV中各分量對陰影檢測的效果.對于同一幅圖像，分別計算HSV中各分量的信息容量，得到的信息容量直方圖如圖3所示.

圖3 HSV顏色空間中各分量的信息容量直方圖Fig.3 Histogram of information capacity of components in HSV color space

從圖3可知，V分量具有較高的信息容量，所以文中選用V分量進行陰影檢測.

首先，利用文獻［12］中的最大類間方差自適應確定分割閾值，然后使用式(9)標記目標和陰影，得到t時刻的初始標記

式中:V(x，y)為V分量的陰影特征量為像素點(x，y)處的標記值;z、g分別用來控制陰影的亮度和噪聲點;ΓV為初步分割目標和陰影的閾值.為1則該像素點標記為陰影，否則標記為目標，分割效果如圖4所示.

圖4 V分量檢測到的陰影Fig.4 Shadow detected by using V component

2.4 基于MRF的陰影檢測方法

基于MRF的陰影檢測方法步驟如下:

1)參數初始化

利用最大類間方差自適應確定分割閾值;

根據V分量進行初始分割

k=0;

根據式(10)計算θt，l={μt，l，σt，l}(l∈L)的初始值

2)更新標記

對于每個像素點p，計算能量如果

3 實驗結果與分析

為驗證文中所提方法的有效性，在AMD Athlon 64 X2 4000+、2.11GHz計算機上進行測試，算法基于Opencv，開發(fā)工具為Visual Studio 2005.測試序列為以色列Weizmann、KTH行為庫和CVRR公共視頻庫中的視頻序列，其中包括室內和室外環(huán)境、光照變化、靜態(tài)背景和動態(tài)背景.實驗比較了在HSV空間下利用顏色信息進行判定的方法［10］、將GMM和MRF相結合且隨機初始化MRF的GMM-MRF方法、文中方法的陰影檢測效果和性能.

GMM中K=3，初始方差為30，T=0.5，ΓV、z和g的經驗值如表1所示.利用3種方法進行陰影檢測的效果如圖5所示.從圖5(b)中可以看出，單純利用HSV顏色信息進行陰影檢測時，容易把部分目標視為陰影或者檢測不出陰影;從圖5(c)可以看出，在室外強光下，GMM-MRF方法的陰影檢測結果不準確，誤將部分目標檢測為陰影;從圖5(d)中可以看出，無論是室內還是室外，文中方法的檢測效果均較好，可以準確地分割出細節(jié)部分.與隨機初始化初始標記的GMM-MRF方法相比，文中提出的方法迭代速度更快，在CVRR公共視頻中測試Laboratory視頻段，平均每幀節(jié)約156ms.

表1 ΓV、z和g的經驗值Table 1 Empirical values ofΓV，z and g

圖5 3種方法的陰影檢測效果比較Fig.5 Comparison of shadow detection results among three methods

為評價陰影檢測算法的性能，文中引入了陰影識別率Ψ和陰影辨別率ξ［1］:

式中:TPG表示正確劃分為陰影的像素個數;FNG表示陰影被誤識別為前景或背景的像素個數;表示真正前景減去誤識別為陰影的前景像素個數;TPO表示正確檢測為前景的像素個數;FNO表示前景被誤識別為陰影或背景的像素個數.

3種方法的陰影檢測性能比較如圖6所示，從圖6中可以看出，文中方法的檢測性能明顯優(yōu)于其它兩種方法.

圖6 3種方法的陰影檢測性能比較Fig.6 Comparison of shadow detection performance among threemethods

4 結語

在分析陰影特點以及現有陰影檢測算法不足的基礎上，文中首先對GMM進行改進，使其可自適應地調整參數學習率，從而可以很好地從圖像中消除淺陰影，并分割出前景;接著，利用信息容量在HSV顏色空間選擇顏色特征，自適應選擇閾值對包含陰影的前景圖像進行初始分割;然后，根據初始分割設定MRF模型參數初始值，利用MAP-MRF進行精確陰影檢測.實驗結果表明，文中提出的陰影檢測方法解決了單純利用顏色信息易將深色目標檢測為陰影的缺陷，但若想完全準確地檢測出所有陰影，仍需進一步研究.

［1］Prati A，Mikic I，Trivedi M M，et al.Detecting moving shadows:algorithms and evaluation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(7):918-923.

［2］Stauffer C，Grimson W E L.Learning patterns of activity using real-time tracking［J］.IEEE Transactions on Pattern Analysis＆Machine Intelligence，2000，22(8):747-757.

［3］Martel-Brisson N，Zaccarin A.Moving cast shadow detection from a Gaussian mixture shadow model［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego:IEEE，2005:643-648.

［4］Liu Hui，Yang Chenhui，Shu Xiao，et al.A new method of shadow detection based on edge information and HSV color information［C］∥Proceedings of the 2nd International Conference on Power Electronics and Intelligent Transportation System.Xiamen:IEEE，2009:286-289.

［5］Kato Jien，Watanabe T，Joga S，et al.An HMM/MRF based stochastic framework for robust vehicle tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5(3):142-154.

［6］Few J，Djuric P.Unsupervised vector image segmentation by a tree structure-ICM algorithm［J］.IEEE Transactions on Medical Imaging，1996，15(6):871-881.

［7］KaewTraKulPong P，Bowden R.An improved adaptive background mixture model for real-time tracking with shadow detection［C］∥Proceedings of the 2nd European Workshop on Advanced Video Based Surveillance Systems:Computer Vision and Distributed Processing.Kingston:Kluwer Academic Publishers，2001:1-5.

［8］Li SZ.Markov random field models in computer vision［C］∥Proceedings of the Third European Conference on Computer Vision Stockholm.Berlin/Heidelberg:Spinger-Verlag，1994:361-370.

［9］Besag J.Spatial interaction and the statistical analysis of lattice systems［J］.Journal of the Royal Statistical Society Series B:Mechodological，1974，36(2):192-236.

［10］Cucchiara R，Grana C，Piccardi M，et al.Detecting moving objects，ghosts，and shadows in video streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［11］殷德奎，俞卞章，佟明安.基于多維直方圖的灰度圖像質量評價［J］.模式識別與人工智能，1996，9(3):265-270.Yin De-kui，Yu Bian-zhang，Tong Ming-an.Image quality metrics based on multi-dimensional histogram［J］.Pattern Recognition and Artificial Intelligence，1996，9(3):265-270.

［12］Ostu N.A threshold selection method from gray-level histogram［J］.IEEE Transaction on System Man and Cybernetic，1979，9(1):62-66.