基于自適應(yīng)閾值的前景提取算法

向志炎，曹鐵勇，潘竟峰

（解放軍理工大學(xué) a.通信工程學(xué)院；b.指揮自動(dòng)化學(xué)院，江蘇 南京 210007）

0 引言

在過去的幾十年里，運(yùn)動(dòng)目標(biāo)檢測已經(jīng)得到了大量的關(guān)注和研究，在許多應(yīng)用領(lǐng)域里都是非常關(guān)鍵的一個(gè)部分，如視頻監(jiān)控、人機(jī)交互、場景識(shí)別等許多計(jì)算機(jī)視覺應(yīng)用領(lǐng)域。運(yùn)動(dòng)目標(biāo)檢測算法主要有光流場法、背景差法、幀間差分法。光流場法[1]的抗噪性差，計(jì)算量大，對硬件的要求比較高，因而實(shí)用性不強(qiáng)。幀間差法[2]的實(shí)現(xiàn)比較簡單，實(shí)用性較強(qiáng)，但是對變化不是很明顯的像素點(diǎn)不夠敏感，很難完整地提取出運(yùn)動(dòng)目標(biāo)。而背景差法[3-6]因其適應(yīng)性和檢測效果較好，已成為目前研究最多，應(yīng)用最廣泛的一種方法。為了有效并且準(zhǔn)確地進(jìn)行目標(biāo)檢測，進(jìn)而提取前景目標(biāo)，通常會(huì)選擇 GMM對背景建模。GMM[3]是對每個(gè)像素建立多個(gè)高斯分布模型，通過在線EM近似估計(jì)來更新模型參數(shù)，從而能夠比較好的克服光照變化、背景混亂等造成的干擾。由于前景目標(biāo)的提取存在噪聲，攝像機(jī)晃動(dòng)，光照變化等因素的影響，如果采用一個(gè)自始至終的閾值進(jìn)行前景分割，使得提取的目標(biāo)不是很很完整，利用自適應(yīng)閾值[7]的方法能夠更好的提取出前景目標(biāo)。采用背景減除法得到的前景往往含有陰影和噪聲，只有對前景進(jìn)行陰影抑制[8-9]和去噪處理，才能準(zhǔn)確的將前景目標(biāo)分離出來。在利用GMM對背景進(jìn)行建模和更新的基礎(chǔ)上，提出了一種新的基于自適應(yīng)閾值的前景提取方法，該方法能夠更加完整地提取出前景目標(biāo)。

1 基于GMM的背景提取

Stauffer和Grimson[3]是通過在RGB色彩空間對每個(gè)像素點(diǎn)都建立一個(gè) k階混合高斯模型來描述其特征，進(jìn)而提取背景模型的。對在t時(shí)刻任一個(gè)像素點(diǎn) ct的顏色分布用k個(gè)不同權(quán)值 ωk,t(k =1,2,… ,K)的高斯分布來模擬，其概率密度為：

其中，ct是t時(shí)刻（即也就是是第t幀圖像）任一像素點(diǎn)的色彩矢量；ωk,t是t時(shí)刻第k個(gè)高斯分布的權(quán)值，μk,t是k時(shí)刻第k個(gè)高斯分布均值；是t時(shí)刻的協(xié)方差矩陣，假設(shè)各色彩分量有相同的標(biāo)準(zhǔn)差且相互獨(dú)立，則協(xié)方差可表示為：（I為單位矩陣）；K一般取值為3～8。

在獲得新的一幀以后，判斷當(dāng)前幀中的像素矢量是否與當(dāng)前的k個(gè)高斯分別匹配，若像素色彩矢量tc滿足：

表示此像素與其中一個(gè)高斯分別匹配，則進(jìn)行模型參數(shù)更新。式（2）中的 M是用戶自定義的參數(shù)，在應(yīng)用中一般取 2.5。若滿足式（2），模型參數(shù)更新為：

其中，α為預(yù)先定義的學(xué)習(xí)率；ρk,t為參數(shù)更新的學(xué)習(xí)率。根據(jù)文獻(xiàn)[8]取 ρk,t=α/ωk,t。若不滿足式（2），表示沒有一個(gè)高斯分布與 ct匹配，則權(quán)值為：其他參數(shù)不變。

為了提取可靠的背景模型，現(xiàn)將k個(gè)高斯模型根據(jù)可靠性度量 ωk,t/σk,t進(jìn)行從大到小排序。如果出現(xiàn)一個(gè)像素與多個(gè)高斯分布匹配，就選擇可靠性最高的高斯分布。如果沒有滿足式（2）的約束規(guī)定，也就是沒有一個(gè)高斯分布與之匹配，就用現(xiàn)在的值替代可靠性最低的分布作為其均值和先前的小的權(quán)值，同時(shí)，一個(gè)初始大的標(biāo)準(zhǔn)差和權(quán)值被重新調(diào)整。因此，位于頂部的高斯分布能更穩(wěn)定可靠的描述背景，選擇前B個(gè)高斯分布表示背景分布：

其中，T為用戶定義的閾值。因此，剩下的KB-個(gè)高斯分布則表示前景。

2 自適應(yīng)閾值

要完整地對前景目標(biāo)進(jìn)行分割，閾值的選取非常重要。通常，閾值可以通過人工選擇；也可以通過一些自適應(yīng)的方法選擇，如P-tile法、Ostu自動(dòng)閾值法等。結(jié)合實(shí)際應(yīng)用，采用一種類高斯的閾值選取方法實(shí)現(xiàn)對前景目標(biāo)的提取[7]。首先將當(dāng)前的視頻圖像和對應(yīng)的背景圖像都轉(zhuǎn)化成灰度圖后相減，得到背景差分。定義tI為時(shí)刻t的當(dāng)前幀的灰度圖像，tB為利用混合高斯模型獲得的對應(yīng)于當(dāng)前幀的背景灰度圖像，則差分圖像為：

通過對實(shí)際場景的實(shí)驗(yàn)發(fā)現(xiàn)，背景差分的方法對尺寸小的物體能較好的分割出前景目標(biāo)。而對大尺寸的目標(biāo)，為了加強(qiáng)對陰影和暗區(qū)域前景像素的檢測，得到比較完整的前景目標(biāo)，通過第4節(jié)的仿真實(shí)驗(yàn)，可以看到，利用相對差分法能取得更好的實(shí)驗(yàn)效果。差分圖像 Dt(x,y)通過式（8）可得到相對差分圖像：

設(shè)輸入視頻圖像的大小為h×w，對差分圖像Dt(x,y)求其均值μt和方差：

根據(jù)得到的均值和方差，我們可以通過滿足式（8）判決條件獲得前景像素點(diǎn)：

其中，F(xiàn)t(x,y)為前景像素點(diǎn)。N為加權(quán)因子，N的大小決定前景目標(biāo)提取的準(zhǔn)確性，N值太大，會(huì)將與背景像素灰度相近的前景像素判為背景，容易產(chǎn)生空洞現(xiàn)象；N值太小，會(huì)引入背景噪聲。N的取值一般在0～4.0之間。

3 后處理—前景目標(biāo)的精確提取

即使考慮到空域的獨(dú)立性能夠避免大部分半影像素的檢測，但是更深度的陰影（本影）還是有可能被檢測為前景。為了正確的檢測出陰影像素，采用HSV色彩空間的非模型判決方法[9]。在提取出前景目標(biāo)的基礎(chǔ)上，將前景像素和背景像素都轉(zhuǎn)化到HSV色彩空間，對其H、S、V 3個(gè)分量分別進(jìn)行比較，陰影判決條件如下：

然后去除陰影，提取出運(yùn)動(dòng)前景目標(biāo)。由于得到的前景目標(biāo)存在一定的噪聲，因而需要對目標(biāo)圖像進(jìn)行去噪處理。先對前景目標(biāo)的二值圖像進(jìn)行中值濾波，得到濾波后的圖像 Ff。原前景圖像經(jīng)過去陰影處理得到了只含有前景像素點(diǎn)的圖像 Fs，利用形態(tài)學(xué)處理的方法，對目標(biāo)圖像進(jìn)行閉運(yùn)算，消除狹窄的間斷，填補(bǔ)細(xì)小的空洞，保留更多的前景目標(biāo)，并使輪廓變得更為清晰，得到的前景目標(biāo)為：F =Fs∩(Ff·SE)。其中，F(xiàn)是最終得到的前景目標(biāo)，SE是形態(tài)學(xué)中的結(jié)構(gòu)元素，其尺寸需要根據(jù)前景目標(biāo)的特點(diǎn)進(jìn)行選取。

4 實(shí)驗(yàn)結(jié)果及分析

為了對提出的算法進(jìn)行驗(yàn)證，選取了2段公共測試視頻，進(jìn)行仿真實(shí)驗(yàn)。并與文獻(xiàn)[3]中的 GMM算法進(jìn)行比較。仿真使用的GMM的參數(shù)為：K=3，T=0.3，M=2.5，α=0.005（PetsD2TeC2 序列），α=0.008（Highway I序列），初始標(biāo)準(zhǔn)差0σ=10。陰影檢測參數(shù)需要根據(jù)不同的場景進(jìn)行選擇。

圖1中第一行是選取了PetsD2TeC2中的一段視頻的第 76幀，其圖像分辨率為 384×288，幀率為30fps；對應(yīng)的陰影檢測參數(shù)為：Vα=0.7，Vβ=0.92，Sτ=0.1，Hτ=0.2。圖1中第二行是選取了Highway I視頻中的第164幀，其圖像分辨率為320×240，幀率為15fps；對應(yīng)的陰影檢測參數(shù)為：Vα=0.3，Vβ=0.7，Sτ=0.1，Hτ=0.6。前者是非剛體小目標(biāo)運(yùn)動(dòng)，后者是剛體大目標(biāo)運(yùn)動(dòng)。其中，圖1(a)、圖1(h)是當(dāng)前幀圖像；圖1 (b)、圖1 (i)是與當(dāng)前幀圖像對應(yīng)的背景建模圖像；圖1 (c)、圖1 (j)是文獻(xiàn)[3]中算法前景提取的結(jié)果；圖1 (d)、圖1 (k)是本文利用自適應(yīng)閾值進(jìn)行前景檢測的結(jié)果；圖1 (e)、圖1 (l)是陰影檢測的結(jié)果；圖1 (f)、圖1 (m)是經(jīng)本文算法去除陰影和形態(tài)學(xué)后處理得到的前景目標(biāo)。從圖1(c)和圖1 (d)以及圖1 (j)和圖1 (k)比較，可以看出，提出的算法較之文獻(xiàn)[3]中的檢測算法,其檢測效果要更好，分割出的前景目標(biāo)要更加完整（包括陰影部分）。通過圖1 (f)和圖1 (m)可以看出，本文算法對剛體和非剛體的運(yùn)動(dòng)目標(biāo)都能提取出比較準(zhǔn)確的，完整的前景目標(biāo)。

同時(shí)，對以上2段視頻序列，分別采用文獻(xiàn)[3]中的算法和提出的方法，對前景目標(biāo)進(jìn)行分割，分別計(jì)算分割出的前景目標(biāo)的像素的個(gè)數(shù)，對提出的自適應(yīng)閾值方法的有效性進(jìn)行驗(yàn)證。對于PetsD2TeC2序列，利用基于差分的自適應(yīng)閾值方法對前景目標(biāo)進(jìn)行提取；而對Highway I視頻序列，利用基于相對差分的自適應(yīng)閾值方法進(jìn)行前景提取。從圖2（a）中可以看出，在獲得穩(wěn)定的背景模型之前，由于背景變化速度較慢，導(dǎo)致前景目標(biāo)中還包含有原背景中的前景目標(biāo)，因而文獻(xiàn)[3]的算法提取出的前景包含很多虛假前景像素，而采用本文的方法，通過差分能很好的去除虛假前景像素；而對于圖2（b）(其中像素的數(shù)量級為104)來說，雖然背景變化速度比較快，但是采用基于相對差分的自適應(yīng)閾值方法也略有優(yōu)勢。當(dāng)?shù)玫椒€(wěn)定的背景模型后（PetsD2TeC2序列大約在40幀，Highway I序列大約在60幀），通過對比分析，自適應(yīng)閾值的方法較之文獻(xiàn)[3]的算法在提取前景目標(biāo)的完整性上有了很大的改善。

圖1 PetsD2TeC2和Highway I的測試結(jié)果

圖2 分割出的（對應(yīng)于每幀圖像）前景目標(biāo)的像素個(gè)數(shù)，f=1

5 結(jié)語

通過GMM對背景進(jìn)行建模和更新；在考慮到背景噪聲、攝像機(jī)移動(dòng)及前景提取過程中出現(xiàn)的空洞現(xiàn)象等情況下，通過引入自適應(yīng)閾值的方法，根據(jù)前景目標(biāo)的大小選擇合適的前景提取方法，使得分割的前景目標(biāo)更加完整；通過陰影抑制、濾波以及形態(tài)學(xué)處理的方法對前景目標(biāo)進(jìn)行精確提取，提升了前景目標(biāo)提取的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本文提出的基于自適應(yīng)閾值的方法能夠有效地進(jìn)行前景分割，比較完整地提取出運(yùn)動(dòng)目標(biāo)。

[1] 周斌,王軍政,沈偉.動(dòng)態(tài)跟蹤中背景補(bǔ)償與目標(biāo)運(yùn)動(dòng)估計(jì)[J].北京理工大學(xué)學(xué)報(bào),2010,30(11)：1305-1309.

[2] 薛麗霞, 羅艷麗, 王佐成. 基于幀間差分的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2011,28(04)：1551-1553.

[3] STAUFFER C, GRIMSON W E. Adaptive Background Mixture Models for Real-time Tracking[C].USA:IEEE,1999(02): 252-258.

[4] 夏永泉，李衛(wèi)麗，甘勇,等. 智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測技術(shù)研究[J].通信技術(shù), 2009,42(06)：185-187.

[5] 劉鑫, 劉輝, 張振平,等. 混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J]. 中國圖形圖像學(xué)報(bào), 2008,13(04):729-734.

[6] 丁芒, 彭黎輝, 張煦,等. 復(fù)雜交通場景中的運(yùn)動(dòng)目標(biāo)提取方法[J]. 計(jì)算機(jī)工程,2011, 37(07): 184-186.

[7] Wu H M, Zheng X H. A New Thresholding Method Applied to Motion Detection[C]. Wuhan: Pacific-Asia Workshop, 2008: 119-122.

[8] QUAST K, KAUP A. AUTO GMM-SAMT: an Automatic Object Tracking System for Video Surveillance in Traffic Scenarios[J]. EURASIP Journal on Image and Video Processing, 2011, 2011(2011): 1-14.

[9] 王勇, 譚毅華, 田金文. 基于陰影消除和混合高斯模型的視頻分割算法[J]. 光電工程, 2008,35(03):21-25.