基于改進高斯混合模型的自適應前景提取

趙亞欣 蔡華杰 趙懷勛 謝躍輝

(武警工程大學信息工程系 陜西 西安 710086)

?

基于改進高斯混合模型的自適應前景提取

趙亞欣 蔡華杰 趙懷勛 謝躍輝

(武警工程大學信息工程系 陜西 西安 710086)

在復雜場景下的運動前景提取是智能視頻監(jiān)控的基礎部分。高斯混合模型是常用的背景建模方法，針對高斯混合模型中模型個數固化導致的無謂的系統(tǒng)開銷，提出基于單高斯模型成長的動態(tài)個數調整形成的高斯混合模型。對模型的更新率根據場景變化的劇烈程度進行實時改變，能較好適應突發(fā)場景、光照的變化。對提取的運動前景進行形態(tài)學處理，得到最后的提取目標。實驗結果表明，該方法背景建模適應性強，提取前景精度有所提升。

高斯混合模型 自適應背景更新 更新率

0 引 言

視頻監(jiān)控已滲透到當今社會的方方面面，對個人與公眾安全產生了深刻影響。隨著計算機視覺及圖像處理技術的進步，視頻監(jiān)控正逐步向智能化發(fā)展。運動目標檢測是智能視頻監(jiān)控的基礎部分，對提高監(jiān)控系統(tǒng)的準確性有著重要影響。

主流的運動前景提取算法有：背景減除法、幀間差分法、光流法。背景減除法是通過視頻幀與背景模型作差分提取出運動的前景目標。該方法原理簡單，計算量小，適用范圍廣。但在現實環(huán)境中，監(jiān)控場景雖然固定，但非絕對不變，比如光照的變化，背景的干擾(搖晃的樹葉、粼粼的水波)。因此，如何建立一個動態(tài)更新的背景，以適應各種因素的干擾，是研究的重點。

高斯混合模型[1]的實質是對每一像素點設立多個高斯分布，聯合多個分布進行背景建模。但基于高斯混合模型的目標檢測算法復雜度較高，分布個數的選擇對前景提取效果影響明顯。此外，采集視頻圖像中存在的噪聲也易對前景的提取造成干擾[2]。針對混合高斯模型存在的不足，許多研究者提出了改進算法。王永忠等[3]利用GMM學習每個像素的時間域與非參數密度估計構造的空間域融合，改進了檢測效果。Zhao等[4]將高斯混合模型擴展到了鄰域，并用馬爾可夫隨機場分割前景，同時算法的復雜度也急劇增加。文獻[5,6]通過幀間差分與高斯背景相結合分割前景目標，同時也增加了時間開銷；Fradi[7]將選擇流融入混合高斯模型提高了前景分割的精確性；范文超等[8]對視頻圖像進行分塊以實現濾波效果，采取自適應的高斯分布個數提高了檢測速度。Zhang等[9]用統(tǒng)計學方法建立自適應的2-D學習率查找表，針對每個像素設定不同學習率，較好地進行了GMM的更新。劉萬軍等[10]在此基礎上融合了圖像熵與更新率查找表，對光照突變時的背景更新調節(jié)有較好效果。

本文利用單高斯模型進行初始化的背景建模，根據背景的復雜度動態(tài)增減高斯模型個數，同時對參數更新策略加以調整，在監(jiān)控場景變化或受到擾動時的前景提取效果有所提升。最后，對提取出的前景目標進行形態(tài)學處理，以較小的開銷優(yōu)化檢測結果。實驗表明，本文的算法較傳統(tǒng)的高斯建模方法檢測算法效果更好，能實時提取運動目標。

1 混合高斯模型

1.1 混合高斯模型介紹

混合高斯模型由Stauffer等[1]等提出,核心思想是對背景圖像中的每一像素點用K個高斯分布來表示。一般來說K取3～5之間。K太小不足以充分表示背景的變化；K增大時，背景模型的抗干擾能力會增強，同時運算開銷也相應增加。對某一個像素點{x,y},其時間序列{X1,X2,…,Xt}可以用K個高斯分布疊加表示，Xt為t時刻點{x,y}的觀察值。Xt的概率密度函數可表示為：

(1)

(2)

式中，K為高斯分布的個數；ωi,t為在t時刻第i個高斯分布的權值；μi,t為在t時刻第i個高斯分布的均值；∑i,t為在t時刻第i個高斯分布的協方差矩陣。Xt為n維的向量，n=1時Xt代表像素點的灰度值，n=3時Xt代表像素點的RGB數值。

1.2 運動目標提取

傳統(tǒng)高斯混合模型設定固定的高斯模型個數，將像素點的觀察值Xt與K個分布中的前M個一一對比，直至與某分布相匹配。匹配規(guī)則為：|Xt-μi,t-1|<2.5δi,t-1。若能匹配，則需對各高斯分布的權值、均值及方差進行更新；若不匹配，則該像素點此時被判定為前景點，提取出運動目標。

1.3 模型參數更新

在進行像素點的匹配后，需根據匹配情況調整各分布的權重，均值及方差，構建新的背景模型，以適應新一幀的前景目標提取。當像素點觀察值與某一高斯分布相匹配時，對參數進行更新：

ωi,t=(1-α)ωi,t-1+α(Ti,t)

(3)

μi,t=(1-ρ)μi,t-1+ρXt

(4)

(5)

ρ=αη(Xt,μi,t,∑i,t)

(6)

其中，α為權值更新率；ρ是參數更新率。匹配時Ti,t為1，否則為0。由式(3)可知，匹配的模型權重會增加，反之，則會下降。均值和方差也會隨像素點的當前值而更新。在高斯模型的參數調整后需歸一化各分布的權重。

在權值歸一化后，對像素點的高斯模型按ωi,t/δi,t從小到大的順序進行排序。若排序的前M個模型的權重之和滿足式(7)，則認為這前M個高斯模型描述背景，其余的高斯模型描述運動物體。

(7)

式中，T為權值閾值，T∈(0.5,1)。

2 改進的混合高斯模型

2.1 初始高斯模型設定

混合高斯模型設定一個固定的模型個數后便不再改變，本文起初用單高斯模型來進行背景建模，即取K為1，μ取像素點的初始值μ0，其權重為1。

2.2 高斯模型動態(tài)調整

單個高斯模型并不能滿足場景的動態(tài)變化，容易引起誤檢。對高斯模型的個數進行動態(tài)的增減，以適應監(jiān)控場景的變化。當然，為避免運算量過大，不能滿足實時檢測，對高斯模型個數設定最大值，本文取K最大為4。具體流程如下：

將像素點數值與當前分布匹配，若能匹配，則判定為背景點，同時更新權值、參數。若未能匹配，則增加一個新的高斯模型，μk,t=Xt(像素點的當前數值即為新增加的第K個高斯模型均值)，δi,t=36，ωk取一個較小值。如此，直至模型個數達到上限。在背景趨于平靜時，無需維持較高的模型數目，可對模型進行刪除或合并，剔除無效分布、合并冗余分布[11]。以下是精簡高斯模型個數的兩種策略：

1) 分布刪除 對像素點的每個高斯分布的連續(xù)未匹配次數進行統(tǒng)計，記為Fk，并設定一個閾值Fmax,Fk=Fmax時，表示此模型長時間未被匹配，將其刪除。另外，若某一高斯模型的分布權值不斷降低，則說明其不適應背景的變化，不能很好的描述，同時，還會繼續(xù)學習更新，影響模型的收斂速度，需將其刪除。

2) 分布合并 當某一像素點的兩個高斯分布a、b均值比較接近時，合并這兩個分布，合并后高斯分布為c,參數轉換為：

ωi,t=ωa,t+ωb,t

(8)

μc,t=(ωa,t×μa,t+ωb,t×μb,t)/ωc,t

(9)

(10)

2.3 高斯模型動態(tài)更新

在混合高斯模型進行建模時，不僅要考慮高斯模型的個數，適應背景復雜度的變化，而且要根據背景變化的快慢，調整背景模型的更新速率。若背景變換太快，或有突然的光照變化，更新率過小時檢測效果不理想。在上文進行目標檢測時進行了圖像序列的灰度化，在監(jiān)控場景發(fā)生轉換或光照突變時，一般灰度值都會有明顯的改變。利用此原理，將背景的更新率與灰度值的變化率相匹配，實現更新率的動態(tài)改變。

首先，對圖像進行灰度化變換，即Xt→ht,(ht,代表當前幀所有像素點灰度值的平均值)，再根據灰度值ht的變化調整式(3)-式(6)中的更新率α。定義場景變化率γ，反應場景變化的速率。設定一個固定閾值γ0，如果參數γ過大，即γ>γ0，則證明場景變化劇烈，沒有在原有背景基礎上進行更新的必要，選擇新的幀作為背景進行建模。若γ≤γ0，對更新率進行調整：

γ=(ht-ht-1)/ht-1

(11)

α=αγ

(12)

實現更新率隨灰度值變化的動態(tài)改變。

2.4 形態(tài)學處理

在改進高斯混合模型提取到運動前景后，不可避免會存在一些噪聲點、檢測目標內部有空洞等現象。為此，通過簡單的形態(tài)學處理可有所改觀。

改進后的高斯混合模型的流程如圖1所示。

圖1 改進高斯混合模型流程圖

3 實驗結果及分析

為驗證本文算法對前景提取的有效性，對其進行實驗驗證，并與傳統(tǒng)單高斯及高斯混合模型的檢測效果進行對比。本次實驗是基于個人計算機實現的，配置為：CPU為Intel(R)Core(TM)i5-3210M 2.5 GHz,內存4 GB，仿真軟件為Matlab2014a。在具體實驗時，本文先將輸入的彩色圖像進行灰度化的處理，減少了計算量。

本文采用Wallflower視頻集中的五個視頻作為測試集，分別為WavingTrees(WT),LightSwitch(LS),TimeOfDay(TD),Camouflage(CF),Foregrou-ndAperture(FA)。為對本文提出算法的前景提取效果客觀衡量，分別用單高斯模型(方法1)、高斯混合模型(方法2)、基于Parzen窗的非參數概率密度估計的混合高斯背景建模[11](方法3)、基于EM的自適應混合高斯模型[12](方法4)與本文提出的改進高斯混合模型進行對比。對五種方法的運行時間及檢測效果進行比較。表1給出了這5種算法對以上5個視頻段平均每秒鐘處理的幀數。

表1 各模型處理速度(fps/s)

從實驗效果來看，本文的改進算法相比高斯混合模型及基于Parzen窗的非參數概率密度估計的混合高斯背景建模處理速度有所提升，主要得益于實時調整模型的個數，在背景穩(wěn)定的情況下，以較少的模型對背景建模，總體減少了程序的開銷。但與單高斯模型相比，處理速度處于劣勢，原因是單高斯模型以固定單一高斯模型背景建模，處理速度快，但其檢測效果不及本文提出的改進算法。本文與基于EM的自適應混合高斯模型的處理速度相比略有下降，主要是因為引入了背景重建策略，監(jiān)控場景突變時進行了背景重建，增加了運算開銷?？梢哉f，改進后的高斯模型用處理速度上的損耗獲得了更好的前景提取效果。

圖2從上至下分別為原圖像、理想前景、單高斯模型、高斯混合模型、基于Parzen窗的非參數概率密度估計的混合高斯背景建模、基于EM的自適應混合高斯模型、本文改進高斯混合模型。

圖2 前景提取比較圖

引入以下參數對本文算法性能定量評價：查全率(Recall) Recall=tp/(tp+fn)；查準率(Precision) Precision=tp/(tp+fp) tp：判斷正確的前景點，fp：判斷錯誤的前景點，fn：判斷錯誤的背景點。

表2 各模型查全率與查準率比較(%)

從圖2和表2可以看出，本文方法在查準率上有所提高，主要得益于自適應的動態(tài)背景建模，根據監(jiān)控場景變化的快慢實時調整模型個數及更新率，此外加入形態(tài)學處理，濾除了部分噪聲點。

本文方法相比傳統(tǒng)單高斯和高斯混合模型在查準率和查全率上皆有較大提高，得益于改進的模型個數動態(tài)調整，與更新率的實時變化。與方法3(非參數密度估計法)相比在查全率上處于劣勢，源于本文方法提取前景內部存在空洞。與方法4相比本文效果也更好，查全、查準率都有提升，在LightSwitch場景中都能適應光照的突變，相較方法3，在查準率上更勝一籌。在WavingTrees場景中，方法1、方法3在人的周圍由于樹葉的晃動，有諸多干擾點，拉低了檢測的查準率，而本文的背景建模策略有效地減少了此類干擾。

本文方法在查全率及查準率上總體效果有所提升，提取出良好的前景目標。同時也需認識到，提出的背景建模策略雖能更好地適應各種監(jiān)控場景的變化，但也使處理速度有所降低。

4 結 語

本文針對高斯混合模型耗時長，前景提取精確度不高等問題，提出了模型個數動態(tài)調整的高斯模型，開始用單個高斯模型背景建模，根據背景的復雜程度動態(tài)增減模型個數，并設定模型個數上限以控制目標檢測的時間。其次，根據場景中背景變化引起的灰度變化來控制背景模型的更新速率，對光照的變化表現出良好的適應效果。實驗證明，本文算法實時性適中，查全率和查準率都有所提升，總體檢測效果良好。下一步需著重提高前景提取的實時性。

[1] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE,1999:2246-2252.

[2] Blanding W R,Willett P K,Bar-Shalom Y.Multiple targets tracking using maximum likelihood probabilistic data association[C]//2007 IEEE Aerospace Conference.IEEE,2007:1-12.

[3] 王永忠,梁彥,潘泉,等.基于自適應混合高斯模型的時空背景建模[J].自動化學報,2009,35(4):371-378.

[4] Zhao Z,Bouwmans T,Zhang X,et al.A fuzzy background modeling approach for motion detection in dynamic backgrounds[C]//Proceedings of the Second Conference on Multimedia and Signal Processing.Springer,2012:177-185.

[5] 於正強,潘赟,宦若虹.一種結合幀差法和混合高斯的運動檢測方法[J].計算機應用與軟件,2015,32(4):129-132,270.

[6] 連曉峰,張弢,劉載文,等.一種改進的運動人體目標檢測方法研究[J].計算機仿真,2011,28(2):308-311.

[7] Fradi H,Dugelay J L.Robust Foreground Segmentation Using improved Gaussion Mixture Model and Optical Flow[C]//2012 International Conference on Informatics,Electronics & Vision (ICIEV),2012:248-253.

[8] 范文超,李曉宇,魏凱,等.基于改進的高斯混合模型的運動目標檢測[J].計算機科學,2015,42(5):286-288,319.

[9] Zhang R,Gong W,Grzeda V,et al.An adaptive learning rate method for improving adaptability of background models[J].IEEE Signal Processing Letters,2013,20(12):1266-1269.

[10] 劉萬軍,李琳.基于熵理論改進混合高斯模型的運動目標檢測算法[J].計算機應用研究,2015,32(7):2226-2229,2233.

[11] Tanaka T,Shimada A,Arita D,et al.Non-parametric background and shadow modeling for object detection[C]//Proceedings of the 8th Asian Conference on Computer Vision,Tokyo,2007:159-168.

[12] 李百惠,楊庚.混合高斯模型的自適應前景提取[J].中國圖象圖形學報,2013,18(12):1620-1627.

SELF-ADAPTIVE FOREGROUND EXTRACTION BASED ON IMPROVED GAUSSIAN MIXTURE MODEL

Zhao Yaxin Cai Huajie Zhao Huaixun Xie Yuehui

(DepartmentofInformationEngineering,UniversityofCAPF,Xi’an710086,Shaanxi,China)

Motion foreground extraction under complicated scene is the basic part of intelligent video surveillance. Gaussian mixture, as a common background modeling method, in view of the unnecessary overhead caused by fixed number of Gaussian mixture model, a method based on the single Gaussian model as well as dynamic adjustment of Gaussian mixture model is proposed. The update rate is in real-time change according to how strongly the scene changes, which adapts well to the mutation scenario and the change of illumination. Then, the extraction of motion foreground is processed by morphological processing and the final goal is got. The experimental results show that the method is highly adaptive to background modeling, and the extracting prospects precision is improved.

Gaussian mixture model Self-adaptive background update Replacement rate

2016-03-24。趙亞欣，碩士生，主研領域：人體行為識別。蔡華杰，碩士生。趙懷勛，教授。謝躍輝，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.11.038