一種改進的ViBe背景提取算法

張夏清,茅耀斌

(南京理工大學 自動化系，江蘇 南京 210094)

一種改進的ViBe背景提取算法

張夏清,茅耀斌

(南京理工大學 自動化系，江蘇 南京 210094)

背景生成算法通過提取視頻場景背景的方法，檢測出運動的前景對象，在智能視頻監控應用中具有重要的意義。針對ViBe背景提取算法，文中提出一種改進方法。在樣本采集方面，提出了利用高斯分布在像素點的鄰域中進行采樣的方法；在樣本更新方面，提出自適應概率的隨機子采樣方法；在背景生成方面，構建樣本集的像素直方圖，提出了通過顏色直方圖和Mean Shift迭代進行背景生成的方法，并結合時空域的像素信息進行前景檢測。具體描述了改進的ViBe背景生成算法，并通過實驗比較了改進算法與ViBe背景提取算法的效果。結果表明，改進的ViBe算法在背景生成和前景提取方面均達到了更好的效果。

ViBe算法；背景生成；目標檢測；顏色直方圖；均值漂移

0 引 言

背景生成和前景對象檢測是智能視頻處理過程中的一個關鍵步驟，也是視覺監控研究的難點和熱點之一。在生成背景的基礎上，將運動的前景對象從變化的場景中提取出來，這對于目標跟蹤、分類、行為理解以及視頻濃縮、檢索等智能監控領域中的應用都十分重要。

背景生成與前景提取從20世紀90年代開始被廣泛研究，至今已經有很多成熟的方法，同時由于視頻場景和目標運動的復雜性，各方法也存在一定的不足。Stauffer等首先提出了混合高斯背景建模的方法[1]，利用多個高斯分布混合的方式進行建模。Elgammal等提出了一種基于核密度估計的非參數化背景建模方法[2]，通過計算像素差分的中值估計核概率密度函數的方差。Liu等提出了一種影響因素描述的模型[3]，并用均值漂移算法[4]計算最可靠背景狀態。Kim等提出了codebook編碼本[5]的背景建模方法，將屬于背景的樣本通過量化加入碼本，以代表較長時間序列上的背景模型。

Barnich在文獻[6]中提出了Visual Background extractor(視覺背景提取，后文稱ViBe)算法，這是一種典型的基于區域的背景提取方法，在前景檢測方面效果較好，但算法對初始幀具有很大的依賴性，容易引入鬼影區域，造成目標錯檢，且沒有提出確切的背景生成方法。文獻[7]在(R,G,I)標準顏色空間進行目標檢測；文獻[8-10]利用幀間差法改進目標檢測效果；文獻[11-12]分別采用自適應的背景更新和前景判斷閾值進行鬼影抑制。

針對ViBe算法中存在的問題，文中提出一種改進的背景提取方法：

(1)在背景樣本集構建方面，結合時間和空間的采樣方法，提出基于高斯分布的鄰域樣本采集方式；

(2)在樣本更新方面，采用隨機子采樣的方法，提出自適應子采樣概率的樣本更新策略；

(3)提出利用Mean Shift迭代得到背景收斂點的方法，并提出基于顏色直方圖的背景初值確定以及更新判斷準則，從而進行背景生成。

1 ViBe算法

1.1 基本原理

ViBe算法的重要思想是基于像素鄰域信息的背景樣本隨機采樣。設圖像點x處的像素值為v(x)，則該點處大小為N的背景樣本集記作：

M(x)={v1,v2,…,vN}

(1)

M(x)則可以通過隨機采樣其時空域像素值而得到。

定義SR(v(x))為以x為中心、R為半徑的球形區域，對新的像素值x，若其SR(v(x))區域包含了#min個以上的背景樣本值，則將其歸為背景，并更新其背景樣本，即背景判斷準則表示為：

#{SR(v(x))∩M(x)}≥#min

(2)

其中，R、#min均為參數。

在背景樣本集的構造方面，ViBe算法在圖像點的鄰域像素中進行隨機采樣，由于利用了相鄰像素的時空分布特性，僅僅通過一幀圖像即可完成樣本集初始化。在樣本更新方面，ViBe采用隨機子采樣的更新方法，背景樣本以1/φ的隨機子采樣概率更新圖像點的樣本集及其鄰域點的背景樣本集。

1.2 算法的改進思路

背景樣本集的采集和更新，是背景生成和前景檢測算法中的關鍵問題，關系著算法的實際效果。文中基于ViBe算法在這兩方面都進行了相應的改進。在背景采集方面，提出基于高斯分布的方法，在像素點的時空域中進行采樣，可以控制時間域和空間域像素在背景樣本集中占的比例，更能適應不同的實際場景；在背景更新方面，由于ViBe的初始化容易產生目標錯檢與鬼影現象，因此文中提出采用自適應概率的隨機子采樣方法，利用時變的隨機子采樣概率，可以改善因初始幀像素經多次采樣且長期不更新而引起的錯檢問題。

通過研究發現，對于靜止攝像頭拍攝的視頻，其背景可以定義為在一段較長時間內不會變化的場景。對單個像素位置來說，在大的樣本集下，背景可以看成是在該點處出現概率密度最大的像素值。因此，文中采用顏色直方圖和Mean Shift結合的方法進行背景生成，具體改進如下：

(1)基于高斯分布進行鄰域樣本采集，利用圖像點的時空信息進行背景樣本集的構建；建立樣本集上像素的顏色直方圖，尋找最大直方圖位，并計算用于Mean Shift迭代的起點像素值。

(2)利用自適應的隨機子采樣概率進行背景樣本的更新，并更新樣本直方圖。

(3)根據直方圖判斷是否執行Mean Shift迭代過程，將收斂得到的最大概率密度點作為背景值；并根據2.5節的檢測策略進行前景判斷。

2 改進的ViBe算法

2.1 背景樣本的采樣

在樣本采集方面，經典的建模算法是將圖像中點的歷史像素值作為背景樣本值，逐幀采樣組成樣本集。進一步的研究表明，背景不僅和歷史像素值有關，也和圖像點鄰域位置的像素有關[6]，即背景樣本集應包含點的時間以及空間的像素值信息，利用時空像素值采樣的方法構造背景樣本集。

文中在構造背景樣本集時利用了像素的時間和空間信息，不同于文獻[6]在鄰域中以隨機等概率采樣的方式，文中采用高斯分布的隨機概率來采樣以圖像點為中心的NG×NG鄰域。以P(x0,y0)為中心的二維高斯分布N(0,σ2)如下：

(3)

定義背景樣本集的時空信息比例為Rst，表示時間信息樣本在背景樣本集中所占的比例，即

(4)

Rst由高斯分布的方差以及鄰域的大小決定。ViBe算法[6]中的樣本是通過在3×3的像素鄰域中等比例采樣而得到的，樣本的重復采集對復雜場景容易產生較為嚴重的誤檢現象。文獻[13]提出四菱形鄰域的采樣方法，將樣本限制在大小為5的像素區域內，而這并不能適應變化的實際場景。文中提出的高斯鄰域采樣方法，在利用區域的時空像素信息的基礎上，通過改變高斯分布的方差可以調節Rst，即控制采集樣本時鄰域像素所占的比例，從而達到適應不同應用場景的目的。

在構造背景樣本集時，每個圖像點的樣本以G(x,y)的概率從鄰域NG(xp)中選取，同樣地，在樣本更新的過程中，也分別利用該概率隨機地更新當前點及其鄰域點的樣本集。

2.2 背景樣本的更新策略

在樣本更新方面，一般有兩種典型方法：一種是基于先入先出的思想，另一種是基于隨機子采樣的更新方法，如文獻[6]提出的歷史樣本剩余時間的指數衰減方法。雖然基于隨機子采樣的樣本更新方法在前景提取方面取得了很好的效果，但由于初始幀的多次子采樣，使得初始幀的信息占主導，又由于子采樣概率的限制，需要更多的樣本來緩解樣本集的側重問題，在這過程中就容易出現鬼影現象。

針對上述問題，文中提出自適應的隨機子采樣概率φt。根據視頻幀數，在小樣本情況下盡可能利用現有樣本來構造和更新樣本集，而在樣本充足的情況下則以隨機概率執行子采樣。設t為當前視頻幀數，則

(5)

其中，α和Nφ為系數，與背景樣本集的大小有關。

2.3 基于Mean Shift的背景生成

ViBe算法[6]可以較好地檢測到視頻中的前景目標，但是沒有給出具體的背景生成方法。文中利用Mean Shift方法進行背景生成，提出利用直方圖方法進行迭代起點的定位，以及迭代區域的變化檢測。通過均值漂移方法進行背景生成達到了較好的效果，因此首先介紹基于Mean Shift的背景生成方法。

根據概率密度函數，將核密度估計函數寫為：

(6)

其中，Ck,d是歸一化系數。

令g(x)=-k′(x)，且令f(x)=0，可得Parzen窗中概率密度的極大值點：

(7)

MeanShift通過令f(x)=0進行迭代，不斷得到新的中心，收斂到局部概率密度最大的點，從而得到背景值。

2.4 基于顏色直方圖的初值計算

Mean Shift是一種基于核密度函數迭代求極值的方法，其運行效率與計算精度會依賴于所選取的迭代起點，因此，迭代初值的正確選取十分重要。文中利用顏色直方圖的方法計算直方圖的最大值，并將最大直方圖的中值位作為Mean Shift的迭代起點。通過計算顏色直方圖的方法進行背景值的粗定位，每個直方圖的位數為m。

(8)

(9)

x0c=Umaxc·d+d/2

(10)

顏色直方圖是根據背景樣本集中的點建立的，隨樣本集的更新而更新，而直方圖的最大像素值x0表明了概率密度最大值所處的局部區域。因此，文中算法的基本思想是，通過顏色直方圖定位到背景的迭代起點x0，再利用MeanShift進行迭代直至收斂，得到的最大概率密度點即為背景值。

2.5 前景檢測策略

文中算法通過Mean Shift方法進行背景生成，由于背景是樣本集中概率密度最大的點，因此，越靠近背景值的樣本，為背景的概率就越大。因此，根據樣本值與當前背景的距離來判斷是否為前景。設Mean Shift半徑為R=h/2，背景判斷準則：

(11)

其中，RT=γR為判斷閾值，γ為比例系數，當新樣本與背景值距離大于RT時判斷為前景，如圖1所示。

圖1 背景判斷示意圖

3 實 驗

3.1 實驗環境與定性結果

文中實驗在Intel? Core(TM) i5 CPU、2.53 GHz、內存為4 GB的筆記本上進行，操作系統為Windows 7，開發環境是Visual Studio 2010，利用C++進行算法實現。將文中的改進算法與ViBe算法[6]進行實驗比較。為評估文中算法的有效性，需要選擇具有人工標注的真實前景目標數據的視頻序列進行實驗分析。文中選取了三個實驗室的4段廣泛使用的視頻序列：Room、Highway3(http://arma.sourceforge.net/shadows/.)，Office( http://www.changedetection.net/.)，Synthetic111( http://bmc.iut-auvergne.com/?q=node/7.)。定性的實驗結果如圖2所示。

圖2 文中改進算法與ViBe算法對比

注：從上到下分別為Room，Highway3，Synthetic111和Office

另一方面，文中提出了基于高斯分布的自適應隨機子采樣概率，能改善ViBe算法中的鬼影問題。以視頻序列highwayII(http://arma.sourceforge.net/shadows/.)為例，第25幀圖像的前景檢測結果如圖3所示。

圖3 算法關于鬼影問題的比較

由圖中可以看到，ViBe算法由于初始幀的影響，在檢測結果中出現了前景的“鬼影”現象，而該問題在文中算法得到了很好的抑制。

3.2 定量評估

為定量評估文中算法的檢測效果，采用文獻[13]所述的精度度量標準進行比較。一共4種精度值，分別為：Recall，Precision，F1，Similarity。其中，Recall表示真實前景像素的檢出率；Precision表示真實前景像素的檢準率；F1也稱為品質因數，用于衡量檢出率和檢準率的總體水平；Similarity是一種基于像素的相似性度量方法。

文中的定量評估實驗分別在上述的4個視頻序列上進行，分別計算兩種背景生成算法在評測數據上的4個不同角度的精度值，結果如表1～4所示。

表1 Room的定量評估結果

表2 Highway3的定量評估結果

表3 Synthetic111的定量評估結果

表4 Office的定量評估結果

通過一系列的研究和實驗，算法可以衡量為，在不犧牲目標檢準率的前提下，盡量達到好的目標檢出率[14]。也就是說，好的算法應具有好的目標檢測率，包括Recall和Precision；與此同時，F1和Similarity用于衡量總體的檢測水平，表示檢出率和檢準率的一致性，同樣也需要盡量達到好的結果。從表中可見，通過定量的實驗評估，在同等條件下，文中算法均能達到較好的目標檢測效果和較高的目標檢測率，這也驗證了文中算法的可行性和有效性。

4 結束語

針對視頻的背景生成和前景檢測問題，文中提出了一種改進的ViBe算法。提出基于高斯分布的像素時空域采樣方式，并將其用于背景樣本集的構造，結合自適應概率的隨機子采樣方法，使得算法在初始幀和小樣本的情況下，能較好地完成樣本集的構造和更新。基于背景樣本集，算法通過計算顏色直方圖確定MeanShift的迭代起點，并結合直方圖判斷是否進行背景迭代，從而收斂得到背景值。最后，將文中算法和ViBe算法的實驗效果進行比較，通過定性和定量評估可知，文中算法能取得更好的背景生成和目標檢測效果。

[1]StaufferC,GrimsonWEL.Adaptivebackgroundmixturemodelsforreal-timetracking[C]//ProceedingsoftheIEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.LosAlamitos,CA,USA:IEEEComputerSociety,1999:246-252.

[2]ElgammalAM,HarwoodD,DavisLS.Non-parametricmodelforbackgroundsubtraction[C]//Proceedingsofthe6thEuropeanconferenceoncomputervision.Berlin,BE,GER:Springer-Verlag,2000:751-767.

[3]LiuY,YaoH,GaoW,etal.Nonparametricbackgroundgeneration[J].JournalofVisualCommunication&ImageRepresentation,2007,18(3):253-263.

[4]ComaniciuD,MeerP.MeanShift:arobustapproachtowardfeaturespaceanalysis[C]//ProcofIEEEtransactionsonpatternanalysisandmachineintelligence.Piscataway,NJ,USA:IEEEComputerSociety,2002:603-619.

[5]KimK,ChalidabhongseTH,HarwoodD,etal.Real-timeforeground-backgroundsegmentationusingcodebookmodel[J].Real-timeImaging,2005,11(3):172-185.

[6]BarnichO,VanogenbroeckM.ViBe:auniversalbackgroundsubtractionalgorithmforvideosequences[J].IEEETransactionsonImageProcessing,2011,20(6):1709-1724.

[7] 嚴紅亮,王福龍,劉志煌.基于ViBe算法的改進背景減去法[J].計算機系統應用,2014,23(6):130-134.

[8] 胡小冉,孫 涵.一種新的基于ViBe的運動目標檢測方法[J].計算機科學,2014,41(2):149-152.

[9] 趙光明,韓 光,李曉飛,等.基于融合幀間差的改進Vibe方法[J].計算機技術與發展,2015,25(3):76-80.

[10] 吳劍舞,翁玲瑜,童 懷.一種基于改進ViBe的運動目標檢測方法[J].計算機與現代化,2015(7):50-54.

[11] 王 輝,宋建新.一種基于閾值的自適應Vibe目標檢測算法[J].計算機科學,2015,42(6A):154-157.

[12] 周 曉,趙 鋒,朱艷林.基于ViBe的室外動態背景閃爍像素噪聲消除方法[J].計算機應用,2015,35(6):1739-1743.

[13] 呂嘉卿,劉立程,郝祿國,等.基于視覺背景提取的自適應運動目標提取算法[J].計算機應用,2015,35(7):2029-2032.

[14]LuciaM,AlfredoP.Aself-organizingapproachtobackgroundsubtractionforvisualsurveillanceapplications[J].IEEETransactionsonImageProcessing,2008,17(7):1168-1177.

An Improved ViBe Background Generation Method

ZHANG Xia-qing，MAO Yao-bin

(Department of Automation,Nanjing University of Science and Technology, Nanjing 210094,China)

Background generation and foreground detection play a significant role in the field of intelligent video surveillance.By extracting the background from video scenes,the algorithm can detect the movement of the foreground objects.An improved background generation method based on ViBe background extraction is proposed.In terms of sample collection,samples are taken in the neighborhood of every pixel according to a Gaussian distribution.Regarding sample updating,an adaptive probability of random sub-sampling is presented.When it comes to background generation,by constructing a color histogram of the sample pixels,a background generation method is put forward based on color histograms and Mean Shift iteration.And the foreground is detected with the pixel information in both time and space domain.It specifically describes an improved ViBe background generation method in this paper,which is compared with the original algorithm by means of experiments.The results show that the proposed algorithm is more effective in both background generation and foreground extraction.

ViBe algorithm;background generation;object detection;color histogram;Mean Shift

2015-11-17

2016-03-09

時間：2016-06-22

國家自然科學基金資助項目(61472188)

張夏清(1991-)，女，碩士研究生，研究方向為視頻圖像處理、模式識別；茅耀斌，副教授，博士，通信作者，研究方向為視頻圖像處理、模式識別。

http://www.cnki.net/kcms/detail/61.1450.TP.20160622.0845.070.html

TP301.6

A

1673-629X(2016)07-0036-04

10.3969/j.issn.1673-629X.2016.07.008