改進的ViBe算法及在復雜背景下的應用

肖義涵，趙群飛

改進的ViBe算法及在復雜背景下的應用

肖義涵，趙群飛

前景分割取作為運動檢測和對象識別的預處理程序，在基于視頻序列的應用中起到重要的作用。基于視覺背景提取子提出了一種在彩色空間下的改進型前景分割算法。視覺背景提取子在當前背景提取算法中具有最高的處理效率，但在復雜背景和人物前景面積較大等情況下提取效果會明顯下降。提出了一種新的彩色空間下的像素距離模型，并改進了像素信息的傳播更新機制。實驗表明在并未犧牲計算效率的前提下，算法在復雜背景的環境中獲得了很好的效果，對光照干擾和動態背景紋理都具有良好的魯棒性。

ViBe；前景分割；背景提取；視頻處理

0 引言

作為視頻處理中的重要組成部分，前景檢測一直是計算機視覺的研究熱點。在現在的前景檢測算法中，背景差分型方法有著相對較好的噪聲抑制能力和較低的計算復雜度，因此成為實際應用中前景檢測的首選，但如何提高背景模型的有效更新效率是該法的難點，因而圍繞背景差分法的研究主要集中于背景模型的選擇和更新機制的設計上。

混合高斯模型Gaussian Mixture Model (GMM)[1]是應用最廣泛的背景模型，GMM通過對每個像素建立多個高斯模型（一般3到5個）來計算當前像素和背景的隸屬概率。但是混合高斯模型的計算復雜度較高，而且并未考慮前景和背景的區分程度，對于每個像素的更新速度是一樣的，導致在很多情況下，如光照變化，前景停留或背景移出等都會出現持續的大量誤分割。Kyungnam Kim等人提出了碼本算法(Codebook)[2]，通過長時間的采樣對每個像素不同值的出現頻率進行統計，以此區分背景和前景，同時對于一些動態的環境干擾具有一定的抑制能力，但是其計算開銷較大，實現復雜。Hanzi Wang等人提出了樣本一致性建模算法(SACON)[3]，通過保存一段時間內的圖像序列為樣本，計算當前幀每個像素與樣本集的差異大小來判斷是否屬于背景，計算效率有了較大地提高。Lucia Maddalena等人在基于自組織人工神經網絡的基礎上提出一種新的背景建模算法SOBS[4]，將背景中的一個像素映射到模型的多個位置，并采用了像素鄰域空間相關的更新方式。該算法利用了像素的空間信息，對之后的算法設計具有很好的啟發性。

視覺背景提取子Visual Background Extractor (ViBe)[5]由Oliver Barnich等人于2009年提出，和SOBS一樣利用了周圍領域像素的信息，并建立了像素信息的傳播機制。其結構簡潔，計算效率非常高，不需要進行先驗視頻幀訓練，并能快速有效地抑制虛影(ghost)、照相機晃動對前景檢測造成的影響，因此具有較好的檢測性能[6]。在原作的框架中作者并未討論如何進行顏色距離的計算，僅采樣了簡單的歐式距離。目前大多數文獻的實現均使用像素的灰度特征，雖然計算方便快速但對于復雜背景的檢測結果較差，當運動前景的面積較大時，背景的紋理容易“滲透”到前景中造成前景內部出現大量誤分割區域。

如圖1所示：

圖1 背景紋理滲透

灰度下的前景分割中出現了大量的來自背景的紋理，形成了破壞前景連通域的空洞。當背景較為復雜時，這種問題會變得非常明顯。

1 背景模型結構

在進行前景分割之前，我們對每個像素用 N個樣本描述該像素的背景模型，表示該像素的 N個狀態。算法的主要部分包括模型初始化、前景檢測以及模型更新。

在第一幀中，從當前像素的 8鄰域中隨機多次選取 N個像素值，存放到對應背景模型的 N個樣本中，即僅用第一幀對模型進行初始化，因此從第二幀開始即可以進行前景提取，圖2展示了輸入像素和模型樣本的比較過程，如圖2所示：

圖2 模型像素值比較[5]

v(x)為輸入幀的的像素信息，點vi表示了背景模型的相同位置所中儲存的像素樣本信息，若樣本和v(x)的距離小于半徑 R則認為其匹配，通過計算匹配總數來判斷輸入像素是否屬于背景。

2 像素距離計算

灰度值為常用的比較像素之間差異的變量，一般像素的灰度距離為公式（1）：

如前文所述，灰度距離只使用了單一的色彩信息，在背景較為復雜的情況下并不適用，因此一種較好的方法為采用RGB三顏色通道的歐式距離為公式（2）：

上式中3個通道對于顏色距離的區分貢獻是一樣的，即認為RGB空間是一個均勻的顏色空間，但顯然RGB空間并不滿足這一條件。在此基礎上，文獻[7-8]等采用了帶權重的距離為公式（3）：

實驗證明這種方法并不具有普適性，權重的選擇和輸入視頻有很大的關系，而且RGB的顏色分量并不是完全獨立的，因此我們采用了基于顏色特征向量的計算方法為公式（4）：

投影 P為特征向量夾角和輸入向量模值的乘積為公式（6）：

最后像素的距離為公式（7）：

然后我們就可以通過像素距離建立輸入像素和背景樣本之間的比較標準。由于人眼對于亮度的差異是較為敏感的，當對象和背景的亮度有較大的差異時，很容易能夠將其從背景中分離開，所以我們從像素的亮度差異和顏色差異兩個方面綜合考量為公式（8）（9）：

公式(8)為像素的亮度差值。公式(9)給出了像素匹配判斷的條件，即當亮度差值小于閾值且顏色距離也小于閾值時，認為兩個像素匹配。當背景模型與輸入像素匹配的個數Nm(xi)超過設定的閾值Tm時即認為該像素是背景，否則為前景，如公式（10）：

3 模型更新

背景中的每個像素會按照一定的概率向領域傳播，這樣可以保持背景模型充分利用像素的空間信息，每個像素點的背景模型都由其周圍像素和其本身共同構成。當輸入的像素點被判斷為背景后，有一定的概率φ更新當前的背景模型，同時也有概率ρ更新周圍的領域模型，更新時從輸入像素對應位置的模型樣本中隨機選擇一個替換為輸入像素。假設每個背景像素點有N個樣本，這樣在經過dt次更新后，一個樣本值繼續保留在模型中的可能性以指數形式衰減，保證了整個模型能隨時間拋棄無效陳舊的樣本[5]為公式（11）：

同時對于前景我們也要對其進行處理，這樣才能把長時間停留的前景逐步融入背景，或者消除由于背景移出導致的虛影。一些算法通過對前景進行形態學操作或者連通性分析來保證前景的完整[3][9]，在這里我們使用了累積權重 w(xi)和近似邊緣檢測的方法來達到前景到背景的溶解和前景完整性的提高。

若一個像素點被判斷為前景，并且在上一次判斷中也為前景，則其對應的累積權重 w(xi)增大，當超過設定的門限Tcon后認為其可以用于更新背景模型為公式（12）：

然后我們還需要計算其當前領域像素有多少也被判斷為前景為公式（13）：

一個像素點四周共有8個領域像素，當M(xi)＜5時開始以概率φ更新背景模型。這樣就能保證前景不會太快地融解到背景中，同時融解過程從邊緣部分開始，避免在前景實體內部產生過多的融解空洞。

4 實驗結果及分析

實驗中每個像素點的背景樣本數為20，Tm取3，Tcon取 50，亮度距離閾值 Tbright取 30，顏色距離閾值 Tcolor取15，模型更新概率φ為1/16，領域更新概率ρ也取1/16。實驗在VS2010，IntelCore X920 2.0GHz，8G內存平臺上進行，這里給出三組實驗結果。

4.1 實驗一

如圖3所示：

圖3 實驗一前景分割結果

測試視頻為室內環境，無明顯的光照變化，人物從右側進入短暫停留后由左側離開，視頻分辨率為320*240，帶權重的RGB距離計算采用文獻[8]的參數。

如表1所示：

表1.實驗一統計表

從實驗結果可以看到本文算法對于環境的噪點干擾有很好的抑制性，再不經過任何后處理的情況下人物分割較為準確完整，錯誤分割率低。由于需要進行RGB-YCrCb空間的轉換，計算耗時略高于對照組，但仍然滿足了實時要求。

4.2 實驗二

視頻本身背景無變化，人物從門外走進房間后光照開始變化。實驗結果展示了從第195幀起光照出現較大變換的分割結果，視頻分辨率為336*224，如圖4所示：

圖4 實驗二前景分割結果

如表2所示：

表2.實驗二統計表

當環境光照出現較大變化時，可以明顯看到本文算法很好地抑制了光照變化帶來的影響，背景部分仍然十分穩定，而原始的ViBe算法出現了大量的誤分割。

4.3 實驗三

仍然使用實驗二中的視頻進行測試，人物停留了 200幀左右的時間，主要考察當前景中的人物停留較長時間對背景模型更新和分割效果的影響，如圖5所示：

圖5 實驗二前景分割結果

可以看到隨著模型的不斷更新，原始的ViBe算法把人物前景融解到了背景當中，雖然畫面上的其他噪點也被更新抑制，但是人物的輪廓破損，不利于接來下其他算法的處理。而本文算法不僅很好地把光照等造成的噪點更新濾除，也很好地保留了前景區域的完整。

5 總結

本文在ViBe的的算法基礎之上上，采用了YCrCb空間下的顏色色距離模型，提出出了結合亮度和和顏色兩種信息的顏色距離計算算方法。實驗表明明本文算法取得得了很好的分割效果，有效解決決了灰度模型中容易產生的背景景紋理滲透問題，同時對于光照照變化等動態干擾有較好的抑制制效果。通過結合累積權重和近近似的邊緣判斷方法，使得前景景的區域連通性得到了保留，為后后續處理提供了很好的條件。

本文算法的實時性較好，如果能預先得到YCrCb下的視頻頻則不需要進行轉換處理，時間可以進一步提高。在今后的研研究當中，將重點點解決如何使得因為融解到背景中的丟失前景景被迅速檢測出來，即抑制當前景由長時間靜止變為運動后造造成的影響。

參考考文獻

[1]Stauffer C, Grrimson W E L.Adaptive backkground mixture models for real-time traacking[C]//Compputer Vision and Pattern RRecognition, 19999. IEEE Compputer Society Conference onn. IEEE, 1999, 22.

[2]Kim K, Chaalidabhongse T H, Harwood D, et al.Real-time forreground–backgground segmentation using codebook moodel[J]. Real-timme imaging, 22005, 11(3):172-185.

[3]Wang H, Suterr D. A consensuus-based methodd for tracking:Modelling backgroundd scenario andforeground apppearance[J]]. Pattern Recoggnition, 2007, 400(3): 1091-1105.

[4] Maddaalena L, Petrosinno A. A self-orgganizing approacch to backgrround subtractioon for visual surveillance appplications[JJ]. Image Processsing, IEEE Traansactions on, 22008,17(7):1168-1177.

[5] Barnich O, Van Drooogenbroeck M.ViBe: A univversal backgrround subtractioon algorithm forvideo sequencees[J].ImageProcessing, IEEEE Transactionns on, 2011, 20(6):1709-11724.

[6] Brutzeer S, HoferlinB, Heidemannn G. Evaluationn of backgrround subtraction techniquesfor video surrveillance[CC]//ComputerVision and PPattern Recognnition(CVPRR), 2011 IEEEE Conferenceon. IEEE, 22011:1937-11944.

[7] Van DDroogenbroeck MM, Paquot O. BBackground subbtraction:experimentsand immprovementsfor ViBe[CC]//Computer VVision and PPattern Recognnition Workshhops (CVPRWW), 2012 IEEEComputer Society Conferrence on. IEEE,2012: 32-37.

[8] 楊振亞亞, 王勇, 楊振東東, 等. RGB 顏顏色空間的矢量量-角度距離離色差公式[J].. 計算機工程與應用, 2010(6):154-1556.

[9] 李貴俊俊, 劉正熙, 游志志勝, 等. 一種種基于色差和彩色歸一化的的車身顏色識別算法[J]. 計算機機應用, 2004, 24(9):47-49.

(收稿稿日期：2014.022.20)

Improved ViBe and the Application for Segmentation of Complex Background

Xiao Yihan1,Zhao Qunfei2
（1. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai200240, China;2. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai200240,China）

As a pre-process of motion detection and object recognition, foreground segmentation is crucial for applications with video sequences. An advanced foreground-segmentation algorithm is put forward as a modification of visual background extractor. The original algorithm enjoys high-level of efficiency but suffers from miss segmentation under the circumstance of complex background and relatively large area of foreground. We improve the background model of visual background extractor from single gray-scale to color space and modify the pixel propagation process. The experiment results show that the proposed algorithm works well in environment of mazy background with large foreground at shallow angle, and has robust resistance to dynamic background texture and variation of brightness.

ViBe; Foreground Segmentation; Background Subtraction; Video Processing

TP311

：A

1007-757X(2014)02-0053-03

肖義涵（1988-），男，上海交通大學自動化系，碩士研究生，研究方向：人機交互，模式識別和圖像處理，上海，200240

趙群飛（1960-），男，上海交通大學自動化系，教授，博士生導師，研究方向：智能機電控制系統設計理論與方法、視覺伺服與工業測控系統、數碼圖像處理技術，上海，200240