基于紋理特征和顏色特征相融合的背景建模方法

■賈永華 張文聰 浦世亮

基于紋理特征和顏色特征相融合的背景建模方法

■賈永華 張文聰 浦世亮

針對當前大多數背景建模算法僅僅采用單一特征存在的問題，本文提出一種基于中心對稱局部二值模式紋理特征和顏色特征相結合的背景建模方法，并應用于運動目標檢測。實驗結果表明，這一算法相比之前采用單一特征的背景建模算法在檢測性能上有明顯的提高，而且在速度上也能達到實時，能夠很好地滿足實際應用的要求。

引言

背景差方法是一種重要的運動目標分割方法，被廣泛用于智能化視頻監控，其基本思想是通過輸入圖像與背景模型進行比較，檢測出運動目標。背景差方法的核心是背景建模，目前的背景建模方法大致分為兩類：基于預測的方法和基于統計的方法。

基于預測的方法將視頻序列看成一個時間序列，根據過去的觀測值建立一個動態模型來預測當前輸入幀，將預測結果作為背景并將其與輸入幀進行比較從而分割出前景。典型的方法有卡爾曼濾波、粒子濾波方法等，這些方法的主要缺點在于不能對背景的突然變化（比如光線的突然變化）進行準確的建模。

而基于統計的方法是對背景建立一個統計概率模型，主要方法可以分為兩類：參數化方法和非參數化方法。其中參數化方法中的典型代表就是高斯混合模型，該方法假設視頻幀中每一個象素的亮度分布是一個高斯混合模型，并以此建立背景模型，但是這個假設并非總是成立。針對這個問題，有學者提出了非參數化方法，該方法無需對象素亮度的分布做任何假設，而是通過概率密度估計的方法或者聚類的方法來建立統計模型。代表性工作主要有A.Elgammal提出的使用核概率密度估計進行背景建模，以及K.Kim使用Codebook進行背景建模。

不論是基于預測還是基于統計，所有建模方法都要對所建模的對象進行特征提取。目前大部分方法僅使用的是顏色特征，比如灰度或者RGB特征。而顏色特征存在一個非常明顯的缺點，即對光線突變和陰影敏感，例如基于顏色特征的高斯混合模型背景建模算法，該算法雖然對于擾動背景有較好的抑制效果，但是對于光線突變還是存在明顯的缺陷，如圖1中的中間兩幅圖所示，由于此視頻中的光線在短時間存在突變，基于顏色特征的高斯混合模型算法不能很好的適應這種光線突變，因此導致大量的前景誤檢。針對這個缺點，Heikkila等人提出基于LBP紋理特征的背景建模方法，取得了較好的效果。其主要優點就是對于光線變化和陰影不敏感。但是，利用LBP紋理特征進行背景建模時，在檢測過程中對于紋理不豐富的前景目標常常會出現檢測空洞，導致檢測出的前景目標不完整，如圖1中的右側兩幅圖所示，從該圖中可以看出，基于LBP紋理特征的建模算法能夠有效的抑制光影突變帶來的誤檢，但是由于圖中行人的衣著紋理過于單一，因此在檢測出的行人目標中間會出現大量的空洞。此外，更為嚴重的是由于描述背景的LBP紋理特征直方圖維數過高，導致檢測速度很慢，無法進行實時處理。

■ 圖1：基于顏色特征的GMM方法和基于紋理特征建模方法的檢測結果示意

因此針對當前背景建模算法中存在的缺陷，本文提出一種基于CSLBP（中心對稱局部二值模式）紋理特征和顏色特征的建模方法，其中利用CSLBP特征建立一個混合紋理模型，同時利用顏色特征建立一個單高斯模型。由于利用基于CSLBP特征的紋理模型只對紋理較為豐富的前景目標進行檢測，因此可以有效的去除光線變化及陰影產生的虛假前景，因為這些虛假前景是沒有紋理的或者說其內部紋理與背景紋理相一致的，而利用基于顏色特征的高斯模型能夠彌補紋理模型在檢測過程中存在的檢測空洞，保持前景的完整性。因此二者結合，可以在保證真實前景目標檢測完整的情況下能夠去除由于光影變化帶來的虛假前景目標，而且通過大量的實驗測試表明，本文提出的背景建模算法是切實有效可行的。

CSLBP紋理特征

■ 圖2：LBP/CSLBP特征示意圖

CSLBP特征是由Heikkila等人提出的，是對LBP（Local Binary Pattern局部二值模式）特征的改進。由于LBP特征具有很強的圖像局部紋理描述性，而且對于光線變化魯棒，因此被廣泛應用于目標的特征提取當中。如圖2所示，對于圖像中任意一點（圖2中標記為nc），將其鄰域內的點（圖2中標記為n0～n7，是以點nc為圓心，半徑為R的圓上的8個相互等距的點，對于不是正好處于某一像素上的點，需采用雙線性插值法來得到其像素值），與nc進行比較來計算LBP值，具體計算方法如式（1）所示：

其中，N為nc的鄰域個數，在圖2中N為8，R為鄰域半徑（單位像素），而T(≥0)為一個閾值。

但是，使用LBP直方圖進行區域描述時，產生的直方圖維數很高，會帶來維數災難問題。而CSLBP由于僅比較關于中心nc對稱的鄰域點（如n0和n4，n1和n5等），因此其直方圖維數大大降低，由原先的2N，降到2N/2，相應地，在算法計算復雜度上也會有較大地下降。具體計算方法如式（2）所示：

對于任一像素，本文采用其鄰域內CSLBP值的統計直方圖作為對此像素的描述，設像素點位置為（x，y），該像素點處的直方圖描述的第i位按下式計算：

其中，R表示所取鄰域大小，V（x'，y'）表示點（x，y）的CSLBP值。

背景建模：紋理模型和顏色模型

背景建模是運動目標檢測的關鍵，一個好的背景模型不但要能完整地檢測出前景目標，而且還要能夠適應背景自身的變化，如場景中的光線變化、重復運動的物體（搖動的樹葉、灌木叢、顯示器的抖動、海面上的波濤）等等，防止將它們誤檢為前景目標。雖然紋理特征和顏色特征存在明顯的互補性，但是如何進行合理融合這二者特征才能滿足背景建模的最終要求是至關重要的。本文中主要是在Li等人提出的線性組合方式的基礎上進行改進，引入組合權重的自適應性，計算方式如公式（4）:

其中dtc（p）為背景模型和當前幀圖像在相同像素位置p處的總體相似度；dt（p）為紋理上相似度；dc（p）為顏色上的相似度；wt（p）為紋理信息貢獻權重；wc（p）為顏色信息貢獻權重，且有wc（p）=1-wt（p）；而k為比例因子，用于控制顏色信息的貢獻權重。

背景的具體描述、模型相似度計算、模型的更新及前景點的檢測如下：

（1）模型概述：

對于每一個象素，背景模型主要是由K個基于CSLBP直方圖的混合紋理模型和一個基于顏色特征的單高斯模型組成。

每個像素點處的紋理模型是對以該像素為中心的一塊局部區域內的直方圖的統計描述，具體表示為：｛（h1,w1）,（h2,w2）,…,（hk,wk）｝，其中wi為第i個紋理模型的權重，hi為第i個模型的一個紋理描述向量，具體是指以該像素為中心、長寬皆為R的一個正方形鄰域內的CSLBP直方圖。單高斯顏色模型是對該像素點顏色的歷史分布的描述，具體表示為：，其中為該像素點的顏色均值向量，為顏色變化協方差矩陣，。

（2）模型相似度計算：

CSLBP紋理模型：對于當前幀中一個象素點p，首先計算象素點p局部區域內的CSLBP紋理直方圖描述Hn，然后計算其與每個紋理模型中直方圖Ho間的相似度，即得出與每個模型的紋理相似度。紋理相似度的計算采用巴氏距離衡量法：

其中N為直方圖的長度，H，Hci分別為直方圖的第i位。

根據公式（4）可以計算出當前CSLBP直方圖與各個紋理直方圖模型間的相似度。將相似度按從小打到排序，如果相似度中的最大值小于設定的閾值Th，則認為沒有一個紋理模型與當前的直方圖匹配，那么此時該像素在紋理特征上與紋理模型的匹配程度就置為0；如果相似度中的最大值大于設定閾值，則認為存在于當前直方圖相匹配的紋理模型，那么該相似度就是當前像素點在紋理特征上紋理模型的匹配程度。

單高斯顏色模型：當前像素點在顏色特征上的相似度計算采用高斯概率密度進行衡量：

其中，c(p)為當前幀中像素點p處的顏色向量。

（3）模型更新：

模型更新包括紋理模型的更新和單高斯顏色模型的更新。

CSLBP紋理模型：當所有相似度都小于閾值時，則認為紋理模型中沒有一個模型與當前像素點的紋理相匹配，那么需重新生成一個新的紋理模型來記錄當前像素點的紋理特性，因此本文中就用當前直方圖代替具有最低權重的那個紋理模型的直方圖，同時初始化該模型權重。如果有匹配，即有至少一個模型的相似度大于此閾值，則將最佳匹配（相似度最大）的紋理模型的直方圖進行更新，更新方式如下：

然后對于所有紋理模型的權重進行如下更新[6]：

wk為第k個模型權重，aw為可調節的權重學習因子，對于具有最佳匹配的紋理模型，mk為1，否則為0。

單高斯顏色模型：單高斯模型的更新主要是更新高斯模型的均值和方差，更新方式如下：

（4）前景檢測：

前景檢測是在模型相似度計算完成的基礎上進行的。根據公式（4）計算出當前像素與背景模型之間的最終相似度，如果相似度大于閾值，則當前象素為一個背景象素，否則判定其為前景象素。

實驗結果與分析

實驗選用的視頻為VSSN06競賽的部分測試視頻，其中每段視頻都是幀率為25fps，分辨率為320×240或者384×240。

所有的視頻按照不同的測試目的大致可以分為三種類型：

變化的背景，代表視頻為video4（搖動的灌木），video7_long（搖動的樹葉），測試背景模型對多模態背景的建模能力；

光照的突然變化，代表視頻為video8_vlong，測試背景模型對光照突然變化的處理能力和適應速度；

自舉（在訓練視頻中就有前景物體存在），代表視頻為video6_long，測試背景模型對初始訓練數據的依賴性。

圖3是從上述部分代表視頻中截取的圖像幀（括號中的數字表示視頻幀號）：

本實驗主要從漏檢的前景像素個數的平均值和最大值，誤檢的背景像素個數的平均值和最大值這四個方面進行評估。為了允許少許的邊緣誤差，前景與背景邊緣處兩個像素以內的錯誤將被忽略。實驗采用VC6.0編程，運行在Intel Core2 Duo 2.37G，內存2G的個人計算機上。

具體實驗結果如表1所示：

其中ave fa為average false alarm的簡寫，表示平均的誤檢的象素點數

ave fm為average false missing的簡寫，表示平均的漏檢的象素點數

max fa和max fm則分別表示最大的誤檢的象素點數和最大的漏檢的象素點數

從表1可以看出，使用本文算法進行背景建模時，在誤檢率方面明顯要比僅使用基于單一顏色特征的高斯混合模型的檢測效果好很多，基本上繼承成了LBP紋理模型對于光線變化魯棒的優點；而在漏檢方面明顯低于僅使用基于單一LBP特征的紋理模型檢測結果，具有顏色模型能夠較完整檢測出前景目標的優勢。此外，由于本文中的紋理描述選用CSLBP特征，相比LBP特征，其特征維數要小很多，因此在速度有很大的提升，處理速度為25ms/幀，每秒可處理40幀左右，完全達到實時要求。

■ 圖3：部分代表實驗視頻截圖

■ 表1：實驗結果對比

■ 圖4：video4的實驗結果對比

圖4是在video4上的部分實驗對比結果，第一行的第一幅圖是視頻video4中的第970幀，第二幅圖是video4的第991幀，groundtruth為第991幀的真實前景數據，其中第一幅圖主要是用作參照，可以從視頻中看出在短時間內屋內的光線發生了突變；第二行是基于顏色特征的高斯混合模型算法檢測的結果，其中foreground為檢測到前景，false missing為漏檢的前景，false alarm為誤檢的背景；第三行為基于LBP特征的紋理模型算法檢測的結果；第四行為本文算法檢測的結果。從圖4中可以看出，本文算法融合了顏色特征模型和紋理特征模型的優點，具備能夠在抑制光影突變的情況下完整地檢測出前景目標。

總結

本文提出了一種基于CSLBP特征和顏色特征相融合的背景建模的方法。相比于基于采用單一顏色特征的背景建模方法，該方法能夠去除由于光影變化帶來的誤檢；相比基于單一LBP紋理特征的背景建模方法，本文方法在保持LBP對陰影和光照變化不敏感的優點的情況下減少前景目標中的空洞和漏檢，而且計算代價大幅度降低。實驗結果驗證了上述結論。

杭州海康威視數字技術股份有限公司。本文工作得到上海市數字媒體處理與傳輸重點實驗室開放課題資助