基于XCS-LBP紋理背景建模算法的運動目標檢測

曹建榮，高紅紅，韓懷寶，趙淑勝，梁　月

（1.山東建筑大學信息與電氣工程學院，山東濟南250101；2.山東省計量科學研究院流量計量研究所，山東濟南250014）

基于XCS-LBP紋理背景建模算法的運動目標檢測

曹建榮1，高紅紅1，韓懷寶1，趙淑勝1，梁月2

（1.山東建筑大學信息與電氣工程學院，山東濟南250101；2.山東省計量科學研究院流量計量研究所，山東濟南250014）

傳統紋理特征的背景建模算法具有模型的維數過高、計算復雜等缺點，加大了運動目標檢測的難度，提取精確細致的紋理特征建立背景模型，并且提高算法的處理速度，是運動目標檢測技術的關鍵。文章對比了幾種經典的紋理算子，采用了提取紋理信息更加細致的紋理提取算子，使用統計學習方式建立背景模型，又利用像素的空間信息，增加了隨機更新機制去更新背景模型，提出了基于擴展中心對稱局部二值紋理模式（extended center-symmetric local binary pattern，XCS-LBP）紋理特征背景建模算法并通過實驗驗證該算法檢測效果好，避免了模型的維數過高，減少了復雜計算，處理速度滿足實時處理的需求。

背景建模；運動目標檢測；XCS-LBP紋理特征；隨機更新機制

0　引言

隨著計算機視覺和人工智能的發展，基于智能分析的運動目標檢測技術成為一個活躍的研究方向，也是實現目標分類、目標追蹤、以及目標行為分析等后期處理的基礎，實現精準快速的運動目標檢測具有重要的研究意義和實驗價值。背景建模算法是運動目標檢測算法中最常用和最有效的運動目標分割算法［1-2］。其基本思想是通過統計學習，提取視頻幀中的特征建立背景模型并與輸入圖像比較獲得前景目標，背景建模過程包括背景模型初始化、前景檢測和背景更新等過程。隨著目標檢測算法的不斷發展，很多經典的背景算法被相繼提出，包括混合高新模型、PBAS算法和Codebook算法等。混合高斯模型，適用于動態背景中，抗干擾能力強，成為最經典的算法之一，但是有初始學習速度慢、在線更新費時等缺點［3-4］。Hofmann等在2012年提出了PBAS（pixel-Based adaptive segmenter）背景模型算法，該方法的分割效果較好，但計算復雜處理速度較慢［5］。趙玉吉等提出了一種改進的Codebook的背景建模算法，對傳統的Codebook算法進行了改進，但是計算復雜性較高［6］。目前大多數方法使用顏色特征，比如灰度或者RGB特征［7-9］，但是顏色特征對光照變化或者陰影比較敏感，因此，可采取紋理特征進行背景建模，獲得運動目標。

紋理是一種重要的視覺線索，是圖像中普遍存在的特征［10-11］。紋理特征對光照變化不敏感，計算簡單，因此，很多學者采用紋理特征，提出了一些背景建模算法，這些紋理背景建模都采用了紋理直方圖統計來建模，背景直方圖維數隨著算子的不同而不同。局部二值模式LBP（Local Binary Pattern）［12］應用在背景建模中取得良好的效果，但是LBP紋理特征在背景建模時，背景描述直方圖的維數過高，影響了檢測的速度；Heikkil?等在2009年提出了一種中心對稱對稱局部二值模式CS-LBP（center symmetric local binary pattern，）［13］，比較關于中心對稱的鄰域點，降低了背景直方圖的維數。Xue等提出了一種空間擴展中心局部二值模式SCS-LBP（spatialextendedcenter-symmetriclocalbinary pattern）［14］，降低了CS-LBP的計算復雜度。該方法提取了更加詳細的紋理信息。Silva等提出一種提出了一種基于擴展中心對稱局部二值紋理模式XCS-LBP（extended center-symmetric local binary pattern）［15］的背景建模算法，結合LBP和CS-LBP的紋理特點，提取的紋理特征更加精準。

提取精確細致的紋理特征建立背景模型，并且提高算法的處理速度，是運動目標檢測技術的關鍵。文章運用XCS-LBP算子進行紋理特征提取，利用鄰域像素之間在時間和空間上的相關性，提出了一種基于XCS-LBP紋理特征的背景建模算法。文章算法的獨特之處是不再使用紋理直方圖統計來建模，減少了復雜計算，提高算法的計算速度。使用視頻幀中第一幀圖像的擴展中心對稱局部二值紋理特征建立背景模型，進而進行前景檢測，背景更新時才用隨機更新機制，提高了算法對噪聲的干擾。

1　紋理算子

LBP算子是一種應用比較廣泛的區域算子，具有多尺度特征、旋轉不變性、計算簡單等優點，尤其該特征是對光照變化和及陰影的適應性強，被廣泛應用在目標特征提取。對于圖像中的每個像素點c=（x，y），與其鄰域半徑為R的P個鄰域點的灰度值進行比較，計算出LBP紋理特征值，計算過程由式（1）表示為

式中：gc為中心點的灰度值；gi為鄰域點灰度值；T為閾值；P為鄰域點的個數一般選4或者8。

CS-LBP算子采用中心對稱的思想提取紋理特征，大大降低了提出紋理特征的維數。計算以中心像素為對稱的像素對的鄰域像素值，得出CS-LBP紋理算子的特征值由式（2）表示為

式中：gi+P/2是以gc為中心與gi點中心對稱的像素點灰度值。

XCS-LBP算子所提取的紋理信息更加細致，結合了LBP和CS-LBP紋理的優勢，對抗噪能力更強。XCS-LBP紋理算子的特征值的計算方式由式（3）表示為

式中：gi為像素點c=（x，y）的鄰域像素點灰度值；gi+P/2是以gc為中心與gi點中心對稱的像素點灰度值；T為閾值。

當P=8時，LBP和CS-LBP原理圖如圖1所示。

圖1　LBP、CS-LBP和XCS-LBP算法原理圖

圖2　LBP、CS-LBP和XCS-LBP紋理特征對比圖

圖2分別顯示輸入圖片、LBP紋理特征圖、CSLBP紋理特征圖、XCS-LBP紋理特征圖，結果顯示XCS-LBP紋理特征圖比LBP紋理和CS-LBP紋理特征圖提取的紋理特征更加清晰和細膩，在特征提取時更加準確。因此文章采用XCS-LBP紋理進行背景建模，該方法計算簡單，能夠提高算法的計算效率，滿足實時處理的要求，同時，計算紋理特征采用中心對稱的方式，抗噪能力增強［16］，并且提取的紋理信息比LBP和CS-LBP更加準確和清晰，提高了背景建模的準確性。

2　基于XCS-LBP紋理的背景建模算法

文章提出的基于XCS-LBP紋理的背景建模算法，采用XCS-LBP紋理特征對運動目標進行特征提取。統計直方圖的背景建模方式，是采用通過統計像素灰度變化的方法來檢測背景，但卻有運算量大、提取背景速度慢的缺點，并且隨著統計的圖像序列增加，提取背景的效果越來越不明顯。因此文章用視頻幀中第一幀圖像的擴展中心對稱局部二值紋理特征建立背景模型，不再采取紋理直方圖方式進行背景建模，減少了復雜計算。考慮到樣本點在空間上的相關性，背景更新時才用隨機更新機制，最后進行的前景后處理提高前景的準確率。

2.1背景初始化

背景模型是運動目標檢測中最重要的一部分，主要目的是為場景建立動態的統計數據模型，是算法統計學習的過程。經典的目標檢測算法一般采取單幀或多幀進行特征提取從而建立背景模型。但是，若算法背景初始化時存在運動目標時，建立的背景模型可能包含前景成分，使得背景模型不準確，屬于背景的像素點會不斷被判斷為前景；文章首先提取視頻中的第一幀進行背景模型初始化，計算每個像素的XCS-LBP值。像素點x的XCS-LBP值為L（x），利用圖像鄰域像素點在時間和空間上的相關性，提取像素點8鄰域內的XCS-LBP值，并在這8鄰域內的樣本點中隨機抽取N個（N一般選20或25）樣本點，建立每個像素點的背景模型即每個像素點的背景模型由式（4）表示為

式中：B（x）為像素點x的背景模型；L（x）為像素點x的XCS-LBP值；N為樣本點個數，一般取20或25。

2.2前景檢測

前景檢測在背景更新前進行。前景檢測的主要目的是根據輸入的視頻幀與建立的背景模型進行比較，提取出前景目標，因此前景檢測也是一個分類問題，如果將鄰域的紋理特征對新的像素點分類，可以降低噪聲的影響。文章在前景檢測時，將當前樣本與背景模型中的每個樣本進行匹配度計算，即計算當前像素與背景模型像素距離與設定閾值#R進行比較。文章定義Match（x）為像素點x的匹配度，每個像素點根據背景模型的個數計算單個匹配度Mi，dist表示當前像素與背景模型像素點距離。具體的表示由式（5）（6）表示為

式中：Match（x）為像素點x的匹配度；Mi（i= 1，..，N）表示單個匹配度，dist表示當前像素與背景模型像素點距離。

若當前像素點與背景模型中的所有樣本點比較后計算出當前點的總的匹配度，當匹配度大于閾值T時，當前像素被判為前景，否則被判為背景，由式（7）表示為

由于場景的復雜性，前景檢測后，前景圖像中會產生一些白色的噪聲塊。針對這一情況，文章算法設定了面積閾值進行連通域判斷，若白色噪聲塊的面積小于設定的閾值Area，則判定其不是前景.

處理后的前景圖像再進行形態學濾波，利用開閉運算濾除噪點，使圖像更加完整清晰。

2.3模型更新

視頻序列的背景會隨著時間的變化發生變化，比如光照影響，樹枝擺動，場景變化等。背景模型的更新可以使背景模型適應背景變化，提高算法的魯棒性。模型的更新在前景檢測之后，對檢測出的前景和背景分別進行更新。文章算法利用像素的空間信息，增加了隨機更新機制去更新背景模型，增強算法對噪聲的魯棒性。具體步驟如下：

（1）被判為背景的點x，其背景模型中的背景點按1/α的概率用當前像素點的XCS-LBP值更新B（x）中的隨機抽取的一個樣本點，α為更新因子。

（2）根據鄰域像素點在時間和空間上的相關性。再次按1/α的概率隨機更新選取的x的8鄰域的背景模型中的一個樣本點，完成對鄰域點的背景模型更新。

（3）當x點被判為前景時，設定更新頻率φ，即該點有1/φ的概率替代隨機選取的背景模型中的樣本點。當該點連續被判為φ次前景時，將該點判為背景并加入背景模型。

3　實驗結果及分析

本實驗的實驗軟件環境：操作系統為Window 7，硬件平臺Core3雙核2.2 GHz、2.0 GB，軟件平臺采用VS2008，Opencv2.3.1。

實驗中參數，#R=2、T=2、α=16、φ=50和Area=80。為了具有更好的對比性，體現文章算法的優勢，文章采用了三個場景的視頻Video1，Video2和Video3，并根據紋理特征和建模方式的不同將本算法與傳統LBP、XCS-LBP紋理直方圖背景建模方法進行實驗對比。

3.1結果分析

文章采用了四段視頻進行對比試驗，圖3顯示了LBP、CS-LBP和文章算法處理結果對比。圖3（a）是輸入視頻幀，圖3（b）是LBP直方圖建模法處理結果，圖3（c）是XCS-LBP直方圖建模法處理結果，圖3（d）是XCS-LBP背景建模算法處理結果。圖3（b）、（c）采用的紋理特征不同，建模方式相同，兩種算法在這三個視頻中，處理的前景效果不完整，同時有產生的前景誤檢比較多；圖3（c）、（d）中采用的紋理特征相同，建模方式不同。

Video1和Video2中場景屬于昏暗的樓道場景，該場景中圖像的對比度低、分辨率低，傳統LBP、XCS-LBP紋理直方圖背景建模方法檢測出的前景不完整，文章采用對光照變化和陰影不敏感的紋理算子和統計學習的方式背景建模的方法取得了很好的檢測效果。Video3和Video4分別是一段經典的室外場景和一段經典室內場景，該場景中行人的衣著與背景顏色相近，屬于前景的像素可能被判為背景，導致空洞的產生，文章算法采用了基于區域的背景建模方式減少了前景誤判率。由對比圖可知，在不同的實際場景中，文章提出的算法能夠克服光照和噪聲的影響，獲得準確完整的前景目標。

圖3　LBP、CS-LBP和XCS-LBP背景建模算法處理結果對比圖

3.2處理速度比較分析

由表1所示，采用傳統直方圖的背景建模方法，存在計算復雜處理速度低的缺點，很難滿足實時性的要求。文章算法使用統計學習的背景建模方式，避免了復雜計算，視頻處理速度較快，滿足實時性要求。文章算法與傳統LBP和XCS-LBP紋理直方圖背景建模方法處理速度相比，比LBP紋理直方圖建模的處理速度快，接近XCS-LBP的平均處理速度，能夠滿足實時處理的要求。

表1　三種算法平均處理速度比較/（ms·f-1）

4　結語

文章針對傳統紋理背景建模存在的模型維數過高、計算復雜等缺點。采用提取的紋理特征比較精細的XCS-LBP算子進行圖像紋理提取，利用鄰域像素之間在時間和空間上的相關性，提出了一種基于XCS-LBP紋理特征的背景建模算法。該算法不再使用紋理直方圖統計來建模，減少了復雜計算，提高算法的計算速度。文章算法使用視頻幀中第一幀圖像的擴展中心對稱局部二值紋理特征建立背景模型，并進行前景檢測，背景更新時采用隨機更新機制。實驗表明，XCS-LBP背景建模算法比傳統LBP和XCS-LBP紋理直方圖背景直方圖算法獲得的前景目標準確完整，同時算法的處理速度比這兩種算法快，可滿足實時處理的要求。

［1］Liu W.，Yu H.F.，Yuan H.，et al..Effective background modelling and subtraction approach for moving object detection［J］.IET Computer Vision，2015，9（1）：13-24.

［2］ Zhang X.，Huang T.，Tian Y.，et al..Background-modelingbased adaptive prediction for surveillance video coding［J］.IEEE Trans Image Process，2014，23（2）：769-784.

［3］ Stauffer C.，Grimson W.E..Learning patterns of activity using real-time tracking［J］.IEEE Trans Pattern Anal Mach Intell，2000，22（8）：747-757.

［4］ 黃文麗，范勇，李繪卓，等.改進的混合高斯算法［J］.計算機工程與設計，2011，32（2）：592-595.

［5］Hofmann M.，Tiefenbacher P.，Rigoll G...Background segmentation with feedback：the pixel-based adaptive segmenter［C］.IEEE ComputerSocietyConferenceoncomputerVisionandPattern Recognition Workshop（CVPRW），2012：38-43.

［6］ 趙玉吉，駱且，杜宇人.基于改進的codebook算法的運動目標檢測［J］.揚州大學學報（自然科學版），2015（4）：63-67.

［7］ Kang B.，Zhu W.P..Robust moving object detection using compressed sensing［J］.IET Image Processing，2015，9（9）：811 -819.

［8］ Chavez-Garcia R.O.，Aycard O..Multiple sensor fusion and classification for moving object detection and tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2016，17（2）：525-534.

［9］ Zhang X.，Yang Y.H.，Han Z.G.，et al..Object class detection：a survey［J］.ACM Computing Surveys，2013，46（1）：28-36.

［10］劉麗，匡綱要.圖像紋理特征提取方法綜述［J］.中國圖象圖形學報A，2009，14（4）：622-635.

［11］孫軼紅，焦永和.基于特征描述及紋理的橋梁三維建模方法研究［J］.計算機仿真，2006，23（2）：171-173.

［12］Heikkl? M.，Pietik?inen M..A texture-based method for modeling the backgroundanddetectingmovingobjects［J］.IEEE Transaction on Pattern Analysis and machine Intelligerce，2006，28（4）：657-662.

［13］Heikkila M.，Pietikainen M.，Schmid C..Description of interest regions with local binary patterns［J］.Pattern Recognit，2009，42（3）：425-436.

［14］Xue G.，Sun J.，Song L..Dynamic background subtraction based on spatial extended center-symmetric local binary pattern［J］.2010，26（2）：1050-1054.

［15］Silva C.，Bouwmans T.，Frelicot C..An eXtended Center-Symmetric Local Binary Pattern for Background Modeling and Subtraction in Videos［C］.The Computer Vision，Imaging and Computer Graphics Thory and Applications，2015：395-402.

［16］譚文明，李斌，張文聰.基于中心對稱局部二值模式的背景建模方法研究［J］.中國科學技術大學學報，2010，40（11）：1112-1116，1152.

Background modeling algorithm based on XCS-LBP texture feature

Cao Jianrong，Gao Honghong，Han Huaibao，et al.

（School of Information and Electronic Engineering，Shandong Jianzhu University，Jinan 250101，China）

Traditional background modeling algorithms based on texture features have the disadvantage of high dimension and complex calculation，which increase more challenges to moving object detection.Extracting precise and detailed textural feature used for building background model，and improving processing speed of the algorithm are two key factors of moving target detection technology. This paper compares some classical texture operators and adopts texture extraction operator which can extract more detailed texture information，then builds background model using statistical learning method.The random update mechanism is added to update background model using space information of pixels.Then this paper proposes a background modeling algorithm based on XCS-LBP（Extended Center-Symmetric Local Binary Pattern，XCS-LBP）texture feature.Experimental results show that the algorithm proposed in this paper works well，avoids high dimension and complex calculation，and has fast processing speed which meets requirement of real-time processing.

background modeling；moving target detection；XCS-LBP texture feature；random update mechanism

TP301.6

A

1673-7644（2016）04-0322-06

2016-06-05

山東省科技發展計劃項目（2013GGX101131）；濟南市高校院所自主創新項目（201202002）

曹建榮（1965-），男，教授，博士，主要從事模式識別與圖像處理、智能建筑監控視頻分析與應用等方面的研究.E-mail：jrcao@ sdjzu.edu.cn