顏色和紋理特征的運動目標檢測

周治平，李文慧

（江南大學物聯網工程學院，江蘇無錫214122）

顏色和紋理特征的運動目標檢測

周治平，李文慧

（江南大學物聯網工程學院，江蘇無錫214122）

針對復雜場景中運動目標檢測這一難題，提出利用RGB顏色特征和尺度不變局部三元模式的運動目標檢測算法。利用時域中值法得到估算背景圖像并快速初始化背景模型。通過顏色特征、紋理特征相似性度量，融合得出背景概率網絡，通過側抑制濾波提高對比度分類出前景與背景像素，前景像素進一步進行陰影檢測，將陰影點歸為背景點，但不用于模型更新。將算法與GMM、SC?SOBS、SUBSENS算法在變化檢測數據庫中進行對比驗證。實驗表明，新算法在滿足實時性的基礎上，對動態背景，陰影和相機抖動等有一定的魯棒性。

運動目標檢測；顏色特征；紋理特征；陰影檢測；模型更新

運動目標檢測是計算機視覺的基礎步驟，而提取運動目標最常用的技術是背景減除法，該技術的思想是將當前幀與背景模型進行比較，從而區分出前景和背景像素。現實場景中由于光照變化，背景擾動，相機抖動等因素，使建立一個好的背景模型變的尤為關鍵。

背景建模分為參數法和非參數法。參數法背景建模最經典的為單高斯［1］和混合高斯模型［2］。其中，單高斯適用于單模態背景情形其計算簡單，采取參數迭代方式，不用每次都進行建模處理。而實際中，背景信息復雜，光照變化、樹葉擾動等都屬于多模態情形，混合高斯模型對復雜的背景更具魯棒性，因此很多研究者致力于改進混合高斯模型［3?4］，但混合高斯的缺點是計算量大，對光照敏感。非參數建模有核密度估計法，如文獻［5］中提出將每個像素的顏色、梯度和Haar?like特征綜合起來，利用核密度估計建立背景模型。除此之外，近年來基于樣本一致性的非參數方法得到越來越廣泛的研究，該方法計算簡單，大量實驗證明效果顯著。文獻［6］根據時域特性，提取視頻前N幀進行采樣，通過對每個像素進行樣本一致性計算估算背景模型。Maddalena等［7?8］提出一種自組織神經網絡的背景差分算法，將背景模型的每個像素映射到多個位置，并按一定權值更新最匹配點及鄰域信息。文獻［9］提出隨機更新和鄰域傳播機制的vibe算法，內存占用少，背景模型及時初始化，但易產生鬼影。Hof?mann等［10］結合了SACON和vibe算法的優勢，提出像素判斷閾值的自適應和背景模型更新的自適應的PBAS算法，檢測效果得到進一步提高，但不能處理間歇動態變化。上述這些方法都僅僅采用顏色單一特征，紋理特征更能體現像素之間的空間相關性，文獻［11］利用LBP特征進行背景建模。文獻［12］提出一種新的尺度不變局部三元模式（scale invariant local ternary pattern，SILTP）紋理表示方法進行背景建模。但僅使用紋理特征不能有效處理當前景與背景紋理存在一致性的情況。文獻［13］將顏色特征與LBP特征相結合，但此方法將顏色特征與紋理特征同等對待，不能有效發揮特征之間的互補作用。

本文提出將rgb顏色特征與SILTP特征通過各自的置信度相融合，有效彌補各自在前景檢測上的不足。利用估算背景圖像快速初始化背景模型，分別計算出當前像素點與背景模型顏色特征與紋理特征的相似性，并融合得出背景概率網絡。利用側抑制濾波提高對比度分類出前景與背景像素。不斷將檢測出的背景像素用于背景模型更新，使其能有效處理動態背景，光照變化等復雜情況。前景像素則進一步進行陰影檢測，將陰影點歸為背景點，但不用于模型更新。

1 背景建模

文獻［6?8］通過一系列圖像幀進行背景建模，提取同一位置不同時刻像素點的信息來估計背景像素的時域分布。然而這樣的建模方法對視頻序列的幀數有一定要求，并且不能檢測學習序列中的前景目標。為了快速初始化背景模型，做出文獻［14］中同樣的假設：相鄰的像素間共用相似的時域分布。這樣的假設也在vibe算法［9］中得到檢驗。在用于背景建模的圖像幀中，往往把初始值全部看做背景像素點。但在實際應用中，卻往往不能成立，因此后序的檢測中易產生鬼影。本文實驗中先采用時域中值法估算背景圖像，這樣能有效減少前景點對背景模型的作用，避免鬼影，即對于L幀的圖像子序列I1，I2，…，IL，B＝median（I1，I2，…IL）。

將背景圖像B中每個像素點p快速初始化背景模型C（p）如下：

式中：Dp1，Dp2，…，Dpm為背景采樣點的信息。本文m取值為9，即當前像素點與其8鄰域點。圖像包含豐富的信息，包括灰度、顏色、紋理、邊緣、輪廓等。如果能將多個信息結合起來，前景目標的分割將更具魯棒性。文獻［13］的實驗結果表明顏色和紋理特征能互相彌補各自的不足，但LBP對噪聲敏感。因此，本文提出將RGB顏色特征和SILTP特征相融合來進行前景檢測。

1．1 尺度不變局部三元模式

LBP［15］是一個有效的圖像局部紋理描述符，但對噪聲敏感。SILTP是對LBP的改進，首次在文獻［12］中提出，其在一定程度上能有效抵抗噪聲，并且對尺度變換亦具有不變性，如圖1所示。在第2行中，一些加粗像素表示被噪聲影響了，第3行每個像素灰度值均為原來的2倍，但SILTP描述符均能在一定程度上抵抗這些情況，描述符為‘1000000000000110’。

圖1 SILTP描述符Fig．1 SILTP descriptor

式中：Ic為中心像素點的灰度值，Ik為半徑為R的鄰域像素，⊕為二值字符串的連接操作，τ為預示著比較范圍的尺度因子。Sτ為分段函數，定義如下：

本文τ＝0．1，R＝1，N＝8，這樣對每一個像素點可以得到一個16字節的二值字符串。

1．2 背景模型表示及更新

在由時域中值法得到的估算背景圖像B中，分別提取顏色和紋理特征，每個背景采樣點包含5類信息即其中，Ii為像素點的RGB顏色分量為像素點的SILTP紋理描述符。ηi和γi分別代表顏色成分Ii和紋理成分texi作為背景的置信度，初始值都為0．1，其值越大，代表所屬的成分在決定標簽時所起的作用越大。ωi∈0，1[]作為權重因子代表采樣點屬于背景的可能性，初始值取為0．01。

隨著時間的推移，視頻中的背景也會發生變化，如樹葉的搖擺，光照的變化。如果背景模型不及時更新，就會導致檢測的結果產生大量的噪聲以及誤檢或漏檢。為了滿足背景的實時變化，背景模型必須實時更新。傳統算法采用樣本“先進先出”的更新思想，即隨著背景模型中新樣本的加入，停留時間最長的舊樣本將被替換，故而容易提前刪除有用的舊樣本。本文選擇背景像素對背景模型進行更新算法如下。

假如當前幀像素pt跟背景模型Ct－1比較判定為背景點，其RGB顏色特征為Ipt，SILTP描述符為texpt。θmin＝0．1，θmax＝0．6，α＝0．005，θmin和θmax分別為最小和最大的置信水平，α為學習因子。

基于顏色信息的最佳匹配樣本：

基于紋理信息的最佳匹配樣本：

若St~i＞＝ε2，僅更新其置信值，否則若且ε2，背景模型權值最小的樣本將被替換，置信值和權值都為初始值。

最后通過ωi＝（1－α）ωi＋απ更新所有樣本的權重。其中π為指示變量，若樣本顏色與紋理信息都最佳匹配，則為1；若二者之一有匹配，則取為0．5；否則為0。

2 運動目標檢測

本文方法與其他的樣本一致性算法相似，都是通過當前像素點與背景模型的比較來進行前景背景像素點分類。

綜上，對于時刻t的給定像素pt，計算其屬于背景的可能性Pb(pt)：

式中：權重因子ωi，顏色和紋理的置信度ηi、γi都在不斷地更新。因此，在估計像素屬于背景的可能性時，其顏色和紋理所起的作用也不斷得到調整，融合起來進行前景分割。

通過式（2）得到時刻t視頻幀的概率網絡，由于前景像素本身具有空間相關性，本文將概率網絡進行側抑制濾波來提高對比度，減少低頻噪聲。Duan等［17］首次將側抑制濾波用于圖像處理中，其濾波模型如式（3）所示。

式中：I0（m，n）為像素點的原始值，αi，j為抑制系數，R（m，n）為經過側抑制濾波后像素點對應的值。（2M＋1）×（2N＋1）表示感受域。

基于式（3）可以得到抑制系數的計算公式：

式中：di，j為周圍像素點到感受域中心像素點的距離。本文選擇感受域大小為3×3，因此可以計算出響應的卷積模板U為

通過濾波處理后，利用分類器δ（pt）來進行前景分割，定義為

式中：ξ為閾值，若δ（pt）輸出為0，代表其所對應的像素為背景，否則被視為前景像素。

3 陰影檢測

由于大量的陰影，會引起運動目標粘連。本文采用文獻［18］提出的基于HSV彩色空間的陰影檢測方法，其陰影掩膜可以表示如下：

式中：陰影掩膜ymask（pt）的值為1時，表示像素點pt為陰影點，否則不是陰影點。分別是時刻t像素點p在HSV彩色空間的3個分量，分別是所對應的估算背景圖像B中像素點在HSV彩色空間的3個分量。下限β∈［0，1］的值取決于光照強度，光照越強，就越小，則β取較小值。上限?∈［0，1］用于排除因噪聲擾動產生的偽陰影點，τS和τH的取值依據陰影區色度和飽和度變化較小的特性。該陰影檢測法利用陰影像素點的物理性質，能較好的檢測出分布均勻的弱陰影。

4 算法實現步驟

本文結合顏色和紋理特征的運動目標檢測實現如圖2所示。

圖2 本文算法實現流程Fig．2 Flow chart of the algorithm

偽代碼如下：

5 實驗結果及分析

為了驗證算法的可行性，對不同環境下的視頻進行處理。選擇的視頻序列為變化檢測數據庫中baseline、dynamic background、camera jitter、intermit?tent object motion以及shadow 5大類圖像序列。本文算法中，L＝20，ε1＝0．96，ε2＝0．92，ξ＝8．5。

實驗環境為硬件采用i5?3 210 M，主頻2．5 GHz的處理器，2 GB內存。軟件平臺使用的是Win?dows7操作系統，開發平臺為MatlabR2012a。

分別與高斯混合模型（Gaussian mixture model，GMM）算法［2］，空間相關的自組織背景減除（spatial?ly coherent self?organization background subtraction，SC?SOBS）算法［8］，自平衡的靈敏度分割（self?bal?anced sensitivity segmenter，SUBSENS）算法［13］進行比較。

Baseline類目下的office序列由2 050幀圖像構成，是一組室內辦公室場景的圖像序列，包含目標被部分遮擋與背景色相近等復雜情況。檢測結果如圖3所示。

圖3 4種算法對Baseline_office圖像序列的檢測結果Fig．3 Detection results of the four algorithms in base?line_office image sequences

從圖3可以看出GMM算法對噪聲敏感，其他3種算法具有較好的檢測率，且從連續3幀的檢測結果證明本文的背景模型更新算法具有適應性。

Dynamic background類目下的canoe序列由1 189幀圖像構成，場景中中水波蕩漾且岸邊樹葉輕微晃動，用于檢測算法處理動態背景的能力。Cam?era jitter類目下的boulevard序列由2 500幀圖像構成，是一組室外林蔭大道場景的圖像序列，存在拍攝過程中相機抖動問題。Intermittent object motion類目下的sofa序列由2 750幀圖像構成，是一組室內大廳沙發場景的圖像序列，包含背景物移動，新增背景物和目標間歇性移動等復雜情況。Shadow類目下的cubicle序列由7 400幀圖像構成，是一組室內場景的圖像序列，場景中包含大量深色或淺色陰影。以上4類圖像序列的檢測結果如圖4所示。

圖4 4種算法分別對4類圖像序列的檢測結果Fig．4 Detection results of the four algorithms in four im?

age sequences

本文采用文獻［7］方法進行算法評估，包括檢測率（Recall）、準確率（Precision）和算法的綜合性能F?measure。

式中：tp（true positives）表示正確檢測為前景點的像素個數，fn（false negatives）表示錯誤檢測為背景點的像素個數。fp（false positives）表示錯誤檢測為前景點的像素個數。表1和2給出了5類圖像序列在四種算法下檢測性能。表3通過對office序列的檢測來比較時間復雜度。

從表1和2可以看出，本文算法在絕大多數情況下表現出優秀的性能，其能有效處理動態背景，間歇運動，陰影等復雜情況。F?measure最多提高了0．2。其中，GMM算法是基于概率的模型，算法復雜，對噪聲敏感，不利于動態背景下檢測。SC?SOBS算法強烈依賴于第一幀圖像，如果存在運動目標，在后期的處理中總會在運動目標區域存在空洞現象。SUBSENS算法將顏色特征和LBP特征結合起來，取得了比前2個算法更好的性能，但本文算法采用SILTP描述符比LBP對于噪聲和動態背景更具有魯棒性，且采用了融合機制，充分彌補了顏色和紋理特征各自的缺陷。表3可以看出本文算法時間復雜度并非最優，SC?SOBS算法由于僅使用圖像的灰度特征，時間消耗更小，但在背景擾動，相機抖動等復雜情況下的性能均低于本文算法，本文算法的時間消耗僅比其多0．24 s，但F?measure最多可提高29．06%。因此，本文算法的時間復雜度在可接受范圍內，使其獲得優良的性能。

表1 Office和canoe圖像序列在4種算法下的檢測性能Table 1 Detection performance of the four kinds of algorithms in office and canoe image sequences

表2 Boulevard、sofa和cubicle圖像序列在4種算法下的檢測性能Table 2 Detection performance of the four kinds of algorithms in boulevard，sofa and cubicle image sequences

表3 4種算法時間復雜度Table 3 Time complexity of the four algorithms

6 結束語

針對運動場景復雜多變，單一的特征描述往往不能應對，因此本文提出一種結合RGB顏色特征與SILTP紋理特征的運動目標檢測算法，將顏色特征與紋理特征相結合，互相彌補各自的不足。將本文算法與GMM、SC?SOBS、SUBSENS算法進行比較，實驗結果表明，本文算法在滿足實時性的同時穩定性也較好。運動目標檢測是目標識別的基礎，因此本文的下一步工作為對檢測出的運動目標進行識別。

［1］WREN C R，AZARBAYEJANI A，DARRELL T，et al．Pfinder：real?time tracking of the human body［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780?785．

［2］ZIVKOVIC Z．Improved adaptive Gaussian mixture model for background subtraction［C］／／Proceedings of the 17th International Conference on Pattern Recognition．Cam?bridge，UK，2004：28?31．

［3］HERAS EVANGELIO R H，PATZOLD M，KELLER I，et al．Adaptively splitted GMM with feedback improvement for the task of background subtraction［J］．IEEE Transactionson Information Forensics and Security，2014，9（5）：863?874．

［4］LI Xingliang，WU Yubao．Image objects detection algorithm based on improved Gaussian mixture model［J］．Journal of Multimedia，2014，9（1）：152?158．

［5］HAN B，DAVIS L S．Density?based multifeature background subtraction with support vector machine［J］．IEEE Transac?tions on Pattern Analysis and Machine Intelligence，2012，34（5）：1017?1023．

［6］WANG Hanzi，SUTER D．Background subtraction based on a robust consensus method［C］／／18th International Confer?ence on Pattern Recognition．Hong Kong，China，2006：223?226．

［7］MADDALENA L，PETROSINO A．A self?organizing ap?proach to background subtraction for visual surveillance ap?plications［J］．IEEE Transactions on Image Processing，2008，17（7）：1168?1177．

［8］MADDALENA L，PETROSINO A．The SOBS algorithm：what are the limits？［C］／／2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops．Providence，2012：21?26．

［9］BARNICH O，VAN DROOGENBROECk M．ViBe：A uni?versal background subtraction algorithm for video sequences［J］．IEEE Transactions on Image Processing，2011，20（6）：1709?1724．

［10］HOFMANN M，TIEFENBACHER P，RIGOLL G．Back?ground segmentation with feedback：The pixel?based adap?tive segmenter［C］／／2012 IEEE Computer Society Confer?ence on Computer Vision and Pattern Recognition Work?shops．Providence，USA，2012：38?43．

［11］BILODEAU G A，JODOIN J P，SAUNIER N．Change de?tection in feature space using local binary similarity pat?terns［C］／／2013 International Conference on Computer and Robot Vision．Providence，America，2013：106?112．

［12］LIAO Shengcai，ZHAO Guoying，KELLOKUMPU V，et al．Modeling pixel process with scale invariant local pat?terns for background subtraction in complex scenes［C］／／2010 IEEE Conference on Computer Vision and Pattern Recognition．San Francisco，2010：1301?1306．

［13］ST?CHARLES P L，BILODEAU G A，BERGEVIN R．Flexible background subtraction with self?balanced local sensitivity［C］／／2014 IEEE Conference on Computer Vi?sion and Pattern Recognition．Columbus，OH，USA，2014：414?419．

［14］JODOIN P M，MIGNOTTE M，KONRAD J．Statistical background subtraction using spatial cues［J］．IEEE Transactions on Circuits and Systems for Video Technolo?gy，2007，17（12）：1758?1763．

［15］OJALA T，PIETIK?INEN M，M?ENP?? T．Multiresolu?tion gray?scale and rotation invariant texture classification with local binary patterns［J］．IEEE Transactions on Pat?tern Analysis and Machine Intelligence，2002，24（7）：971?987．

［16］JI Zhangjian，WANG Weiqiang．Detect foreground objects via adaptive fusing model in a hybrid feature space［J］．Pattern Recognition，2014，47（9）：2952?2961．

［17］DUAN Haibin，DENG Yimin，WANG Xiaohua，et al．Small and dim target detection via lateral inhibition filte?ring and artificial bee colony based selective visual atten?tion［J］．PLoS One，2013，8（8）：e72035．

［18］CUCCHIARA R，GRANA C，PICCARDI M，et al．Detec?ting moving objects，ghosts，and shadows in video streams［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（10）：1337?1342．

Detection for moving targets based on color and texture features

ZHOU Zhiping，LI Wenhui

（School of Internet of Things，Jiangnan University，Wuxi 214122，China）

An algorithm utilizing RGB color features and scale invariant local ternary patterns is presented for sol?ving the difficulty of detecting moving targets in complex scenes．The time?domain median method was adopted to estimate background image and initialize background model quickly．By fusing similarity measures of color and tex?ture features，a background probability network was obtained．The application of lateral inhibition filtering improved the contrast，the foreground and background pixels were classified，and shadow detection worked for the foreground pixels．The shadow pixels were classified as background pixels but not used for the model update．The performance of the proposed algorithm was compared with the other three algorithms in the change detection database．The pro?posed method can accurately handle scenes containing moving backgrounds，shadows，and camera jitter，with ac?ceptable real?time performance．

moving target detection；color feature；texture feature；shadow detection；model update

TP751

A

1673?4785（2015）05?0729?07

10．11992／tis．201408034

http：／／www．cnki．net／kcms／detail／23．1538．TP．20150827．1132．014．html

周治平，李文慧．顏色和紋理特征的運動目標檢測［J］．智能系統學報，2015，10（5）：729?735．

英文引用格式：ZHOU Zhiping，LI Wenhui．Detection for moving targets based on color and texture features［J］．CAAI Transac?tions on Intelligent Systems，2015，10（5）：729?735．

周治平，男，1962年生，教授，博士，主要研究方向為檢測技術與自動化裝置。主持和參與國家及省部級科研項目7項，獲省部級科技進步獎3項，發表學術論文70余篇。

李文慧，女，1990年生，碩士，主要研究方向為視頻與圖像信號處理。

2014?08?27．

日期：2015?08?27．

李文慧．E?mail：liwenhui645＠163．com．