基于顏色分割和LBP紋理檢測的運動目標提取

胡孟凌，王中元＋，劉文杰

（1.武漢大學 計算機學院 國家多媒體軟件工程技術(shù)研究中心，湖北 武漢430072；2.長江大學 電子信息學院，湖北 荊州434023）

0 引 言

常用的運動目標提取方法和現(xiàn)有的研究成果有：光流法［1－3］，基于時間特征推移得到物體的運動信息從而提取出運動目標；幀差法［4，5］，通過分析圖像序列中相鄰兩幀或多幀對應(yīng)像素點之間的差異來提取運動目標；背景差分法［6－8］，利用背景圖像和當前圖像的差分運算來提取運動目標。一些學者采取多種方法相結(jié)合的方式來改善處理效果［9－11］。但在面臨復雜的現(xiàn)實環(huán)境挑戰(zhàn)時，如對實時性要求的滿足、對光照突變的適應(yīng)性、對陰影的抑制以及防止運動目標原地運動或緩慢運動時融入背景等，現(xiàn)有的研究成果尚未提出較為通用的算法模型。

背景差分法作為最廣泛使用的理論方法之一，其最重要的步驟是對背景進行建模，背景模型的好壞將直接影響運動目標提取結(jié)果的準確性。為了提高對光照突變的魯棒性，有學者利用局部二值模式 （local binary patterns，LBP）紋理特征對光照不敏感的特性，設(shè)計出基于LBP 紋理特征的自適應(yīng)背景更新策略［12］。當視頻中運動物體處于原地運動或者運動緩慢時，目標區(qū)域的紋理特征基本不變，此時利用LBP紋理特征提取運動目標會將部分運動目標誤判為背景，即運動目標融入了背景，直觀結(jié)果就是運動目標區(qū)域出現(xiàn)很多空洞。針對該問題，本文通過在傳統(tǒng)LBP檢測方法中引入顏色約束，提出一種宏塊交疊檢測機制將LBP紋理檢測與顏色分割的結(jié)果無縫結(jié)合，有效改善了運動目標提取效果。實驗中對多個視頻序列進行了運動目標檢測試驗，并與經(jīng)典的高斯混合模型（Gaussian mixture model，GMM）方法和傳統(tǒng)LBP檢測方法［12］進行了對比。

1 傳統(tǒng)LBP檢測方法

LBP最早由Ojala T 等提出，是一種用來描述圖像局部紋理特征的算子，利用二進制比特流來描述某一個像素的鄰域，將中心像素點與其鄰域像素點進行比較，進而得到一串二進制比特流來描述該中心點的紋理特征，LBP 算子具有灰度值單調(diào)變化不變性，以及較強的分類能力和較高的計算速度，被廣泛應(yīng)用于模式識別中，在人臉檢測與識別、運動目標檢測等應(yīng)用中十分有效［13］，可以有效地抑制陰影，而且能夠很好地定位前景的位置與輪廓。

LBP紋理背景建模方法是基于LBP紋理特征的，實質(zhì)上是在像素域進行計算，雖然可以精確定位運動目標的位置和基本輪廓，但該方法沒有考慮到整體的運動特征。圖1使用LBP紋理檢測運動目標的提取方法，當前圖像與前一幀圖像整體上幾乎相似，場景中的運動目標可以看作是處于原地運動，從圖1 （c）的提取結(jié)果可以看出，當運動目標類似于相對緩慢運動或原地運動時，運動目標上存在局部紋理特征不變的區(qū)域，使用LBP紋理檢測不可避免地會產(chǎn)生嚴重的誤檢測和漏檢，嚴重影響提取結(jié)果的準確度。

圖1 LBP紋理檢測運動目標提取

2 改進的LBP檢測方法

為了更好地實現(xiàn)對緩慢和原地運動物體的檢測，本文根據(jù)像素級的LBP檢測結(jié)果生成宏塊級粗糙運動信息，同時引入了顏色分割方法對圖像的顏色信息進行處理，通過宏塊交疊檢測將運動信息與顏色信息相結(jié)合，分析得到運動目標，如圖2所示。以下將詳細介紹基于顏色約束和紋理檢測的運動目標提取過程。

圖2 改進的LPB檢測方法框架

2.1 宏塊級運動目標生成

由傳統(tǒng)LBP方法得到的運動目標信息是像素域的，需要進行像素域到宏塊域的映射，得到基于紋理檢測的宏塊級粗糙運動目標。構(gòu)建宏塊與像素點的映射關(guān)系，如圖3所示。

圖3 像素點與宏塊映射關(guān)系

基于以下映射公式

式中：wp、hp——視頻圖像的高度和寬度。由式 （1）我們可以得到圖像中各像素點所對應(yīng)的宏塊的坐標 （i，j），統(tǒng)計當前幀各宏塊中被判斷為運動像素點的個數(shù)Motion＿num（i，j），如果某個宏塊中的運動像素點個數(shù)超過該宏塊中像素點總數(shù)的1／4，即滿足

則可以判斷該宏塊為運動目標宏塊，否則為背景宏塊，由此我們就可以得到當前幀宏塊級粗糙運動目標。本文實驗中設(shè)定w ＝h＝4。

2.2 圖像顏色分割

為獲得圖像像素的顏色分類信息，使用K－means聚類算法對圖像進行顏色分割。K－means聚類算法最早由Mac－Queen等提出，該算法首先指定要聚類的簇類數(shù)目和初始的聚類中心點，然后通過反復地迭代運算調(diào)整簇類中心，使目標函數(shù)逐步得到收斂為止。本文聚類的數(shù)據(jù)樣本取自圖像各像素點的灰度值，假設(shè)樣本數(shù)為n，聚類中心點數(shù)為k。圖4展示了對圖像進行K－means聚類的效果，這里對k分別取值為2、6、12進行比較。

圖4 聚類分割結(jié)果

從聚類分割結(jié)果可以看出，聚類中心點個數(shù)k 取值過大，圖像顏色分類就會過細，不利于與運動信息的結(jié)合，反之k取值過小，圖像顏色分割的效果類似于將圖像進行二值化，而這明顯不能滿足實際圖像中顏色的多樣性，不利于本文運動目標提取的目的，k取值為6時，基本上可以達到顏色分割的目的，因此本文實驗中將聚類中心點個數(shù)k取值為6。

經(jīng)過K－means顏色分割后，圖像中每個像素點都對應(yīng)一個顏色分類號li（0＜i≤n，1≤li≤k），該值表示該像素點所屬的顏色類別。分割后的圖像由若干個不規(guī)則的顏色區(qū)域組成，雖然此時通常已經(jīng)可以有效地將背景區(qū)域與運動目標區(qū)域分割開來，但對于任一顏色塊，顏色分割方法本身無法判定它屬于運動目標還是背景，因為可能存在多個顏色相同的顏色塊，分別屬于運動目標區(qū)和背景區(qū)，所以需要與LBP紋理檢測的結(jié)果結(jié)合起來以實現(xiàn)運動目標提取，在此本文提出一種宏塊交疊檢測方法。

2.3 宏塊交疊檢測

對當前圖像進行宏塊交疊檢測的目的，就是將LBP 紋理檢測得到視頻運動信息與K－means聚類分割得到的顏色信息無縫結(jié)合起來，對宏塊級粗糙運動目標進行優(yōu)化，得到基于顏色約束和紋理檢測的運動目標。2.1 節(jié)中進行宏塊級粗糙運動目標映射時使用4×4大小的宏塊，如果進行交疊的宏塊尺寸小于宏塊映射時所使用的宏塊尺寸，就達不到填補空洞的效果，反之若尺寸過大則會導致運動目標的邊緣不精確，根據(jù)實驗效果，本文采用8×8大小的宏塊進行交疊，相鄰宏塊間有4像素重疊，如圖5所示。

圖5 宏塊交疊檢測

按照下述步驟判定此8×8宏塊是否屬于運動目標：

步驟1 統(tǒng)計各8×8宏塊中l(wèi)i＝j(luò)的像素點的個數(shù)Sj（1≤j≤6），即屬于各顏色分類的像素點個數(shù)；

步驟2 根據(jù)LBP紋理檢測得到的結(jié)果，統(tǒng)計8×8宏塊中各顏色分類中運動目標像素點的個數(shù)Mj（1≤j≤6）；

步驟3 計算8×8宏塊中各個顏色分類中運動目標像素點所占比例

步驟4 若PM／S（j）大于閾值，則判定該8×8宏塊為運動目標，否則為背景。

3 實驗結(jié)果與分析

為驗證本文方法的有效性，針對多個標準序列在光照突變和原地或緩慢運動等場景，與傳統(tǒng)方法進行了對比測試，包括效果對比和性能對比。本實驗硬件環(huán)境為CPU Intel Pentium（R）Dual－Core E6700 3.2GHz，RAM 2.00GB，軟件環(huán)境為Microsoft Windows 7 操作系統(tǒng)，Visual Studio 2005開發(fā)環(huán)境。

3.1 光照變化場景實驗

圖6 （a）中依次取自標準測試序列Intelligentroom、campus、hall的第1幀，作為參考背景幀，圖6 （b）依次取自序列Intelligentroom 的第299 幀、campus的第312 幀和hall的第36幀，作為測試幀。實驗中特別選用具有針對性的視頻序列來驗證本文方法對光照的魯棒性，特別是在視頻序列Intelligentroom 中，為了對光照突變情況進行實驗，場景中放置了反光鏡，當運動目標靠近反光鏡時 （第299幀）就會使局部光照發(fā)生突變，在該場景下用其它方法與本文提出的方法進行比較。

圖6 光照變化場景實驗結(jié)果

可以看出，GMM 方法受光照變化和陰影的影響較為嚴重，提取效果最差，傳統(tǒng)的LBP 方法雖然對光照變化有較好的魯棒性，但是運動目標提取不完整，相比而言，本文的提取結(jié)果能夠有效地克服光照變化和陰影的影響，提取結(jié)果比其它兩種方法更加完整和準確。

3.2 原地運動或緩慢運動場景實驗

圖7 （a）為分別選取自視頻序列Intelligentroom、campus、hall中的連續(xù)3幀，第一行圖像為選取的第3幀，作為當前測試幀。可以看出，測試幀的圖像內(nèi)容與前兩幀基本相似，運動目標類似于原地運動，因此可以看作是原地運動或緩慢運動的場景，用以驗證本文提出的算法能夠有效地解決此場景下運動目標被誤判為背景，提取結(jié)果出現(xiàn)空洞、運動目標融入背景的問題。

圖7 緩慢運動下運動目標提取結(jié)果比較

可以看出，GMM 方法對運動目標的判斷失誤嚴重，提取效果很不理想，而傳統(tǒng)LBP方法由于運動目標在原地運動或緩慢運動時缺乏紋理信息，導致運動目標提取不完整，運動目標很多區(qū)域被誤判為背景，誤檢現(xiàn)象較為嚴重，相較于GMM 方法和傳統(tǒng)LBP 方法，本文提出的方法準確地提取出了完整的運動目標，效果令人滿意。

3.3 各種方法處理速度的比較

為了驗證本文方法可以滿足實時性的要求，對幾種方法做處理速度的比較，實驗結(jié)果見表1。選取的測試序列中，Intelligentroom、laboratory、highway的分辨率為320×240像素，campus和hall分辨率為352×288像素。

表1 平均處理速度比較

可以看出，本文提出的方法的處理速度比傳統(tǒng)的GMM方法的普遍要快，與傳統(tǒng)LBP方法相比，雖然加入了顏色分割步驟而增加了算法的復雜度，但對于352×288像素的視頻序列處理速度也能達到21FPS以上，基本上滿足了實時處理的要求，并且比傳統(tǒng)LBP方法更能準確提取出運動目標。

4 結(jié)束語

提出一種改進的運動目標提取方法，結(jié)合K－means圖像聚類分割得到的顏色信息與LBP紋理檢測得到的運動信息進行運動目標提取，不僅保持了LBP 紋理檢測定位精確、對光照變化魯棒、對陰影不敏感的優(yōu)點，而且有效克服了原地運動或緩慢運動時運動目標出現(xiàn)空洞、融入背景的問題；建立了一種宏塊檢測機制，將紋理檢測與顏色分割無縫結(jié)合起來，在基本保持原運算復雜度的同時提高了運動目標提取的精度；改進的運動目標提取框架滿足實時性的要求，為高效提取快速播放的視頻圖像的運動目標提供新的途徑。

本文方法在一些方面也有所局限，有待做進一步地研究，主要包括：本文方法對于攝像頭靜止不動的場景有較好的效果，但不適用于背景變化較大的場景；當場景中存在背景的顏色與運動目標相同的區(qū)域時，顏色分割的作用不大；可以進一步優(yōu)化LBP紋理檢測與顏色分割的結(jié)合方法，使顏色信息與運動信息的結(jié)合效果進一步優(yōu)化。

［1］Ryan D，Denman S，F(xiàn)ookes C，et al.Textures of optical flow for real－time anomaly detection in crowds［C］／／8th IEEE International Conference on Advanced Video and Signal－Based Surveillance，2011：230－235.

［2］Suganuma N，Kubo T.Fast dynamic object extraction using stereovision based on Occupancy Grid Maps and optical flow［C］／／IEEE／ASME International Conference on Advanced Intelligent Mechatronics，2011：978－983.

［3］Chen Z，Cao J，Tang Y，et al.Tracking of moving object based on optical flow detection ［C］／／International Conference on Computer Science and Network Technology.IEEE，2011：1096－1099.

［4］Chen C，Zhang X.Moving vehicle detection based on union of three－frame difference ［J］.Advances in Electronic Engineering，Communication and Management，2012，2：459－464.

［5］Wang H，Chen X，Wang Y，et al.The application of corrected three－frame difference in vehicle tracking ［C］／／International Conference on Optical Instruments and Technology.International Society for Optics and Photonics，2013.

［6］Mandellos N A，Keramitsoglou I，Kiranoudis C T.A background subtraction algorithm for detecting and tracking vehicles［J］.Expert Systems with Applications，2011，38 （3）：1619－1631.

［7］Cheng L，Gong M，Schuurmans D，et al.Real－time discriminative background subtraction ［J］.IEEE Transactions on Image Processing，2011，20 （5）：1401－1414.

［8］Zhang L，Liang Y.Motion human detection based on background subtraction ［C］／／Second International Workshop on Education Technology and Computer Science.IEEE，2010：284－287.

［9］Tang Q，Dai S G，Yang J.Object tracking algorithm based on camshift combining background subtraction with three frame difference［J］.Applied Mechanics and Materials，2013，373：1116－1119.

［10］Wu J，Gao J，Li M，et al.Moving object detection using three－frame difference and background subtraction ［C］／／Proceedings of the International Conference on Electronics，Communications and Control.IEEE Computer Society，2012：103－106.

［11］Yuan G W，Gong J，Deng M N，et al.A moving objects detection algorithm based on three－frame difference and sparse optical flow ［J］.Information Technology Journal，2014，13（11）：1863－1867.

［12］LI Jiajia，PENG Qimin.Motion object detection algorithm for sudden illumination changes［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2012，24 （11）：1405－1409（in Chinese）.［李加佳，彭啟民.適應(yīng)光照突變的運動目標檢測算法 ［J］.計算機輔助設(shè)計與圖形學學報，2012，24（11）：1405－1409.］

［13］Huang D，Shan C，Ardabilian M，et al.Local binary patterns and its application to facial image analysis：A survey［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews，2011，41 （6）：765－781.