基于協(xié)方差矩陣的復雜背景中目標檢測

段松傳，韓彥芳，徐伯慶

(上海理工大學光電信息與計算機工程學院，上海200093)

0 引言

運動目標的檢測和分割［1，2］是計算機視覺領域中一個重要的課題，是進一步對目標進行分類、跟蹤、定位、識別等技術研究的關鍵和基礎［3］。

背景差分法［4］是解決這一問題的有效方法，是當前用的比較多的方法。可以用單高斯模型［5］來描述像素亮度值的不斷變化，高斯混合模型［6］是利用混合高斯的方法對背景建模，但是每個像素的高斯分布假設都要受到參數(shù)的限制，所以后面提出了非參數(shù)的模型［4］。

在復雜背景中，基于像素的方法將不能有效地檢測出運動目標，因為他們沒有考慮像素間的相關性。基于區(qū)域的方法通常將一幅圖像分成許多小塊，計算特定塊的特征。文獻［7］中，對特征向量距離的進行歸一化處理。在文獻［8］中，計算一個塊的邊緣直方圖作為其特征向量。所以僅僅能夠粗略的檢測出運動目標。

為了克服現(xiàn)有方法在復雜背景中的不足之處，提出了一種協(xié)方差矩陣描述子［9］。因為較大的旋轉和光照的變化也會被協(xié)方差矩陣吸收，所以能夠在復雜背景中有效的檢測出運動目標。

1 協(xié)方差矩陣的構建

在文獻［6］中，介紹了協(xié)方差矩陣描述子，主要應用在目標檢測和分割中。由于受到文獻［9］的影響，在背景差分中，把協(xié)方差描述子用來描述區(qū)域。為了使協(xié)方差矩陣描述子能夠適合于復雜背景中的運動目標檢測，構建的協(xié)方差矩陣不同于文獻［9］中的方法。

設I是一維的灰度圖像或三維的彩色圖像，F(xiàn)是從I中提取的W×H×d矩形特征圖像。

式中，函數(shù)φ可能是亮度、紋理、梯度等的映射。已知矩形區(qū)域R?F，設 {fk}k=1，2……n是矩形區(qū)域 R 中的d維特征向量。與文獻［6］中方法不同，特征向量fk是通過兩類屬性構建的:空間屬性，通過像素的坐標值表示;表面屬性，通過亮度、局部二進制模型(LBP)、亮度在x和y方向的一階導數(shù):

式中，x和y是像素的坐標，I(x，y)是像素的亮度，LBP(x，y)是局部二進制模型(它是通過每一個像素與其周圍領域的像素做差值得到的一個二進制)，Ix(x，y)和Iy(x，y)是亮度在 x和 y方向的一階導數(shù)。用d×d維的協(xié)方差矩陣代替矩形區(qū)域R:

式中，μR是區(qū)域R的特征向量的平均向量。在復雜背景中，協(xié)方差矩陣作為描述子有很多優(yōu)點。首先，在協(xié)方差計算的過程中，噪聲在一定程度得到濾除，因此協(xié)方差矩陣建模對噪聲具有一定的魯棒性。其次，對于特征的均勻變化，協(xié)方差具有不變性。例如:色度的均勻變化。再次，協(xié)方差矩陣的對角線項描述的是每一維特征的變化(方差)，其他項描述的是每一維特征之間的相關性(協(xié)方差)，這個性質對于復雜背景建模很重要。最后，可以通過一種快速的積分圖像方法［9］來計算特征圖像的協(xié)方差矩陣。

2 運動目標檢測

2.1 背景建模

設R是以像素P(x，y)為中心的M×N矩形區(qū)域，在這個區(qū)域上構建一個協(xié)方差矩陣C作為像素P(x，y)的特征向量，用K個自適應的協(xié)方差矩陣{C1，C2… …Ck}構建像素P(x，y)的背景模型，每一個模型矩陣都有一個0～1之間的權值，以至于K個協(xié)方差矩陣模型的權重之和為1。其中第k矩陣模型的權重標記為ωk，

式中K的選取一般由計算能力和內存決定，通常選3或5，雖然更大的K的能體現(xiàn)更復雜的場景，但同時消耗更多的時間。

圖1 背景模型的初始化過程

對于第1幀圖像，把它作為背景模型，通過第1幀圖像建立5個協(xié)方差矩陣(K=5)。其中，F(xiàn)是第1幀圖像，C1是第1幀圖像的協(xié)方差矩陣，C2是第1幀左半圖像的協(xié)方差矩陣，C3是第1幀右半圖像的協(xié)方差矩陣，C4是第1幀上半圖像的協(xié)方差矩陣，C5是第1幀下半圖像的協(xié)方差矩陣。其中，

2.2 背景更新

式中，ρ(A，B)是 A和 B之間匹配的衡量標準。{λi(A，B)}i=1，…，d是 A 和 B 之間的廣義特征值。

如果C'與所有的K個模型矩陣的距離大于閾值Tp，則用替換權值最小的那個模型矩陣，賦予一個權值低的權重;如果與部分模型矩陣的距離小于閾值Tp，則把這部分模型矩陣作為匹配矩陣。t時刻的匹配矩陣通過新的數(shù)據(jù)進行如下更新:

式中，i和j是矩陣行和列的指標，ab是用戶可設置的學習速率。而且模型矩陣的權重更新如下:

式中，αω是另一用戶可設置的學習速率，Mk，t對于匹配矩陣值為1，其他矩陣值為0。背景模型的自適應速率是由ab和aω控制的。學習速率越高，背景更新的速度越快。

2.3 前景檢測

為了能夠準確有效地檢測出前景目標，把K個模型矩陣進行重新排列，因為權值大的矩陣，越可能成為背景模型，所以按照權值ωk從大到小順序進行排列。結果最有可能成為背景模型的矩陣在第1位。前B個矩陣被選作為背景矩陣如下:

式中，1≤B≤K，TB是用戶可以選擇性的設置的，在單模態(tài)的情況下TB可以選擇較小的值，在多模態(tài)的情況下TB選擇較大的值。

圖2 基于協(xié)方差矩陣的目標檢測的過程

3 實驗結果及分析

協(xié)方差矩陣算法在英特爾酷睿2四核Q6600@2.40 GHz處理器、4 GB內存、操作系統(tǒng)為Windows XP的條件下，以VC++6.0和OpenCV1.0為軟件開發(fā)工具進行試驗，測試視頻的分辨率為320×240像素。用2個復雜背景的場景做實驗。如圖3所示，第1個場景是樹枝背景，特征是樹枝搖擺;如圖4所示，第2個場景是湖面背景，特征為起伏的波浪和漂浮的物體等。第1行是第1場景的69幀，第2行是第2場景的422幀。

圖3 樹枝運動目標檢測結果

圖4 湖面運動目標檢測結果

從圖3和圖4中可以發(fā)現(xiàn)，當背景中出現(xiàn)諸如搖擺的樹枝、起伏的水波、流動的噴泉、飄揚的紅旗和陰影等動態(tài)背景中的一些時，由于這些復雜的背景對目標提取的影響非常大，單純的混合高斯模型或者LBP紋理模型處理結果都不理想，出現(xiàn)了很多的誤判斷。實驗結果說明，使用的算法能夠較好地消除了原本運動物體產生的陰影，有效地消除一些周期性變化的動態(tài)背景的干擾信息，并且能很好地檢測出運動物體。

4 結束語

提出的復雜背景中目標檢測方法是通過一組協(xié)方差矩陣為一個像素周圍的矩形區(qū)域建模，集成了像素級和區(qū)域級的特征以及特征的相關性，所以能夠有效地為復雜的動態(tài)背景建模，實驗結果表明該方法滿足視頻圖像序列中運動目標檢測實時性和準確性要求，適用于廣泛的場景模式，具有一定的實用價值。

［1］ 林海涵，唐慧明.基于視頻的車輛檢測和分析算法［J］.江南 大學學 報 (自 然科學 版)，2007(3):323-326.

［2］ 季白楊，陳純，錢英.視頻分割技術的發(fā)展［J］.計算機研究與發(fā)展，2001(1):36-42.

［3］ 劉翔，吳謹，祝愿博，等.基于視頻序列的目標檢測與跟蹤技術研究［J］.計算機技術與發(fā)展，2009，19(11):179-182.

［4］ ELGAMMAL A，HARWOODD，DAVISLS.Nonparametric Model for Background Subtraction［C］∥Copenhagen:Proceedings the 6th European Conference Computer Vision，2000:751-767.

［5］ WREN C R，AZARBAYEJANI A，DARRELL T，et al.Pfinder:Real-time Tracking of the Human Body ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

［6］ STAUFFER C，GRIMSON W E L.Learning Pattern of Active Using Real-Time Tracking ［J］.IEEE Trans.Pattern Analysis and Intelligence，2000，22(8):747-757.

［7］ OJALA T，PIETIKANINEN M，HARWOOD D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions［J］.Pattern Recognition，1996，29(1):51-59.

［8］ MASON M，DURIC Z.Using Histograms to Detect and Track Objects in Color Video［R］.Washington:Applied Imagery Pattern Recognition Workshop，2001.

［9］ TUZEL O，PORIKLI F，MEER P.Region Covariance:A Fast Descriptor for Detection and Classification［C］∥.Graz:Proceedinds the 9th European Conference.Computer Vison，2006:589-600.