隨機圖像選取與自適應背景更新的運動物體檢測

李新縣，余 燁

(合肥工業大學計算機與信息學院VCC研究室，安徽 合肥 230009)

Li Xinxian, Yu Ye

(VCC Division, School of Computer & Information, Hefei University of Technology, Hefei Anhui, 230009, China)

由于復雜背景、光照變化、目標相互遮擋等因素的存在，運動目標檢測一直是計算機視覺領域的研究熱點和難點。主流的運動目標檢測方法有幀差法、光流法和背景差分法。幀差法對光線變化有一定的容忍性、背景更新快、自適應能力強，但其無法檢測尺寸較大、內部顏色一致及運動速度快的物體。光流法由于其計算復雜、抗噪能力差，因而難以應用于實時系統中[1]。背景差分法的核心思想是通過當前圖像與背景圖像的比較來檢測運動物體，其效果取決于以下3個因素：背景模型的表示方法、背景的初始化方法及更新方法。從實際應用角度來看，背景差分法是使用較多的一種方法。

如何構造一幅好的背景是背景差分法的難點，最簡單的背景構造方法是預先采集一幀沒有前景目標的圖像作為背景，由于攝像機監視的動態場景往往會受到外界因素干擾(如天氣變化、光照變化、背景騷動以及運動物體產生的陰影等)，這就要求背景能夠自適應的更新。針對這一問題，一種經典的方法，時間平均法(time-averaged background image,TABI)被提出來，即讀取一段時間內的視頻幀求和再平均，即可獲得一個近似的背景圖像，但此方法最致命的缺點是容易造成前景目標與背景的混合現象如圖5(b1)所示，從而導致檢測出虛假的目標物體。

有的學者采用統計平均法，即通過對連續圖像序列進行統計平均來獲得背景圖像。例如Sapiro[2]假設背景在圖像序列中總是經常被觀測到，提出了一種基于偏微分方程的背景重構和運動目標檢測算法；Tavakkoli和Lee等[3-4]利用高斯內核非參數估計法來計算像素點的概率密度，提出一種無參數的內核密度估計法；齊美彬等[5]提出一種新的基于“背景點像素值出現頻次最高假設的背景重構算法”，在前景點灰度值出現的概率大于背景點灰度值出現概率的情況下，仍然能夠正確的重構背景；Long和Yang[6]提出一種自適應平滑算法，認為在一段圖像序列中，像素點處于穩定狀態最長的灰度值可能是前景目標，此時就會產生錯誤的結果；Gutchess等[7]對此進行了改進，在算法中引入了光流場計算，把運動目標產生的穩定狀態最長的灰度值去掉，從而得到了正確的結果，但是光流場的加入增加了計算的復雜性；Gloyer等[8]假設在訓練階段背景至少在50%的時間內可以被觀測到，從而提出了中值法(median)，即將圖像序列中處于某個像素點中間的灰度值認為是該點的背景像素灰度值，W4系統[9]在背景圖像訓練階段使用了該方法；但是，如果背景圖像在少于50%的時間內被觀測到，中值法就會得到錯誤的結果。

有的學者采用基于建模的方法來提取背景，如Stauffer和Grimson[10]提出用K個高斯分布的混合模型表示背景像素的分布規律來提高背景的精確度；白向峰等[11]對混合高斯模型進行空間鄰域拓展，在空間鄰域中利用背景與前景隸屬度之間的競爭確定像素的歸屬，提高了檢測精度。Magee等[12]在背景建立混合模型的基礎上又建立了多個前景模型，實現了更為有效的檢測；Wren等[13]對背景模型中每個像素建立一個高斯分布，在不含有前景的室內環境中進行初始化后，實現了在室內環境中對人的檢測和跟蹤；Toyama等[14]從圖像的像素級和區域級對背景進行重構，并且采用了Wiener濾波實現了背景的自適應更新；Zivkovic等[15]采用了像素分析方法，對每一個像素都建立一個先驗概率密度函數來更新像素值，但是這種方法的計算量大，難以滿足實時性要求；Suo和Wang[16]對Zivkovic等[15]提出的方法進行了改進，提出了一種改進的自適應混合模型的方法，降低了運算量，實現了物體的實時檢測，但是，當場景出現擾動時此方法失效。Barnich和Van Droogenbroeck等[17]利用采樣一致性以及隨機更新策略實現了輕微擾動場景運動目標快速檢測。Godbehere等[18]將統計的方法和貝葉斯估計法結合在一起，提出了一種啟發式信心模型的方法對物體進行檢測，在光照發生快速變化時此方法仍然能夠檢測出運動物體，但是此方法無法消除陰影的影響(圖4(e2)和圖4(e3))。最近，王斌等[1]提出采用時空條件信息的運動物體檢測算法，以像素鄰域加權條件信息作為分類特征，增強目標與背景的線性可分性，提高運動目標檢測精度，取得了很好的效果。

通過以上分析可以看出時間平均法構造出的背景容易出現混合現象，從而導致檢測出虛假的目標物體；統計平均法有一定的假設限制(例如，假設背景圖像總是在序列中被經常觀測到)，雖然Gutchess等[7]通過引入光流計算對此問題進行改進，但是光流計算降低了算法的效率；基于建模的方法，檢測結果基本令人滿意，但是算法的計算量很大，難以滿足實時的應用需求。

針對上述方法的不足，本文提出了隨機圖像選取與自適應背景更新的運動物體檢測方法。該方法首先從視頻序列中隨機選擇一幀圖像對背景進行初始化，然后構建變化標記矩陣，基于變化標記矩陣不斷迭代更新背景，最后基于背景差分的方法進行運動目標的檢測。實驗結果表明，該方法具有一定的魯棒性，在光照變化、運動物體間存在遮擋的情況下能夠訓練合適的背景，檢測出目標物體。

1 隨機圖像選取與自適應背景更新算法

由于受光照變化、天氣等因素的影響，不同時刻圖像的差異很大，此時進行運動目標檢測，構建能自適應更新的背景至關重要。本文算法屬于背景差分法，其主要思想(如圖1所示)為：基于隨機圖像選取方式進行背景的初始化，采用變化標記矩陣記錄相鄰兩幀圖像之間像素值的變化，依據此變化進行背景的迭代更新。在此基礎上，實現運動物體的實時檢測。算法的詳細思路將在后續小節中進行描述。

圖1 算法主要思想描述

1.1 變化標記矩陣

變化標記矩陣即與原圖像大小相同的一個二維矩陣，用于記錄相鄰兩幀圖像之間像素值的變化。在進行背景更新時，依據變化標記矩陣的值自適應迭代更新背景。

已知圖像序列，則變化標記矩陣可通過式(1)計算獲得。

其中，i,j分別表示視頻序列的第i幀和通過相鄰視頻序列所求得的變化標記矩陣的下標(j=i–1)；flagi(x,y)表示變化標記矩陣在(x,y)處的值，T為設定的閾值(本文中T的取值為60)。當變化標記矩陣的值為1時，表示相鄰幀間變化較大；當變化標記矩陣值為0時，表示可能是微弱的光照變化或陰影而引起的像素值變化，此時不需要更新背景。

1.2 背景構造與自適應更新

本文算法能夠從視頻序列中隨機選擇一幀圖像作為初始背景，然后根據變化標記矩陣自適應迭代更新背景，即可獲得一幅清晰的背景圖像。隨機數的選取對背景的提取至關重要，如果選取的隨機數集中在某一固定范圍內，那么以此作為背景的初始幀構造出的背景可能會偏離真實的背景(例如，視頻共500幀，如果生成的隨機數總是在[450,480]內，那么在這一范圍內最多對初始背景迭代更新30次，結果會有失真實性)，因此，本文選取文獻[19]中的隨機數生成方法，使生成的隨機數服從均勻分布，因而避免了初始幀的選取會集中在某一固定范圍內。背景初始化之后，即依據變化標記矩陣來進行背景的迭代更新。背景初始化及背景迭代更新的算法描述如下：

步驟1.采用隨機數生成器，產生一個隨機數r，并設置計數器cnt=1。

步驟2.將第r幀圖像framer作為初始背景圖像B1和第一幀圖像I1的值，即

步驟3.讀取下一幀圖像Ij，并與前一幀圖像Ij-1相減，根據式(1)計算出變化標記矩陣flagj，j∈[1,n]。

步驟4.根據變化標記矩陣flagj的值迭代更新背景，背景更新的公式如下：

步驟5.讀取下一幀圖像，即Ij+1(j+1≤n)，并為下一幀圖像背景的獲取做準備，即：

步驟6.如果計數cnt

其中，Ij(x,y),Bj(x,y),flagj(x,y)分別表示視頻序列中的第j幀圖像在(x,y)的值，第j幀的背景圖像在(x,y)的值以及第j個變化標記矩陣在(x,y)處的值；T為固定閾值，α為加權系數，N為迭代更新的次數。參數的取值對于算法的結果有著至關重要的影響，如何選取有效的參數，Scotti等[20]對各種情況進行了詳細地討論，但是這些選取方法會增加算法的時間復雜度；為了降低計算成本，本文算法取經驗值，T的取值為60，α的取值為0.3。

以某卡口處的交通視頻為例，分別選取視頻第11幀和第76幀作為初始背景，經過100次迭代更新后生成的背景圖像分別如圖2中(b)和(d)所示。

圖2 初始幀迭代提取背景

1.3 運動物體檢測與分割

采用本文算法提取的背景Bj，根據式(5)即可計算出差分圖像Diffj。

然后根據式(6)即可獲得前景圖像，即目標物體：

其中，T為二值化閾值，此處取值為60。

由于光照變化的影響，當Forej(x,y)=1時，可能是由前景圖像和光照變化引起的一部分噪聲所組成，因此本文通過圖像的后處理階段來盡可能地消除噪聲。如圖3所示，圖3(a)為當前幀，圖3(b)為采用1.2節中背景更新算法所獲取的背景，圖3(c)為運動物體檢測的結果，由于光線照射在道路的柵欄上，導致檢測出由一些小斑點構成的柵欄形狀的虛假目標物體。采用圖像形態學中的開運算，即通過式(8)和(9)去除小的斑點和虛假的目標物體，最后的檢測結果如圖3(d)所示。

其中，kernel為3×3的矩形，核的錨點為核的中心。

圖3 結果的后處理

2 實驗結果與分析

將本文算法應用于背景提取和運動目標檢測中，選取3組測試數據進行說明，分別為Pets2009行人序列、車輛序列和跳動的小球序列。將本文算法和時間平均法(TABI)、高斯建模法(MOG)[17]、VIBE方法[18]和GMG方法[21]的檢測結果進行比較，實驗結果如圖4~6所示。詳細分析如下：

(1) Pets2009行人序列檢測結果：使用Pets2009行人序列對TABI、MOG、VIBE、GMG和本文的方法進行測試，結果如圖4所示，其中圖4(a1)和圖4(a2)分別是第159幀和第498幀圖像。圖4(b1)是通過時間平均法構造的背景，由于運動目標的影響，構造出的背景圖像中出現了前景與背景混合的現象。圖4(b2)和圖4(b3)為TABI算法檢測的結果，由于前景與背景混合的影響，圖4(b2)和圖4(b3) 中出現了虛假目標，檢測出的目標物體也很不清晰，并且在圖4(a1)中，兩個人之間存在遮擋時，無法檢測出被遮擋的行人；圖4(c1)是通過高斯背景建模方法構造出的背景，由于高斯背景建模方法對光照的影響非常敏感，當強光照射在人的身體上產生陰影時，就會誤判是運動物體，因此對背景的更新就會導致前景與背景的混合，混合程度取決于光照強度，故圖4中可以看出圖4(c1)的混合程度明顯大于圖4(b1)；圖4(c2)和圖4(c3)為MOG算法檢測的結果，由于混合現象的影響，檢測出虛假的目標物體，受光照的影響，行人側面的陰影也被當作目標物體；圖4(d1)是VIBE算法提取的背景圖像，從圖中可以看出存在混合現象。圖4(d2)和圖4(d3)是VIBE算法檢測的結果，從圖中可以看出檢測結果較清晰，但是在圖4(d2)中出現了虛假目標；圖4(e1)是GMG算法提取的背景圖像，可以看出背景不存在混合現象。圖4(e2)和圖4(e3)為GMG算法檢測結果，由于受光照的影響，將陰影當作目標物體檢測出來；圖4(f1)是使用本文算法構造出的背景，從圖中可以看出本文算法構造出的背景不存在前景與背景的混合現象，圖4(f2)和圖4(f3)為本文算法檢測的結果，從圖中可以看出本文算法檢測的目標物體清晰，并且在第159幀中出現遮擋時，檢測出的目標輪廓清晰可見。

圖4 Pets2009行人序列檢測結果

(2) 車輛序列檢測結果：使用車輛序列對TABI、MOG、VIBE、GMG和本文方法進行了測試，從圖5中可以看出，5種方法提取出的背景都沒有明顯的混合現象，但是受光照的影響，5種算法構造出的背景的亮度卻有所不同，MOG算法構造出的背景偏亮，TABI算法次之，VIBE和GMG算法提取的背景比較接近，本文算法構造出的背景亮度最接近真實背景；圖5(b2)和圖5(b3)為TABI算法檢測的結果，可以看出車輛的輪廓暗淡，不清晰；圖5(c2)和圖5(c3)為MOG算法檢測的結果，由于受光照的影響，檢測出一些小的斑點和陰影，車輛的輪廓相對清晰；圖5(d2)和圖5(d3)為VIBE算法檢測結果，圖5(d2)中車的右前方存在缺損，圖5(d3)中車的左側檢測出了陰影；圖5(e2)和圖5(e3)為GMG算法檢測結果，由于受光照的影響，檢測結果只能看見白色的團塊。圖5(f2)和圖5(f3)為本文算法檢測的結果，車輛的輪廓清晰可見，并且沒有小的斑點，可以看出本文算法對光照變化魯棒性強。

(3) 跳動的小球序列檢測結果：采用跳動的小球序列對TABI、MOG，VIBE、GMG和本文算法進行比較(圖6)，在測試序列中小球始終處于彈跳狀態且光線也隨之變化。5種方法提取的背景都沒有出現混合現象，但是光線有所不同，TABI和MOG算法最暗淡，VIBE和GMG算法次之，本文算法最接近真實的光線；圖6(b2)和圖6(b3)是采用時間平均法檢測結果，出現了虛假的目標物體；圖6(c2)和圖6(c3)為MOG算法檢測結果，結果中存在陰影；圖6(d2)和圖6(d3)為VIBE算法檢測結果，可以看出在圖6(d3)中右側的陰影被檢測出；圖6(e2)和圖6(e3)為GMG算法檢測結果，圖6(f2)和圖6(f3)為本文方法檢測結果，可以看出2種方法都取得了很好的效果，但是在圖6(e3)中第一的小球的陰影比圖6(f3)中稍大一些。

圖5 車輛序列檢測結果

圖6 跳動的小球序列檢測結果

為了評價本文的目標檢測算法的性能，采用文獻[22]中的評價標準：準確率(precision, P)和識別率(recall, R)，P和R定義為：

其中，TP(true positives)表示被正確檢測的前景像素數量，FP(false positives)表示背景誤判為前景的像素數量，FN(false negatives)表示前景誤判為背景的像素數量。算法性能的評價結果如表1所示(實驗結果是通過對每個序列進行測試后得出的平局值)，從表1中可以看出本文方法在檢測率和識別率上高于其他算法。

表1 算法性能的評價結果

3 結 論

由于光照變化、遮擋現象、復雜背景等，視頻背景的提取與實時更新一直是眾多研究者努力的方向。本文提出了一種隨機圖像選取與自適應背景更新的運動物體檢測方法，該方法的特點有：①通過從視頻序列中隨機選取一幅圖像作為初始幀，以對背景進行初始化；②通過記錄相鄰兩幀圖像之間像素值的變化，構建變化標記矩陣，以自適應地迭代更新背景。通過實際的測試序列結果表明，本文算法有效地避免了前景目標與背景的混合現象，且對光照具有一定的魯棒性。

由于本文算法中使用的參數是經驗值，當采用Scotti等[20]提出的根據每幀圖像實時求取參數的方法時，算法的檢測率會有所提高，但同時，算法復雜度增加，實時檢測困難，因此，如何在參數求取方法和復雜度之間取得平衡，提高算法的檢測效率，是我們進一步的工作。

[1]王 斌, 肖文華, 張茂軍, 熊志輝, 劉 煜.采用時空條件信息的動態場景運動目標檢測[J].計算機輔助設計與圖形學報, 2012, 24(12): 1576-1584.

[2]Sapiro G.Geometric partial differential equations and image analysis [M].Cambridge: Cambridge University Press, 2006:150-158.

[3]Tavakkoli A, Nicolescu M, Bebis G, Nicolescu M.Non-parametric statistical background modeling for efficient foreground region detection [J].Machine Vision and Applications, 2009, 20(6): 395-409.

[4]Lee C S, Elgammal A.Modeling view and posture manifolds for tracking [C]//Computer Vision, 2007.ICCV 2007.IEEE 11th International Conference on,2007: 1-8.

[5]齊美彬, 王 倩, 蔣建國, 安寶磊.基于背景像素值頻次最高假設的背景重構算法[J].中國圖象圖形學報,2008, 13(4): 723-728.

[6]Long W, Yang Y H.Stationary background generation:An alternative to the difference of two images [J].Pattern Recognition, 1990, 23(12): 1351-1359.

[7]Gutchess D, Trajkonic M, Cohen-Solal E, Lyons D,Jain AK.A background model initialization algorithm for video surveillance.Proc [C]//of the 8th IEEE Int’l Conf.on Computer Vision.Vancouver, 2001: 733-740.

[8]Gloyer B, Aghajan H K, Siu K Y, Kailath T.Video-based freeway-monitoring system using recursive vehicle tracking [C]//IS&T/SPIE's Symposium on Electronic Imaging: Science & Technology.International Society for Optics and Photonics, 1995: 173-180.

[9]Haritaoglu I, Harwood D, Davis L S.W4: real-time surveillance of People and their activities [J].Pattern Analysis and Machine Intelligence, IEEE Transactions on,2000, 22(8): 809-830.

[10]Stauffer C, Grimson W.Adaptive background mixture models for real-time tracking.Proc [C]//of the IEEE Computer Society Conf.on Computer Vision and Pattern Recognition, Vol 2.1999: 246-252.

[11]白向峰, 李艾華, 蔡艷平, 李喜來, 李仁兵.復雜場景實時目標檢測方法[J].計算機輔助設計與圖形學學報,2012, 24(1): 104-111.

[12]Magee D R.Tracking multiple vehicles using foreground,background and motion models [J].Image and Vision Computing, 2004, 22(2): 143-155.

[13]Wren C R, Azarbayejani A, Trevor D, Pentland A P.Pfinder: Real-time tracking of the human body [J].Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1997, 19(7): 780-785.

[14]Toyama K, Krumm J, Brumitt B, Meyers B.Wallflower:principles and practice of background maintenance [C]//Computer Vision, 1999.The Proceedings of the Seventh IEEE International Conference on, 1999: 255-261.

[15]Zivkovic Z, van der Heijden F.Efficient adaptive density estimation per image pixel for the task of background subtraction [J].Pattern Recognition Letters, 2006, 27(7):773-780.

[16]Suo P, Wang Yanjiang.An improved adaptive background modeling algorithm based on Gaussian mixture model [C]//Signal Processing, 2008.ICSP 2008.9th International Conference on.IEEE, 2008: 1436-1439.

[17]Barnich O, Van Droogenbroeck M.ViBe: A universal background subtraction algorithm for video sequences [J].Image Processing, IEEE Transactions on, 2011, 20(6):1709-1724.

[18]Godbehere A B, Akihiro M, Ken G.Visual tracking of human visitors under variable-lighting conditions for a responsive audio art installation [C]//American Control Conference (ACC), 2012.IEEE, 2012: 4305-4312.

[19]Multiply-with-carry [G/OL].wikipedia, (2013-4-11)[2013-5-2].http://en.wikipedia.org/wiki/Multiply-with-carry.

[20]Scotti G, Marcenaro L, Regazzoni C S.SOM based algorithm for video surveillance system parameter optimal selection [C]//Proceedings.IEEE Conference on Advanced Video and Signal Based Surveillance, 2003.IEEE, 2003: 370-375.

[21]Elhabian S Y, El-Sayed K M, Ahmed S H.Moving object detection in spatial domain using background removal techniques-state-of-art [J].Recent Patents on Computer Science, 2008, 1(1): 32-54.

[22]Ko T, Soatto S, Estrin D.Background subtraction on distributions [C]//Computer Vision-ECCV 2008.Springer Berlin Heidelberg, 2008: 276-289.