慢運(yùn)動(dòng)背景下運(yùn)動(dòng)目標(biāo)提取算法

摘 要：提出一種慢運(yùn)動(dòng)背景視頻序列下基于幀間背景圖像匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)和提取算法。該算法首先使用仿射變換模型來描述慢運(yùn)動(dòng)背景圖像的運(yùn)動(dòng)變化，并使用基于光流約束方法求解該仿射變換模型參數(shù)，實(shí)現(xiàn)了相鄰幀間圖像的背景匹配；其次，采用背景匹配后的兩幀圖像差進(jìn)行目標(biāo)檢測(cè)，使用自適應(yīng)二值化區(qū)分變化與未變化區(qū)域；最后，使用形態(tài)學(xué)等圖像算法進(jìn)行后處理提取運(yùn)動(dòng)目標(biāo)。算法經(jīng)實(shí)驗(yàn)證明，在背景慢運(yùn)動(dòng)情況下可以有效地提取出運(yùn)動(dòng)目標(biāo)。

關(guān)鍵詞：視頻監(jiān)視；背景匹配；運(yùn)動(dòng)目標(biāo)檢測(cè)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2008)07-2185-02



Moving objects detection under slow moving background

ZHENG Jiangbin， ZHAO Rongchun



(School of Computer Science Engineering， Northwestern Polytechnical University， Xi’an 710072， China)



Abstract:This paper proposed a detection algorithm of moving objects based on background matching under a slow moving background. Firstly， used an affine transformation modelto describe the background image movement. Secondly， gave a method based on opticalflow restriction to solve this affine model parameters. Thirdly，used this affine model to match the two adjacent frame backgrounds. Finally， performed a subtraction between these two matched adjacent frame backgrounds for detection and extraction of the moving objects. The several experiments show that the proposed algorithm is efficient.

Key words： video surveillance; background matching; moving objects detection

計(jì)算機(jī)視頻監(jiān)視的主要任務(wù)是檢測(cè)場(chǎng)景圖像的變化或捕捉運(yùn)動(dòng)的目標(biāo)^[1]。在視頻監(jiān)視中若場(chǎng)景與攝像頭之間位置保持相對(duì)不變，那么背景圖像的大小和位置在不同幀中將保持不變，因而可以直接利用幀間同一位置像素的亮度或顏色的變化來進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)^[2]。然而在許多實(shí)際應(yīng)用系統(tǒng)中，由于攝像頭抖動(dòng)或者云臺(tái)緩慢運(yùn)動(dòng)，必然會(huì)引起被監(jiān)視場(chǎng)景背景圖像的位置、大小和形狀在不同幀中有所改變。這時(shí)如果仍然利用幀間的差來檢測(cè)背景的變化顯然是不正確的。通常解決這一問題的方法是借助于視頻圖像的運(yùn)動(dòng)估計(jì)和分割算法來實(shí)現(xiàn)^[3，4]。該類方法要進(jìn)行整幅圖像的運(yùn)動(dòng)估計(jì)并需要進(jìn)行基于運(yùn)動(dòng)場(chǎng)的分割，因而計(jì)算量較大，較難滿足實(shí)時(shí)監(jiān)視的要求，從而使這類方法的應(yīng)用受到限制。由于攝像頭抖動(dòng)或者云臺(tái)緩慢運(yùn)動(dòng)，相當(dāng)于被監(jiān)視背景緩慢運(yùn)動(dòng)，本文提出的算法充分利用慢運(yùn)動(dòng)背景圖像序列的特點(diǎn)，在匹配相鄰幀圖像背景后進(jìn)行變化檢測(cè)，實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)檢測(cè)和提取。

1 算法原理

當(dāng)背景與攝像頭之間存在相對(duì)運(yùn)動(dòng)時(shí)，不能直接利用相鄰幀的差來進(jìn)行變化檢測(cè)，但是如果能夠確定相鄰兩幀中背景圖像從第k幀圖像fk運(yùn)動(dòng)到第k+1幀圖像fk+1的運(yùn)動(dòng)模型，那么就可以利用該模型計(jì)算第k幀圖像fk在第k+1幀時(shí)刻的匹配估計(jì)圖像f^k+1。這時(shí)估計(jì)圖像f^k+1和第k+1幀圖像fk+1實(shí)現(xiàn)了背景圖像匹配。當(dāng)背景匹配后，就可以直接利用第k+1幀圖像fk+1與背景估計(jì)圖像f^k+1的差值來進(jìn)行目標(biāo)檢測(cè)和提取。本文的算法主要由兩部分組成：第一部分為背景匹配算法，第二部分為基于匹配背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)和提取。

2 運(yùn)動(dòng)背景圖像匹配

2．1 背景圖像的運(yùn)動(dòng)模型

當(dāng)攝像頭和被監(jiān)視場(chǎng)景間存在慢速相對(duì)運(yùn)動(dòng)時(shí)，相鄰幀間背景圖像的變化可近似為由背景圖像沿?cái)z像平面的平移和圍繞攝像光軸的旋轉(zhuǎn)運(yùn)動(dòng)所引起的。這樣也可以近似認(rèn)為背景中不同區(qū)域的圖像變化模式是相對(duì)一致的^[5]，因此背景圖像的運(yùn)動(dòng)變換只需要考慮圖像的平移和旋轉(zhuǎn)。由于仿射變換模型可描述二維長(zhǎng)方形圖像變形到任意平行四邊形，從而可用于描述圖像的旋轉(zhuǎn)和平移運(yùn)動(dòng)變化。本文選用一個(gè)帶有六個(gè)參數(shù)的仿射變換模型式(1)來描述背景圖像的運(yùn)動(dòng)。

2．2 基于光流約束的背景圖像運(yùn)動(dòng)模型參數(shù)的求解

從式(1)知道，只要在第 k幀中取三個(gè)點(diǎn)，記下其位置坐標(biāo)，然后在第 k+1幀中找到這三個(gè)點(diǎn)的位置坐標(biāo)，那么就可以利用式(1)建立方程組從而求解出模型參數(shù)。本文利用光流約束求解背景圖像運(yùn)動(dòng)模型參數(shù)。設(shè)圖像空間中像素的一般光流約束方程可表示為式(2)^[6]：

量。通過有限差分近似偏導(dǎo)數(shù)^[5]，可以得到式(2)的離散表達(dá)式(3)及其簡(jiǎn)化后的形式式(4)：

從上述可知，圖像空間中符合光流約束的一個(gè)像素可使用式(6)建立與之相對(duì)應(yīng)的一個(gè)方程，方程總共有六個(gè)未知參數(shù)

。由此可知只需要在第 k幀圖像上至少選取六個(gè)以上像素點(diǎn)，利用式(6)建立方程組，就可求解方程組，從而得到背景運(yùn)動(dòng)模型參數(shù)。

總結(jié)背景運(yùn)動(dòng)模型參數(shù)求解主要步驟如下：a）在第k幀中選取至少六個(gè)以上像素點(diǎn)；b)利用式(4)計(jì)算第k幀和第 k+1幀的 DF(x，y)；c)利用式(7)(8)估計(jì)這些點(diǎn)的f(x，y，t) / x和 f(x，y，t) / y；d)計(jì)算矢量 H，并利用式(6)建立方程組；e)用最小二次方判定求解方程組得到未知向量A，從而求得模型參數(shù)。

2．3 運(yùn)動(dòng)背景匹配圖像的計(jì)算

使用式(9)計(jì)算匹配估計(jì)圖像 f^k+1。計(jì)算后得到的匹配估計(jì)圖像 f^k+1的背景圖像與第 k+1幀圖像 fk+1的背景圖像已經(jīng)實(shí)現(xiàn)了匹配，這樣就可以利用匹配估計(jì)圖像 f^k+1與第 k+1幀圖像 fk+1的差異來進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)和提取。

3 運(yùn)動(dòng)目標(biāo)檢測(cè)和提取

3．1 變化檢測(cè)及二值化

本文利用匹配估計(jì)圖像 f^k+1與第 k+1幀圖像fk+1的差來進(jìn)行變換檢測(cè)。當(dāng)變化檢測(cè)得到一幅新的圖像后，本文使用統(tǒng)計(jì)上最佳的自適應(yīng)二值化圖像的方法將圖像中變化的區(qū)域與未變化的區(qū)域分開。

3．2 形態(tài)學(xué)處理

由于存在著噪聲的干擾以及目標(biāo)與背景圖像之間往往有小部分顏色或灰度相似，二值化后得到的圖像中往往會(huì)含有許多孤立的點(diǎn)、小區(qū)域、小間隙和孔洞（如圖1(f)所示，在這里白色代表變化的區(qū)域），這些均會(huì)干擾運(yùn)動(dòng)目標(biāo)的檢測(cè)，需要將孤立的點(diǎn)、小區(qū)域去除，而將小間隙連接，同時(shí)又應(yīng)該將小孔洞填充。本文采用圖像形態(tài)學(xué)中二值圖像的膨脹和腐蝕方法來實(shí)現(xiàn)（處理結(jié)果見圖1(h)）。

3．3 區(qū)域標(biāo)記和判別

當(dāng)形態(tài)學(xué)處理完圖像后，一些小的干擾區(qū)域已經(jīng)被去除，小的間隙和孔洞也已經(jīng)被填充，但是仍然會(huì)有面積相對(duì)較大的黑色孔洞存在（圖1(g)）。這是因?yàn)橐鸨尘白兓哪繕?biāo)，往往會(huì)在前后兩幀圖像中有部分重疊，那么在變化檢測(cè)時(shí)往往在連通的白色區(qū)域之中會(huì)產(chǎn)生較大的黑色孔洞。為了將這些較大的黑色孔洞填充，首先計(jì)算各個(gè)連通的黑色區(qū)域的面積，當(dāng)某一黑色區(qū)域的面積小于給定的閾值時(shí)，就將該區(qū)域改為白色區(qū)域；完成上述處理后就可以計(jì)算各個(gè)連通的白色區(qū)域的面積。當(dāng)某白色區(qū)域的面積大于給定的閾值時(shí)就認(rèn)為該區(qū)域?yàn)闄z測(cè)到的運(yùn)動(dòng)目標(biāo)區(qū)域（圖1(h)和(i)）。

4 實(shí)驗(yàn)結(jié)果



該實(shí)驗(yàn)中視頻幀率設(shè)置為9 fps，分辨率設(shè)置為320×240。圖1為前后兩幀圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)過程。圖1(a)為第k幀圖像fk；(b)為第k+1幀圖像fk+1；(c)為計(jì)算得到匹配估計(jì)圖像f^k+1；(d)為第k+1幀圖像fk+1與第k幀圖像 fk直接進(jìn)行變化檢測(cè)后的結(jié)果；(e)為第k+1幀圖像 fk+1與匹配估計(jì)圖像 f^k+1進(jìn)行變化檢測(cè)后的結(jié)果（(d)和1(e)相比較可以看出，由于背景存在運(yùn)動(dòng)，(d)中許多未變化的地方也檢測(cè)到較大的變化值，而(e)則小得多，由此說明本文的方法較好的實(shí)現(xiàn)了背景圖像的匹配）；f)為對(duì)(e)進(jìn)行自適應(yīng)二值化處理后的結(jié)果；(g)為對(duì)(f)連續(xù)兩次形態(tài)學(xué)膨脹運(yùn)算后在進(jìn)行一次腐蝕運(yùn)算處理后的結(jié)果；(h)為對(duì)(g)區(qū)域標(biāo)記后的，刪除小于閾值的黑色區(qū)域及刪除小于閾值的白色區(qū)域后的結(jié)果，黑色區(qū)域面積閾值設(shè)置為725，白色面積閾值設(shè)置為900，在(h)中可以看出存在大于白色區(qū)域面積閾值的區(qū)域，所以認(rèn)為檢測(cè)到運(yùn)動(dòng)目標(biāo)；圖1(i)中圖像分別為(h)與(b)和(c)相疊加后提取到的運(yùn)動(dòng)目標(biāo)。

5 結(jié)束語

本文提出的慢運(yùn)動(dòng)背景下基于幀間背景圖像匹配的視頻監(jiān)視算法，解決了背景運(yùn)動(dòng)時(shí)給視頻監(jiān)視帶來的困難，經(jīng)過實(shí)際應(yīng)用測(cè)試，該監(jiān)視算法可靠有效。

參考文獻(xiàn)：

［1］ COLLINS R T， LIPTON A J， KANADE T. Introduction to the special section on video surveillance[J]. IEEE Trans on Pattern Analysis and Machine Intelligence，2000， 22(8):745-746.

[2]COLLINS R T. A system for video surveillance and monitoring，CMURITR0012[R].[S.1.]:Robotics Institute， Carnegie Mellon University， 2000.

[3]TAKAYA K.Detection and segmentation of moving objects in video[C]//Proc of IEEE Conference on Electrical and Computer Engineering.Canadian:[s.n.]， 2006：2069-2073.

[4]PIRODDI R，VLACHOS T. A simple framework for spatiotemporal video segmentation and delayering using dense motion fields[J]. IEEE Signal Processing Letters， 2006，13(7): 421-424.

[5]TECKALP M. Digital video processing[M].[S.l.]: Prentice Hall，1995:98.

[6]HORN B K P， SCHUNCK B G. Determining optical flow[J]. Artif Intellen， 1981，17:185-203.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。”