三幀差分運動目標檢測算法分析與驗證*

尹紅娟 欒 帥

(山東師范大學物理與電子科學學院 濟南 250014)

?

三幀差分運動目標檢測算法分析與驗證*

尹紅娟 欒 帥

(山東師范大學物理與電子科學學院 濟南 250014)

運動目標檢測準確與否決定了后續對運動目標行為的識別及適時跟蹤的成敗,在軍事偵查、醫學圖像分析、科學研究等領域有廣泛的應用。論文分析了三幀差分運動目標檢測算法,利用OpenCV函數庫進行仿真測試,并將其與普通幀間差分算法進行對比分析。實驗結果表明,該算法準確率高,運算速度快,能滿足實時要求。

三幀差分; 運動目標檢測; OpenCV

Class Number TP391

1 引言

隨著計算機技術、通信技術、圖像處理技術的不斷發展,計算機視覺己成為目前的熱點研究問題之一,而運動目標檢測是計算機視覺研究的核心課題之一。所謂運動目標檢測是指在序列圖像中檢測出變化區域并將運動目標從背景圖像中提取出來,其檢測的準確與否決定了后續對運動目標行為的識別及適時跟蹤的成敗。比較典型的運動目標檢測算法有光流法、背景差分法及幀差法等[1～2]。

光流法[3]是空間運動物體在觀察成像平面上的像素運動的瞬時速度,是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關系,從而計算出相鄰幀之間物體的運動信息的一種方法。

背景差分法[4]是在背景靜止情況下常用的運動目標檢測方法。其主要利用當前場景中的某一幀圖像作為參考背景圖像,然后通過將當前幀圖像與事先得到的背景圖像或者實時得到的背景圖像做差分運算,得到的差分圖像用選定閾值進行二值化,就可得到運動目標區域,即差值大于一定閾值的像素點就被認為是運動目標上的點,否則就認為該點為背景點,很適合用來在背景圖像隨時間改變不大的情況下檢測運動目標。

幀差法通過比較不同時刻、同一背景的兩幅圖像,比較的結果就反映了一個運動的物體在這個背景下運動的結果。較為簡單的方法就是對兩幅圖像做“相減”或“差分”運算,根據相減后的圖像結果就能得到物體的運動信息。在相減后的圖像中,灰度不發生變化的部分就被減掉,這里被減掉的部分包括大部分的背景和小部分的目標。但是該方法提取的運動目標比實際的要大,往往出現“重影”現象[5];另外,由于檢測出來的物體是前后兩幀相對變化的部分,無法檢測到重疊部分,導致檢測到的目標發生“空洞”現象[6～7]。與幀間差分法相比,三幀差分法一定程度上解決了對目標運動速度的敏感性,增加了系統的魯棒性。

2 三幀差分算法分析

2.1 三幀差分法原理與框架

三幀差分法是相鄰兩幀差分算法的一種改進方法,該算法的基本原理是先選取視頻圖像序列中連續三幀圖像并分別計算相鄰兩幀的差分圖像,然后將差分圖像通過選取適當的閾值進行二值化處理,得到二值化圖像,最后在每一個像素點得到的二值圖像進行邏輯與運算,獲取共同部分,從而獲得運動目標的輪廓信息,其算法框架如圖1所示。

圖1 算法框架

2.2 三幀差分法流程

1) 灰度處理

輸入的視頻是彩色的,一般采用RGB顏色模型。由于幀差法是基于像素點的運動目標檢測算法,它通過對視頻圖像序列中的相鄰幀之間進行差分運算,判斷背景中像素點的灰度值是否發生了變化,然后根據灰度值的變化得到運動目標,所以對輸入的彩色視頻應進行灰度處理,將彩色圖像轉化為灰度圖像。灰度處理公式如下:

Y=0.21267*R=0.715160*G+0.072169*B

(1)

2) 分幀處理

從視頻序列中取出某個時刻的圖像,記為f(x,y,t),表示在t時刻該視頻出現的幀圖像,而f(x,y,t-1)和f(x,y,t+1)則分別表示其前一幀和后一幀圖像。其中,x、y為像素位置,t為時間。

3) 差分處理

將當前幀與其前幀進行差分,得到一個差分圖像為

D1(x,y)=f(x,y,t)-f(x,y,t-1)

(2)

將當前幀與其后一幀進行差分,得到另一個差分圖像為

D2(x,y)=f(x,y,t+1)-f(x,y,t)

(3)

4) 二值化處理

為了選取目標區域,分別對D1(x,y)和D2(x,y)進行二值化處理,公式如下:

(4)

其中:k=1,2;Th為設定閾值;dk(x,y)為二值化處理結果。

閾值的選擇可采用Otsu方法[8～9],該方法是經典的非參數、無監督自適應閾值選取方法。設灰度圖像灰度級是L,則灰度范圍為[0,L-1],利用Otsu算法計算圖像的最佳閾值為

t=Max[w0(t)*(u0(t)-u)2+w1(t)*(u1(t)-u)2)]

(5)

其中的變量說明:當分割的閾值為t時,w0為背景比例,u0為背景均值,w1為前景比例,u1為前景均值,u為整幅圖像的均值。使以上表達式值最大的t,即Th為分割圖像的最佳閾值。

5) 提取前景圖像

通過與運算提取二值化圖像的交集,得到運動目標前景圖像,公式如下:

X=d1(x,y)*d2(x,y)

(6)

其中,*為與運算。

6) 后處理

對獲得的圖像進行形態學的腐蝕與膨脹運算[10]。腐蝕,即刪除對象邊界某些像素。膨脹,即給圖像中的對象邊界添加像素。二值圖像的腐蝕和膨脹是將一個小型二值圖在一個大的二值圖上逐點移動并進行比較,以去除圖像中的噪聲點與目標中的空洞。

3 三幀差分算法實驗

3.1 實驗數據與程序

選取幾段不同的視頻數據,分別使用傳統幀差法和三幀幀差法,在Intel Xeon CPU,主頻為2.5Ghz,內存為8GB,4G獨立顯卡的環境中,進行仿真實驗。實驗視頻數據來源網站為http://www.sd235.com。選取了三類視頻,第一類是在晴好天氣環境下,一輛汽車在公路上行駛視頻,圖像為720*486,視頻幀為29幀/秒。第二類是在晴好天氣環境下,一只老鷹在天空飛翔視頻,圖像為720*486,視頻幀為30幀/秒。第三類是在夕陽西下、背光環境下,多目標的高爾夫運動視頻,圖像為1920*1080,視頻幀為23幀/秒。

為了實現視頻中的運動目標檢測,利用了Opencv庫里的以下函數進行視頻圖像處理。

1) cvtColor(img_src1,gray1,CV_BGR2GRAY),使用該函數將視頻的每一幀圖像轉化為灰度圖像。

2) subtract(gray2,gray1,gray_diff11),使用該函數做幀間差分運算。

3) bitwise_and(gray_diff1,gray_diff2,gray),使用該函數進行點位運算—與運算。

4) dilate(gray,gray,Mat()),使用該函數進行膨脹處理。

5) erode(gray,gray,Mat()),使用該函數進行腐蝕處理。

3.2 實驗結果分析

本文分別對3.1節中所選取的三類視頻進行幀間差分與三幀差分實驗,并選取其中部分結果進行對比分析。

圖2為第一類視頻的部分結果。

圖2 汽車行駛視頻

在圖2中,圖2(a)為第一類視頻的第25幀。圖2(b)為幀間差分法處理25幀和26幀后的圖像,從該結果可以看出,幀間差分法能檢測出汽車的基本輪廓,但邊緣部分有缺失,總體檢測效果一般。圖(c)為三幀差分法處理24幀、25幀和26幀后的圖像,與圖(b)相比,檢測的運動目標區域比較完整,輪廓清晰,效果較好。

圖3為第二類視頻的部分結果。

圖3 老鷹在天空飛翔視頻

在圖3中,圖(a)為第二類視頻的第7幀,圖(b)為幀間差分法處理7幀和8幀后的圖像,從該結果可以看出,幀間差分法能夠檢測出老鷹的部分區域,檢測效果不夠理想。圖(c)為三幀差分法處理6幀、7幀和8幀后的圖像,與圖(b)相比,能夠檢測出老鷹的整體輪廓,效果較理想。

圖4為第三類視頻的部分結果。

圖4 高爾夫運動視頻

在圖4中,圖(a)為第三類視頻的第3幀,選用該視頻段,主要是探究光照對幀差法的影響。圖(b)為幀間差分法處理3幀和4幀后的圖像,從該結果可以看出,幀間差分法檢測輪廓不完整,檢測效果一般。圖(c)為三幀差分法處理2幀、3幀和4幀后的圖像,與圖(b)相比,檢測的運動目標區域比較完整。但從整體檢測效果來看,光照對實驗結果有一定的影響,圖中從左側數第一人與第三人的檢測效果在兩種方法中都不佳,但在比較之下,三幀差分效果更好。

對第三類視頻(多目標視頻)實驗結果,本文應用幀間差分法和三幀差分法得到的預測人數與實際人數的對比,結果如表1所示。

表1 各幀值下兩種方法的人數預測與真實值對比

經過對比,可以發現三幀差法比幀間差分法準確度高。幀間差分法不能很好地提取出對象的完整區域,同時依賴于選擇的幀間時間間隔。三幀差法為相鄰三點間的視頻序列的差值,比幀間差分法更精確。

4 結語

本文采用三幀差分法對運動目標進行檢測,在分析三幀差分法原理的同時,對其進行了實驗驗證,并將其實驗結果與傳統幀差法進行了對比。經比較,該方法能減少光照變化對運動目標檢測的影響,消除幀間差分帶來的重影和空洞現象,能夠獲得較為完整的區域,提取出運動目標,為后期的目標識別奠定了基礎。

[1] 盛旭峰,李校祖,莊俊.基于三幀時間差分法的獨居老人運動檢測[J].計算機工程與應用,2010,46(13):239-241. SHENG Xufeng, LI Xiaozu, ZHUANG Jun. Motion detection research of elderly aging-in-place based on three-frame-differencing[J]. Computer Engineering and Applications,2010,46(13):239-241.

[2] 呂國亮,趙曙光,趙俊.基于三幀差分和連通性檢驗的圖像運動目標檢測新方法[J].影像技術,2008,11(4):17-20. LV, Guoliang, ZHAO Shuguang, ZHAO Jun. Novel Method of Moving Object Detection Based on Three Frame Differencing and Connectivity Checking[J]. Chinese Journal of Liquid Crystals and Displays,2008,11(4):17-20.

[3] Valera M, Velastin S A. Intelligent Distributed Surveillance Systems: A Review[J]. IEE Proceedings Vision Image and Signal Processing(S1751-9632),2005,152(2):192-204.

[4] 李寧,黃山,張先震,等.基于背景差分的人體運動檢測[J].圖像處理,2009(25):257-258. LI Ning, HUANG Shan, ZHANG Xianzhen, et al. Human Motion Detection Based on Background Difference[J]. Image Processing,2009(25):257-258.

[5] 龐首顏,張元勝.基于三幀差分及Canny算子的運動目標檢測[J].重慶工商大學學報,2013,30(5);57-61. PANG Shouyan, ZHANG Yuansheng. The Moving Target Extraction Based on the Three Frame Difference and Canny Operator[J]. Journal of Chongqing Technology and Business University(Social Science Edition),2013,30(5);57-61.

[6] Fang Z, Zhang J, Chen F I. A fast and robust algorithm of motion detection for distributed outdoor surveillance[C]//IEEE International Symposium on IT in Medicine and Education,2011:129-132.

[7] 譚歆,武岳.基于OpenCV的運動目標檢測方法研究與應用[J].視頻應用與工程,2010(34):184-193. TAN Xin, WU Yue. Research and Application of Moving Target Detecting Method Based on OpenCV[J]. Video Application & Project,2010(34):184-193.

[8] Xu J B, Liu B, Lin H J, et al. Approximation implementation approach for gaussian filtering in roundness measurement[J]. Acta Metrologica Sinica,2012,33(1):814-817.

[9] 欒慶磊,趙為松.動背景下幀差分法與邊緣信息融合的目標檢測算法[J].光電工程,2011,38(10):77-83. LUAN Qinglei, ZHAO Weisong. Moving Object Detection Algorithm Based on Three-Frame-Difference of Moving Background and Edge Information[J]. Opto-Electronic Engineering,2011,38(10):77-83.

[10] 孫繼平,吳冰,劉曉陽.基于膨脹/腐蝕運算的神經網絡圖像預處理方法及其應用研究[J].計算機學報,2005,28(6):985-990. SUN Jiping, WU Bing, LIU Xiaoyang. Cellular Neural Network Applicating Manner in Pre-Processing Image[J]. Chinese Journal of Computers,2005,28(6):985-990.

Three-image Difference Algorithm for Moving Target Detection

YIN Hongjuan LUAN Shuai

(School of Physical and Electronics, Shandong Normal University, Jinan 250014)

The accuracy of moving target detection determines the success or failure of subsequent recognition and motion tracking of the target behavior in a timely manner, moving target detection is widely used in military reconnaissance, medical image processing, scientific research, ect. This paper presents a three-frame difference algorithm for moving target detection. Some simulation tests are carried out by the algorithm and the basic frame difference method, respectively, moreover, the results are analyzed comparatively. The results illustrate that the proposed algorithm is more accurate and rapid, which can fulfill the realtime requirement.

three-frame differential, moving target detection, OpenCV

2016年7月10日,

2016年8月28日

尹紅娟,女,碩士研究生,研究方向:多媒體信息處理與集成。

TP391

10.3969/j.issn.1672-9722.2017.01.015