基于幀間差分和粗糙熵的運動目標檢測算法

靳海偉, 彭力, 盧曉龍

(江南大學物聯網工程學院,江蘇無錫214122)

基于幀間差分和粗糙熵的運動目標檢測算法

靳海偉, 彭力*, 盧曉龍

(江南大學物聯網工程學院,江蘇無錫214122)

幀間差分法只把相鄰幀間存在較大差異的部分提取出來,檢測出的運動目標內部往往存在“空隙”。利用粗糙熵可以精確地分割圖像區域。引入粗糙熵作為幀間差分法的補充,通過顏色灰度信息完成圖像形態學重構,并進行形態學濾波和連通性檢測,由此克服了檢測出運動目標內部的空洞現象,滿足實時性,檢測效果顯著提高。

幀間差分;空隙;目標檢測;粗糙熵;形態學重構

運動目標檢測技術是圖像視頻處理領域的研究熱點之一。目前運動目標檢測的基本方法有幀間差分法、背景差分法和光流法。幀間差分法具有程序簡單、運行速度快的特點[1-2]。因為相鄰幀之間背景的變化較小,所以幀間差分法能夠較好地適應各種場景。但是這種方法也有很明顯的缺點。該算法的基本思想是將相鄰兩幀存在較大差異的部分提取出來,所以檢測出的運動目標內部往往存在大量“空隙”[3-4]。

文獻[5]提出基于五幀差分和背景差分的運動目標檢測算法,雖然可以完整地提取目標輪廓,但沒有解決目標內部的空隙問題。文獻[6]提出的基于背景減法和時空熵的運動目標檢測新方法,可以完整地提取目標,但算法復雜度大。文獻[7]提出基于粒子粗糙熵的圖像分割算法,使用粗糙集理論、粗糙熵來對圖像中目標和背景進行正確分類[8],但其處理對象是單幀圖像,無法檢測出圖像序列(視頻)中的運動目標。

針對上述算法的缺點,文中進行了相應改進: (1)通過三幀差分法將視頻中的運動目標進行提取;(2)使用粗糙集理論上近似和下近似概念來描述圖像的目標、背景和邊界區域。集的近似能力可以用粗糙熵來衡量,當粗糙熵最大時,這時選擇的閾值可以對圖像中目標和背景進行正確分類;(3)引入形態學圖像重構,通過形態學運算對兩幅圖像(掩模圖像和標記圖像)進行處理完成重構,可以提取出掩膜圖像中的感興趣區域(運動目標)。

文中提出基于幀間差分和粗糙熵的運動目標檢測算法,將圖像時間和空間分割有機地結合起來,通過形態學運算完成圖像重構。經過實驗,文中算法可以完整地提取運動目標,克服空洞現象,滿足實時性并取得了顯著的檢測效果。

1 幀間差分法

對于圖像序列中相鄰的幀,在忽略了部分噪聲的前提下,產生變化的部分即為移動的物體,沒有變化的部分即為背景。通過對圖像序列相鄰幀之間進行差分運算可以獲取目標的位置與形態信息。

幀間差分法的基本原理:在視頻圖像序列f1, f2,…,fn中,選取相鄰兩幀圖像fk(x,y)和fk-1(x, y),則它們的差分圖像Dk(x,y)為

其中(x,y)為圖像中像素點的坐標。

選取一個合適的閾值T(取經驗值或者采用相關算法獲得動態閾值),把差分圖像Dk(x,y)和閾值T進行比較,從而提取運動目標:

幀間差分法對連續兩幀圖像進行差分運算得到運動目標,算法比較簡單且易于實現,適應能力較強。但是在物體快速運動而造成背景大面積顯露的時候,容易在顯露區域產生誤檢,從而導致檢測到的前景出現“重影”現象。為了克服這個缺點,對幀間差分法進行改進,形成了三幀差分算法。

三幀差分法算法原理如圖1所示。

圖1 三幀差分法原理Fig.1 Schem atic of the three fram e differencem ethods

2 基于粗糙熵的圖像分割

近年來粗糙集理論在圖像處理中被廣泛應用,運用粗糙集理論中的相似關系來解決圖像中的分類問題,可以有效地消除噪聲。對圖像信息的相關性和不精確性,用粗糙熵概念對圖像直方圖顏色信息進行分類,提高了分割的效率[7]。

2.1 粗糙集理論

給定一個有限的非空集合U稱為論域,R為一等價關系,則稱知識庫K=(U,R)為一個近似空間。若論域中存在子集X?U,根據關系R定義的基本集合Yi(i=1,2,…,n)來描述集合X,為了準確地說明某些Yi在X中對象的隸屬度情況,這里考慮兩個子集:

分別稱它們為X的R下近似和R上近似。

2.2 基于粗糙集理論的區域劃分

對于一幅灰度級為L的N×N個像素組成的二維圖像U,設像素X為U中的一個對象,稱知識庫(知識系統)K=(U,R)為一個圖像近似空間。把原圖像分成Fi個互不重疊的小塊,Pi是分塊中Fi每個像素的灰度值。由粗糙集理論的上近似、下近似以及邊界域的概念來定義圖像中每一塊所包含目標和背景像素的程度[8-9]。

目標灰度的下近似:

目標灰度的上近似:

背景灰度的下近似:

背景灰度的上近似:

目標的邊界區域:

用R粗糙度來定義目標和背景的不確定程度:

背景的邊界區域:

因為邊界即在目標區域又在背景區域中,粗糙度越小,說明目標和背景的邊界區域越小,兩者越接近重合。選擇合適的閾值T滿足粗糙度ROT,RBT同時達到最小,此時目標和背景的邊界域QOT=QBT,兩者完全重合,即為圖像目標和背景相交的邊界。

2.3 粗糙熵

對目標和背景邊界域的確定,閾值T的選擇至關重要[10-13]。引入信息論中熵的概念來精確地計算閾值T。把目標區域和背景區域看成兩個信源,由目標和背景區域的粗糙度定義目標區域粗糙熵為

背景區域粗糙熵為

根據熵的概念和性質,兩個獨立信源聯合熵等于它們各個熵之和,所以目標和背景區域粗糙熵為

選擇閾值T的準則是使它們的熵之和取最大,這就是所謂最大熵準則下的最佳門限[7-9]。

2)擴孔鉆頭的橫向不平衡系數對鉆頭擴孔鉆進的影響較大，通過自平衡原理設置切削齒將鉆頭的不平衡系數控制在0.05以內，能提高鉆頭的穩定性，減少鉆頭異常失效現象。

粗糙熵的最大值可以定義為

求解出最終的T*,此時所對應的T值就是最佳分割閾值,對原圖像進行二值化分割,得到明顯區分的目標和背景的二值圖,如圖2所示。

圖2 粗糙熵圖像分割Fig.2 Rough entropy im age segmentation

3 形態學重構

重構是一種將兩幅圖像和一個結構元素進行形態學變換的過程。標記圖像(marker)是變換的開始目標點,掩模圖像(mask)用來約束變換過程。結構元素用來定義連續性,通常為一個三維單位矩陣。

如果g是掩模,f是標記,定義從重構g為Rg(f),下面是其迭代過程定義:

1)將m1初始化為標記圖像f;

2)創建結構元素:P=ones(3);

3)重復mk+1=(mk⊕P)∩g直到mk+1=mk。其中標記f必須是g的一個子集,即f?g。圖3說明上述過程。

圖3 形態學重構Fig.3 M orphology reconstruction

4 基于幀間差分和粗糙熵的運動目標檢測算法

三幀差分法能快速精確地檢測出運動目標的輪廓,但是其內部存在很大的空洞,不能完整地提取出目標信息。利用粗糙熵可以對圖像的目標和背景區域進行精確分類。三幀差分法基于時間域將運動目標從圖像序列中提取出來,利用粗糙熵將單幀圖像在空間上實現目標和背景分割,通過時間域和空間域的有機結合來進行形態學重構,可以完整地提取運動目標。為此,提出基于三幀差分法和粗糙熵的運動目標檢測算法。

算法具體步驟:

1)從視頻中提取連續三幀原始圖像,分別記為fk-1(x,y),fk(x,y),fk+1(x,y),對其進行中值濾波(medfilt2)去噪、灰度化(rgb2gray)。

2)將提取出的三幀圖像中相鄰兩幀圖像利用公式(1)進行差分運算:

對差分結果Dk(x,y),Dk+1(x,y)進行邏輯與操作,由三幀差分法得到初始運動目標:

3)利用粗糙熵對中間幀fk(x,y)進行圖像分割,得到分割后圖像Ek(x,y):

(2)統計圖像的灰度值,根據灰度值分布情況確定閾值范圍T∈[m,n]。

(3)將圖像分成Fi個互不重疊的小塊,確定每個小塊灰度的最大值Pi_min、最小值Pi_min。

(5)根據式(5),(6),(9)算出T所對應的粗糙熵,重復(4),直到T=n。

(6)通過比較每一個T所對應的粗糙熵大小,當粗糙熵最大時,T為最佳閾值T*。

(7)對圖像fk(x,y)進行分割,得到:

4)將步驟(2)得到的圖像Rk(x,y)經過處理設為標記圖像(marker),步驟(3)得到的圖像Ek(x,y)記為掩模(mask):

多次進行代數邏輯運算完成圖像重構,最終得到目標圖像Qk(x,y)。

5)對(4)的結果進行形態學濾波和連通性檢測,最終得到運動目標。

5 實驗結果及分析

為了測試文中所提出算法的有效性和魯棒性,對三段標準視頻highway,campus,vipman(http:// cvrr.ucsd.edu/aton/)分別進行測試。實驗環境為CPU E5500/2.80 GHz、內存為2 GB的PC機,使用Matlab R2009a編程實現。將文中算法與三幀差分算法以及文獻[6]所提出的算法運行結果進行對比,結果如圖4～6所示,并采用文獻[14]提出的查全率和查準率進行度量:

其中:tp為檢測目標正確像素個數;fp為將背景錯誤檢測為目標的像素個數;fn為將運動目標錯誤檢測為背景的像素個數。表1給出了實驗結果。

圖4 H ighway場景的不同算法檢測結果Fig.4 Detected results of Highway on different algorithm s

圖5 Cam pus場景的不同算法檢測結果Fig.5 Detected results of Cam pus on different algorithm s

圖6 Vipm an場景的不同算法檢測結果Fig.6 Detected results of Vipman on different algorithm s

表1 不同算法運行結果參數比較Fig.1 Com parison of the results and parameters of different algorithm s

為了檢驗算法的實時性,文中取測試視頻各80幀對三幀差分法、文獻[6]算法和文中算法的平均單幀處理時間(t/ms)進行比較,如表2所示。

表2 單幀處理時間測試結果Tab.2 Test results of single frame processing time

從表1,2結果可以看出,Highway中汽車運動較快,三幀差分法可以提取運動汽車的大部分信息,而Campus中人走動較慢,Vipman中人物移動更加緩慢,提取的人物內部信息較少。總體來說,三幀差分法可以提取運動目標輪廓,但其提取目標信息有限,提取的目標內部存在空洞。

3種場景中文獻[6]算法可以較為全面地提取汽車和人物的信息,但效果不是最佳。利用粗糙熵可以對圖像進行有效地分割,但其將圖像中亮度不同的部分分割為多個區域,除了運動目標本身外,部分背景也被分割顯示。

通過形態學重構,可以較完整地提取運動目標,檢測效果顯著提高。在每幀圖像的處理時間上,三幀差分法速度很快。由于初始背景模型的建立和更新耗時較長,文獻[6]算法的實時性較差。文中算法處理時間介于三幀差分法和文獻[6]算法之間,以滿足實時性。

6 結 語

提出一種基于幀間差分和粗糙熵的運動目標檢測算法,將時間分割和空間分割有機地結合起來。該方法能有效地提取運動目標,克服了提取目標內部的空洞現象和其他算法的復雜性。該算法相對于已有算法檢測效果更好,在實際工程中有一定的應用價值。

[1]SHEN Hao,LI Shuxiao,ZHU Chengfei,et al.Moving object detection in aerial video based on spatiotemporal saliency[J]. Chinese Journal of Aeronautics,2003,26:1211-1217.

[2]丁瑩,李文輝,范靜濤,等.基于Choquet模糊積分的運動目標檢測算法[J].電子學報,2010,38(2):263-268.

DING Ying,LIWenhui,FAN Jingtao,et al.A moving object detection algorithm base on choquet integrate[J].Acta Electronica Sinica,2010,38(2):263-268.(in Chinese)

[3]WANG Kongqiao,XU Lei,FANG Yikai,et al.One-against-all frame differences based hand detection for human and mobile interaction[J].Neurocomputing,2013,120(11):185-191.

[4]Lipton A J,Fujiyoshi H,Patil R S.Moving target classification and tracking from real-time video[BE/OL].[2012-09-19](2014-07-15)./http://www.doc88.com/p-696925666738.html

[5]郝毫剛,陳家琪.基于五幀差分和背景差分的運動目標檢測算法[J].計算機工程,2012,38(4):146-148.

HAO Haogang,CHEN Jiaqi.Moving object detection algorithm based on five frame difference and background difference[J]. Computer Engineering,2012,38(4):146-148.(in Chinese)

[6]常曉峰,馮曉毅.基于背景減法和時空熵的運動目標檢測新方法[J].計算機仿真,2008,25(3):235-238.

CHANG Xiaofeng,FENG Xiaoyi.A newmethod ofmotion detection based on background subtraction and spatial temporal entropy [J].Computer Simulation,2008,25(3):235-238.(in Chinese)

[7]Debarati Chakraborty,Uma Shankar Sankar,Pal K.Granulation,rough entropy and spatiotemporalmoving object detection[J]. Applied Soft Computing,2003,13:4001-4009.

[8]Sankar K,Pal B,Uma Shankar.Pabitra MitraGranular computing,rough entropy and object extraction[J].Pattern Recognition Letters,2005,26:2509-2517.

[9]Rafael C Gonzalez,Richard E Woods,Steven L Eddins.Digital Image Processing Using MATLAB[M].2nd ed.Beijing: Publishing House of Electronics Industry,2005:252-284.

[10]Duncan E,Donohue,Giorgio A.Automated reconstruction of neuronal morphology:an overview[J].Brain Research Reviews, 2011,67(6):94-102.

[11]霍東海,楊丹,張小洪,等.一種基于主成分分析的Codebook背景建模算法[J].自動化學報,2012,38(4):591-600.

HUO Donghai,YANG Dan,ZHANG Xiaohong,et al.Principal component analysis based codebook background modeling algorithm[J].Acta Automatica Sinica,2012,38(4):591-600.(in Chinese)

[12]吳濤.圖像閾值化的自適應粗糙熵方法[J].中國圖像圖形學報,2014,19(1):1-10.

WU Tao.Adaptive rough entropy method for image thresholding[J].Journal of Image and Graphics,2014,19(1):1-10.(in Chinese)

[13]YE Mingquan,WU Xindong,HU Xuegagn,et al.Anonymizing classification data using rough set theory[J].Knowledge-Based Systems,2013,43(5):82-94.

[14]Maddalena L,Petrosino A.A self-organizing approach to background subtraction for visual surveillance applications[J].IEEE Transactions on Image Processing,2008,17(7):1168-1177.

(責任編輯:楊 勇)

M oving Target Detection A lgorithm Based on Frame Difference and Rough Entropy

JIN Haiwei, PENG Li*, LU Xiaolong
(School of Internet of Things Engineering,Jiangnan University,Wuxi214122,China)

The frame differencemethod extracts the large different part of the adjacent images,but the extracted target exists“gap“.Rough entropy segments image region accurately.Introducing rough entropy as a supplement to the frame differencemethod,completing the imagemorphology reconstruction with color grayscale information,then processing the image through morphological filtering and connectivity detection,experiments show that the proposed algorithm overcomes internal cavity phenomenon and meets the real-time.Detection effect is significantly improved.

frame difference,gap,target detection,rough entropy,image reconstruction

TP 391.41

A

1671-7147(2015)01-0028-06

2014-09-02;

2014-10-20。

江蘇省產學研聯合創新項目(BY2014023-25)。

靳海偉(1988—),男,山西汾陽人,控制科學與工程專業碩士研究生。

*通信作者:彭 力(1967—),男,河北唐山人,教授,博士生導師。主要從事視覺物聯網等研究。

Email:pengli@jiangnan.edu.cn