劉偉洋,陳侃松,,張 丹,蘭智高,馮 杰
(1.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院物聯(lián)網(wǎng)工程研究所,武漢 430062;2.黃岡師范學(xué)院 電子信息學(xué)院,湖北 黃岡 438000)
改進(jìn)三幀差分算法在移動(dòng)物體檢測(cè)中的應(yīng)用
劉偉洋1,陳侃松1,2,張 丹1,蘭智高2,馮 杰2
(1.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院物聯(lián)網(wǎng)工程研究所,武漢 430062;2.黃岡師范學(xué)院 電子信息學(xué)院,湖北 黃岡 438000)
移動(dòng)物體監(jiān)控系統(tǒng)利用檢測(cè)算法識(shí)別監(jiān)控區(qū)域的移動(dòng)物體,并進(jìn)行實(shí)時(shí)異常信息存儲(chǔ),檢測(cè)算法中的傳統(tǒng)三幀差分法中的閾值是固定的,因此重疊部分無(wú)法準(zhǔn)確檢測(cè)出來(lái),存在空洞現(xiàn)象,可能發(fā)生誤判;針對(duì)這些問(wèn)題,對(duì)已有的三幀差分法進(jìn)行改進(jìn),結(jié)合圖像邊緣提取和自適應(yīng)的迭代閾值計(jì)算方法來(lái)提高移動(dòng)物體檢測(cè)的準(zhǔn)確性,并對(duì)異常信息進(jìn)行選擇性存儲(chǔ),由實(shí)驗(yàn)結(jié)果可知,應(yīng)用平臺(tái)采用改進(jìn)后的移動(dòng)物體檢測(cè)算法,較好的提高了移動(dòng)物體檢測(cè)的靈敏度,增強(qiáng)了檢測(cè)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性,若僅存儲(chǔ)異常信息,可節(jié)省視頻存儲(chǔ)空間,并在定位異常動(dòng)態(tài)信息時(shí)節(jié)省查找時(shí)間。
異常信息;三幀差分法;邊緣提取;迭代閾值
智能視頻監(jiān)控系統(tǒng)是信息安全中的重要一環(huán),它集成了智能行為識(shí)別算法,能夠?qū)Ξ嬅鎴?chǎng)景中物體的行為進(jìn)行識(shí)別、判斷,當(dāng)視頻監(jiān)控范圍內(nèi)出現(xiàn)異常信息時(shí),通過(guò)對(duì)視頻中的物體進(jìn)行檢測(cè)、分析和識(shí)別,實(shí)現(xiàn)異常報(bào)警等功能。在智能視頻監(jiān)控系統(tǒng)中,移動(dòng)物體檢測(cè)算法的優(yōu)劣直接影響系統(tǒng)對(duì)移動(dòng)物體的有效檢測(cè)和系統(tǒng)的應(yīng)用性能,它的目的是為了從背景中提取出移動(dòng)物體的信息,既從采集的序列圖像中檢測(cè)出變化的區(qū)域,并將移動(dòng)物體從背景中提取出來(lái)進(jìn)行分析和分割,檢測(cè)出移動(dòng)物體。然而,現(xiàn)實(shí)生活中復(fù)雜的背景,攝像機(jī)固有的缺陷和環(huán)境光照的影響等因素給移動(dòng)物體的檢測(cè)帶來(lái)了很大的影響。移動(dòng)物體檢測(cè)是視頻圖像分析中的重點(diǎn)和難點(diǎn),目前常用的算法有:幀間差分法[1-2]、光流法[3]和背景減除法[4]。
幀間差分法主要應(yīng)用在攝像頭靜止情況下,比較容易出現(xiàn)虛假目標(biāo),并且兩幀物體圖像會(huì)出現(xiàn)重疊導(dǎo)致檢測(cè)失敗,當(dāng)物體移動(dòng)緩慢時(shí)出現(xiàn)誤判和空洞現(xiàn)象[5]。光流法計(jì)算復(fù)雜,容易受到背景擾動(dòng)和光照變化的影響,而且監(jiān)控系統(tǒng)無(wú)法做到實(shí)時(shí)檢測(cè),很難對(duì)物體的輪廓進(jìn)行完整的提取,有一定的局限性[6]。而背景差分法限制了使用范圍,因?yàn)橄尘靶枰暮艽蟮膬?nèi)存來(lái)緩沖若干幀。此外,對(duì)于比如光線變化、水紋干擾和攝像頭抖動(dòng)等大范圍的背景擾動(dòng),這些干擾因素造成比較難以建立適應(yīng)復(fù)雜背景的背景模型。
針對(duì)上述問(wèn)題,利用三幀差分法,結(jié)合邊緣提取信息和自適應(yīng)的迭代閾值計(jì)算方法對(duì)移動(dòng)物體進(jìn)行檢測(cè),其計(jì)算簡(jiǎn)單,可以提高物體檢測(cè)的準(zhǔn)確性。如將此方法應(yīng)用到智能監(jiān)控系統(tǒng)中,可以有選擇性的存儲(chǔ)異常或差異性的信息片段,節(jié)省大量的存儲(chǔ)空間。而應(yīng)用于視頻檢索中,則可快速定位異常動(dòng)態(tài)圖像,在工作人員回看查找異常信息時(shí)節(jié)省工作時(shí)間。
幀間差分法在移動(dòng)物體檢測(cè)中最常用,檢測(cè)物體是根據(jù)差分值和閾值相比較來(lái)判斷的,首先選取視頻中相鄰的兩幀圖像進(jìn)行灰度化處理,然后對(duì)處理后的圖像進(jìn)行差分運(yùn)算,最后進(jìn)行比較得出結(jié)果。閾值直接區(qū)別移動(dòng)物體和背景圖像部分,因此閾值的選擇對(duì)移動(dòng)物體的提取有很大的影響。目前使用頻繁的主要是兩幀差分法和在此基礎(chǔ)上改進(jìn)的三幀差分法。
基于傳統(tǒng)的幀間差分是兩幀差分法,具體過(guò)程:在和前一幀圖像相減之前首先把視頻圖像灰度化處理[7]。幀間差分法的差分公式表示為:
(1)
式中,k表示幀標(biāo)號(hào),Ik表示當(dāng)前幀灰度值,Ik-1表示當(dāng)前幀的前一幀灰度值,Ik(x,y)和Ik-1(x,y)表示相鄰的兩幀圖像,Dk(x,y)則表示兩幀差分值。
將以上的圖像差分值Dk(x,y)與預(yù)設(shè)的閾值T進(jìn)行比較判斷背景區(qū)域和移動(dòng)物體區(qū)域,如果小于等于T則判斷為背景區(qū)域,如果大于T則判斷為移動(dòng)物體區(qū)域。將移動(dòng)物體和背景用二值化圖像Rk(x,y)表示,公式如:
(2)
根據(jù)使用環(huán)境可以設(shè)定閾值T,如果選取的閾值過(guò)小,會(huì)很容易發(fā)生誤判,以為讓圖像出現(xiàn)較大的高斯白噪聲;如果選取閾值過(guò)大,則會(huì)使檢測(cè)的圖像出現(xiàn)漏檢和空洞[8]。
圖像的二值化是將采集的移動(dòng)圖像呈現(xiàn)只有黑白兩種視覺(jué)效果,具體是將灰度圖像的像素點(diǎn)的灰度值設(shè)置為0或255。最后形態(tài)學(xué)處理可得到移動(dòng)物體的位置和輪廓,同時(shí)將區(qū)域像素連通區(qū)域標(biāo)記出來(lái)。
在幀差法的基礎(chǔ)上,研究學(xué)者提出了三幀差分法,它的基本思想是選取3幀連續(xù)的圖像,然后分別計(jì)算第k-1幀和第k幀、第k幀和第k+1幀圖像的圖像差分,得到兩個(gè)差分圖像,然后通過(guò)二值化處理后,再對(duì)這兩個(gè)圖像再進(jìn)行邏輯與運(yùn)算,取出相同的信息。具體公式如下:T代表設(shè)定的閾值。
(3)
(4)
(5)
三幀差分法超過(guò)兩幀圖像之間的差分算法,可以有效的增加檢測(cè)的準(zhǔn)確性,但是在檢測(cè)移動(dòng)物體邊緣時(shí)的效果不是很好,邊緣總是間斷模糊的,并且對(duì)外部環(huán)境不敏感,而且檢測(cè)的閾值不能很好地設(shè)定,重疊部分無(wú)法準(zhǔn)確檢測(cè)出來(lái),存在空洞現(xiàn)象,可能發(fā)生誤判。
2.1 改進(jìn)算法的流程
在本算法中首先采集3幀圖像Ik-1(x,y)、Ik(x,y)、Ik+1(x,y),其次對(duì)圖像進(jìn)行邊緣提取得到連續(xù)的3幀邊緣圖像,然后對(duì)兩組相鄰的邊緣圖像差分運(yùn)算,也就是進(jìn)行3幀差分,把兩次差分后的圖像再進(jìn)行“與”運(yùn)算,然后根據(jù)圖像信息使用自適應(yīng)迭代閾值的計(jì)算方法進(jìn)行二值化處理,最后通過(guò)圖像形態(tài)學(xué)處理完成確定移動(dòng)物體的區(qū)域。基于三幀差分法和邊緣提取信息的物體檢測(cè)算法的流程如圖1所示。

圖1 改進(jìn)幀間差分法流程圖
2.2 圖像邊緣提取
設(shè)視頻圖像序列中連續(xù)三幀圖像為Ik-1(x,y)、Ik(x,y)、Ik+1(x,y),首先選取邊緣提取的算子。邊緣提取中最常用的算子是Sobel算子,通過(guò)Sobel算子進(jìn)行邊緣提取的圖像對(duì)噪聲有一定的魯棒性,并且算子結(jié)合了微分和高斯平滑,相比于其它算子邊緣提取效果更好,并且在硬件上比較容易實(shí)現(xiàn),實(shí)時(shí)性好[9-10]。
對(duì)于連續(xù)三幀邊緣圖像Ik-1(x,y)、Ik(x,y)、Ik+1(x,y),它們的邊緣圖像分別如公式(6)所示:
(6)
其中:

然后對(duì)提取的邊緣化的圖像進(jìn)行圖像差分,得到結(jié)果分別為:
(7)
2.3 與運(yùn)算
對(duì)DE,E-1(x,y),DE,E+1(x,y)進(jìn)行邏輯“與”運(yùn)算,提取出相同的內(nèi)容得到DE(x,y);
(8)
(9)
Rk(x,y)代表檢測(cè)后得到的二值化圖像,T代表預(yù)定的閾值。
2.4 二值化處理—自適應(yīng)的迭代閾值計(jì)算方法
使用一種自適應(yīng)的迭代閾值計(jì)算方法:首先統(tǒng)計(jì)出差分圖像中的灰度直方圖,表示了圖像中某種灰度級(jí)像素個(gè)數(shù),進(jìn)而算出某種灰度出現(xiàn)的頻率。k代表灰度值的像素個(gè)數(shù),圖像灰度級(jí)別k的范圍通常是0~255。
H[k]=Nk(k=0……255)
從灰度直方圖中可以得到差分圖的像素灰度值,最小值為Min,最大值為Max,可令初始閾值T0=(Max+Min)/2;之后利用T0對(duì)差分圖像進(jìn)行分割,得出移動(dòng)物體區(qū)域和背景區(qū)域的平均灰度值Mb和Mf,如下公式所示:
(10)
計(jì)算出新的迭代閾值,公式如下:
(11)
重復(fù)上述工作,直到前后兩次的閾值不變:T=T0,如果在之后過(guò)程中出現(xiàn)新的情況,就繼續(xù)迭代直到得到最終的閾值T。根據(jù)視頻圖像信息使用自適應(yīng)的迭代閾值進(jìn)行二值化處理能更好的提高圖像檢測(cè)的準(zhǔn)確性。
2.5 形態(tài)學(xué)處理
通過(guò)二值化處理之后的圖像中白色部分的為移動(dòng)物體輪廓,而其他背景為黑色背景。但是由于噪聲、外界環(huán)境的微小變化,這些干擾使得二值化后的圖像出現(xiàn)小的、孤立的區(qū)域,還有移動(dòng)物體的輪廓不太完整。因?yàn)橹笆褂眠吘増D像提取算法,相比其它的設(shè)計(jì)方法,二值化后的圖像邊緣符合設(shè)計(jì)要求,不會(huì)出現(xiàn)太多的分割不完整問(wèn)題。最后使用腐蝕和膨脹運(yùn)算,這是形態(tài)學(xué)中的兩種運(yùn)算,腐蝕運(yùn)算可以將小的單獨(dú)出現(xiàn)的背景進(jìn)行去除,同時(shí)圖像進(jìn)行縮小,膨脹運(yùn)算能夠填補(bǔ)物體的空洞,這樣可以消除噪聲和平滑圖像。
對(duì)應(yīng)形態(tài)學(xué)結(jié)構(gòu)元素:白色表示0,黑色代表1;對(duì)于二值化后的圖像:白色表示灰度為255,黑色表示灰度為0,所有黑色像素的集合是圖像完整性的形態(tài)學(xué)描述
二值化圖像的膨脹運(yùn)算,膨脹操作的功能是對(duì)圖像中小的斷裂的部分進(jìn)行修復(fù)連接起來(lái)。A被B膨脹,其中表示空集,B為結(jié)構(gòu)元素,可定義為:

(12)
二值化圖像的腐蝕運(yùn)算,腐蝕操作可以消除掉圖像中較小的細(xì)節(jié),同時(shí)使圖像體積縮小,可定義為:

(13)
式中,表示A被B腐蝕。其中先腐蝕后膨脹操作過(guò)程叫做開(kāi)運(yùn)算,反過(guò)來(lái)的操作叫做閉運(yùn)算。
本論文采用的是開(kāi)運(yùn)算過(guò)程,圖2是腐蝕膨脹的效果圖。

圖2 腐蝕膨脹效果圖
經(jīng)過(guò)腐蝕和膨脹圖像形態(tài)學(xué)處理后,從圖2的效果圖中可以看對(duì)圖像中的噪聲進(jìn)行了很明顯抑制,通過(guò)腐蝕后噪聲消失了,再對(duì)圖像進(jìn)行膨脹運(yùn)算,填補(bǔ)了空洞,平滑了圖像,是圖像輪廓更加明顯,腐蝕和膨脹圖像形態(tài)學(xué)處理對(duì)本論文中視頻監(jiān)控系統(tǒng)的檢測(cè)有很好的表現(xiàn)效果。
3.1 算法實(shí)驗(yàn)仿真實(shí)驗(yàn)對(duì)比
為了驗(yàn)證改進(jìn)性算法的有效性,在攝像頭采集的圖像中選取連續(xù)的3幀圖像,圖像存在亮度突變和“疊影”情況,如圖3所示。

圖3
下面對(duì)幀圖像分別進(jìn)行傳統(tǒng)的三幀差分和改進(jìn)三幀差分仿真。

圖4 算法實(shí)驗(yàn)結(jié)果對(duì)比圖
從圖4的實(shí)驗(yàn)對(duì)比可以發(fā)現(xiàn),本實(shí)驗(yàn)中針對(duì)傳統(tǒng)三幀差分法進(jìn)行改進(jìn),結(jié)合圖像邊緣提取和自適應(yīng)的迭代閾值計(jì)算的檢測(cè)算法方法可以很好地解決目前常用的移動(dòng)物體檢測(cè)方法的缺陷。
從圖4(a)中可以看出,經(jīng)過(guò)傳統(tǒng)三幀差分算法實(shí)驗(yàn)的圖像容易受到噪聲和亮度突變的影響、容易出現(xiàn)虛假目標(biāo)的問(wèn)題。
在圖4(b)中利用改進(jìn)算法可以更好地解決此類問(wèn)題,并且解決了傳統(tǒng)三幀差分法存在的無(wú)法提取出完整的移動(dòng)物體輪廓的問(wèn)題。改進(jìn)后的三幀差法可以清晰地檢測(cè)出移動(dòng)的物體,使得移動(dòng)物體的輪廓清晰可見(jiàn),增強(qiáng)了檢測(cè)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性。
3.2 實(shí)物圖效果對(duì)比
本組實(shí)驗(yàn)主要驗(yàn)證了改進(jìn)型三幀差分算法的準(zhǔn)確性。系統(tǒng)使用的是改進(jìn)型三幀差分算法,結(jié)合了圖像邊緣提取和自適應(yīng)的迭代閾值計(jì)算方法。為了顯示改進(jìn)型三幀差分算法的有效性,分別使用幀差法、傳統(tǒng)三幀差分法和改進(jìn)性的三幀差分法進(jìn)行監(jiān)控系統(tǒng)有效性測(cè)試。
前兩個(gè)算法的閾值threshold為3000,改進(jìn)性三幀差分法為自適應(yīng)的迭代閾值。圖5為監(jiān)控系統(tǒng)分別采集的對(duì)應(yīng)測(cè)試圖片。

圖5 三種算法對(duì)應(yīng)測(cè)試目標(biāo)圖像
由圖5可以得出結(jié)論:
1)圖(a)中圖像運(yùn)用兩幀差分算法,當(dāng)物體移動(dòng)緩慢時(shí)出現(xiàn)誤判和空洞現(xiàn)象,會(huì)容易出現(xiàn)誤報(bào)警情況發(fā)生;
2)相比于兩幀差分法,傳統(tǒng)的三幀差分法超過(guò)兩幀圖像之間的差分,如圖(b)并且有效的減少誤檢的問(wèn)題,但是在檢測(cè)出的物體移動(dòng)的邊緣總是間斷模糊的,對(duì)外部環(huán)境不敏感,會(huì)當(dāng)遇到特殊天氣情況會(huì)出現(xiàn)誤報(bào)警情況,不能達(dá)到很好的效果,而且檢測(cè)的閾值不能很好地設(shè)定,閾值的選擇對(duì)移動(dòng)物體檢測(cè)有很大的影響。
3)從圖(c)可看出紅色線框很明顯的標(biāo)示出人物移動(dòng)的框架,可以清晰地識(shí)別并發(fā)出報(bào)警聲音。改進(jìn)性的三幀差分法結(jié)合圖像邊緣提取方法,可以更加準(zhǔn)確地識(shí)別移動(dòng)物體的輪廓,并且采用自適應(yīng)的迭代閾值計(jì)算方法,較好地提高檢測(cè)算法的靈敏度,提升嵌入式移動(dòng)物體檢測(cè)與監(jiān)控系統(tǒng)整體的性能穩(wěn)定性和可靠性。
本文針對(duì)三幀差分檢測(cè)算法進(jìn)行改進(jìn),結(jié)合圖像邊緣提取和自適應(yīng)的迭代閾值計(jì)算,提出一種改進(jìn)性的移動(dòng)物體檢測(cè)算法。首先采集3幀圖像,其次對(duì)圖像進(jìn)行邊緣提取得到連續(xù)的3幀邊緣圖像,然后對(duì)邊緣圖像進(jìn)行3幀差分,把兩次差分后的圖像再進(jìn)行“與”運(yùn)算,然后根據(jù)圖像信息使用自適應(yīng)迭代閾值的計(jì)算方法進(jìn)行二值化處理,最后通過(guò)圖像形態(tài)學(xué)處理完成確定移動(dòng)物體的區(qū)域。實(shí)驗(yàn)結(jié)果對(duì)比表明,改進(jìn)性算法的優(yōu)點(diǎn)是圖像的邊緣信息不易受噪聲和亮度突變的影響,可以利用信息融合進(jìn)而提取更加完整的移動(dòng)物體,增強(qiáng)了檢測(cè)系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性。
在功能應(yīng)用方面,如應(yīng)用于移動(dòng)物體監(jiān)控系統(tǒng),可自動(dòng)檢測(cè)、分析和識(shí)別監(jiān)控范圍內(nèi)的移動(dòng)物體,并對(duì)產(chǎn)生的異常動(dòng)態(tài)信息圖片/視頻段進(jìn)行選擇性存儲(chǔ),節(jié)省大量的存儲(chǔ)空間,同時(shí)進(jìn)行異常報(bào)警,減少人為干預(yù),提高監(jiān)控的效率。而應(yīng)用于
視頻檢索中,則可快速定位異常動(dòng)態(tài)圖像,為工作人員回看視頻查找異常信息節(jié)省工作時(shí)間。
[1] 胡祝華,趙瑤池,程杰仁,等. 基于改進(jìn)DRLSE的運(yùn)動(dòng)目標(biāo)分割方法[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版),2014,08:1488-1495.
[2] Sobral A, Vacavant A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J]. Computer Vision and Image Understanding, 2014, 122: 4-21.
[3] 寧瑞芳, 歐陽(yáng)寧, 莫建文. 基于光流法的聚眾事件檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(3): 198-201.
[4] 張小駿,劉志鏡,陳 昆. 一種基于曝光補(bǔ)償與顏色信息融合的背景減除法[J]. 電子技術(shù)與軟件工程,2014,3(21):115-118.
[5] 甘明剛,陳 杰,劉 勁,等. 一種基于三幀差分和邊緣信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 電子與信息學(xué)報(bào),2010,04:894-897.
[6] 袁國(guó)武. 智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法研究[D].昆明:云南大學(xué),2012.
[7] 韓云杰. 基于ARM11的多運(yùn)動(dòng)圖像追蹤算法的研究與實(shí)現(xiàn)[D].貴陽(yáng):貴州大學(xué),2015.
[8] 盧章平,孔德飛,李小蕾,等. 背景差分與三幀差分結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J]. 計(jì)算機(jī)測(cè)量與控制,2013,12:3315-3318.
[9] Xie Xiao-zhu,Hong Jing-x in,and Xie Si-xing.Effective method for moving objects detection on sea sueface[C].International Conference on Computer Science and Softw are Engineering, Wuhan,2008,3:1-4.
[10] 欒慶磊,趙為松. 動(dòng)背景下幀差分法與邊緣信息融合的目標(biāo)檢測(cè)算法[J]. 光電工程,2011,10:77-83.
Moving Object Detection Method Based on Three Frame Difference and Edge Information Extraction
Liu Weiyang1, Chen Kansong1,2, Zhang Dan1, Lan Zhigao2, Feng Jie2
(1.Institute of Internet of Things, School of Computer Science and Information Engineering, Hubei University,Wuhan 430062, China; 2.School of Electronic Information, Huanggang Normal University,Huanggang 438000, China)
Mobile object monitoring system using the algorithm can detect moving target recognition of regional monitoring, and Real-time Anomaly Detection Algorithm in information storage, the traditional three frame difference method in the threshold is fixed, so the overlap cannot be accurately detected, there is a void phenomenon, can be a miscarriage of justice. To solve these problems, the existing three frames the difference in the improved method, calculation method to improve the accuracy of the moving object detection with iterative threshold image edge extraction and adaptive, and selective storage of the abnormal information, experiment results show that the improved moving target detection algorithm in the application platform, improve the sensitivity of moving target detection algorithm is better, enhances the real-time and the accuracy of the detection system, and save the storage space and time to find information.
Abnormal information; Three frame difference method; Edge extraction; Iterative threshold
2016-12-13;
2016-12-20。
國(guó)家科技支撐計(jì)劃課題(2015BAK03B02)。
劉偉洋(1990-),男,陜西西安人,碩士研究生,主要從事無(wú)線傳感網(wǎng)絡(luò)及應(yīng)用方向的研究。
陳侃松(1972-),男,湖北荊州人,教授,博士生導(dǎo)師,主要從事無(wú)線傳感網(wǎng)絡(luò)及應(yīng)用方向的研究。
張 丹(1976-),男,湖北武漢人,講師,主要從事無(wú)線傳感網(wǎng)絡(luò)及應(yīng)用方向的研究。
1671-4598(2017)02-0177-04DOI:10.16526/j.cnki.11-4762/tp
TP
A
蘭智高(1968-),男,湖北黃岡人,教授,主要從事信息科學(xué)與技術(shù)方向的研究。
馮 杰(1967-),男,湖北黃岡人,副教授,主要從事物聯(lián)網(wǎng)應(yīng)用方向的研究。