改進Mode算法與雙門限融合的目標(biāo)檢測方法

王 凱,吳 敏,姚 輝,楊 樊,張 翔

1(中國民用航空總局第二研究所 科研中心,成都 610041) 2(電子科技大學(xué) 電子工程學(xué)院,成都 611731)E-mail:minhang_wangkai@163.com

1 引 言

智能視頻監(jiān)控技術(shù)作為計算機視覺領(lǐng)域的研究熱點之一,涉及到數(shù)學(xué)、數(shù)字圖像處理、模式識別等眾多學(xué)科.該技術(shù)通過對視頻序列進行理解分析,檢測并標(biāo)記出人們感興趣的運動目標(biāo),進而實現(xiàn)對目標(biāo)的跟蹤、識別,還可對目標(biāo)的后續(xù)行為進行高級理解分析.其中,目標(biāo)檢測技術(shù)是智能視頻監(jiān)控系統(tǒng)的基礎(chǔ)問題,目標(biāo)檢測技術(shù)的優(yōu)劣會直接關(guān)聯(lián)智能視頻監(jiān)控系統(tǒng)后續(xù)跟蹤、識別及智能分析的好壞[1].針對固定場景[2]中采進行視頻分析處理,常用的目標(biāo)檢測方法如:幀差法、背景差分法及光流法等.其中幀差法和背景差法計算量較少,運算速度比光流法快,然而無法檢測出場景中逗留和靜止的目標(biāo);光流法容易對場景中背景噪聲和光照不均等情況干擾[3].

采用背景差分法進行動目標(biāo)檢測過程中,其較重要模塊是背景圖像的獲取、更新及閾值的確定.其中,常用的背景模型構(gòu)建方法如:背景統(tǒng)計法、卡爾曼濾波法及背景模型法[4-6].對于背景統(tǒng)計法和卡爾曼濾波法計算簡單,運算速度快,背景統(tǒng)計法是對初始時間內(nèi)對原始視頻圖像灰度值進行統(tǒng)計求均值,卡爾曼濾波法是將圖像序列中的相同位置像素點的灰度值時間序列視為帶有噪聲的背景灰度觀測值,通過遞歸來預(yù)測估計出實際背景灰度值,然而均不能獲得高質(zhì)量的背景圖像;背景模型法可獲得高質(zhì)量的背景圖像,其將視頻圖像所有像素點構(gòu)建一定概率分布相對應(yīng)的背景統(tǒng)計模型,然而其計算量較大.對于選取閾值策略有固定閾值和自適應(yīng)閾值.其中,固定閾值法較單一,僅僅應(yīng)用于單一監(jiān)視環(huán)境,若在天空區(qū)變化較大、背景干擾多及光照變化快等條件下,無法檢測出動目標(biāo).自適閾值法[9]可根據(jù)前景與背景不斷變化,自適應(yīng)獲取相對應(yīng)的閾值,如文獻[9]利用自適應(yīng)單門限值進行前景與背景圖像分割,將計算圖像中每個像素點的灰度值來獲取相對應(yīng)的灰度值作為閾值用于前景與背景圖像的分割.

本文結(jié)合自適應(yīng)背景匹配與門限值選取的策略,提出了一種改進Mode算法與雙門限融合的目標(biāo)檢測方法.其基本思想是采用改進的Mode算法來提取監(jiān)控場景的初始背景圖像,采取緩沖幀機制逐漸對背景模型進行更新,以獲取高質(zhì)量的背景圖像,同時利用雙門限閾值對差分圖像進行動目標(biāo)檢測,其中低門限值可以檢測分割出明顯變化的動目標(biāo),在低門限的基礎(chǔ)上利用高門限值以解決低門限檢測分割中存在的噪聲目標(biāo)及假目標(biāo),最后獲得視頻監(jiān)控復(fù)雜環(huán)境下動目標(biāo)的精確檢測.同時本實驗中在視頻監(jiān)控下車輛、行人及飛機等不同目標(biāo)的采集視頻對本文方法、背景差法(固定閾值)、文獻[9]方法進行了檢測效果及性能對比.

2 背景圖像提取與更新

2.1 Mode算法

Mode算法是對視頻序列的圖像中每個像素點(x,y)沿時間軸分別統(tǒng)計其前m幀圖像中該點灰度值形成一個沿時間軸統(tǒng)計的灰度直方圖Histgram(x,y,0),Histgram(x,y,1),…,Histgram(x,y,255),然后將該沿時間軸統(tǒng)計的灰度直方圖中出現(xiàn)頻率最高的灰度值對應(yīng)作為該像素點(x,y)的當(dāng)前背景灰度值(初始背景灰度值),即計算公式如下:

Mode(x,y)=MAX(Histgram(x,y,0),…,

Histgram(x,y,255))

(1)

在Mode算法獲取初始背景時,先通過圖像幀序列的前m=110(即獲得理想的初始背景圖,其優(yōu)于取m<110幀均值獲得的初始背景圖,保證算法的實時性)幀圖像統(tǒng)計并得出每個像素點的灰度Mode值,然后重新構(gòu)造初始背景的圖像,實現(xiàn)其更符合真實背景的灰度值.

然而在實際監(jiān)控場景中,由于天氣光照變化、背景物體輕微擾動、短暫停留物體等不可避免的干擾,像素點的灰度值不是理想下的某一確定值,而是圍繞著這個確定值左右波動分布在一個較小的區(qū)域中.針對這個問題,文獻[6]中在獲得小區(qū)間中分布值最大的區(qū)間后,取得該區(qū)間的中值,用該中值作為相應(yīng)像素點的Mode值,并且做出了以下改進:在獲得小區(qū)間中分布值最大的區(qū)間后,取得該區(qū)間的平均值,最后用該平均值作為相應(yīng)像素點的Mode值,即當(dāng)前像素點的背景灰度值.

2.2 改進Mode算法

本文針對以上取區(qū)間的中值和均值,及實際背景灰度值處于所劃分區(qū)間的邊界問題,對傳統(tǒng)的Mode算法作如下改進:統(tǒng)計獲得像素點沿時間軸的灰度分布直方圖后,按灰度值分布軸平均劃分為大小相等的小區(qū)間,然后利用二次分段累加統(tǒng)計(將256灰度級先分為64個小區(qū)間,再分為32個小區(qū)間)找到灰度級頻數(shù)和最大的區(qū)間以及與其相鄰的頻數(shù)次大的區(qū)間,相鄰的兩個區(qū)間內(nèi)的灰度級值按出現(xiàn)的頻率的高低排序后,即按其權(quán)重從大到小依序排列,保留排在前面的幾個數(shù)值,舍棄其余占權(quán)重較小的數(shù)值,然后保留數(shù)值的平均值,作為該點的Mode值.因此,改進的Mode算法既考慮了區(qū)間內(nèi)數(shù)值的權(quán)重問題,也兼顧了實際背景灰度值處于區(qū)間邊界的問題.

實驗中區(qū)間的劃分跨度是以4個灰度級為單位,在灰度軸上將256個灰度級劃分為64個小區(qū)間,分別為[0,3],[4,7],…,[252,255].然后沿時間軸統(tǒng)計某像素點(x,y)的直方圖,根據(jù)前面的假設(shè)可以得知,獲得某兩個小區(qū)間[i,i+3]和[i+4,i+7]內(nèi),i到i+7這8個灰度級出現(xiàn)的頻數(shù)最大,之后對這八個灰度級按其頻數(shù)的大小一次排列,在實驗的過程中,發(fā)現(xiàn)一般視頻的幀數(shù)m一般取110左右,且取到兩個相鄰區(qū)間內(nèi)的頻數(shù)最大的五個灰度級,再取平均值就可以獲得準(zhǔn)確的Mode值.同時,考慮到像素點的位圖數(shù)據(jù)類型(Byte型),統(tǒng)計所得的Mode值需要進行四舍五入的處理.

2.3 背景更新機制

獲取到噪聲少、質(zhì)量可靠的初始背景,由于背景會隨著時間的推移而變化,如:屬于背景的物體被移除或背景中存在暫時停留的物體等,導(dǎo)致初始背景不能適應(yīng)于后續(xù)目標(biāo)檢測,因此需要對初始背景進行不斷更新.本文提出了一種結(jié)合改進Mode算法和緩沖幀機制的背景更新策略,將實時視頻幀信息引入到緩沖幀,通過緩沖幀的中間緩沖和屏蔽過濾作用,利用簡單加減運算,緩沖完成對背景的逐漸匹配更新,其流程圖如圖1所示.該過程計算量小,且短暫停留的目標(biāo)不會立刻顯現(xiàn)到背景圖像中,實現(xiàn)背景的魯棒性更新過程.

圖1 背景匹配更新流程圖Fig.1 Flow chart of background matching and updating

緩沖幀對背景進行匹配更新流程包括三大部分:緩沖幀的更新、匹配過程、背景修正與更新.其實現(xiàn)步驟如下:

1)緩沖幀Rt(x,y)更新:利用改進的Mode算法計算出的初始背景對參考緩沖幀R0(x,y)和當(dāng)前背景模型B0(x,y)進行初始化.而后在整個監(jiān)控過程中,緩沖幀根據(jù)每一幀視頻幀所提供的實時信息進行逐幀迭代計算,隨著實際環(huán)境的變化而逐漸變化的.緩沖幀的更新計算公式如下:

Rt(x,y)=Rt-1(x,y)+η*sgn[It(x,y)-Rt-1(x,y)]

(2)

其中,Rt(x,y)為當(dāng)前像素點(x,y)時緩沖幀的灰度值,Rt-1(x,y)為前一時刻像素點(x,y)時緩沖幀的灰度值;It(x,y)為當(dāng)前像素點(x,y)的灰度值.η為一可變系數(shù),其取值如下:

(3)

2)匹配過程:當(dāng)視頻幀輸入時,利用當(dāng)前視頻幀對緩沖幀上的每一個像素點進行匹配標(biāo)記.如果滿足|It(x,y)-Rt(x,y)|<=1時,那么當(dāng)前像素點為匹配成功點,否則為匹配失敗點,不予以考慮.

3)背景模型的修正與更新:通過上述匹配過程,獲得緩沖幀上匹配成功的像素點,然后利用匹配成功的點更新當(dāng)前背景模型,其更新的公式如下:

Bt(x,y)=Bt-1(x,y)+λ*sgn[Rt(x,y)-Bt-1(x,y)]

(4)

其中,Bt(x,y)為當(dāng)前時刻的背景模型,Bt-1(x,y)為前一時刻的背景模型,Rt(x,y)為緩沖幀上匹配成功像素點的灰度值.其中λ取值如下:

(5)

利用實時視頻幀所提供的實時場景信息來逐漸調(diào)整背景模型,可以消除短暫停留的目標(biāo)或者運動較慢的目標(biāo)對背景模型的污染,從而使所獲得的背景圖像更加接近真實視場背景.

在上述匹配和背景修正更新過程,可以分析得到緩沖幀的作用:它對前景目標(biāo)對當(dāng)前背景模型的影響有一種過濾作用.緩沖幀利用實時視頻幀中的信息,對影響當(dāng)前背景模型的前景目標(biāo)進行屏蔽過濾.同時它也是一種緩沖作用,通過緩沖幀對實時視頻幀的緩沖,可以大幅的濾除實時視頻幀中運動目標(biāo)對背景的干擾,前景運動目標(biāo)經(jīng)過時對背景的遮擋不會立刻表現(xiàn)到背景模型上,即不會影響當(dāng)前背景模型的質(zhì)量.

對于現(xiàn)實場景中背景更新會受到天空區(qū)變化、光照變化或固定場景下靜止目標(biāo)多等狀況,其均易造成背景圖像大幅改變,導(dǎo)致背景圖像全部更新改變.考慮到上述現(xiàn)實狀況,本文涉及到匹配過程中當(dāng)前像素點的灰度值與當(dāng)前像素點緩沖幀的灰度值計算差的絕對值會驟然變大,因此判斷為全局背景突變的狀況.當(dāng)出現(xiàn)全局背景突變的狀況,本文方法將重新啟動對背景圖像進行初始化提取,快速找出突變后的背景圖像.

圖2 背景初始化效果圖(110幀)Fig.2 Diagram of background initialization(110 frame)

圖2分別為均值法、Mode算法、改進Mode算法(在圖像序列為110幀)獲得的初始背景.由圖2可知,在幀數(shù)同為110時,取均值法和Mode算法獲得初始背景在目標(biāo)行走處會包含前景目標(biāo)的信息,導(dǎo)致初始背景模糊并伴有噪聲,而采用改進Mode算法考慮了區(qū)間內(nèi)數(shù)值的權(quán)重,因此所獲得的初始背景比較準(zhǔn)確.

表1 頻數(shù)最大的兩個區(qū)間及頻數(shù)Table 1 Two largest intervals and frequency

以圖2中視頻幀中像素點(30,60)為例,對改進前后Mode算法的取值進行統(tǒng)計.表1為該像素點采用Mode算法在前110幀所取到灰度值出現(xiàn)的頻數(shù)最大兩個區(qū)間0-3、4-7以及各個灰度級出現(xiàn)的頻數(shù).表2為改進前后Mode算法計算出該像素點的Mode值,對計算結(jié)果進行四舍五入的處理,可以看出改進前Mode算法四舍五入后所得數(shù)值為3,而改進后Mode算法四舍五入后所數(shù)值為2,與實際值是吻合的.

圖3(a)為實時視頻幀,左邊出現(xiàn)目標(biāo)短暫逗留的情況;圖3(b)和圖3(c)分別為改進前后Mode算法進行背景更新的效果.可以得出傳統(tǒng)Mode算法直接用該像素值代替當(dāng)前背景灰度值,所以會將短暫停留的目標(biāo)較大部分刷新到背景區(qū)域,而本文改進Mode算法由于考慮了取值區(qū)間的中值和均值,幾乎不會出現(xiàn)動目標(biāo)區(qū)域刷新到背景圖像中.

表2 改進前后Mode算法對比Table 2 Comparison of before and after of improvement Mode algorithm

圖3 目標(biāo)短暫停留的背景圖像(1023幀)Fig.3 Background model on target briefly(1023 frame)

3 目標(biāo)檢測

3.1 閾值的選取

通過上述背景圖像初始化與不斷更新,后續(xù)目標(biāo)檢測對于前景與背景差分中閾值選取極其關(guān)鍵.根據(jù)自適應(yīng)閾值法在閾值選擇策略上能解決前景與背景差異問題,提出了一種自適應(yīng)雙門限的目標(biāo)檢測方法,本文采用的雙門限閾值選取及分割如下:

圖4 改進Mode算法與雙門限融合的目標(biāo)檢測方法Fig.4 Moving target detection method based on improved mode algorithm and double-threshold

根據(jù)視頻連續(xù)圖像幀和更新獲得的背景圖像中全部像素點都可以利用多幀背景差分模型來處理,已知利用原始視頻幀與背景圖像通過差分計算后獲得的差分灰度圖像均可用于改進Mode算法中,所以計算出的背景范圍位置點普遍位于像素均值小空間區(qū)域內(nèi)占大部分空間.如果視頻序列中能夠明確差分灰度圖像中目標(biāo)像素點計算出的百分比,于是可根據(jù)正態(tài)函數(shù)分布表計算出目標(biāo)范圍的大小(即與標(biāo)準(zhǔn)方差大小相關(guān)).考慮到無法統(tǒng)計出目標(biāo)區(qū)域內(nèi)像素點在整幅圖像中占據(jù)的百分比,因此需要在獲得圖像信息的基礎(chǔ)上采用近似估計方法,即將提取出的背景圖像與當(dāng)前視頻幀圖像通過差分處理獲得差分灰度圖像的基礎(chǔ)上,分別獲得差分灰度圖像中占具的最大及最小百分占比.然后根據(jù)這兩個極值,可分別獲得兩個閾值范圍,最終獲得二值化的閾值,其檢測方法流程圖如圖4所示.

3.2 本文檢測方法的整體設(shè)計

本文綜合改進Mode算法與緩沖幀機制進行背景更新策略,同時根據(jù)自適應(yīng)雙門限進行動目標(biāo)分割,提出了一種改進Mode算法與雙門限融合的目標(biāo)檢測方法,其具體實現(xiàn)步驟如下:

1)采集視頻監(jiān)控環(huán)境下的視頻序列幀,利用結(jié)合改進Mode算法與緩沖幀機制的背景法進行背景初始化和更新;

2)提取并不斷更新的背景圖像與當(dāng)前實時視頻幀圖像通過差分計算,獲取灰度差分圖像;

3)獲取灰度差分圖像中所有像素點的平均值M及標(biāo)準(zhǔn)方差σ(每個像素點與均值M的差值平方和的平方根);

4)利用第3)步統(tǒng)計的數(shù)值,計算低門限閾值RL和高門限閾值RH的值如下:

RL=M+4σ

(6)

RH=M+10σ

(7)

5)通過差分灰度圖像分別對低門限閾值和高門限閾值進行二值化計算獲得相對應(yīng)的二值化圖像信息;

6)將二值化圖像進行開運算處理,即對該圖像先進行腐蝕操作,再進行膨脹操作,采用3*3模板;

7)計算并標(biāo)記高門限二值化圖像中像素面積V大于VTH的整個區(qū)域,并標(biāo)記為Vhi,區(qū)域Vhi值的數(shù)量并無限制;

8)計算并標(biāo)記高門限二值化圖像中每個Vhi對應(yīng)的低門限二值化圖像區(qū)域中像素面積V大于VTL的整個區(qū)域,并標(biāo)記為Vli,其中Vli值的數(shù)量并無限制;

9)統(tǒng)計并記錄相同目標(biāo)在視頻序列幀中連續(xù)出現(xiàn)的次數(shù)m,并把次數(shù)m和設(shè)定的閾值Z進行判斷.若m ≥Z,則為動目標(biāo);否則為偽目標(biāo)進行剔除.

4 實驗仿真與分析

本次實驗的硬件環(huán)境為Intel? Xeon(R)CPU E5-2603 v2 @ 1.80GHZ;4G內(nèi)存;Windows 7 64位專業(yè)版系統(tǒng),程序仿真軟件為Microsoft Visual Studio 2013和OPENCV2.4.3.實驗中測試視頻樣本分別采用10分鐘的車輛、行人(分辨率均為320×240@25fps)和飛機(分辨率為1280×720@25fps).視頻序列中存在動目標(biāo)逗留及靜止、天空區(qū)域變化的情況.

測試實驗中將行人、車輛及飛機等不同運動目標(biāo)下的視頻樣本進行本文檢測方法與背景差分法及文獻[9]方法的檢測效果及性能進行比較.并利用文獻[11]中涉及的精確度A、正確率B和C值來對三種目標(biāo)檢測算法的性能作定量對比.其統(tǒng)計方法如下:

(8)

公式(8)中,mn為檢測目標(biāo)準(zhǔn)確的像素數(shù)目,x1為把背景錯誤作為目標(biāo)的像素數(shù)目,x2為把目標(biāo)錯誤作為背景的像素數(shù)目,精確度A為統(tǒng)計出的目標(biāo)占真實目標(biāo)比例,正確率B為正確判斷出真實目標(biāo)比例,C值為檢測的總體性能.

4.1 目標(biāo)檢測方法的效果對比

利用采集學(xué)校走廊、道路十字路口、機場場面三種不同場景下的測試視頻,將簡單背景差法、 文獻[9]方法及本文方法對目標(biāo)檢測效果測試和性能比較,其檢測結(jié)果如圖5所示(閾值Z取值26).圖5(a)、圖5(b)及圖5(c)分別為行人、繁忙交通路口和機場滑行道飛機檢測,圖5(a)、圖5(b)及圖5(c)中第一行為原始視頻幀圖像,第二行為背景差分法測試圖,第三行為文獻[9]方法測試圖,第四行為本文方法測試圖.實驗中原始視頻序列中包含動目標(biāo)逗留及靜止、天空區(qū)域變化的情況.根據(jù)圖5(a)、圖4(b)和圖4(c)測試效果圖可以看出,本文方法比簡單背景差法、文獻[9]方法測試效果均好,檢測出運動目標(biāo)分割較好.第二行在簡單背景差法檢測分割時,易受天空區(qū)域變化、動目標(biāo)逗留及靜止的干擾,同時在場景中光照變化時,動目標(biāo)檢測分割失效;第三行中文獻[9]方法通過自適應(yīng)單門限值差分圖像,當(dāng)遇到復(fù)雜環(huán)境變化以及前景目標(biāo)與背景顏色相似時易受干擾,無法正確地檢測分割出動目標(biāo);本文方法采用改進Mode算法及緩沖幀更新機制提取干凈的背景圖像,然后通過自適應(yīng)兩個門限值進行目標(biāo)檢測分割,較更好地濾除天空區(qū)域變化、動目標(biāo)逗留及靜止的干擾,最終獲得檢測分割出的動目標(biāo).

圖5 不同場景下三種方法檢測對比圖Fig.5 Comparison chart of three detection methods under different scenarios

4.2 目標(biāo)檢測方法的性能對比

為測試分析三種方法在目標(biāo)檢測中的各個性能參數(shù),將圖5(c)機場滑行道飛機測試視頻中手動提取出177幅含有運動目標(biāo)活動的圖像當(dāng)作對比基準(zhǔn),根據(jù)公式(8)分別統(tǒng)計并分析三種目標(biāo)檢測方法在連續(xù)提取圖像中的三個性能指標(biāo),并且統(tǒng)計對應(yīng)的曲線圖進行比較(橫坐標(biāo)為視頻序列幀數(shù),縱坐標(biāo)為性能參數(shù)值),如圖6所示.

圖6 三種檢測方法曲線圖Fig.6 Curve chart of three detection methods

由圖6統(tǒng)計分析,本文方法計算出的精確度A、準(zhǔn)確率B均較好于背景差分法及文獻[9]方法;并且本文方法計算出的C量較高于背景差分法和文獻[9]方法.

本實驗采用Intel VTune對三種方法在行人、車輛及機場測試視頻幀中分別進行平均耗時對比.利用對學(xué)校走廊、道路十字路口及機場滑行道的測試視頻進行22次測試,統(tǒng)計求出平均耗時.表3為不同測試場景下三種方法對目標(biāo)檢測的平均耗時對比.由表3可知,本文方法在運算速度上較快于背景差法,并且比文獻[9]方法略快,基本滿足實時性需求.驗證了本文方法在背景提取與更新環(huán)節(jié)通過緩沖幀機制,可縮短更新處理時間;在目標(biāo)分割模塊利用搜索目標(biāo)像素面積區(qū)域來獲得運動目標(biāo),算法簡單、耗時少.

表3 三種方法平均耗時對比Table 3 Average consuming time of the comparison of three methods

5 結(jié)束語

本文在各個復(fù)雜視頻監(jiān)控環(huán)境下,對車輛、飛機等不同監(jiān)控對象進行運動目標(biāo)檢測研究與測試,提出一種改進Mode算法與雙門限融合的目標(biāo)檢測方法.主要內(nèi)容為采用改進Mode算法提取初始背景,利用引入實時視頻幀信息的緩沖幀,對背景進行逐漸的更新,并對鬼影有一定的抑制作用,同時利用雙門限閾值對差分圖像進行動目標(biāo)檢測,其中低閾值可以檢測分割出明顯變化的動目標(biāo),在低閾值檢測分割的基礎(chǔ)上利用高閾值以解決低閾值檢測分割中存在的噪聲目標(biāo)和假目標(biāo).根據(jù)實驗證明了本文方法不僅能夠迅速、精確地檢測分割出前景目標(biāo),而且能夠有效地濾除噪聲目標(biāo)和假目標(biāo)的干擾.

在今后的研究中,還將圍繞復(fù)雜監(jiān)控場景下運動目標(biāo)停留、運動目標(biāo)相互遮擋及基于深度學(xué)習(xí)的目標(biāo)檢測算法進一步開展研究,用于實時視頻監(jiān)控系統(tǒng)進行推廣應(yīng)用需要.