融合改進幀差和視覺背景提取算法的前景檢測

段鎖林,高仁洲,劉 福,劉毛毛,王一凡,潘禮正

1(常州大學 機器人研究所,江蘇 常州 213164)2(常州紡織服裝職業技術學院 機電工程學院,江蘇 常州 213164) E-mail:1099770202@qq.com

1 引 言

運動目標檢測和視頻跟蹤問題成為近幾年的一個研究熱點,并且吸引了眾多研究者的目光,此后其在軍事和民用領域產生了廣泛的應用前景.目標檢測[1]是該技術的核心,也是下一步研究工作的基礎[2].目前主流的運動目標檢測算法有:幀間差法、背景減除法和光流法三類.

近年來,光流法[3]已成為了有吸引力和有價值的研究對象,該方法通過為圖像中的每個像素點初始化一個速度矢量,利用運動目標與鄰域背景的速度矢量的差異性來檢測運動目標的位置.而在實際運用過程中,光流法計算量大,且對噪聲敏感,因而不適用于實時處理.幀間差分法[4]通過確定相鄰兩幀或若干幀圖像之間像素灰度值之間的差值是否大于某一閾值來識別物體的運動:如果差值的絕對值大于某一閾值,說明存在運動目標,反之,不存在運動目標.幀間差分算法簡單且對背景或光線的慢速變化不敏感,同時可根據幀序的移動快速調整以適應背景變化,對目標運動的檢測靈敏度較高,但是當目標運動速度較快時,會影響目標區域的定位及其特征參數的準確提取,且預定義閾值設置不準確,容易造成誤判.背景減除法[5]通過將下一幀圖像與當前背景模型進行差分操作從而獲得運動目標區域,該方法的關鍵在于背景模型的更新,自適應的背景圖像更新方法會提高目標檢測的準確性及背景差分的效率.

由于背景減除法算法簡單,易于實現,因此在實際應用中得到了廣泛的應用.該方法首先要構造場景的靜態背景模型[6].目前常用的背景建模方法有:高斯混合建模(GMM)[7]、碼本建模[8]以及ViBe算法[9].ViBe算法基于像素來建立背景模型,與其他背景建模算法相比,它具有更優化的檢測結果,而且對硬件要求不高,所以其運算速度有了很大提高.但是無論是原始的ViBe算法還是2012年M.Van發表的ViBe+算法[10]都沒有對運動目標的陰影進行去除.陰影也會隨著運動物體運動而移動,并且在前景檢測時被當做前景誤檢測出來,導致粘連、誤判等其他問題.此外ViBe算法在目標檢測中還會產生鬼影區域.鬼影區域指原本靜止的物體開始運動,該物體所覆蓋的區域就會被錯誤的檢測為運動的,這塊區域就會成為鬼影.為解決上述問題,本文結合改進的幀差法和改進的ViBe,來去除運動目標陰影和鬼影區域.

2 ViBe算法及其不足

ViBe算法是背景減除法之一,它和傳統的背景建模方法不同,需要前幾幀圖像來構建背景模型.它利用第一幀圖像就可以建立背景模型.同時該算法采用隨機選擇更新對應的背景模型像素,因此既加快了計算速度,而且保持了較高的檢測精度,提高了抗干擾能力.算法總共分為三步:初始化背景,前景目標檢測,更新背景模型.算法的具體步驟如2.1節所示.

2.1 ViBe運動目標檢測算法

a)背景模型初始化

初始化第一幀圖像中每個像素點的背景模型.假設每個圖像中每個點的像素值及其相鄰點的像素值具有相同的空間分布.在這種假設情況下,對于任一像素點x,隨機選取其八鄰域中的像素值作為背景模型的樣本.為了確保背景模型遵守統計學規律,選取的鄰域要具有足夠大的范圍.當獲取第一幀圖像時,即t=0時,該像素點模型的樣本為:

(1)

圖1 像素點分類Fig.1 Pixel point classification

式中,NG(x,y)為空域上相鄰的像素點,f0(x,y)為點的(x,y)的像素值.在樣本的隨機選取過程中,NG(x,y)中的像素點(xi,yi)被選中的概率相同.

b)運動目標區域檢測

后面的圖像序列與背景模型進行差分.從第二幀開始,將新一幀圖像中每一個像素與采樣數組進行比較,判斷該像素為前景還是背景,如圖1所示.

假設一個集合SR,它是鄰域像素點到當前點的顏色距離小于R的集合:

SR={f(xi,yi)|dist(f(xi,yi),f(x,y))}

(2)

(3)

c)背景模型更新

ViBe算法的背景模型更新在時間和空間上都是隨機的.該算法采用無記憶策略來更新背景.當一個像素點被檢測為背景時,對該像素點及其鄰域點進行更新.隨機選取N個背景模型之一將其設為PG.當獲得下一幀圖像Pt時,假如檢測到圖像Pt中的x點對應的像素Pt(x)為背景時,則需要更新PG,定義一個時間重采樣因子φ,Pt(x)以1/φ的概率同時更新進入該像素的背景模型和其鄰域像素的背景模型中,此抽取過程的隨機性體現在時間上.用像素點Pt(x)替換像素點PG(x)八鄰域中隨機的一個像素點PG(r),這顯示了模型更新時,在空間上具有隨機性.

由上述可知,更新過程即是用Pt(x)來隨機替換PG(x)和其八個鄰域.利用這個更新方法,可以消除因為采集的視頻中有細微抖動例如:攝像機抖動、目標微動等而引起的重影和錯誤,從而使檢測到的運動目標更精確.

2.2 ViBe算法的缺點

ViBe算法背景建模優勢明顯但也具有缺點.算法的優點在于原理簡單、計算量小、實時性高等.算法存在的缺點主要有陰影前景[11]、鬼影[12]和運動目標不完整等問題.產生陰影前景問題的本質原因[13]是:運動目標遮擋住了光源,投影區域因為光線被遮擋使得區域顏色比周圍區域更暗顏,即陰影區域與背景區域顏色值的歐式距離差異較大,因此在進行背景差分時被錯誤的檢測為運動前景.而鬼影產生的原因是視頻第一幀中存在運動目標.因此,為了不影響后續目標跟蹤、目標分類與行為識別等的準確性與魯棒性,需要對上述不足進行改進.

3 改進的三幀差分算法

相鄰兩幀差分法可以方便快捷地獲取運動目標,但提取出的目標內部像素較少,同時還存在明顯的雙影和空洞現象.三幀差分法改進了兩幀差分法,有效地抑制了雙影現象,但很難檢測到目標之間的重疊部分,仍有空洞存在,且檢測的目標輪廓不準確.為了解決上述方法的不足,本文將連續六幀圖像進行差分,并通過最大類間方差法[14]確定的動態閾值校正,進而消除空洞現象.為了進一步提取完整的目標輪廓,同時采用Sobel邊緣檢測算子提取目標邊緣特征,然后結合六幀圖像差分得到完整的目標邊緣.原理如下:

在視頻序列中,連續讀取六幀視頻圖像Ik(x,y),Ik+1(x,y),Ik+2(x,y),Ik+3(x,y),Ik+4(x,y),Ik+5(x,y),按順序進行配對差分和二值化處理,差分公式為:

d1k=|Ik(x,y)-Ik+1(x,y)|

(4)

d2k=|Ik+2(x,y)-Ik+3(x,y)|

(5)

d3k=|Ik+4(x,y)-Ik+5(x,y)|

(6)

上式中,dik,i=1,2,3分別表示兩兩差分后的圖像.然后使用閾值處理三個幀差圖像,并進行二值化處理.處理公式為:

(7)

(8)

(9)

(10)

(11)

(12)

該公式中,λ表示抑制系數,在實際應用中取2;M×N表示檢測視頻幀的分辨率,分辨率等于該幀圖像的像素總數;T為分割前景與背景的最佳閾值,值由最大類間方差法來確定,使前景和背景的區分度更明顯.ΔT1,ΔT2,ΔT3是動態閾值,其值隨光線的變化而變化,光線變化越劇烈,值越大.因此,在最佳閾值后加上動態閾值有效解決了光線變化帶來的干擾.

對二值化后的差分圖像bik,i=1,2,3可以通過公式(13)的邏輯與操作來獲得運動目標的輪廓,從而獲得運動目標的前景區域.

bk=b1k∩b2k∩b3k

(13)

(14)

式(14)中,Dk=0表示背景區域,Dk=1表示前景區域.

(15)

(16)

(17)

(18)

再將圖像Dk與目標邊緣輪廓S進行“或”運算,從而得到完整目標結果M:

M=Dk∪S

(19)

4 基于幀差和ViBe的改進算法

本文提出的改進ViBe運動目標檢測算法融合改進三幀差法來進行鬼影抑制以及基于YUV分量比率來去除目標陰影.算法流程如圖2所示,將改進的三幀差分圖像和ViBe差分圖像結合到邏輯運算中,既可以消除幀差法出現的空洞現象,也能快速消除第一幀ViBe背景建模出現的鬼影現象.對于檢測出的前景圖像存在陰影的問題,在YUV空間利用亮度信息設計陰影檢測模型,利用候選前景與背景的YUV分量變化比率來檢測陰影并去除陰影.

圖2 改進算法流程Fig.2 Improved algorithm flow

4.1 融合改進幀差的鬼影抑制

ViBe背景建模使用第一幀作為初始幀來初始化背景模型,當第一幀中存在運動目標時,檢測結果會出現鬼影.產生鬼影主要有兩個原因:第一是初始化背景模型時,視頻第一幀中含有運動目標或者運動目標從靜止狀態開始運動.因此只靠第一幀建立背景模型,雖然能使模型快速適應背景的轉變,但不能完全區分背景像素點和前景像素點,導致背景模型中可能含有前景像素點,從而產生鬼影.

針對ViBe算法易出現鬼影問題,在運動目標檢測過程中,首先分別利用ViBe算法和改進自適應動態閾值分割的幀差法獲得運動目標,記ViBe算法獲得的當前幀前景圖為Pk,幀差法獲得的前景圖為Dk,并對兩幅圖像進行比較,標記出可能的“鬼影”區域.最后,根據標記的像素數量與設定的閾值進行比較判定該區域是否為鬼影區域.具體過程如下:

利用改進的三幀差法獲得運動目標的前景區域.由于存在各類噪聲的干擾,因此在進行上述操作后的二值前景圖中仍會存在一些白點,本文通過形態學濾波去除這些噪聲,并通過連通性檢測來填充孔,以獲得最終的完整的檢測結果,詳細的形態學后處理算法如算法1所述,其中面積閾值是通過實驗得到的.

算法1.

vector>contours1,contours2;

findContours;

容器storage1盛放檢測到的連通區域;

for(inti=0;i

if 第i個連通域的面積>15

將該區域放入到容器 storage2

else

丟棄該區域;}

for(intj=0;j

if 第j個連通域的面積15-85之間

drawContours;}

其次,利用ViBe算法創建背景模型,并使用自適應閾值R(x)代替原始算法的固定的距離判定閾值,閾值大小與樣本集的方差σf成正比例關系.σf由公式(20)計算.

(20)

σf越大,表示背景噪聲越大,判定閾值應該越大.這是因為在某些情況下,如背景中樹葉的晃動,光線變化和水面波紋變化會干擾背景模型的建立,所以應增大閾值來避免這些變化的干擾.自適應閾值用公式(21)計算.

R(x)=0.5×σf∈[20,40]

(21)

同時在背景建模時為每個像素設置一個從零開始的計數器.使用自適應距離閾值分割下一幀圖像得到前景區域Pk.這時前景區域可能會出現鬼影,因此利用公式(22)來判定鬼影區域.

(22)

當像素的計數值大于閾值N時,將其判定為鬼影區域的像素,并將計數器重置為零,如公式(23)所示:

(23)

由于運動目標和鬼影具有相似的特點,目標區域的像素也會被標記為鬼影,因此它不能被添加到計數器中,也就是說閾值N應該大于等于運動目標和鬼影重合的幀數.隨后將該像素值置為零如公式(24)所示:

(24)

最后對所得到的候選前景圖像進行中值濾波,從而在鬼影消除的同時去除噪點.

4.2 基于YUV分量變化比率的陰影去除

ViBe算法與其他的運動目標檢測算法一樣也存在陰影問題.由于運動陰影在檢測時會隨目標一起運動,所以往往會將陰影作為運動目標的一部分而使得目標發生形變,造成跟蹤、分類與識別精度下降,特別是當多個目標相距較近時,陰影可能將這些目標連接在一起,使得目標分割不徹底,最終導致跟蹤失敗、誤分類和誤識別.因此,運動陰影消除在目標檢測中有著非常重要的作用.

本文在上述提取出的候選前景圖像中先檢測出陰影,再去除陰影.本文陰影檢測模型是基于YUV色彩空間,因為在YUV空間下灰度圖像和彩色圖像轉換非常方便,即對顏色的亮度信息和色彩信息分離較為方便.因此處理圖像要比在RGB空間中下簡單.公式(25)描述了YUV色彩空間與RGB色彩空間的轉換關系,即

(25)

在YUV空間中,Y分量可用于描述像素亮度信息,陰影區域變化很明顯,理想狀態下的UV兩種色差分量不隨光照變化而變化,但是,因為光線傳感器存在偏差和圖像在采集傳輸、存儲過程中產生的隨機噪聲,U分量和V分量存在差異,即使相同亮度同樣存在一定的誤差.基于以上考慮,設計如公式(26)的陰影檢測模型,利用候選前景與背景的YUV分量變化比率來檢測陰影.

(26)

式中,yF(i)、uF(i)、vF(i)和yB(i)、uB(i)、vB(i)分別表示前景像素和背景像素的YUV三分量;ay、au、av和by、bu、bv分別對應前景的YUV分量和背景的YUV分量的判別閾值.假設前景像素符合公式(26),則判斷該像素為目標的陰影,應該與檢測前景分離.

5 仿真結果與分析

在上述研究的基礎上,從CDW-2014數據庫中選取視頻序列進行實驗.該數據庫包含31個視頻序列.實驗設備基本配置:CPU為Intel(R)Core(TM)i5-4210H 2.89Ghz,內存為8GB,Windows 64位操作系統的PC機,軟件實現平臺為VS2013和OpenCV2.4.10.為了和原始ViBe算法做對比,本文改進ViBe算法的參數選擇與原ViBe算法一致即:#min=2,也就是說如果有兩個采樣點小于自適應距離閾值R(x)就將該像素點判定為背景,否則為前景,采樣點個數N=20,重采樣因子φ=16.為驗證改進算法的目標提取效果,本文采取了不同場景分別用不同算法做了去鬼影、去陰影和綜合性能分析.

5.1 去除鬼影仿真實驗

從數據庫中選取了視頻highway.avi,進行去除鬼影實驗,從視頻出現運動目標時第進行處理.對比實驗效果如圖3所示.從圖中看出,三幀差法雖然鬼影消失的也較快,但檢測目標不完整出現了明顯的空洞.混合高斯算法和原始ViBe算法明顯出現了鬼影,混合高斯算法經過70幀處理之后鬼影消失,ViBe算法經過大約200幀處理之后,鬼影才逐漸消失,這極大地影響了目標檢測的效果.而本文通過ViBe算法結合幀差法經過20幀左右就快速地去除了鬼影.實驗結果表明,改進的算法的檢測結果和實際場景相符合,同時鬼影去除較快,檢測效果較好.

圖3 各算法鬼影去除效果Fig.3 Ghost removal effect of each algorithm

5.2 陰影檢測實驗及可行性分析

為了驗證本文的陰影檢測模型的有效性,本文選取LISA實驗室的不同環境下的三組視頻數據作為實驗數據集.對三組視頻序列進行陰影檢測,并通過手動調整閾值達到最佳的陰影區分效果.檢測結果如圖4所示.

為了檢驗本文的陰影檢測模型的效果,引入了陰影檢測率η、陰影識別率ξ和綜合指標θ三個評測參數,如公式(27)-公式(29)所示.

(27)

(28)

(29)

式中,TP表示目標(F)和陰影(S)檢測正確的像素數,FN表示目標(F)和陰影(S)檢測錯誤的像素數.η越高表明正確檢測為陰影的像素數越多,檢測到的陰影中包含的真實前景部分少.ξ越高表示正確檢測為前景的像素數多,包含的陰影部分少.θ表示算法的綜合性能.各組視頻的評價指標結果如表1所示.

圖4 陰影檢測結果Fig.4 Shadow detection result

從表1中可以看出,通過候選前景和背景的YUV分量變化比率閾值的檢測方法能夠有效區分陰影和運動目標,陰影的檢測率可達到95%以上,且綜合性能指標可達到92%以上.

表1 陰影檢測評價指標
Table 1 Shadow detection evaluation index

性能指標Campuslabroomη97.0698.5298.56ξ89.2391.5194.12θ92.9894.8996.29

5.3 算法綜合性能分析

為了進一步評估上述幾種算法的性能,采用fall.avi視頻圖像共1700幀和driveway.avi視頻圖像共1410幀作為樣本,fall.avi存在搖晃樹葉的噪聲干擾,driveway.avi存在光線變化的干擾.利用不同算法對視頻圖像fall.avi和driveway.avi進行檢測,檢測結果如圖5和圖6所示.

為了定量分析各算法的性能,定義如下性能評價指標:

(30)

(31)

(32)

式中,DTP、DFP分別為正確檢測到的前景的像素數和錯誤檢測到的虛假前景的像素數;DFN為前景中被漏判為背景的像素的數量;DTN為正確檢測到的背景像素數.DPCC為分類正確率,表示的是正確檢測到的前景像素和背景像素占所有像素的比例,作為算法的整體性能指標.DFPR為誤報率,表示的是檢測到的錯誤前景的比例.DFNR為假陰性率,表示漏判為背景的前景像素占背景像素數的比列.DPCC越大,表明算法總體性能越好,DFPR和DFNR越小,表明算法檢測性能越佳.

圖5 Fall.avi檢測效果對比Fig.5 Fall.avi comparison of detection results

CDW-2014數據庫的fall.avi視頻中,第263幀中存在運動目標,并將其作為視頻處理的第一幀,因為“鬼影”現象是由于第一幀中包含運動目標而產生的.在此后的100幀分別統計個算法DPCC,DFPR和DFNR.圖7所示的是各算法的DPCC曲線.因為視頻中車輛的行進速度較快,因此DPCC并沒有呈現出單調遞增的趨勢,而是存在著一定的波動.

圖6 Driveway.avi前景檢測效果對比Fig.6 Driveway.avi detection effect comparison

從圖7中可以看出,在各算法的DPCC曲線中,本文算法的整體性能最好,平均單幀DPCC值相較于其它算法提高了9%-25%.此外,還根據檢測結果統計了各算法的DPCC,DFPR和DFNR的平均值如表2所示.

圖7 各算法的DPCC曲線Fig.7 DPCC curve of each algorithm

幀差法是通過對視頻中相鄰圖像做差分運算來檢測運動目標,用前一幀圖像作為當前幀的背景模型,其背景不積累,且更新速度塊,因此鬼影消失較快.混合高斯模型在一建立高斯分布模型時對權重進行了歸一化,因此最先建立的模型其權重相對較大,因此當目標運動離開了原始位置后依然被判別為前景. 當獲取到了更多的后續視頻幀時, 此時更多的場景信息被高斯背景模型獲取到,之前檢測錯誤的前景區域會過渡為背景.ViBe算法利用第一幀初始化背景模型,因此模型初始化非常快,但當第一幀中存在運動目標時,鬼影將伴隨模型的初始化而產生,原始ViBe算法未對鬼影做任何處理,為此原ViBe需要花費很長時間更新背景模型才能完成對鬼影的抑制.而本文改進算法利用幀差法消除鬼影快的特點,對產生的鬼影進行了處理,從而使改進算法能夠快速消除鬼影.從表2中可以看出,三幀差分法和本文算法鬼影消失的最快,原始ViBe算法鬼影消失的最慢,本文算法的鬼影消失速度是原始ViBe算法的將近十分之一.ViBe算法的DFPR和DFNR都相對較高,說明了鬼影對ViBe算法的檢測效果影響較大,當鬼影未消失,而之后的運動目標與鬼影區域重疊時,容易被判定為背景像素.本文算法的DFPR和DFNR的值最低,是因為本文不僅對鬼影區域進行了抑制,還對目標陰影區域進行了去除,提高了檢測目標的正確性.

表2 四種算法的性能比較
Table 2 Performance comparison of four algorithms

算法DPCCDFPRDFNR鬼影消失幀數三幀差分0.65060.08260.204720混合高斯算法0.80700.07150.213667ViBe0.81230.08970.1620190本文算法0.90230.05020.032521

表3 四種算法的平均每幀耗時比較

Table 3 Average time-consuming comparison of four algorithms

算法fall.avidriveway.avi三幀差分算法5442混合高斯算法610547ViBe3127本文算法6045

在上述檢測過程中,分別統計了四種算法的平均運行時間,如表3所示.

從表3可以看出,由于混合高斯算法需要建立復雜的背景模型,因此比其他算法需要更長的處理時間,實時性差.而三幀差法和ViBe算法的運行時間相比混合高斯算法有較大的縮短.而本文算法因為利用了改進的三幀差法,因此運行時間雖略高ViBe,但相差無幾,可以滿足實時檢測的要求.

6 結束語

本文將改進的三幀差分法和ViBe算法相結合,提出了一種改進的運動目標檢測算法.一方面,通過改進幀差法獲得的前景和ViBe檢測的前景進行邏輯運算來判斷鬼影區域是否存在,若存在將其去除.另一方面,使用自適應閾值解決背景中噪聲對ViBe算法背景建模的干擾.最后設計了陰影檢測模型,快速地去除了候選前景中的陰影,從而進一步提高了算法的檢測效果.盡管如此,本文的算法仍存在缺陷,陰影檢測閾值會隨場景光線變化而改變,自適應陰影檢測不能通過手動設置閾值來實現,下一步將對該問題進行改進.