一種快速消除鬼影的目標檢測算法

路霄漢 王志君 梁利平*

1(中國科學院微電子研究所 北京 100029)2(中國科學院大學電子電氣與通信工程學院 北京 100029)

0 引 言

背景提取技術是視頻感興趣區域(ROI)提取的重要方法之一[1]，它的準確性、實時性和對于環境變化干擾的魯棒性較好，是一種針對運動目標檢測的優秀方法[2]。在背景提取算法中，ViBe算法[2]是一種無參數的、非概率模型化的算法，它在運動目標檢測任務上，擁有運行速度快、占用資源少、識別精度高等特點，但是仍存在不足。其一是鬼影問題，鬼影是被檢測為前景，卻沒有代表任何運動目標的區域，即虛假的前景區域[3]。目前，針對鬼影問題，第一類處理方法是通過改變創建初始背景集合的方式。文獻[4]采用類高斯模型的更新方法，使用多幀圖像訓練初始背景集合。文獻[5]在幀差法中引入大津閾值算法[7](OTSU)，使用前幾幀圖像合成背景樣本圖像，然后根據此背景樣本圖像創建初始背景集合。文獻[6]采用多幀平均法，使用視頻前面25幀圖像對應點和其鄰域點的像素值創建初始背景模型。這種方法需要使用視頻多幀圖像構建初始背景集合，降低了初始化背景集合的速度，而且，由于背景突然運動也會產生鬼影，這種方法無法解決此類問題。第二類處理方法在進行背景判斷的過程中進行鬼影識別，然后將鬼影轉變為背景[8-9]。文獻[8]通過計算前景與其鄰域背景的顏色直方圖差異大小判斷前景是否是鬼影。文獻[9]通過計算前景區域的像素值方法大小判斷鬼影。但是此類方法容易將運動緩慢的、色彩比較單一的運動目標與鬼影混淆，具有局限性，并且方法增加了運算復雜度，不利于事實檢測。

此外，ViBe算法對于動態背景和相機抖動的處理效果不理想[10]。針對此問題，文獻[4]計算當前位置像素點與其鄰域像素點的差異性，進而動態地調整閾值，但是動態背景的特點在于時間域上劇烈的、周期性的變動，因此其方法有失普遍性。對于抖動的處理，文獻[10]首先通過提取KLT特征點[11]識別抖動，然后通過將更新因子置為1來去除抖動，雖然有較好的處理效果，但是容易形成前景區域空洞，而且特征點提取增大了計算量，很難實現實時處理。文獻[12]中，通過計算當前圖像中的前景區域與M幀前的圖像對應位置的顏色直方圖差異來消除抖動，這種方法過于依賴M的選取，而且顏色直方圖的計算增加了計算量。文獻[13]采用圖像分塊運動補償的方法，根據塊區灰度投影曲線的互相關計算結果完成抖動序列校正，但是此方法對計算機的算力要求很高。

綜上所述，針對ViBe算法存在的問題，本文對其進行改進，改進后的算法可以快速消除鬼影，并且能很好地處理相機抖動和動態背景的情況。最后通過C++完整實現算法，算法運行速度快、運算簡單、準確率高，可以達到實時性要求。

1 ViBe算法原理

ViBe算法[2]由三個部分組成：背景模型初始化、背景判斷、更新背景模型。

1.1 背景模型初始化

Vibe算法是一種基于像素點的目標識別算法，算法為視頻序列中每一個位置的像素點創建一個背景集合，假設I(x,y)代表圖像中(x,y)位置的像素值，M(x,y)是其對應的背景集合：

M(x,y)={I1,I2,…,IN}

(1)

式中：IN是背景集合中的像素值。M(x,y)初始化的方法為：取視頻序列中的第一幀圖像，對于圖像中每個像素點，在其鄰域內等概率的隨機選取N個像素點的值插入背景集合中。

Mn(x,y)={I(x′,y′);(x′,y′)∈NG(x,y)}

(2)

式中：Mn(x,y)表示(x,y)位置背景集合的第n個值；NG(x,y)表示(x,y)的鄰域；I(x′,y′)表示鄰域像素點的值。

1.2 背景判斷

創建初始背景集合后，后面處理的每一幀圖像，需要將每個像素點與其對應的背景集合進行比較：

#{SR(I(x,y))∩M(x,y)}>#min

(3)

式中：SR(I(x,y))代表I(x,y)在其顏色空間中歐式距離小于半徑R的區域。

如圖1所示，#{}函數是計算(x,y)的背景模型中，像素值在SR(I(x,y))區域中的個數，當其數值大于固定閾值#min時，則被判定為背景。

圖1 (C1,C2)顏色空間的歐式距離半徑與背景樣本的分布

1.3 更新背景模型

當像素點被判斷為背景時，有1/φ的概率對M(x,y)進行更新，φ為更新因子。更新的方式采用隨機替換機制，隨機替換就是將當前像素值I(x,y)等概率隨機替換M(x,y)中的一個值。同時，當發生隨機替換時，隨機選取其鄰域中的一個像素點I(x′,y′)，并采用隨機替換機制更新其背景集合，稱為背景值隨機空間傳播。

2 改進的ViBe算法

基于ViBe算法原理的描述，發現存在兩個問題：

(1) 鬼影問題，如圖2所示，由于鬼影所在位置的背景突然運動，檢測結果中出現鬼影，即(c)中左邊的前景即為鬼影。雖然ViBe算法的背景像素值隨機空間傳播方法可以處理鬼影，但是需要多幀的處理延遲才能夠完全消除，對于50×10的鬼影區域，消除至少需要100幀[9]。

(a) frame (b) ground (c) 檢測結果圖2 鬼影的形成

(2) 對于抖動與動態背景情況處理欠佳，背景模型的保守更新方式使得前景點無法進入背景模型中，當某一區域頻繁的在前景和背景間變化時，這個區域往往是虛假的前景，ViBe算法沒有檢測這種變化的機制。

基于上述問題，本文提出了三點改進：(1) 采用定向的空間傳播方法更新鄰域的背景模型，可以快速消除鬼影；(2) 通過閃爍因子值的大小更改背景判斷結果，從而處理抖動和動態背景造成的虛假前景；(3) 對算法生成二值圖像進行高效的去除噪點處理，提高識別的準確率。圖3是本文改進算法的流程圖，虛線是本文的改進過程，其中S是閃爍因子，CNT是計數器的值。

圖3 改進算法流程圖

2.1 定向的空間傳播方法

當像素點被初步判定為背景后，在原始的ViBe算法的隨機空間傳播之前，針對性地加入定向空間傳播機制。鬼影區域實際上是背景區域，它是靜止的，因此與周邊像素點的像素值相近?；诠碛暗纳鲜鎏攸c，為每一個像素點設置一個計數器CNT，CNT表示該點連續被判斷為前景的次數：當判定結果是前景時，CNT加1;若是背景時，CNT置0。

(4)

基于上述處理，當像素點被判斷為背景時，首先以當前處理的像素點為中心點，查詢其鄰域內像素點的背景集合中的CNT值。當鄰域像素點的CNT大于閾值TCNT時，表明此鄰域位置屬于靜止的前景，有可能是鬼影，因此強制對其背景模型進行隨機替換操作：將中心點的像素值插入其背景集合中。TCNT表示檢測到的前景是否靜止，因此TCNT>1。為了快速消除鬼影，因此設置TCNT的值為2。

定向的空間傳播方法的示意圖如圖4所示，灰色區域為檢測出的前景區域，并且區域內像素點CNT值大于閾值TCNT，虛線部分為前景內部區域，黑色像素點為當前處理的背景像素點I(x,y)，如圖4右側所示。當I(x,y)被判斷為背景時，檢測I(x,y)位置鄰域內的8個像素點，發現標號1、2位置的灰色部分可能為鬼影區域，因此將I(x,y)的值插入1、2區域的背景集合中。若此前景區域是真實靜止目標，由于前景像素值與背景像素值差別較大，在視頻后面幀的圖像處理中，此區域仍然被判斷為前景，不影響判斷；若此前景區域是鬼影區域，由于圖像的背景在空間上有一致性的特點，相鄰的背景像素點的值差值較小，因此在視頻后面幀的圖像處理中，對應位置被判斷為背景。圖4灰色區域外邊緣轉變為背景后，此定向傳播機制會使這個過程快速傳播給內部的區域，從而快速消除此虛假前景，即鬼影區域。由于這種定向傳播機制只影響前景的邊界處，圖4中灰色的真實前景區域會對虛線內部的區域進行保護，虛線內部區域的背景集合不會被改變，因此真實的前景目標會被保留。

圖4 背景值定向傳播示意圖

2.2 計算閃爍因子

當進行判斷背景過程后，需要計算閃爍因子[10]，并通過閃爍因子更改原算法的判定結果。像素點閃爍是指在時間域上，像素點的判定結果在背景和前景間不斷變化，因此閃爍因子表示像素點的這種閃爍程度的大小。本文參考文獻[10]對閃爍因子進行了新的詮釋，并且采用新的處理方法將其應用到視頻抖動和動態背景的處理當中。視頻的抖動是由于采集設備在自然環境下受外力干擾引發的周期性震動造成的，因此視頻抖動造成的虛假前景在時間域上呈現出周期性的在前景與背景間變化的特點。

基于上述性質，設閃爍因子為S，表1列出了S的計算方法，αinc為增長因子，αdec為衰減因子。當像素點被判定為前景時，檢查其對應的CNT的值，當CNT=0時，說明其上一幀被判斷為背景，當前幀發生了狀態的改變，因此：

S=S+αinc (5)

當像素點被判斷為背景，并且CNT=0時，說明上一幀當前位置仍被判斷為背景，當前幀沒有發生狀態改變，因此：

S=S-αdec

(6)

為S設置兩個閾值：

TS=a×αdec

(7)

TS-M=(a+1)×αdec

(8)

式中：a是常數，表示閾值TS和TS-M是增長因子αinc的整數倍；衰減因子αdec取值為1，這樣簡化了運算與硬件實現。對于閃爍因子S的處理過程如下：當S大于TS時，若此時被判斷為前景，將結果改變成背景；如果S的值進一步大于TS-M,則強制對當前位置的背景集合進行隨機替換。這種方法可以防止短時間內由于前景周期性運動而被誤判為背景，導致前景像素點進入背景集合的問題。閃爍因子S的最大值是TMAX，這限定了像素點閃爍特性的生存周期。上述推導可以理解成，當前像素點在時間域上，其在前景與背景間跳變的次數，在n×αinc/αdec時間范圍內大于或等于a+n次時，則被判定為閃爍的，其中n∈N+，n的取值影響參考時間范圍的長短。因此，前景與背景間跳變的最小平均間隔F滿足：

(9)

通過調整αinc和a的數值,可以調整檢測出閃爍點的閃爍頻率。對于αinc和a參數的選取，由于真實前景也會短時間在前景與背景間多次變化，比如在ChangeDetection 2012數據集[14]中，行人的腿部運動呈現出短期的周期性變化，因此設置αinc與a均為理論值10，可以縮減閃爍因子占用的位寬，節省存儲資源。同時，可以區分前景的短時間周期性變化和長時間的周期變化，從而判斷檢測出的前景區域是否是由于抖動造成的虛假前景，最終消除抖動的影響。

2.3 去除噪點

一幀圖像的所有像素點通過本文算法處理后，會生成一個二值圖像，稱為MASK圖。假設0代表背景，1代表前景，攝像頭采集的視頻圖像會受到噪聲的干擾，在MASK圖上會產生數值為1的噪點。盡管2.1節和2.2節的改進方法使大部分虛假前景點去除，但是仍會由與計算誤差而產生這種噪點。本文采用的處理方式能夠快速去除微小的噪點，并提高目標提取的完整性和準確率。

具體的步驟為：

Step1形態學閉操作。由于算法少概率的誤判，會將部分真實前景區域分散成一些距離很近，并且相互孤立的點，因此通過形態學閉操作將這些點連接形成前景塊，對于處理后仍然孤立的前景點則認為是噪點，可以通過濾波去除。

Step2濾波。濾波的作用是去除上述噪點，具體方法是分別統計像素點的8鄰域內值為0和1的像素點的個數：cnt0，cnt1。cnt0和cnt1分別表示鄰域內值為0和1像素點的個數，當cnt0大于閾值T0時，將當前像素點的值置0；當cnt1大于閾值T1時，將當前像素點的值置1。由于小閾值容易形成誤判，大閾值則使濾波效果不明顯，因此T0、T1均取值為5。

Step3形態學開操作。形態學開操作的可以平滑圖像，可以達到更好的去噪效果，進一步提升目標檢測的準確率。

3 實驗結果與分析

本文算法的運行的處理器型號是Intel Pentium G3260，主頻3.30 GHz，內存大小為4 GB，使用C++和OpenCV函數庫實現算法。

原算法的參數設置[2]：背景樣本大小N=20，分類閾值R=20，匹配閾值#min=2，更新因子φ=16。改進算法的參數選取由第2節確定:鬼影閾值TCNT=2；閃爍因子閾值參數：αinc=10，a=10；去噪參數：T0=T1=5。

下面是算法在ChangeDetection 2012數據庫[14]中的測試結果，并將本文算法與原ViBe算法和其他主流算法進行比較與分析。由于本文解決的是鬼影、抖動和動態背景的問題，因此我們主要測試的是數據庫中的baseline、camera jitter、dynamic background數據集。數據庫中含有大量算法的測試結果，是一個目標檢測領域較權威的數據庫。

3.1 鬼影消除

本文選用的是ChangeDetection 2012數據庫中pedestrians視頻序列，對比測試的方法是：使用視頻中包含運動目標的一幀圖像創建初始背景集合，使得處理結果包含鬼影，然后分別通過本文算法和ViBe算法對后續圖像進行處理，記錄鬼影完全消失所需的幀數。鬼影處理效果，如圖5所示，其中：(a)是原圖像；(b)是樣本集參考圖像；(c)是原ViBe算法效果圖；(d)是本文改進算法效果圖。

(a) frame (b) ground

(c) ViBe (d) 本文算法圖5 鬼影消除效果

圖5(c)(d)是在鬼影出現后第21幀的結果，可以看出本文的改進算法已經被消除，相比之下，ViBe算法此時依然有很明顯的鬼影。由于本文消除鬼影的方法不依賴于創建的初始背景模型[4-6]，因此可以消除背景突然運動而產生的鬼影。

表2列出本文算法與ViBe算法、文獻[10]的改進算法在pedestrians、Traffic和Highway視頻中鬼影消除所需的幀數的比較，鬼影出現的時間分別是341幀、1幀、343幀。在三個數據集中，本文算法消除鬼影需要的時間約是ViBe算法的1/5；是文獻[10]算法的1/2。從實驗結果可以看出，本文算法可以更快速地消除鬼影。

表2 鬼影消除所需幀數比較

3.2 抖動與動態背景處理

如圖6所示，從第一列到第三列依次是數據集中三個比較有代表性的視頻：traffic、badminton、fountain02。前兩個視頻是抖動的視頻，最后一個是動態背景的視頻。圖6中，(a)是原始圖像，(b)是參考MASK圖，(c)是原ViBe算法，(d)是GMM算法[15]的結果，(e)是MBS(Multimode Background Subtraction)[16]算法的結果，(f)是本文算法的結果。GMM算法是一種經典的目標提取算法；MBS是在ChangeDetection 2012數據庫上最新的、效果較好的算法?？梢钥吹?，ViBe算法有很多虛假前景區域，誤判率很高；traffic、badminton視頻中GMM和MBS算法的仍然存在抖動引起的虛假前景，并且前景提取不完整；本文提出的算法基本將虛假前景去除，提取的前景較完整。對于動態目標數據集fountain02，雖然測試的算法都能去除虛假前景，但是GMM和MBS有較大空洞，相比之下本文算法對前景有更好的提取，保持了真實前景的形狀。

(a) frame

(b) ground

(c) ViBe[2]

(d) GMM[15]

(e) MBS[16]

(f) 本文算法圖6 算法效果對比圖

3.3 指標評估

本節將對算法的準確率(precision)、召回率(recall)、F-Measure和運算時間進行評估[1]，計算公式如下：

(10)

(11)

(12)

式中：TP表示前景像素被正確分類的個數;FP表示背景像素被錯誤分類為前景像素的個數;FN表示前景像素被錯誤分類為背景像素的個數;TN表示背景像素點被正確分類的個數。F-measure指標綜合考慮了precision和recall的結果，反映了總體效果，這三個指標的數值越大越好。下面簡稱準確率為P、召回率為R、F-Measure為F，時間為T。

選用pedestrian、traffic、fountain02和badminton視頻序列，其中traffic和badminton是抖動視頻，fountain02是動態背景的視頻。選擇上述視頻中有參考圖像的序列，約2 400幀，將算法結果生成的每張二值圖與參考圖像逐點進行比較，計算每張圖片的P、R和F值，取均值作為最后的總P、R和F值，最后分別與其他流行算法進行比較。

表3列出GMM、MBS算法和原ViBe算法與本文算法的對比結果?？梢钥闯霰疚奶岢龅乃惴ㄔ跍蚀_率上有較大的提升。對于基礎數據集pedestrians，由于沒有抖動和動態背景的影響，所有算法的結果均比較理想，本文算法的F-measure仍然要高于其他算法，對于抖動的處理，traffic數據集的準確率和F-measure高于其他算法至少10%。對于badminton數據集，由于本文算法召回率偏低，使得MBS算法略微優于本文算法，但是本文準確率指標較好，同時MBS的運算時間約是本文算法的10倍。

表3 算法指標

續表3

表3還列出了各個算法的運行時間，其中ViBe算法最快。由于本文算法是基于ViBe算法的改進，加入了新的處理機制，使得運算復雜度增加，但是綜合運算速度和性能，本文算法相比其他算法有較大的提升。

4 結 語

本文提出一種基于ViBe算法的改進目標檢測算法，包含了背景值定向傳播與計算閃爍因子的方法，并對MASK圖像進行去噪處理。使用C++完整實現算法功能，通過在目標檢測常用數據集上進行測試，結果表明，算法可以快速消除鬼影，同時在視頻抖動和動態背景等復雜情境下，可準確地進行目標檢測，在保持較高運算速度的情況下，準確率高于部分主流算法。改進后的算法可以進一步應用到計算機視覺領域，并普遍適用于視頻監控、智能家居等真實情景。