改進視覺背景提取算法在室內監控場景的應用

劉武啟，譚欽紅，李英杰，劉志豪，鄭小楠

(重慶郵電大學 通信與信息工程學院，重慶 400065)

0 引 言

常用的前景目標提取算法有光流法、幀差法和背景減除法[1-3]。其中背景減除法中視覺背景建模(ViBe)因其較小的計算量、優良的實時性，成為了目前廣泛應用的一種前景提取方法[4,5]。ViBe算法利用第一幀就可快速地建立背景模型，極大提高了運算量和實時性[6,7]。但同時ViBe算法仍然存在一定的不足，易產生“鬼影”干擾以及光照變化誤檢等問題。針對ViBe算法存在的問題，文獻[8]提出了一種基于時空梯度特征的解決方案，根據背景的復雜性和變化情況，對判別機制的參數進行自適應調整，有效解決了復雜場景下陰影和“鬼影”的干擾。文獻[9]利用幀間信息，引入二次判斷策略，提出一種ViBe結合幀間差分法的“鬼影”抑制策略。文獻[10]通過統計前景點在整幅圖像像素點中所占的比重來判斷光照變化情況，從而實現ViBe對光照變化的魯棒性。

結合以上學者的研究，針對ViBe算法在室內監控場景中的不足，提出一種改進的ViBe算法。首先，針對“鬼影”干擾，本文采用一種外接矩像素直方圖對比法，通過對外接矩中目標區域與其相鄰區域進行直方圖對比消除“鬼影”；其次，針對室內光照變化影響，本文通過鄰間幀圖像局部區域積分值快速匹配判斷光照變化情況，再根據不同光照變化類型采取不同改進策略，提升室內監控場景光照變化魯棒性。

1 ViBe算法介紹

ViBe算法是比利時列日大學提出的一種高效的前景提取算法，其因實時性好、計算效率高而受到了研究者的廣泛關注[11]。ViBe算法可分為3個步驟：背景模型初始化、前景目標提取和背景模型更新。

1.1 背景模型初始化

ViBe算法利用第一幀就可以快速地建立好背景模型。算法通過給圖像中的每一個像素點都建立一個像素級模型完成初始化背景建模。設圖像中任意一點x， 它的像素記為f(x)， 然后在與像素點x相鄰的八領域隨機選取N個像素點，以此來作為像素點x的背景樣本集，我們記x位置的像素模型為M(x)， 如下所示

M(x)={f1,f2,…,fN}

(1)

式中： {f1,f2,…,fN} 代表從八領域中隨機選取的N個像素點樣本值，N一般取20。

1.2 前景目標提取

通過背景模型的初始化，ViBe算法為圖像中的每一個像素點都建立了一個像素模型M(x)，當新的一幀圖像到來時，通過將新幀圖像中每一個像素點與對應像素模型中的樣本值進行距離比較，從而判斷出該像素點是前景點還是背景點。判定如圖1所示。

圖1 ViBe算法前景判定

圖1中f(x) 表示待檢測圖像中x點的像素值， {f1,f2,…,fN} 構成x處的背景模型M(x)，SR(f(x)) 是以x點為圓心、R為半徑的范圍空間，將x像素點與背景模型M(x) 中每個樣本值進行距離比較，記錄下距離小于預設閾值的樣本點個數即SR(f(x))∩{f1,f2,…,fN}， 如果記錄的樣本點個數小于閾值#min， 則判定x點為前景點，否則即為背景點。具體表示如下

(2)

式中：FG代表前景點，BG代表背景點，SR(f(x))∩{f1,f2,…,fN} 表示當前像素點x與背景模型M(x) 在歐式距離上小于固定閾值R的個數， #min表示規定的最小判定閾值， #min一般取2。

1.3 背景模型更新

在背景模型更新中，ViBe算法采用了一種時間取樣更新策略，當檢測出某點為背景像素點時，會有1/ψ的概率更新該點的背景模型。其中ψ為時間采樣因子，一般取ψ為16。當確定需要更新背景模型時，以新的像素值隨機取代像素樣本集中樣本值。同時通過空間鄰域更新策略，將需要更新的像素點隨機更新到該點鄰域的背景模型中。

2 改進的ViBe算法

本文主要以ViBe算法在室內監控場景進行前景提取為研究點，考慮到ViBe算法“鬼影”效應影響及室內監控場景中光照變化干擾，因此針對以上兩個關鍵問題對ViBe算法進行改進，改進后的算法流程如圖2所示。

圖2 ViBe改進算法流程

2.1 針對“鬼影”影響的改進

ViBe算法進行前景目標提取時，如果視頻首幀圖像中存在運動目標，那么在后續多幀前景提取中都會存在首幀運動目標的影像，而這個通常被稱為“鬼影”。“鬼影”的存在對前景提取產生很大的干擾，針對此問題，本文采用了一種基于外接矩像素直方圖對比的“鬼影”檢測算法。算法的主要思想為：當外接矩中目標區域與其相鄰區域在像素直方圖上表現為較強的相似性時，則該外接矩標定的目標即為“鬼影”目標，接下來需要對判定出的“鬼影”點改變其像素值屬性(像素值置0)并同步更新背景模型。通過此過程，即可找出真實前景和“鬼影”，實現首幀“鬼影”影響的改進。

圖3展示了真實前景目標與“鬼影”在實際視頻幀中外接矩標定情況。通過對每個外接矩內所有像素進行直方圖統計，可得到圖4對比。從圖中可以看到，真實的前景目標與其相鄰區域在像素直方圖上具有很大的差異性，而這種差異性在“鬼影”區域表現的極低。

為了更好地描述目標區域與其相鄰區域在像素直方圖上的差異性，可以通過定義兩直方圖差異性閾值T來表示，具體表達式如式(3)。本文采用巴氏系數ρ(p,p′) 進行計算，如式(4)所示，其中p和p′分別代表外接矩中目標區域和其相鄰區域直方圖數據。當巴氏系數小于給定的閾值T(0

圖3 真實目標和“鬼影”標定

圖4 外接矩區域像素直方圖對比

(3)

(4)

2.2 針對光照變化影響的改進

傳統的ViBe算法不能適應光照變化的影響，當室內監控場景中突發光照變化時，如突然開燈、門窗開閉行為等，都會使前景提取引入大片干擾區域，因此對光照突變魯棒性的改進具有重要研究意義。由圖2中算法改進流程可知，如何準確判定監控場景光照變化是改進算法的核心。通過實驗發現，當有光照變化時鄰間幀在積分圖像上表現為很強的差異性，主要體現在圖像區域積分值上，而這種差異性在無光照變化時會很小。基于此本文設計了一種鄰間幀圖像局部區域積分值快速匹配方法來實現光照變化的檢測。

2.2.1 圖像局部區域積分值算法

對于一張灰度圖像，積分圖像中某點v(x,y) 的值就是該圖像從左上角開始到該點所圍成的矩形區域中所有點的灰度值之和[12]。表達式如下

(5)

式中：I(x′,y′) 表示在位置 (x′,y′) 像素點處的灰度值。對給定的一幅圖像通過從左到右、從上到下的方式全部遍歷一遍可得出積分圖像公式如下

U(x,y)=I(x,y)+U(x-1,y)+
U(x,y-1)-U(x-1,y-1)

(6)

通過式(6)可以得到整幅圖像的積分值，因此在積分圖像上可以得出任何局部區域的積分值大小，令所求局部區域積分值為sum(z)， 如圖5陰影區域所示。

圖5 局部區域積分

所以任意區域圖像積分值可表示為

sum(z)=U(x,y)+U(x-w,y-h)-
U(x-w,y)-U(x,y-h)

(7)

2.2.2 光照魯棒性改善

為實現局部積分值匹配，本文將一幅圖像重新劃分為N×N局部大小塊，通過圖像局部區域積分值算法可以得出每個區域的積分值，再將鄰間幀對應區域積分值對比可以快速判斷光照的變化情況。本文選取N為6，共36個局部區域，通過對36個積分值進行對比來判斷監控場景中全局光照突變和局部光照突變情況。鄰間幀積分值對比如圖6所示。

圖6 不同光照下鄰間幀圖像積分值對比

圖6(a)、圖6(b)表示無光照變化時相鄰兩幀圖像，它們對應的局部區域積分值對比如圖6(c)所示，在圖像局部區域積分值上無明顯變化；圖6(d)、圖6(e)表示實驗者開燈行為前后兩幀圖像，燈光的開啟使得室內發生了全局性光照突變，通過圖6(f)中相鄰兩幀局部區域積分值對比可以看到，積分值發生了急劇變動。本文通過統計積分值發生劇烈波動的區域塊個數占區域塊總數的比重來評判光照變化情況，判斷表達式如下

(8)

(9)

其中，f(i) 用來判斷i區域是否發生光照變化，當滿足相鄰兩幀對應區域積分值大于給定閾值K時，則記該區域為光照變化區域。K為經驗閾值，本文選取K為2000。通過記錄光照變化區域個數num(f(i)) 占區域塊總數num(F) 的比重將光照變化分為無光照變化、局部光照突變和全局光照突變。

對于全局光照突變，視頻幀中完全無法定位到真實的前景目標，為了快速消除這種干擾，需要找到合適的新幀圖像來重新構建背景模型。ViBe算法具有單幀建立背景模型的特性，因此可利用光照變化后的第一幀圖像來重新構建新的背景模型。同時為了避免新“鬼影”的出現，通過結合2.1節中“鬼影”消除算法可同步去除；對于局部光照突變，受干擾區域相對較小，通過重新調整背景模型更新因子ψ， 將其設為ψ/2， 加快背景模塊更新使其適應局部光照變化。

3 實驗評價指標與參數設置

3.1 實驗評價指標

為了驗證本文改進算法的有效性，驗證實驗利用VS2017及OpenCV 3.4.1作為開發工具，在內存8 GB、Window10 64位操作系統上進行。為了更有效驗證改進算法的性能，通過參考現有前景檢測相關評價指標，本文選擇查準率Precision、查全率Recall、F度量F-measure和相似度Similarity這4個常用指標作為衡量。具體計算公式如下

(10)

(11)

(12)

(13)

其中，TP表示判定正確的前景點個數，FN表示判定錯誤的背景點個數，FP表示判定錯誤的前景點個數。

3.2 實驗結果與分析

本文采用了網上公開的4個不同室內監控場景下數據集對改進算法性能進行驗證，分別是Le2i公開數據庫中“home”序列和“office”序列、PETS2015公開數據庫中“lightSwitch”序列以及“bootstrap”序列。其中“home”序列和“office”序列選取了首幀包含運動目標的視頻，主要用來驗證改進算法中“鬼影”消除的有效性；“light-Switch”序列以及“bootstrap”序列分別代表了室內突然開燈行為以及外界光線射入影響兩種情形，可以用來評估改進算法對全局光照突變和局部光照突變的適應能力。同時本文還將改進算法與Codebook算法、GMM算法、傳統ViBe算法進行了比較，通過采用主觀評價法與客觀評價法相結合來評價改進算法的性能，各算法在4種不同監控場景下效果如圖7所示。

在“home”序列和“office”序列中，由于視頻序列首幀存在運動目標，傳統的ViBe算法在前景提取時都出現了明顯的“鬼影”影響，而本文改進的ViBe算法對“鬼影”現象進行了有效的抑制；“lightSwitch”序列中，室內一開始為關燈狀態，隨后實驗者進入房間并開起燈光，燈光開起的瞬間相鄰兩幀間發生了明顯的全局光照突變現象。由圖7可知，Codebook算法、GMM算法、傳統ViBe算法都出現了大片的誤檢區域，而本文改進算法通過新幀圖像重新初始化背景模型很快適應了光照的變化；“bootstrap”序列中，由于外界陽光的射入使得室內光線發生了局部光照突變，Codebook算法、GMM算法、傳統ViBe算法都無法適應局部光照的變化，本文改進的ViBe算法通過調整背景更新因子能夠有效地抑制光照的影響。表1顯示了改進算法與Codebook算法、GMM算法、傳統ViBe算法在處理速度上的對比，改進后的算法由于引入了外接矩像素直方圖對比和局部區域積分值匹配，因此相比于傳統的ViBe算法需要更多的處理時間，傳統ViBe算法平均處理速度高達25.2幀/秒，而改進后的算法平均處理速度只達到了20.9幀/秒，但仍能滿足室內監控場景的實時性要求。

圖7 4類場景各算法檢測效果對比

表1 4類場景各算法處理速度對比

為了更全面評估改進算法的性能，本文還對比了4類監控場景中各算法的查準率、查全率、F度量和相似度。由圖8(a)、圖8(c)、圖8(d)可知本文改進算法在查準率、F度量和相似度上都優于其它3類算法，在具有光線變化的復雜監控場景中，如給出的“lightSwitch”序列和“bootstrap”序列中，本文算法在查準率、F度量和相似度上體現的優越性更大。由圖8(b)看出本文改進算法在“lightSwitch”序列和“bootstrap”序列中查全率明顯低于其它3類算法，這是因為其它3類算法在光照變化的影響下帶入了大片誤檢區域，從而使得查全率提升。在“home”序列和“office”序列中，其它3類算法由于內部空洞的影響，導致查全率均較改進算法低。通過與其它3類經典算法的對比可知，本文改進算法具有較高的檢測效果，同時也保證了實時性要求。

4 結束語

圖8 4類場景各算法性能指標對比

ViBe算法是一種高效的前景提取算法，但它在室內監控場景中容易受到“鬼影”及光照變化的影響。針對這兩方面問題，本文對ViBe算法進行了改進。首先通過外接矩像素直方圖對比檢測出“鬼影”區域，再對“鬼影”區域的像素點重新賦值并同步更新背景模型，實現對“鬼影”的快速去除；對于光照變化影響，通過鄰間幀圖像局部區域積分值快速匹配識別全局光照變化和局部光照變化，再根據不同變化情況采用不同改進策略，實現不同光照的快速適應。結果表明，改進的ViBe算法有效地解決了監控場景中“鬼影”及光照變化影響帶來的誤檢問題，提高了室內監控場景前景目標提取的精度。