基于立體匹配的改進ViBe算法

楊 碩，吉愛萍

(沈陽化工大學 計算機科學與技術學院，遼寧 沈陽 110142)

0 引 言

運動目標檢測算法是計算機視覺的基礎，應用廣泛，因此受到了很多學者的關注并提出了大量的算法，其中具有代表性的有高斯混合模型[1]和ViBe算法[2]等。特別是ViBe算法，作為一種通用場景的運動目標檢測算法，采用了隨機更新策略，計算過程簡潔、高效，同時還具有占用資源少，能夠在大分辨率下實時運行的優點。但原ViBe算法不能很好地處理運動目標檢測算法中常見的問題，如鬼影、陰影、光照變化和周期性運動目標等。因此，很多學者將經典ViBe算法作為一個框架，并在此基礎上修改或添加自己的模塊以實現不同的功能。例如，文獻[3-4]通過擴大樣本的取值范圍或增加樣本的比較次數改善ViBe的鬼影和陰影問題；文獻[5-6]通過幀間差分或三幀差分改善Vibe的鬼影問題；文獻[7]通過MeanShift迭代改善ViBe鬼影問題，等等。

同時，近年來，隨著硬件設備性能的提高，以及新的、高效的算法的出現，越來越多的學者嘗試將深度信息融合到傳統的基于單攝像機的運動目標檢測算法中。深度信息的引入能夠在一定程度上改善運動目標檢測算法固有的難題[8-11]，如鬼影、光照變化和目標-背景顏色相近等。但多數學者使用深度相機獲取深度信息，由于深度相機技術的不成熟，使得融合后的運動目標檢測算法的效果受到了一定限制。具體地，市場上已經商品化的深度相機一般采用激光散斑和TOF(time of flight，飛行時間)技術，存在的主要問題有：價格昂貴，除微軟的Kinect外，動輒數萬元；相機參數固定，對可測的場景深度有要求，基于激光散斑的難以在室外強光下使用；受到傳感器和計算量的限制，獲取的深度圖像分辨率較低，如TOF深度相機獲取的深度圖像的水平和垂直分辨率僅在200～300之間。以上這些問題使得基于深度相機的運動目標檢測算法很難適應通用的視頻場景，如大場景、室外監控等，限制了算法的應用。

綜上分析，考慮到使用非硬件的方式，即立體匹配算法[12-14]，也可以獲得深度信息，且效果取決于算法本身而不受限于硬件平臺，兩個攝像機也可以隨意搭配，具有很大的靈活性。因此，文中提出一種基于立體匹配的運動目標檢測算法，并用深度信息改進ViBe算法實現運動目標的檢測。首先，考慮到實時性，提出一種基于隨機選擇策略的局部立體匹配算法，局部算法的計算范圍僅在有限的窗口內進行[15-16]，因此速度快，能夠滿足視頻的實時處理。具體地：算法在背景建模期間隨機選擇匹配點，將原本計算量大的立體匹配算法分成若干部分進行，這樣，隨著時間的推移，背景圖像和深度圖像將由粗到精地求出。而對于前景，也采用類似的隨機選擇策略估計出運動目標與背景的深度差異(大于、小于或等于)。然后，根據前景和背景的深度差異調整ViBe前景樣本點被更新的概率并采用ViBe更新算法更新樣本點。最后，達到運動目標檢測和抑制鬼影、光照變化的目的。

1 文中方法

文中提出算法的流程如圖1所示。

圖1 算法流程

1.1 ViBe像素分類

ViBe算法使用隨機更新背景像素的策略，它的背景模型中的每一個像素由N個背景樣本點組成。令圖像(x,y)位置的像素為v(x,y)，則背景模型M可以表示為：M(x,y)={v1,v2,…,vN}。ViBe算法的分類過程為：令DS(x,y)為像素距離度量函數，則滿足式(1)的像素被分類為背景。

#{M(x,y)|DS(v(x,y),vi)

M(x,y)

(1)

其中，R為距離閾值。

當M(x,y)中與v(x,y)的距離小于R的樣本個數不少于#min時，v(x,y)被分為背景，反之為前景。

1.2 背景像素深度計算

令vL和vR為左、右視頻幀。首先，定義匹配點樣本集合W(x,y)={φ1,φ2,…,φdm}，其中dm(depth max)為給定的視差最大值；φi(1≤i≤dm)為樣本，i表示深度。φi由以下項目組成：

(1)ds和φmatch：ds為vL(x,y)和vR(x+i,y)的匹配代價，φmatch為由ds轉換得到的分數值；

(2)φbelief和φb-adj：分別為置信度分數和由鄰域置信傳播得到的分數值；

(3)φskip：用于抑制不穩定的或低置信度的匹配點所用的分數值。

對于分類為背景的像素，使用類似于ViBe的隨機選擇匹配策略獲取該點深度，具體的算法思路和流程如下：

(1)掃描左視頻幀。對于像素vL(x,y)，有δsel的概率被繼續處理(轉到步驟2)，否則跳過處理下一個像素。δsel的取值決定了算法速度，典型值為1/10～1。

(2)計算匹配代價。對于滿足δsel概率的像素vL(x,y)，隨機產生一個深度值d，并生成一個d深度樣本φd(x,y)，按照式(2)計算和右幀像素vR(x+d,y)的匹配代價：

(2)

其中，第一項是灰度代價，第二項是梯度代價，κ是權重，文中取0.2，令梯度權重更多一些。

1≤i≤dm

(3)

(3)繼續計算該d深度樣本的置信度分數：

(4)

(5)

其中，δadj為傳播分數，取5～10。

(6)

(7)

其中，γ為衰減系數，取0.8～0.95效果較好。

衰減過程類似于運動目標檢測算法中的背景建模過程，從鄰域傳遞過來的分數會隨著距離和時間不斷衰減，以防止分數堆積導致所占比例過大。然后，轉步驟1繼續掃描下一像素，直到整幀處理完畢。

1.3 估計前景-背景深度差異

對于運動目標檢測算法，前景深度不需要精確求出，只要判斷出前景和背景的深度差異(大于、小于或等于)即可，三種情況分為：

(1)前景和背景深度相同：如果背景深度置信度高，則可能是陰影或光照變化等原因；反之，可能是由前景和背景距離攝像機較遠或目標邊界干擾等原因造成。

(2)前景深度大于背景：如果背景深度置信度高，則可能是鬼影，或者是匹配錯誤造成。

(3)前景深度小于背景：正常的運動目標。

具體的估計算法流程為：

(3)同步驟2，生成若干個大于背景深度的隨機深度，將匹配代價最小的記作dsHigh。，

1.4 ViBe樣本更新

經典的ViBe算法對分類為背景的像素會以一定的概率將其更新為分類樣本(加入到M(x,y)中)，并以一定概率向鄰域傳播；對于分類為前景的像素，則以很低的概率更新或者根據存在時間的長短進行更新。

2 實驗和結果分析

算法在Windows 10+Visual Studio 2012+OpenCV 2.4.6環境下實現。計算機主要配置為Intel Core I7處理器，8 GB內存。由于常用的運動目標檢測算法視頻庫中缺少能夠產生深度圖的左右圖像視頻，因此使用兩個海康網絡攝像機獲取實驗視頻，視頻幀率為15幀/秒，將視頻分辨率調整為400×300。文中算法的主要參數設置為：

(1)立體匹配部分：最大深度(視差)dm為30，更新概率δsel為1/6，匹配代價權重為0.2，置信度傳播分數δadj為8，跳變抑制分數δskip為10，衰減系數γ為0.85。

(2)ViBe部分：樣本個數為15，距離閾值R為20，像素分類閾值#min為4，更新概率為1/16。

實驗中使用的對比算法是經典ViBe算法，其參數設置同文中算法的ViBe部分。

2.1 鬼影抑制

鬼影是由靜止的物體突然運動而產生的偽運動目標，鬼影抑制能力是衡量運動目標檢測算法好壞的一個重要標準。圖2為經典ViBe算法和文中改進算法對鬼影的抑制效果，其中產生鬼影的物體是一個遙控玩具機器人：視頻第212幀時玩具開始向右運動，226幀時運動到一個新的位置，從而在原位置產生了鬼影。圖2(c)、(d)分別是經典ViBe算法和文中算法在237幀得到的前景(運動目標)圖像，圖2(d)中純白色像素表示運動目標，背景是深度圖。由于文中算法引入了深度信息，在目標突然移動時，鬼影處的深度信息由真實背景的深度代替，深度值會突然增加，算法對這樣的像素加大更新概率，從而達到快速消除鬼影的目的。

圖2 鬼影抑制效果對比

圖3展示了兩種算法的鬼影隨時間變化的情況。

從圖中可見，文中算法在第300幀時鬼影已經基本消失，鬼影存在的時間約為88幀(300-212)；而經典ViBe算法在第516幀時才基本消失，比改進算法慢了3倍多。

2.2 光照變化抑制

圖4是兩算法抑制光照變化的結果，圖4(a)為初始幀，此時場景左側燈光未點亮，第99幀時，左側燈光突然點亮產生圖4(b)。圖4(c)、(d)為產生光照突變50幀后經典ViBe算法和文中算法的效果。可以看出，雖然過了一段時間，但經典ViBe算法依然殘余大量的偽目標。與處理鬼影相似，文中算法根據偽目標的深度與背景一致的性質快速消除了光照帶來的影響。

圖3 鬼影偽前景像素數量對比

圖4 光照變化抑制效果對比

圖5為光照變化的偽前景像素數量隨時間逐漸減少的情況。由圖可見，文中算法的下降速度遠快于經典ViBe算法，并在181幀時偽前景幾乎消失干凈，偽前景像素的持續時間為80幀；而經典ViBe算法直到350幀時才消失干凈，持續時間為文中算法的3倍多。

圖5 光照變化偽前景像素數量對比

2.3 陰影抑制

圖6為算法對陰影的抑制效果。文中算法對陰影的處理與光照突變相同，都是利用前景和背景深度相同的特點增大前景點更新概率實現的，但是不同的是，陰影是隨運動目標不斷運動的，因此，僅通過深度信息完全去除陰影是不可能的，只能產生一定的抑制效果。由圖6可見，經典ViBe算法產生的陰影面積較大，而文中算法產生的陰影面積較小。

圖6視頻幀長度為326幀，目標一直處于運動狀態，通過每隔30幀手工計算經典ViBe和文中算法陰影面積的大小并求平均值，得出文中算法陰影面積平均比經典ViBe算法小29%，在抑制陰影方面比原算法有所提升。

圖6 陰影抑制效果對比

2.4 算法效率對比

由于文中算法使用了隨機更新策略，因此在計算量上相比經典ViBe算法并未增加太多。文中算法的平均處理時間為109 ms/幀，幀速維持在8～10 幀/s，平均為9 幀/s，達到了準實時的效果。

3 結束語

文中提出的立體匹配算法和改進的ViBe運動目標檢測算法是一個整體，而不是獨立的兩個部分，在硬件上只要求一臺計算機和兩臺型號相同的普通攝像機即可，因此成本很低，易實現。同時，也克服了專用的激光散斑和TOP深度相機對環境要求高的問題，并可以通過調整兩臺攝像機的間距改變檢測的深度范圍，具有很大的靈活性和應用范圍。不足之處在于，為了降低計算量，該算法僅用灰度信息作為特征，在像素分類效果上遠差于顏色信息，同時深度圖的精度還有待提高，這些問題將會在未來的研究中得以解決。

[1] STAUFFER C,GRIMSON W.Adaptive background mixture modelsfor real-time tracking[C]//Proceeding of IEEE conference on computer vision and pattern recognition.Piscataway,NJ:IEEE,1999.

[2] BARNICH O, DROOGENBRECK M V. ViBe:a powerfu1 random technique to estimate the background in video sequences[C]//Proceeding of ICASSP 2009.Taipei：IEEE Computer Society Press,2009:945-948.

[3] 余 燁，曹明偉，岳 峰.EVibe:一種改進的Vibe運動目標檢測算法[J].儀器儀表學報,2014,35(4):924-931.

[4] 陳 亮，陳曉竹，范振濤.基于Vibe的鬼影抑制算法[J].中國計量學院學報,2013,24(4):425-429.

[5] 趙光明，韓 光，李曉飛,等.基于融合幀間差的改進Vibe方法[J].計算機技術與發展,2015,25(3):76-80.

[6] 徐久強，江萍萍，朱宏博,等.面向運動目標檢測的ViBe算法改進[J].東北大學學報:自然科學版,2015,36(9):1227-1231.

[7] 張夏清，茅耀斌.一種改進的ViBe背景提取算法[J].計算機技術與發展,2016,26(7):36-39.

[8] 楊 磊，任衍允，蔡紀源.一種基于深度數據的高斯模型運動目標檢測方法[J].計算機技術與發展,2015,25(9):27-30.

[9] LEENS J,PIERARD S,BARNICH O,et al.Combining color,depth,and motion for video segmentation[C]//International conference on computer vision systems.[s.l.]:[s.n.],2009:104-113.

[10] OTTONELI S,SPAGNOLO P,MAZZEO P L,et al.Improved video segmentation with color and depth using a stereo camera[C]//IEEE international conference on industrial technology.Western Cape,South Africa:IEEE,2013:1134-1139.

[11] 胡良梅，段琳琳，張旭東,等.融合顏色信息與深度信息的運動目標檢測方法[J].電子與信息學報,2014,36(9):2047-2052.

[12] SUN J,ZHENG N N,SHUM H Y.Stereo matching using belief propagation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(7):787-800.

[13] WANG L,YANG R G.Global stereo matching leveraged by sparse ground control points[C]//IEEE conference on computer vision and pattern recognition.Washington,DC,USA:IEEE Computer Society,2011:3033-3040.

[14] HIRSCHMULLER H.Stereo processing by semiglobal matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.

[15] MIRCEA P M,SERGIU N,RADU D.Patch warping and local constraints for improved block matching stereo correspondence[C]//12th international conference on intelligent computer communication and processing.[s.l.]:IEEE,2016:321-327.

[16] ZHANG K,LI J Y,LI Y J,et al.Binary stereo matching[C]//21st international conference on pattern recognition.Tsukuba,Japan:[s.n.],2012:356-359.