LOBSTER與MOG結合的目標檢測方法

陳國軍，李開悅，孔李燕，程 琰

(中國石油大學(華東) 計算機與通信工程學院, 山東 青島 266000)

0 引 言

運動目標檢測，即前景/背景分割，是計算機視覺中最基本的任務之一，尤其對于實時視頻流的處理。在視頻監控、行人檢測、電影制作及人機交互等應用中，前景/背景分割作為一種預處理手段為后期圖像處理奠定基礎。

RGB-D相機提供的深度數據對室內場景下的目標檢測具有重要的研究意義，因為它避免了基于顏色信息的目標檢測方法帶來的一些問題，如：光照變化，陰影及由于前景目標和背景顏色相似時產生的顏色偽裝等。

但是，深度相機獲取的深度圖[1]分辨率低，噪聲多，僅通過深度數據分割前景和背景，同樣會產生一些問題。例如，由于物體表面反射、散射及遮擋等影響，深度測量并不總是有效；前景目標輪廓受到深度數據高水平噪聲的影響；場景中的目標物體靠近背景時，產生深度偽裝。

基于上述原因，有效地結合顏色和深度信息分割前景和背景[2-3]，能夠獲得更加精確和可靠的分割效果，降低上述問題產生的影響。對此，文中提出一種有效的目標檢測方法，該方法利用兩種背景差分法分別作用于顏色圖和深度圖：基于改進的LBSP的背景差分法作用于顏色圖；基于一種新的混合模型的背景差分法作用于深度圖。將兩種方法得到的二值圖像以及差分后的Canny邊緣檢測圖通過邏輯運算結合后，經過后期處理操作，將會提高目標檢測的精度，獲得更加完整的目標。

1 相關工作

隨著計算機視覺技術的不斷發展，運動目標檢測技術得到了國內外專家學者的廣泛關注，在傳統的目標檢測方法得到不斷改善的同時，也出現了一些新的算法。在眾多研究方法中，典型的有光流法、幀間差分法、背景差分法。

背景差分法(又稱背景減法)是應用最廣泛的目標檢測方法，該方法檢測速度快，提取的目標也相對完整，但其結果受背景模型的影響較大，因此，如何魯棒性地構建背景模型并適時地更新該模型至關重要。近年來，國內外學者根據場景和應用情況的不同，對傳統的背景差分法進行了改進[4-6]，同時也提出一些新的方法。文獻[7-9]中較為詳細地描述了前景/背景分割算法。

Stauffer等提出的混合高斯背景建模方法[10]是背景建模方法的經典，該方法通常能夠較好地適應復雜場景，后期許多學者對這種方法進行了改進(如Zivkovic[11])，算法的效率和魯棒性都得到了提升。后來，許多學者提出了一些新方法，這些方法無需對視頻序列的像素值進行任何概率估計的假設，其中包括Wang等提出的基于樣本一致性(SACON)的背景建模方法[12]，Barnich等[13]提出的基于像素點的視覺背景提取法(VIBE)，Hofmann等[14]提出的PBAS(pixel-based adaptive segmenter)運動目標檢測法。此外，Bilodeau等[15]提出在紋理空間中使用局部二值相似性模式(LBSP)檢測運動目標的算法；St-Charles P L等[16]提出改進的局部二值相似性模式(LOBSTER)的運動目標檢測算法。

隨著Kinect相機的出現和使用，深度數據被應用到目標檢測過程中。Kinect相機獲取的深度圖用圖像表現出來，即為灰度圖，因此，深度數據可以用到大多數基于顏色數據的背景差分算法中。文獻[17-21]將深度數據引入背景差分法，結合顏色和深度信息來實現前景和背景的分割。Massimo Camplani等[17]提出基于兩個單像素統計分類器結合的前景/背景分割策略，這兩個分類器分別基于顏色和深度數據，通過一個加權均值將兩個分類器的輸出結果結合起來。同年，J. Gallego等[19]提出一個結合顏色和深度信息的前景/背景分割系統，該系統中使用了兩種高斯混合模型，其中前景模型是基于顏色空間和深度空間的，兩種模型通過貝葉斯框架結合起來。文獻[19]的方法比較簡單，在顏色圖和深度圖中用VIBE算法分別提取目標前景，然后用邏輯或運算將兩者結合起來。文獻[20]中提出的方法來源于文獻[10]，將深度信息和振幅信息作為額外的顏色信息加入混合高斯背景模型中。

盡管文獻[17-21]都是結合顏色和深度數據檢測運動目標，但這些方法在同時存在顏色偽裝和深度偽裝的情況下，取得的目標精度并不理想。因此，文中提出在顏色圖和深度圖中使用不同的背景差分法，得到對應的二值圖，同時在顏色圖中使用Canny邊緣檢測算法，將差分后的結果圖與前面得到的兩種二值圖相結合，經過后期處理得到最終的檢測目標。

2 背景差分

背景差分法相對于其他方法能更好地提取前景目標。文中的數據處理流程如圖1所示。

圖1 數據處理流程

2.1 基于LOBSTER的背景差分法

基于LOBSTER的背景差分法是由St-Charles P L[16]等提出，是一種改進的LBSP算法。該方法借鑒了VIBE[13,22]算法的思想，加入鄰域空間信息，并與LBP算子[23]進行結合。

計算LBSP的核心思想是比較中心像素點與鄰域像素的相似性，然后進行編碼，其計算公式為：

(1)

(2)

其中，ix,y表示中心像素(x,y)處的像素值，ix,y,p表示(x,y)的第p個鄰域像素的值,文獻[24]詳細描述了LBSP特征值的中心像素及其鄰域像素的位置信息；Tr為相對閾值，相似度閾值(Tr·ic)隨著中心像素的變化而變化，相比恒定閾值，能夠提高LBSP的精度。在計算LBSP特征值的過程中，如果ix,y與ix,y,p屬于同一區域(稱為intra區域)，得到intra-LBSP算子；如果ix,y與ix,y,p不在同一區域(稱為inter區域)，得到inter-LBSP算子。

由于在LBSP特征值中加入了鄰域像素和中心像素的對比，該方法對噪聲更具魯棒性。intra-LBSP和 inter-LBSP的計算，能夠同時獲得紋理和像素值的變化。

基于LOBSTER的背景差分法，與VIBE算法的思想一致，不同的是，文中將LBSP特征值和像素值同時用于背景差分算法中。此外，在對某像素(x,y)進行背景建模時，把該像素的LBSP特征值及其鄰域像素的LBSP特征值同時加入到背景模型MLBSP(x,y)中，在與MLBSP(x,y)對應的原圖像像素的背景模型Mc(x,y)中加入(x,y)的像素值。詳細的背景建模過程可見文獻[24]。當前幀中某一位置的像素與背景模型匹配的個數超過給定閾值Tmin時，該像素才最終被判定為背景。式(3)為像素類別的判斷公式。

F(x,y)=

假定背景模型中(x,y)處的顏色樣本集為{Mc1,Mc2,…,McN},intra-LBSP樣本集為{MLBSP1,MLBSP2,…,MLBSPN}；BG表示背景像素，FG表示前景像素；#{·}表示符合條件的像素個數；Tmin表示給定的比較閾值；p(x,y)表示當前幀在(x,y)處的像素強度，L1函數用來計算Mci(x,y)和p(x,y)之間的L1距離；LBSP(x,y)表示當前幀在(x,y)位置處的inter-LBSP算子，H函數用來計算MLBSPi(x,y)和LBSP(x,y)之間的漢明距離；TC是顏色閾值，TLBSP是漢明距離閾值。

2.2 基于混合模型的背景差分法

Kinect相機獲取的深度數據與光照、陰影等因素無關，只與物體到相機間的距離有關，因而可以采用Stauffer[10]提出的混合高斯建模方法(簡稱MOG算法)作用于深度數據，構建基于深度數據的背景模型。雖然該方法能夠通過調整像素的模型參數來適應受噪聲影響的深度數據，但由于噪聲點的值變化較大，用該方法來分割背景和前景物體，也會造成錯誤的檢測結果。為降低噪聲對目標檢測精度的影響，文中分別為有深度值和無深度值的像素建立不同的背景模型，從而得到一個混合的背景模型。

對于深度數據中的無深度值的像素(稱為“孔洞像素”)，如果在連續的一段時間內，某一處的像素一直是孔洞像素，文中認為該點的像素為恒定孔洞像素，也被視為背景點。深度值表現了目標或背景物體與相機間的距離，因此，同一位置處的像素值在不同的時刻按照大小進行有序的排列，值最大的表明距離傳感器最遠，表現為背景，即μt=max(Dk),k∈[0,t]；同時，如果前后兩幀的像素值之差超過一定值，則說明有異常值出現。根據此原理，在前N幀圖像背景建模過程中，背景模型不斷更新，其步驟如下：

(1)背景初始化：B0=D0(第一幀為初始背景)

(2)背景模型更新：

if:Dt+1(x,y)=0

Bt+1(x,y)=0;count(x,y)++;

if:count(x,y)≥Thc

BN(x,y)=0;(恒定孔洞)

if:Dt+1(x,y)≠0

if:Bt(x,y)=0

Bt+1(x,y)=Dt+1(x,y);count(x,y)=0;

else:

if:|Dt+1(x,y)-Bt(x,y)|≥Thd·Bt(x,y)

Bt+1(x,y)=min(Dt+1(x,y),Bt(x,y));

else:

Bt+1(x,y)=max(Dt+1(x,y),Bt(x,y));

其中，Bt+1(x,y)、Dt+1(x,y)分別表示t+1時刻(x,y)處的背景值和當前深度值；count(x,y)為(x,y)處的計數器，記錄像素值連續為0的幀數，用來判斷該處像素是否為恒定孔洞像素；Thc表示孔洞的判定閾值(是一個表示幀數的值)，其值的大小受到N值的影響，N越大Thc也越大；Thd為相對閾值，當背景發生變化時，閾值(Thd·Bt(x,y))也發生變化，用該閾值來判斷當前像素值是否為異常值，更具魯棒性。

經過上述背景建模產生一個背景模型BN，該背景在后期過程并不是一成不變的。從第N+1幀開始進行背景差分，同時背景模型(BN)也會更新。如果t時刻，背景模型中(x,y)處的像素為恒定孔洞，若t+1時刻(x,y)處像素值不為0，則該處像素被判定為前景像素，否則為背景像素；如果t時刻，背景模型中(x,y)處的像素不為恒定孔洞，t+1時刻該處像素的分類算法采用Stauffer[10]提出的混合高斯建模方法。其前景/背景分割具體步驟如下：

(1)if:Bt(x,y)=0(恒定孔洞)

Bt+1(x,y)=0;

if:Dt+1(x,y)≠0(只要當前像素不為0，那么視為前景)

FD(x,y)=255;

else:

FD(x,y)=0;(否則，視為背景)

(2)else:(MOG算法)

if:FD(x,y)=0(當前像素被判定為背景，背景模型中匹配的高斯函數參數更新)

υi,t+1=υi,t(1-α)+α;

else:(當前像素被判定為前景，不匹配的高斯函數中只有權值更新，其余參數不變)

υi,t+1=υi,t(1-α);

高斯分布重新排序：γi=ωi,t/σi,t;

前B個高斯分布被選為背景模型：

其中，MOG算法中背景模型的似然函數為：

其中，K表示高斯分布數量(一般取3～5間的數)；α表示學習率(0<α<1)，決定了適應場景變化的速度，場景變化越快，α越大；υi,t表示第i個高斯函數在t時刻的權值，其均值為μi,t，∑i,t表示其協方差矩陣。

2.3 Canny邊緣檢測差分圖

由于深度圖的分辨率低，邊界受噪聲影響較大，而Kinect獲取的彩色圖的分辨率高，邊界更加完整。Canny的目標是找到一個最優的邊緣檢測算法。文中采用Canny邊緣檢測方法作用于彩色圖，得到差分后的邊緣檢測圖，為獲取較好的邊界，在邊緣檢測圖上進行形態學膨脹操作，得到最終的Canny邊緣檢測差分圖DCanny。計算公式為:

DCanny=ICanny-BCanny

(5)

其中，ICanny表示當前幀邊緣檢測圖；BCanny表示作為背景的邊緣檢測圖，文中取圖像序列的第一幀為背景邊緣檢測圖。

2.4 后期處理

經過2.1-2.3節后，用邏輯或運算將三部分得到的圖像結合，得到較為完整的前景目標，但目標圖像中可能會出現部分的噪聲及孔洞，因此需要經過后期的處理操作。文中采用的后期處理操作包括：中值濾波(3*3)、腐蝕膨脹、4-鄰域孔洞填充。

3 實驗結果與分析

文中采用假陽率FPR、假陰率FNR、準確率Precision、召回率Recall、F-measure參數作為評價指標。為驗證該方法的有效性,將MOGziv[11]、PBAS[14]、VIBE[13]算法分別作用于顏色圖和深度圖，得到對應的二值圖，然后通過邏輯或運算將得到的二值圖結合，得到三種方法的分割結果圖。將用文中方法得到的結果圖與上述三種方法得到的結果圖以及單獨用顏色和深度數據得到的結果圖進行了對比。數據來自Massimo Camplani等提供的數據集，針對要解決的問題，只在ColCamSeq和DCamSeq圖像序列上進行對比。

3.1 定性分析

ColCamSeq場景旨在測試當存在顏色偽裝時文中方法的性能。圖2(a)、(b)分別表示用Kinect相機獲取的該場景中的顏色數據和深度數據，其中一個白色的盒子在一個白色平板前面移動，而白色平板屬于背景。圖3展示了不同算法在ColCamSeq上得到的分割結果圖。從圖中可以看出，單獨使用顏色數據得到的FNR值較高，獲取的目標不太完整，在目標區域出現空洞；PBAS算法和VIBE算法的FPR值較高，分割結果要比原目標區域大；而文中方法降低了FNR和FPR的值，使獲得的目標更加完整，檢測精度更高。

圖2 Kinect采集的圖像序列

圖3 ColCamSeq第928幀分割結果

DCamSeq場景是為了測試當存在深度偽裝時文中方法的性能。圖3(c)、(d)分別表示該場景的顏色數據和深度數據，人的手逐漸靠近檔案柜，而檔案柜是背景中的一部分。從圖4可以看出，由于圖中存在深度偽裝，單獨使用深度數據得到的FNR值很高，檢測到的目標不完整；同時，手和檔案柜顏色也較相似，僅用顏色數據取得的分割效果并不十分理想，對比其他方法得到的結果精度也不理想；而文中方法在結合Canny邊緣檢測的差分圖后，得到的目標輪廓更加完整，FNR和FPR值都相對較低。

綜上所述，文中方法在存在顏色偽裝和深度偽裝的情況下，得到的分割效果要優于對比的幾種方法。

圖4 DCamSeq第974幀分割結果

3.2 定量分析

表1、表2展示了文中方法與對比方法在ColCamSeq和DCamSeq圖像序列上的精度分析。在數據集中提供了手工繪制的真值圖，選取其中一部分真值圖像與文中方法所得結果圖進行了對比分析，其中選取ColCamSeq中第847幀到1 081幀中的39幀，在DCamSeq中選取第839幀到1 199幀中的61幀。由于數據集中的數據為圖像序列，所以結果分析以參數的平均值形式表現。

表1 ColCamSeq的檢測精度

表2 DCamSeq的檢測精度

表1表明，在存在顏色偽裝的情況下，Z. Zivkovic提出的混合高斯背景建模的方法能夠取得較高的Precision、Recall、F-measure值，其檢測結果較好；文中方法得到的FPR和FNR值比MOGziv方法都低，其他的參數結果也都優于Z. Zivkovic提出的方法。

表2表明，在存在深度偽裝的情況下，只使用顏色數據取得的結果較好，雖然文中方法取得的FPR值較高，但Recall和F-measure值要明顯高于其他對比方法。

根據上述分析可知，文中方法在存在顏色偽裝和深度偽裝的情況下，均能較好地分割前景目標和背景，而且分割精度較高。

4 結束語

針對場景中存在的顏色偽裝和深度偽裝問題，提出一種融合顏色和深度數據檢測目標的方法。與其他方法不同的是，文中在顏色和深度數據分別采用不同的目標檢測方法，在顏色圖中用基于LOBSTER的背景差分法，得到分割后的二值圖；在深度圖中用提出的基于混合背景模型的背景差分法，得到分割后的二值圖；同時，還用差分后的Canny邊緣檢測圖來補充目標輪廓；最后，通過形態學濾波、孔洞填充、腐蝕膨脹等后期操作完善分割結果。實驗結果表明，該方法在測試數據集上比其他對比方法獲取的目標更加完整、精度更高。同時，在結果圖中噪聲點依然存在，盡管在2.2中對孔洞像素單獨進行背景建模，也處理了部分異常值，減少了部分噪聲，但并未對差分過程中出現的異常值進行處理，因此，增加了結果分析中的FPR值。后期工作中會針對上述問題做進一步改善。同時，還會通過超像素分割方法，來加快算法執行的速度，從而提高目標檢測的實時性。