基于核密度估計(jì)和馬爾科夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)檢測(cè)

魏磊，魏江

（西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710072）

運(yùn)動(dòng)目標(biāo)檢測(cè)在計(jì)算機(jī)視覺(jué)領(lǐng)域是一個(gè)重要的研究方向，精確快速的運(yùn)動(dòng)目標(biāo)檢測(cè)算法能使目標(biāo)跟蹤、分類和行為理解等獲得更好的效果。

影響運(yùn)動(dòng)目標(biāo)檢測(cè)準(zhǔn)確性的因素主要有動(dòng)態(tài)背景和光照變化。常見的動(dòng)態(tài)背景有相機(jī)抖動(dòng)、樹葉擾動(dòng)、水面波動(dòng)和背景物體位置變動(dòng)等，常見的光照變化有長(zhǎng)時(shí)的緩慢光照變化（如晝夜變化）、短時(shí)的光照突變（如開關(guān)燈）和局部的光照變化（陰影）。

運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要有基于幀間差的方法、光流法和基于背景建模的方法。基于背景建模的方法因其較高的準(zhǔn)確度，較好的魯棒性，成為目前應(yīng)用最為廣泛的方法，它可分為基本背景建模[1-2]、基于聚類背景建模[3-4]和基于統(tǒng)計(jì)背景建模。基于統(tǒng)計(jì)背景建模又可分為參數(shù)背景建模[5-6]和非參數(shù)背景建模[7]。非參數(shù)背景建模無(wú)需預(yù)先對(duì)模型進(jìn)行假設(shè)也不需對(duì)其參數(shù)進(jìn)行顯示的估計(jì)，適用于各種分布的數(shù)據(jù)，魯棒性好，文獻(xiàn)[8]基于貝葉斯模型和馬爾科夫隨機(jī)場(chǎng)的方法，文獻(xiàn)[9]基于混合高斯模型和粒子群優(yōu)化的方法，分別是非參數(shù)背景建模和參數(shù)背景建模中的優(yōu)秀方法。

馬爾科夫隨機(jī)場(chǎng)描述的是，任意點(diǎn)的局部條件概率密度由其鄰域的概率分布決定。通過(guò)引入馬爾科夫隨機(jī)場(chǎng)，可以保持目標(biāo)和背景像素的空間連續(xù)性。同時(shí)考慮到非參數(shù)背景建模的優(yōu)勢(shì)，提出一種基于核密度估計(jì)和馬爾科夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，對(duì)背景擾動(dòng)和光照變化具有較強(qiáng)的魯棒性，錯(cuò)誤檢測(cè)率更低。

1 算法描述

1.1 算法步驟

本文算法對(duì)每個(gè)新采集到的樣本，利用擴(kuò)展的特征向量估計(jì)出其屬于背景的概率密度，再根據(jù)概率密度和空間連續(xù)性約束構(gòu)造馬爾科夫隨機(jī)場(chǎng)，并通過(guò)最小化其能量函數(shù)得到目標(biāo)分割結(jié)果。

具體算法步驟如下：

Step 1讀取待檢測(cè)視頻的前N幀，計(jì)算每一像素點(diǎn)的色度分量[r，g]和顏色空間運(yùn)動(dòng)矢量分量d，構(gòu)成用于核密度估計(jì)的特征向量[r，g，d]，建立背景模型；

Step 2利用核密度估計(jì)，計(jì)算當(dāng)前幀每一像素點(diǎn)屬于背景的概率密度 P（x|lB）；

Step 3根據(jù)Step 2計(jì)算所得的P（x|lB）和空間連續(xù)性約束構(gòu)造馬爾科夫隨機(jī)場(chǎng)能量函數(shù)E（l），并利用圖論的最小切算法得到使得該能量函數(shù)最小的標(biāo)記場(chǎng)，此即為當(dāng)前幀的分割結(jié)果，輸出標(biāo)記結(jié)果；

Step 4判斷是否為最后一幀，若不是，則按照更新規(guī)則將之前的幀乘以衰減系數(shù)α更新背景模型，然后轉(zhuǎn)入Step 2，若是，則結(jié)束退出。

1.2 核密度估計(jì)

本文采用核密度估計(jì)計(jì)算當(dāng)前幀每一像素點(diǎn)屬于背景的先驗(yàn)概率密度[10]，假設(shè)x為當(dāng)前幀某一像素點(diǎn)在特征空間中的特征向量，x1，x2，…xN為前N幀該像素點(diǎn)在特征空間中的特征向量，則當(dāng)前幀這一像素點(diǎn)屬于背景的概率密度可用下式估計(jì)：

其中K為核函數(shù)，若取高斯核，則概率密度函數(shù)如下：

其中，d為特征向量x維數(shù)，lB表示當(dāng)前像素點(diǎn)標(biāo)記為背景，Σ為核函數(shù)帶寬，文獻(xiàn)[10]假設(shè)顏色空間的各個(gè)分量是獨(dú)立的，使得Σ是正定對(duì)角陣。實(shí)際上，每一個(gè)顏色通道并非完全獨(dú)立，可利用前N幀樣本相鄰幀間差值的協(xié)方差矩陣[11]近似估計(jì)Σ：

為減小光照影響，將像素點(diǎn)由顏色空間[R，G，B]轉(zhuǎn)換到顏色空間[r，g，I][10]：

將色度和亮度分離。光照變化可近似認(rèn)為只影響亮度分量I，而對(duì)色度分量[r，g]影響較小。像素點(diǎn)僅受光照變化影響而景物并未變化的情況下，I會(huì)保持在一個(gè)范圍內(nèi)，α＜I/E（I）＜β[10]，E（I）為I的均值。 利用[r，g]進(jìn)行核密度估計(jì)，可以減少光照變化的影響，但在像素點(diǎn)飽和度很低或是很暗的情況下，色度信息很少，僅利用[r，g]會(huì)帶來(lái)較大誤差。因此，本文提出在[r，g]的基礎(chǔ)上加入顏色空間運(yùn)動(dòng)矢量這一分量，以進(jìn)一步增強(qiáng)對(duì)背景擾動(dòng)和光照變化的魯棒性。

背景擾動(dòng)和光照變化可以看作是像素點(diǎn)在顏色空間的運(yùn)動(dòng)，相機(jī)的抖動(dòng)，樹葉的擾動(dòng)，水波紋和長(zhǎng)時(shí)的光照變化（如晝夜交替）等，像素點(diǎn)在顏色空間的運(yùn)動(dòng)模式是相對(duì)固定的，對(duì)其運(yùn)動(dòng)矢量的模進(jìn)行核密度估計(jì)，也可以得到一個(gè)多峰的概率密度函數(shù)，概率密度較高判斷為背景，概率密度較低則判斷為前景。令運(yùn)動(dòng)矢量的模為d：

本文計(jì)算的為 2-范數(shù)。 在[r，g]內(nèi)加入分量d，得到[r，g，d]，將其作為核密度估計(jì)的特征向量，可進(jìn)一步增強(qiáng)算法對(duì)背景擾動(dòng)和光照變化的魯棒性，不加分量d和加入分量d估計(jì)的當(dāng)前幀概率密度如圖1所示，每個(gè)像素點(diǎn)灰度值的大小表示該點(diǎn)概率密度值的大小，灰度值高表示概率密度低，灰度值低表示概率密度高，由圖可見，加入分量d后結(jié)果更加準(zhǔn)確。由于加入了分量d，核函數(shù)帶寬：

其中，Σr，g和Σd分別按照式（3）計(jì)算。

1.3 馬爾科夫隨機(jī)場(chǎng)

馬爾科夫隨機(jī)場(chǎng)描述的是，任意點(diǎn)的局部條件概率密度由其鄰域的概率分布決定。考慮目標(biāo)和背景像素具有空間連續(xù)性的特點(diǎn)，對(duì)當(dāng)前像素點(diǎn)加入空間連續(xù)性約束即條件概率PMRF（lx|li，j），l∈{lB，lF}，（i，j）∈U，lx為當(dāng)前像素點(diǎn)標(biāo)記，lB表示標(biāo)記為背景，lF表示標(biāo)記為前景，U為當(dāng)前像素點(diǎn)的鄰域，比如說(shuō)4-鄰域或8-鄰域，根據(jù)貝葉斯定理，當(dāng)前像素點(diǎn)加入空間連續(xù)性約束后判斷為背景和前景的后驗(yàn)概率密度如下：

圖1 不加分量d和加入分量d概率密度對(duì)比圖Fig.1 Contrast figure of probability density calculated with and without d

di，j為一常數(shù)，其大小決定了分割結(jié)果的平滑程度。令PMRF（lB|x）和PMRF（lF|x）為PMRF（l），那么，求當(dāng)前幀的最佳前景背景分割，就是求當(dāng)前幀每一點(diǎn)的標(biāo)記l，使所有像素點(diǎn)標(biāo)記的聯(lián)合概率最大。

對(duì)式（14）兩端求負(fù)自然對(duì)數(shù)，則求其最大值可轉(zhuǎn)化為求能量函數(shù)最小值。略去常數(shù)項(xiàng)，能量函數(shù)如下：

先驗(yàn)概率密度（P（x|lB））和（P（x|lF））有很多零值或很大的值，直接求負(fù)自然對(duì)數(shù)會(huì)得到許多極大的數(shù)或是無(wú)窮，造成數(shù)據(jù)溢出和漏警，對(duì)后續(xù)最小切的計(jì)算也會(huì)帶來(lái)困難。通常（P（x|lB））越大，像素點(diǎn)越接近于背景，（P（x|lF））就越小；（P（x|lB））越小，像素點(diǎn)越接近于前景目標(biāo)，（P（x|lF））就越大。考慮上述兩個(gè)原因，本文提出E（l）的第一項(xiàng)D（lx）用如下飽和線性函數(shù)近似表示：

其中，P（lB|x）按式（2）計(jì)算，Q為D（lB）的最大值，表示判斷為背景的代價(jià)項(xiàng)最大可為多少；λ為正的常數(shù)，且0＜λ＜1，λ越大，D（lF）的最大值越小，判斷為前景的代價(jià)越小，漏警率越低，相應(yīng)的虛警率越高。令之前幀算得的同一像素點(diǎn)的先驗(yàn)概率密度集合為A={P（x|lB），x∈x1…xN}，對(duì)于這一像素點(diǎn)，θ為大于A中ρ%的數(shù)的最小值，θ/λQ表示線性飽和函數(shù)線性部分的斜率。

再加入亮度分量的影響，如果當(dāng)前像素點(diǎn)的I滿足0.6＜I/E（I）＜1.5[12]，那么D（lB）= μD（lB）， μ 為一個(gè)小于 1 的正常數(shù)。

計(jì)算馬爾科夫隨機(jī)場(chǎng)能量函數(shù)（15）最小值的過(guò)程，可以轉(zhuǎn)化為計(jì)算圖的最小切過(guò)程[13]，每一個(gè)像素點(diǎn)和前景背景標(biāo)記為圖的節(jié)點(diǎn)，前景和背景標(biāo)記分別為源和匯，這樣共有M×N+2個(gè)節(jié)點(diǎn)，M×N為幀的大小，D（lx）為像素節(jié)點(diǎn)連接源和匯的邊，V（i，j）為連接像素節(jié)點(diǎn)間的邊。最小切算法的結(jié)果使子圖中每個(gè)節(jié)點(diǎn)只與源或匯相連，這便是使能量函數(shù)最小的最佳分割，也就是最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。

1.4 背景模型的更新

由于距離當(dāng)前幀越早的幀，與當(dāng)前背景的相關(guān)性往往越低，因此需要對(duì)較早的幀進(jìn)行衰減。本文采用的方法為每次更新時(shí)，將之前的幀乘上衰減系數(shù)α。當(dāng)前幀85%都判斷為前景時(shí)，說(shuō)明背景發(fā)生了突變，如鏡頭的切換或者劇烈的光照變化，此時(shí)α取0.01，近似于重新建立背景模型，否則，α取0.99[8]。通過(guò)這一更新方法，可以減小由于太早的幀與當(dāng)前背景相關(guān)性過(guò)低造成的誤差。

2 實(shí)驗(yàn)結(jié)果及分析

1）TOD序列的實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)光照變化的序列有更強(qiáng)的魯棒性，得到的目標(biāo)更接近真值；

2）從WT序列的結(jié)果可看出，本文算法對(duì)背景擾動(dòng)有更強(qiáng)的魯棒性。由于加入了像素連續(xù)性約束，檢測(cè)出的目標(biāo)邊緣稍有模糊，但從FA序列的結(jié)果看，加入的處理可消除目標(biāo)內(nèi)空洞；

3）從CF的結(jié)果看，本文算法對(duì)背景和目標(biāo)色度相近的情況也能取得更好的檢測(cè)效果；

4）對(duì)BS序列，本文算法漏檢了一些處于相同位置較長(zhǎng)時(shí)間的小目標(biāo)，這是因?yàn)殚L(zhǎng)時(shí)間靜止的目標(biāo)屬于背景的先驗(yàn)概率密度較高，并且小目標(biāo)通過(guò)能量函數(shù)的計(jì)算，易于被背景淹沒(méi)。

從表1可以看出本文算法比另兩種算法錯(cuò)誤檢測(cè)率η更低。但正如前面所述，BS序列的錯(cuò)誤檢測(cè)率η偏高，這一點(diǎn)上算法有待改進(jìn)。

3 結(jié) 論

文中提出了一種基于核密度估計(jì)和馬爾科夫隨機(jī)場(chǎng)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[15]。在特征向量中加入顏色空間運(yùn)動(dòng)矢量分量，提高了對(duì)背景擾動(dòng)和光照變化的魯棒性；用飽和線性函數(shù)計(jì)算能量函數(shù)代價(jià)項(xiàng)，避免了數(shù)據(jù)溢出導(dǎo)致的計(jì)算失敗。實(shí)驗(yàn)證明，本文算法比文獻(xiàn)[8]和文獻(xiàn)[9]算法的漏警和虛警率更低，對(duì)背景擾動(dòng)和光照變化具有更強(qiáng)的魯棒性。文中算法的不足在于對(duì)場(chǎng)景中較小且長(zhǎng)時(shí)間不動(dòng)的目標(biāo)檢測(cè)不是很理想，這是下一步研究和改進(jìn)的方向。

圖2 針對(duì)Wallflower測(cè)試集的結(jié)果對(duì)比圖Fig.2 Results on the Wallflower dataset for the three methods

表1 針對(duì)Wallflower測(cè)試集的誤警數(shù)、漏警數(shù)和錯(cuò)誤檢測(cè)率Tab.1 Comparison on the Wallflower dataset for the three methods

[1]Lee B，Hedley M.Background estimation for video surveillance[C]//New Zealand：Image and Vision Computing New Zealand，2002：315-320.

[2]Zheng J，Wang Y，Nihan N，et al.Extracting roadway background image：a mode based approach[J].Journal of the Transportation Research Board， 2006（1944）：82-88.

[3]Butler D，Sridharan S.Real-time adaptive background segmentation[C]//China：International Conference on Acoustics，Speech and Signal Processing，2003：349-352.

[4]Ilyas A，Scuturici M，Miguet S.Real-time foreground-background segmentation using a modified codebook model[C]//Genova：AdvancedVideoandSignalBasedSurveillance，2009：454-459.

[5]Wren C，Azarbayejani A，Darrell T，et al.Pfinder：real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

[6]Stauffer C，Grimson W.Adaptive background mixture models for real-time tracking[C]//America：Proceedings IEEE Conference on Computer Vision and Pattern Recognition，1999：246-252.

[7]Elgammal A，Harwood D，Davis L.Non-parametric model for background subtraction [C]//Ireland：6th European Conference on Computer Vision，2000：751-767.

[8]Sheikh Y，Shah M.Bayesian modeling of dynamic scenes for object detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（11）：1778-1792.

[9]White B，Shah M.Automatically tuning background subtraction parameters using particle swarm optimization[C]//China：IEEE International Conference on Multimedia and Expo，2007：1826-1829.

[10]Elgammal A，Duraiswami R，Harwood D，et al.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceedings of The IEEE，2002，90（7）：1151-1163.

[11]Tavakkoli A，Nicolescu M，Bebis G.Automatic statistical object detection for visual surveillance[C]//America：Proceedings of the IEEE Southwest Symposium on Image Analysis and Interpretation，2006：144-148.

[12]Schindler K，Wang H.Smooth foreground-background segmentation for video processing[C]//India：Asian Conference on Computer Vision，2006：581-590.

[13]Boykov Y，Kolmogorov V.An experimental comparison of min-cut/max-flow algorithmsforenergyminimization in vision[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（9）：1124-1137.

[14]Toyama K，Krumm J，Brumitt B，et al.Wallflower：Principles and practice of background maintenance[C]//Greece：International Conference on Computer Vision，1999：255-261.

[15]黃錦殿，柴衛(wèi)東.基于小波分析的氫渦輪泵低溫軸承保持架故障特征辨識(shí)[J].火箭推進(jìn)，2011（2）：43-47.

HUANG Jin-dian，CHAI Wei-dong.Fault identification based on wavelet analysis for bearing cage of hydrogen turbopump[J].Journal of Rocket Propulsion，2011（2）：43-47.