基于魯棒背景運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測算法

摘 要：提出一種用仿射參數(shù)模型來近似場景中攝像機(jī)的復(fù)雜運(yùn)動(dòng)，采用參數(shù)化的多分辨率估計(jì)方法魯棒地估計(jì)出仿射參數(shù)；然后在當(dāng)前幀與運(yùn)動(dòng)補(bǔ)償后的幀之間求光流場，得到目標(biāo)輪廓的初始分割；最后通過聚類和搜索填充算法分割出完整的目標(biāo)。試驗(yàn)結(jié)果表明，該運(yùn)動(dòng)補(bǔ)償算法能有效消除攝像機(jī)運(yùn)動(dòng)引起的背景運(yùn)動(dòng)，在攝像機(jī)運(yùn)動(dòng)情況下得到完整的目標(biāo)。

關(guān)鍵詞：目標(biāo)檢測; 背景運(yùn)動(dòng)補(bǔ)償; 多分辨率估計(jì); 光流; 搜索填充

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A

文章編號：1001—3695(2007)03—0066—03

復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)檢測是許多視頻應(yīng)用領(lǐng)域的一個(gè)重點(diǎn)和難點(diǎn)，背景的多樣性以及攝像機(jī)的復(fù)雜運(yùn)動(dòng)都進(jìn)一步增加了目標(biāo)檢測與跟蹤的難度。復(fù)雜場景下運(yùn)動(dòng)目標(biāo)的檢測主要有背景模型法[1]、光流法[2]和幀間差分法[3]三種方法。背景模型法主要應(yīng)用于靜態(tài)或準(zhǔn)靜態(tài)的視頻監(jiān)控場合，能得到運(yùn)動(dòng)物體很全面的特征數(shù)據(jù)，但卻對光線變化和其他外部的動(dòng)態(tài)場景變化非常敏感，且需要用到很多幀的數(shù)據(jù)，不適合實(shí)時(shí)實(shí)現(xiàn)；幀間差分法用連續(xù)的兩到三幀圖像相減實(shí)現(xiàn)時(shí)域差分，這種方法對動(dòng)態(tài)變化的場景非常有效，但一般不能很好地提取出運(yùn)動(dòng)目標(biāo)的所有特征像素，適應(yīng)于目標(biāo)運(yùn)動(dòng)稍快且圖像分割精度要求不高的場合。

然而，基于幀間差分檢測方法的前提是背景本身是靜止的。當(dāng)攝像機(jī)運(yùn)動(dòng)時(shí)，由于攝像機(jī)的高幀頻，被拍攝景物認(rèn)為是靜止的，圖像背景與攝像機(jī)之間的運(yùn)動(dòng)可以認(rèn)為全部是由攝像機(jī)運(yùn)動(dòng)引起的。這時(shí)，首先要做的就是幀間圖像的配準(zhǔn)，即背景全局運(yùn)動(dòng)的補(bǔ)償。經(jīng)過全局背景運(yùn)動(dòng)補(bǔ)償后，幀間圖像相對靜止，差分檢測出目標(biāo)的輪廓，該方法檢測的目標(biāo)輪廓一般不完整，且?guī)顖D像的二值化閾值選擇也是該方法的一個(gè)難點(diǎn)。

鑒于此，針對運(yùn)動(dòng)補(bǔ)償后差分檢測方法不能得到完整運(yùn)動(dòng)目標(biāo)的特點(diǎn)，提出一種新的基于全局背景運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測算法。在精確補(bǔ)償背景的運(yùn)動(dòng)后，不作幀差，而是在當(dāng)前幀與運(yùn)動(dòng)補(bǔ)償幀之間求光流場。這時(shí)對光流的幅值取簡單閾值，就可以得到運(yùn)動(dòng)目標(biāo)的輪廓，然后通過形態(tài)學(xué)處理和鄰域聚類的方法去除密度光流場灰度曲面中的小斑點(diǎn)和噪聲，最后用搜索填充算法得到完整的目標(biāo)輪廓。這比運(yùn)動(dòng)補(bǔ)償后直接幀間差分方法更具有抗噪能力，適應(yīng)性更強(qiáng)，得到的目標(biāo)也更完整。

1 背景運(yùn)動(dòng)補(bǔ)償算法

全局背景運(yùn)動(dòng)補(bǔ)償最簡單直接的方法是通過傳統(tǒng)模板匹配的方法估算出相鄰幀圖像間的平移運(yùn)動(dòng)作為全局背景運(yùn)動(dòng)矢量的估計(jì)值。這種方法已經(jīng)得到很廣泛的應(yīng)用，在一些場合也取得了比較好的應(yīng)用效果。該方法的優(yōu)點(diǎn)是簡單、計(jì)算量小；缺點(diǎn)是計(jì)算出的運(yùn)動(dòng)矢量不夠準(zhǔn)確，且一般只能計(jì)算出平移運(yùn)動(dòng)矢量，不能估計(jì)攝像機(jī)的旋轉(zhuǎn)、變焦等運(yùn)動(dòng)，應(yīng)用很受限制。另外一種方法是參數(shù)估計(jì)法。參數(shù)估計(jì)法的基本原理是：考慮到所有背景像素點(diǎn)符合同一攝像機(jī)運(yùn)動(dòng)參數(shù)模型這一基本事實(shí)，不需要估計(jì)所有像素點(diǎn)的運(yùn)動(dòng)矢量，只需要通過估計(jì)少量背景的像素點(diǎn)運(yùn)動(dòng)來估計(jì)出攝像機(jī)的運(yùn)動(dòng)參數(shù)，就可以通過該攝像機(jī)運(yùn)動(dòng)參數(shù)模型來估計(jì)圖像背景中所有像素點(diǎn)的運(yùn)動(dòng)矢量；同時(shí)由于攝像機(jī)的運(yùn)動(dòng)模型可采用簡單的線性模型，這樣不僅大大減少了計(jì)算量，又避免了因?yàn)楣烙?jì)單個(gè)像素點(diǎn)運(yùn)動(dòng)矢量帶來的異常估計(jì)誤差，提高了準(zhǔn)確性和實(shí)時(shí)性，達(dá)到了快速準(zhǔn)確的目的；并且可以選擇四個(gè)參數(shù)以上的攝像機(jī)運(yùn)動(dòng)參數(shù)模型來估計(jì)攝像機(jī)的旋轉(zhuǎn)運(yùn)動(dòng)，更具有通用性和可靠性。在這里本文采用參數(shù)估計(jì)的全局背景運(yùn)動(dòng)補(bǔ)償方法。

1.1 攝像機(jī)的運(yùn)動(dòng)狀態(tài)與仿射模型

攝像機(jī)的運(yùn)動(dòng)狀態(tài)主要包括左右轉(zhuǎn)動(dòng)（Panning）、上下轉(zhuǎn)動(dòng)(Tilting)、焦距變化(Zooming)、水平追蹤(Tracking)、垂直追蹤(Booming)、前后追蹤(Dollying)以及繞光軸轉(zhuǎn)動(dòng)(Rolling)等。

在目標(biāo)檢測與跟蹤系統(tǒng)中，攝像機(jī)與場景之間距離一般較大，通常可用仿射模型[4]來逼近場景的運(yùn)動(dòng)，普通仿射模型包括平移（a₅，a₆)、旋轉(zhuǎn)和縮放（a₁，a₂，a₃，a₄)三種運(yùn)動(dòng)。仿射模型將直線映射成直線，將平行線映射成平行線。

其中，(x₁，y₁)為第一幅圖像的特征點(diǎn)坐標(biāo)，(x₂，y₂)為第二幅圖像的對應(yīng)特征點(diǎn)坐標(biāo)。式中只有(a₁，a₂，a₃，a₄，a₅，a₆)共六個(gè)未知數(shù)。理想情況下，只要三個(gè)對應(yīng)特征點(diǎn)就可解出此方程。但是由于圖像噪聲、目標(biāo)以及遮擋等影響，不能準(zhǔn)確地得到最能代表背景全局運(yùn)動(dòng)的三個(gè)特征點(diǎn)來求解出這六個(gè)參數(shù)，必須采用魯棒估計(jì)的方法得到精確的仿射運(yùn)動(dòng)參數(shù)。

1.2 仿射運(yùn)動(dòng)參數(shù)的多分辨率魯棒估計(jì)

首先用塊匹配法估計(jì)出仿射運(yùn)動(dòng)模型中的平動(dòng)參數(shù)(a₅，a₆)的初值(u，v)。為了處理幀間的大位移，采用多分辨率技術(shù)對原始圖像進(jìn)行金字塔分解得到不同分辨率下的圖像；平動(dòng)初值在最低分辨率下計(jì)算，以確保該初值在最陡下降法[5]最優(yōu)點(diǎn)的收斂鄰域內(nèi)。根據(jù)仿射參數(shù)的物理意義，由于攝像機(jī)的高幀頻，旋轉(zhuǎn)縮放不大，可以設(shè)置初始的旋轉(zhuǎn)算法參數(shù)為a₁=1，a₂=0，a₃=0，a₄=1，以此初始值作為出發(fā)點(diǎn)，可以保證最陡下降法經(jīng)過幾步迭代就能夠得到一個(gè)收斂的結(jié)果。它可以認(rèn)為是該分辨率下圖像的運(yùn)動(dòng)參數(shù)。

利用最陡下降法調(diào)整運(yùn)動(dòng)參數(shù)，最小化待估計(jì)圖像與運(yùn)動(dòng)補(bǔ)償后的參考圖像之間灰度的差值，即所謂的位移幀差（Displacement Frame Difference，DFD）。本文用l幀作為參考幀，待估計(jì)的圖像幀為第l+1幀，它們之間的位移幀差為

一般來說，運(yùn)動(dòng)估計(jì)越精確，E(Θ)就會越小。如果把E(Θ)看作是估計(jì)出來的運(yùn)動(dòng)參數(shù)集的函數(shù)，在運(yùn)動(dòng)參數(shù)空間中E(Θ)就是一個(gè)關(guān)于Θ的曲面，該曲面在理想的運(yùn)動(dòng)估計(jì)處具有最小值。如果已經(jīng)知道該曲面上的一個(gè)點(diǎn)，就可以利用最陡下降法求出該最小值所在的位置，即運(yùn)動(dòng)參數(shù)的最佳估計(jì)。

為了判斷最速下降法的結(jié)果是否收斂，需要為運(yùn)動(dòng)參數(shù)的變化設(shè)定一個(gè)判決門限th。由于同一運(yùn)動(dòng)在不同分辨率下表現(xiàn)出來的運(yùn)動(dòng)參數(shù)是不同的，不同分辨率下的這種判決門限也各不相同。在最高分辨率時(shí)，選擇門限th=0.1，相應(yīng)地，其他各分辨率下的門限分別為th1=0.1/2，th2=0.1/4，…。

把低分辨率下圖像的運(yùn)動(dòng)參數(shù)投影到高分辨率下，就能夠得到高分辨率下圖像運(yùn)動(dòng)的初始估計(jì)。簡單的投影方法是只將平動(dòng)參數(shù)乘以2即可。由于投影所得到的運(yùn)動(dòng)參數(shù)往往不精確，也需要利用最速下降法進(jìn)行精細(xì)調(diào)整。

1.3 運(yùn)動(dòng)補(bǔ)償

得到仿射變換參數(shù)后，就可以補(bǔ)償攝像機(jī)引起的全局背景運(yùn)動(dòng)。由于通過以上方法估算出運(yùn)動(dòng)位移矢量并非整數(shù)，必須對圖像中的每個(gè)像素點(diǎn)采用向前或向后映射的辦法來解決這個(gè)問題。常用的灰度插值方法有最近鄰插值、雙線性插值和高階插值。從比較的結(jié)果可以看出，雙線性插值可達(dá)到像素之間的平滑，所以本文也采用了雙線性插值方法來得到運(yùn)動(dòng)補(bǔ)償幀。

2 運(yùn)動(dòng)目標(biāo)檢測算法

背景運(yùn)動(dòng)補(bǔ)償后，幀間背景相對靜止。為了得到更加精確完整的目標(biāo)以及更好地抑制傳感器噪聲和運(yùn)動(dòng)補(bǔ)償算法本身的影響，不采用運(yùn)動(dòng)補(bǔ)償后直接差分的檢測方法，而是在參考幀與運(yùn)動(dòng)補(bǔ)償幀之間求密度光流場。本文采用標(biāo)準(zhǔn)HS光流[6]算法求解得到光流矢量幅值和方向，閾值化光流矢量并經(jīng)過一系列的形態(tài)學(xué)處理和鄰域聚類方法去除目標(biāo)周圍的斑點(diǎn)和噪聲影響后，得到運(yùn)動(dòng)目標(biāo)的初始輪廓。

由理論和實(shí)驗(yàn)可知：當(dāng)目標(biāo)較大時(shí)，在運(yùn)動(dòng)前后由于目標(biāo)區(qū)域內(nèi)部像素的灰度變化較小，因而在這些點(diǎn)處求得的運(yùn)動(dòng)矢量的幅值也較小。而邊緣的運(yùn)動(dòng)矢量幅值較大，如果按照以上所提的簡單的閾值化方法，得到的目標(biāo)內(nèi)將含有一些空洞。為了提高分割精度，采用搜索填充算法有效消除空洞現(xiàn)象，得到完整的目標(biāo)輪廓。搜索填充算法的步驟如下：設(shè)R(i， j)為已形成的二值化圖形，若某點(diǎn)R_{(i， j)}=0，即判定該點(diǎn)為非目標(biāo)點(diǎn)，再逐次判斷該點(diǎn)的上下左右是否為目標(biāo)區(qū)。上方是否為目標(biāo)區(qū)的旁邊方法為：在R_{(i-1， j)}，R_{(i-2， j)}，…，R_{(i-k， j)}共k個(gè)像素中，統(tǒng)計(jì)屬于目標(biāo)點(diǎn)的像素總數(shù)n，其中k為一設(shè)定的常數(shù)，并由可能出現(xiàn)的目標(biāo)大小確定。若n大于設(shè)定的閾值數(shù)，則認(rèn)為上方為目標(biāo)區(qū)；否則相反。其他方向的判別類似。如判定該點(diǎn)的上下左右四個(gè)方向均為目標(biāo)區(qū)，則認(rèn)為該點(diǎn)也為目標(biāo)區(qū)，修改R_{(i， j)(i， j)}不變。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的有效性，以下是兩個(gè)典型的仿真結(jié)果。第一個(gè)序列是用數(shù)碼相機(jī)拍攝彩色視頻轉(zhuǎn)換到灰度空間；第二個(gè)序列是紅外相機(jī)拍攝的，背景非常復(fù)雜且噪聲較大。圖1(c)和(i)是直接在參考幀和當(dāng)前幀之間求光流場的光流幅值灰度曲面圖；(d)和(j)是參考幀與補(bǔ)償后的參考幀之間求光流場的光流幅值灰度曲面圖。幅值定義為水平方向運(yùn)動(dòng)矢量和垂直方向運(yùn)動(dòng)矢量的平方和，為了更好的視覺效果，已把幅值歸一化到了區(qū)間[0，255]。圖1(e)和(k)是形態(tài)學(xué)和鄰域聚類去除斑點(diǎn)噪聲的結(jié)果；(f)和(l)是經(jīng)搜索填充算法得到的最終結(jié)果。

從實(shí)驗(yàn)結(jié)果可見，本文的運(yùn)動(dòng)補(bǔ)償算法能很好地消除背景的運(yùn)動(dòng)，把運(yùn)動(dòng)攝像機(jī)下的目標(biāo)檢測問題轉(zhuǎn)換為靜止攝像機(jī)下的目標(biāo)檢測問題；采用補(bǔ)償后求光流和本文的搜索填充算法能使目標(biāo)很完整。

4 結(jié)束語

本文所提的背景運(yùn)動(dòng)補(bǔ)償算法能較好地抑制攝像機(jī)的運(yùn)動(dòng)帶來的背景運(yùn)動(dòng)變化，在攝像機(jī)運(yùn)動(dòng)情況下的目標(biāo)檢測中是非常有效的一種方法。本算法的一個(gè)嚴(yán)重缺陷是計(jì)算復(fù)雜、運(yùn)算時(shí)間較長，還有待進(jìn)一步優(yōu)化。

本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。