目標(biāo)跟蹤中參考模型的自動(dòng)初始化方法

程明智, 高俊祥

(1.北京印刷學(xué)院,北京102600;2.華中農(nóng)業(yè)大學(xué)理學(xué)院,湖北武漢430070)

1 引言

目標(biāo)跟蹤是視頻會(huì)議、遠(yuǎn)程教育、和智能監(jiān)控等系統(tǒng)的重要組成部分,在現(xiàn)有主要跟蹤算法中,必須首先在參考幀中定義一個(gè)參考模型,然后在后續(xù)幀中比較候選目標(biāo)和參考模型的相似性來確定目標(biāo)的位置[1]。目前,參考模型的初始化一般是手動(dòng)進(jìn)行的,開始跟蹤前在參考幀中手動(dòng)畫一個(gè)包含目標(biāo)的矩形或橢圓并將內(nèi)部的像素集作為參考模型[2]。雖然有少量文獻(xiàn)采用了自動(dòng)初始化,但是一般需要目標(biāo)的先驗(yàn)知識(shí),因而限制了算法的通用性。例如,文獻(xiàn)[3]提出的方法由于采用了膚色信息因而僅適用于人臉的跟蹤。文獻(xiàn)[4]的投影法具有計(jì)算簡(jiǎn)單的優(yōu)點(diǎn),但是若場(chǎng)景中多個(gè)目標(biāo)的投影有重疊的部分,則可能會(huì)出現(xiàn)無法確定目標(biāo)數(shù)量、位置或尺度的情況。

針對(duì)目標(biāo)跟蹤中參考模型的初始化需要手動(dòng)完成以及投影法的缺陷,提出了一種自動(dòng)、精確初始化參考模型的方法,參考模型為二維空間內(nèi)的一個(gè)橢圓。首先采用連通組分標(biāo)記算法對(duì)目標(biāo)進(jìn)行計(jì)數(shù),并計(jì)算每個(gè)目標(biāo)的位置;然后根據(jù)回轉(zhuǎn)半徑張量法求出包含目標(biāo)的最小外接矩形;最后從最小外接矩形的參數(shù)出發(fā)用蒙特卡洛算法求出參考模型的估計(jì),估計(jì)過程以統(tǒng)計(jì)學(xué)中的F指標(biāo)最大為準(zhǔn)則。

2 投影法的缺陷分析及應(yīng)對(duì)策略

投影法首先根據(jù)圖像的垂直投影(即投射到橫坐標(biāo)軸上的投影)確定目標(biāo)的水平位置、寬度和數(shù)目;然后再對(duì)圖像進(jìn)行水平投影(即投射到縱坐標(biāo)軸上的投影)獲得目標(biāo)的垂直位置和高度。下面分析投影法初始化參考模型的問題并提出對(duì)應(yīng)策略。

第一,如果場(chǎng)景中的目標(biāo)不只一個(gè)而且目標(biāo)的投影有重疊的部分,則有可能造成目標(biāo)的數(shù)量、位置或尺度的模糊性,即目標(biāo)的個(gè)數(shù)、位置或尺度不能從投影信息準(zhǔn)確獲得。第二,投影法算出的參考模型是目標(biāo)的豎直外接矩形,如果目標(biāo)在圖像中是傾斜狀態(tài)時(shí),參考模型內(nèi)將會(huì)包含大量不屬于目標(biāo)的像素。第三,如果目標(biāo)的緊湊性較低會(huì)使大量背景像素進(jìn)入?yún)⒖寄Ｐ?從而降低參考模型對(duì)目標(biāo)的描述能力。

應(yīng)對(duì)策略如下。第一,目標(biāo)的投影重疊引起的模糊性是投影法的固有缺陷,因而本文擯棄了這種檢測(cè)目標(biāo)數(shù)目和位置的方法,采用連通組分標(biāo)記算法對(duì)目標(biāo)進(jìn)行計(jì)數(shù),并計(jì)算每個(gè)目標(biāo)的位置,從根本上避免了投影重疊帶來的問題。第二,能夠包含所有目標(biāo)像素但同時(shí)非目標(biāo)像素又最少的矩形是最小外接矩形而非豎直外接矩形,因而算法采用了前者。最小外接矩形的面積一般小于豎直外接矩形,從而包含的非目標(biāo)像素更少。第三,當(dāng)目標(biāo)的結(jié)構(gòu)比較松散時(shí)外接矩形會(huì)很大,根據(jù)F指標(biāo)統(tǒng)計(jì)最大化的原則舍棄了少量目標(biāo)像素,同時(shí)能夠把更多的背景像素排除在模板之外。

3 參考模型的自動(dòng)初始化算法

3.1 連通組分標(biāo)記算法

在跟蹤前目標(biāo)檢測(cè)步驟已經(jīng)完成,令目標(biāo)檢測(cè)獲得的運(yùn)動(dòng)目標(biāo)掩碼是二值圖像 M(x,y),如果存在一個(gè)像素集M(xi,yi)=v(i=0,1,2,…,n),其中 v=0或v=1,并且對(duì)序列中任何兩個(gè)像素都可以通過v值相連接,則稱這個(gè)像素集合是一個(gè)值為v的連通組分。如圖1(a)是一幅二值圖像,內(nèi)有值為1的5個(gè)連通組分。對(duì)二值圖像M(x,y)做標(biāo)記,生成標(biāo)號(hào)圖LB,標(biāo)號(hào)圖像中每個(gè)像素的值就是像素所在連通組分的標(biāo)號(hào),標(biāo)號(hào)是一個(gè)是用于標(biāo)記連通組分的整數(shù),圖1(b)顯示的是對(duì)圖1(a)的的標(biāo)記結(jié)果。其詳細(xì)計(jì)算過程可參照相關(guān)文獻(xiàn)[5]。

圖1 內(nèi)含5個(gè)值為1的連通組分的二值圖像

3.2 目標(biāo)的最小外接矩形

圖像中的目標(biāo)不一定是豎直的,處于傾斜狀態(tài)的目標(biāo)直接求其最小外接矩形是比較困難的,首先將目標(biāo)旋轉(zhuǎn)一定角度使其扭正,而旋轉(zhuǎn)矩陣采用回轉(zhuǎn)半徑張量法求取,旋轉(zhuǎn)之后目標(biāo)豎直外接矩形和最小外接矩形是重合的,因而矩形的位置和尺度容易求出。

令包含一個(gè)目標(biāo)的連通組分標(biāo)號(hào)圖像為L(zhǎng)Bk(k=1,2,…,K),對(duì)運(yùn)動(dòng)目標(biāo)的 n個(gè)像素點(diǎn)的坐標(biāo)求均值得到目標(biāo)的中心坐標(biāo)(m,c),各像素的坐標(biāo)分別減去中心坐標(biāo)后得到各點(diǎn)相對(duì)坐標(biāo)(u,v),則用相對(duì)坐標(biāo)值(u,v)可以組成n×2維矩陣X：

求矩陣X的內(nèi)積,令 V=XTX/n,其中回轉(zhuǎn)半徑張量V是2×2矩陣,它的兩個(gè)特征向量構(gòu)成矩陣U,設(shè)旋轉(zhuǎn)矩陣為 R,則

旋轉(zhuǎn)矩陣R求出后,可用其對(duì)所有目標(biāo)像素進(jìn)行旋轉(zhuǎn)。令旋轉(zhuǎn)后各像素的坐標(biāo)為(xi,yi),則旋轉(zhuǎn)方程可表示為

此時(shí)目標(biāo)在圖像中已經(jīng)處于豎直狀態(tài)且每個(gè)連通組分標(biāo)號(hào)圖像LBk中只有一個(gè)目標(biāo),用前面講述的投影法即可確定最小外接矩形的寬 W和高H。在二維空間中,旋轉(zhuǎn)可以用一個(gè)角度 α定義,逆時(shí)針旋轉(zhuǎn)α取正,反之取負(fù)。一個(gè)列向量關(guān)于原點(diǎn)旋轉(zhuǎn)α角的矩陣是：

可推出

于是可以用一個(gè)五維向量(m,c,W,H,-α)T表示圖像LBk中目標(biāo)的最小外接矩形,其中(m,c)表示矩形的中心,(W,H)表示矩形的寬和高,-α表示矩形的傾斜角度。

3.3 蒙特卡洛算法計(jì)算橢圓參考模型

目前衡量一個(gè)參考模型的準(zhǔn)確性還沒有一個(gè)公認(rèn)的標(biāo)準(zhǔn),借鑒統(tǒng)計(jì)學(xué)中F指標(biāo)的思想定義一個(gè)準(zhǔn)確性度量參數(shù)：

式中

式中,TP代表屬于參考模型同時(shí)又屬于目標(biāo)的像素?cái)?shù)量;FN代表不屬于參考模型但是屬于目標(biāo)的像素?cái)?shù)量;FP代表屬于參考模型但是不屬于目標(biāo)的像素?cái)?shù)量。F取值在[0,1],并且F值越大說明參考模型越準(zhǔn)確。

算法的目的是計(jì)算出用橢圓表示的參考模型,令該橢圓用向量 S=(x,y,Hx,Hy,θ)表示,其中(x,y)代表橢圓中心,(Hx,Hy)代表半軸長(zhǎng)度,θ為橢圓的傾斜角度,從而參考模型就是能夠使F取得最大值的橢圓。從理論上說可以用遍歷法在最小外接矩形附近搜索,但是由于需要在每一維上搜索因而計(jì)算量過大。采用蒙特卡洛模擬的思路對(duì)向量S進(jìn)行估計(jì)：對(duì)S采樣得到N個(gè)樣本Si(i=0,1,2,…,N),并根據(jù)F指標(biāo)賦予各個(gè)樣本權(quán)值wi,權(quán)值總合為1,而向量S的估計(jì)為：

蒙特卡洛模擬的原理可參照相關(guān)文獻(xiàn)[6],Si和wi按下述過程計(jì)算。一個(gè)合理的假設(shè)是橢圓中心(x,y)在最小外接矩形中心(m,c)的鄰域內(nèi),而半軸長(zhǎng)度(Hx,Hy)和最小外接矩形的寬、高(W,H)的一半相近,橢圓的傾斜角度θ也與最小外接矩形的傾角-α相似。因而Si為

其中vi是零均值高斯白噪聲序列,對(duì)于每一個(gè)樣本Si,都可以計(jì)算出一個(gè)指標(biāo)Fi,因而權(quán)值wi為：

式中 σ為Fi的標(biāo)準(zhǔn)差。在樣本 Si和權(quán)值wi獲得以后,代入即可計(jì)算出參考模型S。

4 實(shí)驗(yàn)結(jié)果

采用算法對(duì)多條視頻序列進(jìn)行了參考模型的初始化,下面以其中的5條序列為例進(jìn)行分析。為方便起見將它們重新命名為S1～S5,序列中的運(yùn)動(dòng)目標(biāo)包括人、車輛和圓形的球,它們具有不同的形狀、個(gè)數(shù)、顏色和運(yùn)動(dòng)狀態(tài),詳細(xì)信息列于表1中,算法在Matlab7.0環(huán)境下實(shí)現(xiàn)。

表1 實(shí)驗(yàn)序列詳細(xì)信息

用文中算法與手動(dòng)初始化方法、投影法相比較,為了使比較更公平投影法中的目標(biāo)模板采用豎直外接矩形的內(nèi)接橢圓。圖2至圖6展示了比較結(jié)果,每幅圖從左向右依次是手動(dòng)、投影法和文中算法的處理結(jié)果。從S1的處理結(jié)果來看,圖2(c)包含了絕大部分目標(biāo)像素但是腳部排除在橢圓之外,這是由于圖中目標(biāo)的中心與目標(biāo)外接矩形的中心并不重合而是處在偏右的位置,因而最左端的腳部沒有包含在橢圓中。雖然與圖2(c)相比圖2(b)中的目標(biāo)幾乎沒有遺漏,但是橢圓尺度的擴(kuò)大使得大量背景像素進(jìn)入到參考模型中,這顯然是得不償失的。在S2的處理結(jié)果圖3(c)中,橢圓將兩輛汽車完整地包含在參考模型中,同時(shí)其中只有極少數(shù)背景像素。圖3(b)中的非目標(biāo)像素則要多一些,如圖中的黑色箭頭所示;另外則有部分本應(yīng)屬于目標(biāo)的像素排除在了參考模型之外,如圖中的白色箭頭所示。

圖3 序列S2用3種方法初始化參考模型的結(jié)果

序列S1和S2的處理結(jié)果雖然有些差異,但總體上來說并不顯著,所有參考模型均能比較準(zhǔn)確地反映目標(biāo)的特性,序列S3、S4和S5則能更明顯地體現(xiàn)出文中算法的優(yōu)越性。序列S3中的目標(biāo)在圖像中處于傾斜狀態(tài),這種情況使得圖4(b)中大量的背景像素進(jìn)入橢圓而運(yùn)動(dòng)目標(biāo)的頭部和腳部卻排除在橢圓之外;圖4(c)中并沒有出現(xiàn)這種情況,這是由于圖中的橢圓在平面內(nèi)進(jìn)行了旋轉(zhuǎn)因而適應(yīng)了目標(biāo)的傾斜狀態(tài)。圖5中的垂直投影能夠準(zhǔn)確區(qū)分出三個(gè)圓球,但是水平方向的投影有一部分發(fā)生重疊,在投影法中水平投影對(duì)應(yīng)著目標(biāo)的高度,因而圖5(b)中目標(biāo)高度明顯增加。圖中的三個(gè)目標(biāo)雖然投影重疊,但是目標(biāo)本身并沒有遮擋因而將它們分割成各自獨(dú)立的目標(biāo)沒有任何困難,所以在圖5(c)中算法可以不受投影重疊的影響精確地計(jì)算出參考模型。在圖6中,圖像中的兩個(gè)人不但水平投影是重疊的,而且垂直投影也發(fā)生了重疊,其結(jié)果是投影法會(huì)將兩個(gè)目標(biāo)判斷為一個(gè)目標(biāo)導(dǎo)致建立參考模型失敗。與序列S4的情況類似,圖6(c)中采用算法可以不受投影重疊的影響。

圖4 序列S3用3種方法初始化參考模型的結(jié)果

圖5 序列S4用3種方法初始化參考模型的結(jié)果

圖6 序列S5用3種方法初始化參考模型的結(jié)果

5 結(jié)束語(yǔ)

提出了一種自動(dòng)、精確初始化參考模型的方法。采用文中算法對(duì)不同性質(zhì)的視頻序列進(jìn)行了廣泛的實(shí)驗(yàn),結(jié)果表明在不同的場(chǎng)景下算法均能準(zhǔn)確完成參考模型的初始化,計(jì)算出的模型能夠體現(xiàn)目標(biāo)的視覺特征,從而為參考模型的初始化提供了一種有效的方法。

致謝：中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(2010BA016);北京印刷學(xué)院本科生科學(xué)研究計(jì)劃資助項(xiàng)目(08150111007)對(duì)本文的資助。

[1]Leven W F,LantermanA D.Unscented Kalman Filters for Multiple Target Tracking with Symmetric Measurement Equations[J].IEEE Transactions on Automatic Control,2009,54(2)：370-375.

[2]Kyriakides I,Morrell D,Papandreou-Suppappola A.Sequential Monte Carlo Methods for Tracking Multiple Targets with Deterministic and Stochastic Constraints[J].Signal Processing.2008,56(3)：937-948.

[3]Pernkopf F.Tracking of Multiple Targets Using Online Learning for Reference Model Adaptation[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B：Cybernetics.2008,38(6)：1465-1475.

[4]Wang J T.Research on Object Detection,Tracking and Behavior Recognition in Video Sequences[D].Nanjing University of Science and Technology,2008.

[5]Shapiro L G,Stockman G C.Computer Vision[M].Prentice-Hall,2001.

[6]Mendo L,Hernando J M.Improved Sequential Stopping Rule for Monte Carlo Simulation[J].IEEE Transactions on Communications.2008,56(11)：1761-1764.