使用頻譜詞包的接力跟蹤目標(biāo)交接方法

張小駿,劉志鏡,薛鴻民

(西安電子科技大學(xué)計(jì)算機(jī)學(xué)院,陜西西安 710071)

使用頻譜詞包的接力跟蹤目標(biāo)交接方法

張小駿,劉志鏡,薛鴻民

(西安電子科技大學(xué)計(jì)算機(jī)學(xué)院,陜西西安 710071)

針對(duì)接力跟蹤中目標(biāo)跨攝像機(jī)交接困難問題,提出了使用頻譜詞包的目標(biāo)交接方法.首先對(duì)第1攝像機(jī)的兩幅或多幅目標(biāo)圖像分塊提取傅里葉特征;再對(duì)特征集進(jìn)行K均值聚類,選擇其中緊密類的質(zhì)心特征作為正常單詞,另引入一個(gè)異常單詞,與正常單詞一起共同構(gòu)成詞包;最后用詞包分別描述兩攝像機(jī)的目標(biāo),以歐氏距離度量相似性.實(shí)驗(yàn)表明,該方法的目標(biāo)識(shí)別性能和魯棒性比目前幾種常見的基于紋理的方法有一定的提高.

多攝像機(jī);接力跟蹤;目標(biāo)交接;傅里葉頻譜;頻譜詞包

智能視頻監(jiān)控網(wǎng)絡(luò)中目標(biāo)的接力跟蹤具有很強(qiáng)的應(yīng)用需求,其中目標(biāo)在攝像機(jī)之間的交接是一項(xiàng)關(guān)鍵的技術(shù),即在第2攝像機(jī)中識(shí)別出來自第1攝像機(jī)的目標(biāo)并啟動(dòng)繼續(xù)跟蹤的過程.目標(biāo)的跨攝像機(jī)交接分為兩種情況:一種情況是相鄰攝像機(jī)之間存在視場(chǎng)重疊,此時(shí)可以通過視場(chǎng)的重疊部分得出攝像機(jī)之間的三維幾何關(guān)系,進(jìn)而通過坐標(biāo)匹配來識(shí)別目標(biāo)并完成交接[1].但這往往對(duì)攝像機(jī)的布局和標(biāo)定有一定要求,在實(shí)際應(yīng)用中局限較大.另一種情況是相鄰攝像機(jī)之間不存在視場(chǎng)重疊,此時(shí)目標(biāo)的交接主要依靠特征匹配.這種交接方法靈活方便,特別切合監(jiān)控應(yīng)用的實(shí)際需要,但難點(diǎn)是目標(biāo)跨攝像機(jī)時(shí),其特征往往變化很大,難以用于匹配.比如人體跟蹤最常用的顏色特征,跨機(jī)時(shí)的魯棒性就不好,而現(xiàn)有的跨機(jī)顏色校正方法都還不夠成熟[2].運(yùn)動(dòng)特征雖不受跨機(jī)顏色變化的影響,但目標(biāo)識(shí)別能力還不夠強(qiáng),無法快速識(shí)別目標(biāo),如步態(tài)特征[3].相對(duì)而言,目標(biāo)圖像的頻譜特征在目標(biāo)識(shí)別和魯棒性兩方面均有較大潛力可挖,因?yàn)轭l譜不僅信息量大,而且可分別反映對(duì)亮度、顏色變化具有較高魯棒性的表面結(jié)構(gòu)性信息(交流信息).比如用Gabor或小波變換結(jié)果構(gòu)造的特征[4-6],在圖像識(shí)別與檢索方面就取得了很好的效果,但這往往需要使用多尺度、多方向的模板進(jìn)行多次濾波,用時(shí)過長(zhǎng).相比之下,傅里葉變換則簡(jiǎn)單快速得多,比如用于描述形狀特征的傅里葉描述子[7-8].但由于傅里葉頻譜不能提取空間結(jié)構(gòu)信息,并且現(xiàn)有的傅里葉特征往往過度降維,因此目標(biāo)識(shí)別能力一般不強(qiáng).有鑒于此,筆者提出一種頻譜詞包法來實(shí)現(xiàn)目標(biāo)的跨攝像機(jī)識(shí)別.該方法借助詞包模型的思想,以一種新的傅里葉特征構(gòu)造對(duì)來自第1攝像機(jī)中的兩張(或多張)目標(biāo)圖像進(jìn)行分塊特征提取,融合塊位置特征后對(duì)兩圖共同的特征集進(jìn)行K均值聚類,以緊密聚類(類內(nèi)平均距離小)的質(zhì)心特征作為詞包,對(duì)第1、第2攝像機(jī)中的目標(biāo)進(jìn)行描述及相似性比較.由于該方法重點(diǎn)考查目標(biāo)的相對(duì)穩(wěn)定部位的特征,并且考查大量塊圖像特征匹配的宏觀統(tǒng)計(jì)效果,彌補(bǔ)了傅里葉特征本身識(shí)別能力的不足,因此收到了較好的目標(biāo)識(shí)別效果.

1　傅里葉特征構(gòu)造

圖像的傅里葉變換離散形式如下:

其中,M、N為圖像f(x,y)的寬與高;F(u,v)為圖像的傅里葉頻譜,其圖像化顯示即頻譜圖.筆者使用直流點(diǎn)移至中心后的頻譜幅值圖提取特征.

1.1頻譜預(yù)處理

頻譜預(yù)處理包括兩步:第1步,對(duì)頻譜圖的寬度進(jìn)行適當(dāng)縮放,且其與高度一致,使頻譜橫縱坐標(biāo)統(tǒng)一;第2步,對(duì)頻譜圖進(jìn)行適當(dāng)?shù)木禐V波,使非剛性目標(biāo)頻譜穩(wěn)定.

下面對(duì)第2步的原理進(jìn)行分析.非剛性目標(biāo)可視為由多個(gè)相對(duì)剛性的子部分組成的變形體,以兩個(gè)子部分為例.設(shè)全圖頻譜為F,子部分的頻譜為F1、F2,則有

其中,θ1-θ2為子部分頻譜間的相位差.由于非剛性體子部分間極易發(fā)生相對(duì)位移、旋轉(zhuǎn)或其他仿射變化,相位差會(huì)劇烈變動(dòng),故頻譜幅值極不穩(wěn)定.

為消除相位的影響,在頻譜圖各點(diǎn)對(duì)式(2)進(jìn)行小范圍平均.由于自然圖像頻譜的相位隨頻點(diǎn)變化很快,可視為是隨機(jī)分布的,相位差θ1-θ2也呈隨機(jī)分布,故有

其中,σ為標(biāo)準(zhǔn)差;模板高度和寬度為Δu和Δv,Δu∈[-3σ,+3σ],Δv∈[-3σ,+3σ].

1.2傅里葉頻譜特征構(gòu)造

如圖1所示,使用預(yù)處理后的頻譜圖的直流點(diǎn)1及其4個(gè)鄰域點(diǎn)2、3、4、5的幅值以及此外的多個(gè)方形環(huán)內(nèi)(單點(diǎn)寬度)點(diǎn)的幅值和組成歸一化p維傅里葉特征向量.

圖1　頻譜特征構(gòu)造

該特征反映了圖像大致的粗細(xì)紋理信號(hào)(即交直流信號(hào)強(qiáng)度)的分布,因此對(duì)于圖像的亮度及色彩變化有一定的魯棒性.另外,由于圖像或其各子部分發(fā)生仿射變化時(shí),其對(duì)應(yīng)的頻譜圖會(huì)發(fā)生類似的仿射變化或不變(平移),而預(yù)處理后的頻譜在幅值上近似為各子部分頻譜的簡(jiǎn)單求和,故該特征具有如下不變性:當(dāng)目標(biāo)圖像整體縮放或部分發(fā)生相對(duì)位移時(shí),特征不變;當(dāng)目標(biāo)圖像整體或部分發(fā)生旋轉(zhuǎn)時(shí),特征基本不變(除2、3、4、5維外);當(dāng)整體或部分發(fā)生少量錯(cuò)切、橫縱不等比縮放時(shí),特征基本不變.

2　使用頻譜詞包的目標(biāo)識(shí)別

詞包模型最初應(yīng)用于文本識(shí)別,其核心思想是:忽略單詞之間的順序關(guān)系,通過文本中各個(gè)單詞出現(xiàn)的頻率分布來描述文本特征.近年來,該思想引入計(jì)算視覺和模式識(shí)別領(lǐng)域,用于圖像分類和檢索[9-12],收到了較好的效果.頻譜詞包法的主要步驟為:

步驟1 使用第1攝像機(jī)的目標(biāo)圖像2張(或多張,下面以2張為例),分塊提取特征并合并特征集后,通過K均值聚類找到目標(biāo)上特征相對(duì)穩(wěn)定的K-2個(gè)部位,使用這些部位各自的平均特征作為正常單詞;另引入一個(gè)異常特征(各維均為1)作為異常單詞,建立頻譜詞包.

步驟2 使用頻譜詞包分別描述來自第1和第2攝像機(jī)的目標(biāo),即將目標(biāo)圖像分塊提取的特征向詞包單詞歸類計(jì)算分布,歸一化后形成各自的詞包描述子.

步驟3 使用第2與第1攝像機(jī)目標(biāo)的詞包描述子之間的最小歐氏距離判斷目標(biāo)相似度.

圖2　頻譜詞包法工作流程

頻譜詞包法的詳細(xì)工作流程如圖2所示,有關(guān)說明如下:

(1)目標(biāo)圖像均使用目標(biāo)去除陰影后的最窄外接矩形區(qū)域圖像,以減小目標(biāo)變化.

(2)塊取樣窗掃描目標(biāo)全圖取得塊圖像集.取樣窗與目標(biāo)圖像同寬,窗高為目標(biāo)圖像高的1/h,掃描間隔為窗高的1/s,h、s均為統(tǒng)一整數(shù),因此相鄰塊間有重疊.

(3)一維的坐標(biāo)維組合到傅里葉特征向量左端構(gòu)成特征向量,其作用是保證各塊只和類似位置的其他塊聚類,避免混亂.z取值應(yīng)盡量小,以免聚類退化為坐標(biāo)聚類.

(4)第1攝像機(jī)2張目標(biāo)圖像的特征集是合并在一起聚類的.由于目標(biāo)的穩(wěn)定部位在2圖上變化相對(duì)較小,聚類時(shí)類內(nèi)平均距離也會(huì)小,因此可通過類內(nèi)平均距離判斷對(duì)應(yīng)部位的特征穩(wěn)定性.另外,由于類內(nèi)平均距離不同,特征穩(wěn)定程度不同,故用其t倍作為相應(yīng)單詞的閾值.

(5)待識(shí)別特征集來自第2攝像機(jī)的1張待識(shí)別目標(biāo)圖像,產(chǎn)生方法與第1攝像機(jī)的相同.

(6)異常單詞的作用:一是容納所有不能良好匹配的特征向量,使不同目標(biāo)的區(qū)別鮮明化;二是避免相同目標(biāo)的不穩(wěn)定部位的特征向量被強(qiáng)制分配給正常單詞,使描述子產(chǎn)生混亂.

(7)第1攝像機(jī)的2個(gè)詞包描述子可直接利用聚類結(jié)果計(jì)算.

(8)使用第1攝像機(jī)的2個(gè)詞包描述子之間的歐氏距離的T倍作為相似性距離閾值.

1.4 統(tǒng)計(jì)學(xué)方法 采用SPSS 13.0統(tǒng)計(jì)學(xué)軟件進(jìn)行數(shù)據(jù)分析，計(jì)量資料以表示，治療前后自身對(duì)照均數(shù)比較采用配對(duì)t檢驗(yàn)，2組間均數(shù)比較采用獨(dú)立樣本t檢驗(yàn)，檢驗(yàn)水平α=0.05。

3　實(shí)驗(yàn)與結(jié)論

首先通過大量的實(shí)驗(yàn),包括大量的單元實(shí)驗(yàn)確定上述方法的參數(shù);然后再使用不變場(chǎng)景下的視頻驗(yàn)證原理,使用多場(chǎng)景下的視頻考查實(shí)際效果,并與多種現(xiàn)有方法進(jìn)行比較.在實(shí)驗(yàn)中,視頻拍攝時(shí)攝像機(jī)的增益、曝光和白平衡均處于自動(dòng)狀態(tài).

3.1參數(shù)的選定

通過單元實(shí)驗(yàn)結(jié)合統(tǒng)調(diào)實(shí)測(cè)效果選定參數(shù),如表1所示.表中,σ為高斯濾波的標(biāo)準(zhǔn)差,p為傅里葉特征維數(shù),h為塊窗高參數(shù),s為塊掃描間隔參數(shù),z為塊坐標(biāo)折算系數(shù),K為聚類個(gè)數(shù),t為單詞的閾值倍數(shù),T為描述子的相似性閾值倍數(shù).

表1　參數(shù)的選定與方法

3.2原理驗(yàn)證

在同一場(chǎng)景下的連續(xù)視頻中為兩個(gè)目標(biāo)各獲得5個(gè)目標(biāo)圖像,分為2組,如圖3所示.各組以前2幅圖為基礎(chǔ)建立頻譜詞包A、B,再按詞包模型計(jì)算各幅圖分別與A1或B1的相似性距離,考查距離差異,結(jié)果如表2.表中,@A或@B表示按照詞包A或B對(duì)圖像進(jìn)行描述.由表2可見,目標(biāo)相同與不同時(shí)距離差異普遍明顯.

表2　基于詞包模型的圖像間相似性距離

圖3　兩組目標(biāo)圖像

圖4　塊窗口和聚類范圍

圖4為用于建立詞包的目標(biāo)圖像B2的塊窗口和B詞包的各正常單詞對(duì)應(yīng)的聚類范圍.由圖4可見,這些范圍恰是目標(biāo)變化相對(duì)較小的中上部,即目標(biāo)的穩(wěn)定部位.

圖5　目標(biāo)按B詞包的描述子

圖5為相同與不同目標(biāo)按照B詞包的描述子.第5維為異常單詞的出現(xiàn)頻次,由圖5可見,目標(biāo)不同時(shí)(A1),大量的待識(shí)別特征被歸入詞包描述子的第5維,目標(biāo)的區(qū)別明顯.

3.3不同解析尺度下的目標(biāo)識(shí)別能力

在圖6場(chǎng)景C中,目標(biāo)1(左)與目標(biāo)2身高類似,調(diào)節(jié)其至攝像機(jī)的距離,為兩目標(biāo)在3個(gè)解析尺度下各獲得5張最窄目標(biāo)圖像,計(jì)算各尺度下目標(biāo)之間的相似性距離,結(jié)果列于表3.表3中目標(biāo)1(2)與2(1)的距離按目標(biāo)2(1)的圖像形成的詞包計(jì)算.

可以看到,解析尺度對(duì)筆者提出的方法有一定影響.當(dāng)尺度下降時(shí),相同與不同目標(biāo)之間的平均距離差異有較明顯縮短,但在200像素以上的圖像高度下,仍可識(shí)別目標(biāo).

圖6　6種不同光照?qǐng)鼍?/p>

表3　不同解析尺度下相同與不同目標(biāo)之間的平均距離

3.4跨場(chǎng)景下的目標(biāo)識(shí)別

在圖6的場(chǎng)景C中,使用3.3節(jié)中為目標(biāo)1、2在200像素和300像素尺度下建立的詞包及相應(yīng)詞包描述子,作為來自第1攝像機(jī)的目標(biāo)信息.另外使用6個(gè)不同目標(biāo)(包含目標(biāo)1、2)各自分別在場(chǎng)景D、E、F、G、H中獲得最窄目標(biāo)圖像1張,尺度均約為300像素.6個(gè)目標(biāo)共30張目標(biāo)圖像(圖中未全部列出),作為第2攝像機(jī)的待識(shí)別目標(biāo).

按筆者提出的方法分別計(jì)算第1與第2攝像機(jī)目標(biāo)圖像的相似性距離,共有120個(gè)結(jié)果.將結(jié)果按第1攝像機(jī)目標(biāo)的2個(gè)尺度分組計(jì)算均值,分列于表4,其中后1組(尺度為200像素)為跨尺度比較.另外,為考查筆者提出方法的有效性,使用目前紋理描述常用的特征進(jìn)行同樣的相似性距離計(jì)算,結(jié)果列于表4中供比較.

表4　各方法在不同解析度下的目標(biāo)識(shí)別性能對(duì)比

表4中,經(jīng)典傅里葉分區(qū)方法[13]將頻譜幅值圖分成6個(gè)扇形區(qū)(0°～180°),使用各區(qū)內(nèi)的幅度均值及標(biāo)準(zhǔn)差組成歸一化特征向量;Gabor方法[4-6]使用4個(gè)波長(zhǎng)尺度(以目標(biāo)窗高為統(tǒng)一折算單位)和6個(gè)方向(0°～180°)的Gabor模板對(duì)目標(biāo)圖像進(jìn)行濾波,使用各次濾波的幅度均值及標(biāo)準(zhǔn)差組成歸一化特征向量;LBP方法[14]使用具有旋轉(zhuǎn)不變性的等價(jià)LBP值組成歸一化特征向量.傅里葉和Gabor特征使用Canberra距離, LBP特征使用歐氏距離.Q值用于評(píng)價(jià)各種方法的性能:

Q值越高,區(qū)分目標(biāo)的能力越強(qiáng).

從表4可以看到,在跨場(chǎng)景的情況下,筆者提出的方法能較好地識(shí)別目標(biāo),對(duì)光照亮度、色溫及攝像機(jī)變化有較強(qiáng)的魯棒性,比使用Gabor特征的效果略強(qiáng).筆者構(gòu)造的傅里葉特征與經(jīng)典傅里葉分區(qū)方法類似,但由于使用聚類找到了特征穩(wěn)定點(diǎn),并通過詞包模型使目標(biāo)之間的差異鮮明化,提高了目標(biāo)識(shí)別性能.從跨尺度比較的結(jié)果看,上述各種方法的目標(biāo)識(shí)別效果均受限于小目標(biāo)的尺度,但筆者提出的方法受到的影響相對(duì)較小.

3.5筆者提出的方法的運(yùn)行速度

筆者提出的方法使用Matlab2010b編程,在32位Windows XP下運(yùn)行,硬件環(huán)境為:64位雙核AMD AthlonⅡCPU,主頻3.1 GHz,一級(jí)緩存128 kB×2,二級(jí)緩存2 MB,內(nèi)存3.25 GB.完成兩幅300×100尺寸圖像的頻譜詞包建立及詞包描述子計(jì)算的時(shí)間為0.281 9 s(第1攝像機(jī)),完成一幅300×100尺寸圖像的識(shí)別僅需0.062 6 s(第2攝像機(jī)),這對(duì)于跟蹤目標(biāo)的跨攝像機(jī)交接已經(jīng)足夠了.而識(shí)別效果相對(duì)較好的Gabor方法在第2攝像機(jī)的識(shí)別時(shí)間則長(zhǎng)達(dá)3.632 1 s,這一速度是不夠的.

4　結(jié)束語

筆者提出的方法的特點(diǎn)在于不過度依賴某種特征單次使用的目標(biāo)識(shí)別性能,而是通過聚類發(fā)現(xiàn)該特征相對(duì)于目標(biāo)的穩(wěn)定點(diǎn),再以穩(wěn)定點(diǎn)處的特征為參照,使用詞包模型,考查大量使用該特征時(shí)表現(xiàn)出來的整體統(tǒng)計(jì)特點(diǎn),提高了目標(biāo)識(shí)別性能.作為一種基于表面結(jié)構(gòu)性信息的方法,筆者提出的方法對(duì)目標(biāo)尺度有一定要求,這是下一步需要進(jìn)一步研究的方面.同時(shí),如何根據(jù)目標(biāo)的尺度和表面信息的豐富程度選擇最合適的模型參數(shù)也值得深入研究.

[1]FEI Y,MAKRIS D,VELASTIN S A,et al.Calibration and Object Correspondence in Camera Networks with Widely Separated Overlapping Views[J].IET Computer Vision,2015,9(3):354-367.

[2]WANG X G.Intelligent Multi-camera Video Surveillance:a View[J].Pattern Recognition Letters,2013,34:3-19.

[3]LüZ,XING X,WANG K,et al.Class Energy Image Analysis for Video Sensor-based Gait Recognition:a Review[J]. Sensors,2015,15(1):932-964.

[4]閆允一,姜帥,郭寶龍.結(jié)合穩(wěn)定興趣點(diǎn)和Gabor小波的圖像檢索[J].西安電子科技大學(xué)學(xué)報(bào),2014,41(5): 118-123. YAN Yunyi,JIANG Shuai,GUO Baolong.Image Retrieval Using Stable Interest Points and Gabor Wavelet[J].Journal of Xidian University,2014,41(5):118-123.

[5]ARIVAZHAGAN S,NIRMALA S.Rotation and Scale Invariant Texture Classification Using Gabor and Curvelet Transforms[J].International Journal of Tomography and Simulation,2015,28(2):94-105.

[6]劉麗,匡綱要.圖像紋理特征提取方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2009,14(4):622-635. LIU Li,KUANG Gangyao.Overview of Image Textural Feature Extraction Methods[J].Journal of Image and Graphics,2009,14(4):622-635.

[7]MENNESSONA J,JEANB C S,MASCARILLA L.Color Fourier-Mellin Descriptors for Image Recognition[J].Pattern Recognition Letters,2014,40:27-35.

[8]ALTANTSETSEG E,KATSUTSUGU M,KOUICHI K.Pairwise matching of 3D Fragments Using Fast Fourier Transform[J].The Visual Computer,2014,30(6/8):929-938.

[9]趙理君,唐娉,霍連志,等.圖像場(chǎng)景分類中視覺詞包模型方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(3):333-343. ZHAO Lijun,TANG Ping,HUO Lianzhi,et al.Review of the Bag of Visual Words Models in Image Scene Classification[J].Journal of Image and Graphics,2014,19(3):333-343.

[10]KHAN R,BARAT C,MUSELET D,et al.Spatial Histograms of Soft Pairwise Similar Patches to Improve the Bag of Words Model[J].Computer Vision and Image Understanding,2015,132:102-112.

[11]FARAJI M,SHANBEHZADEH J.Bag of Visual Words,its Detectors and Descriptors:a Survey in Detail[J].Advances in Computer Science an International Journal,2015,4(2):8-12.

[12]IONESCU R T,POPESCU M,KERNEL P Q.A Rank Correlation Kernel for Visual Word Histograms[J].Pattern Recognition Letters,2015,55:51-57.

[13]閆晶瑩,王成儒.一種新的紋理特征提取算法[J].西安郵電學(xué)院學(xué)報(bào),2011,16(1):49-53. YAN Jingying,WANG Chengru.A New Method for Texture Feature Extraction[J].Journal o Xi’an University of Posts and Telecommunications,2011,16(1):49-53.

[14]劉麗,謝毓湘,魏迎梅,等.局部二進(jìn)制模式方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(12):1696-1720. LIU Li,XIE Yuxiang,WEI Yingmei,et al.Survey of Local Binary Pattern Method[J].Journal of Image and Graphics, 2014,19(12):1696-1720.

(編輯:郭 華)

Method for relay tracked target handover using the spectrum bag of words

ZH ANG Xiaojun,LIU Zhijing,XUE Hongmin
(School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China)

Aiming at the difficulty of the relay-tracked target handover across cameras,a method using the spectrum Bag Of Words(BOW)is proposed.Firstly,2 or more target images from the first camera are divided into blocks.The Fourier features of the blocks are extracted and then clustered by Kmeans.The averaged vectors of the compact clusters are used as the normal words of the BOW,while an abnormal vector is used as the abnormal word.The targets from the first and second cameras are described in BOW words.The Euclidean distance between the BOW descriptions is used as the target similarity metrics. Experiments show that the proposed method has some definite improvement in target recognition and robustness compared with several common methods based on the texture.

multiple cameras;relay tracking;target handover;Fourier spectrum;spectrum bag of words

TP391.4

A

1001-2400(2016)04-0191-06

10.3969/j.issn.1001-2400.2016.04.033

2016-01-19

國(guó)家自然科學(xué)基金資助項(xiàng)目(61173091)

張小駿(1964-),男,西安電子科技大學(xué)博士研究生,E-mail:1479781033@qq.com.