一種重疊視域多攝像頭協(xié)同運(yùn)動(dòng)目標(biāo)跟蹤方法

李 旭，俞 娜，李景文，2，姜建武，2

(1.桂林理工大學(xué)測繪地理信息學(xué)院，廣西桂林 541006；2.桂林理工大學(xué)廣西空間信息與測繪重點(diǎn)實(shí)驗(yàn)室，廣西桂林 541006)

1 引言

在運(yùn)動(dòng)目標(biāo)檢測和跟蹤過程中單一攝像頭難以實(shí)現(xiàn)大范圍、多角度、長時(shí)間的跟蹤監(jiān)控[1]，如何利用多攝像頭協(xié)同工作實(shí)現(xiàn)目標(biāo)檢測和跟蹤成為當(dāng)前研究的熱點(diǎn)。近年來眾多學(xué)者對運(yùn)動(dòng)目標(biāo)特征提取、跟蹤和檢測問題進(jìn)行了研究，潘邈[2]通過計(jì)算目標(biāo)圖像的均布差值來劃分運(yùn)動(dòng)前景和背景，融合EM算法得到目標(biāo)圖像特征的所屬類別，進(jìn)而完成精確的目標(biāo)跟蹤；卜言生[3]采用RGB 顏色特征與LBP 紋理特征對目標(biāo)進(jìn)行背景目標(biāo)雙加權(quán)，利用特征更新選擇函數(shù)，從而實(shí)現(xiàn)目標(biāo)行人的有效跟蹤；楊輝[4]提出一種融合Harris角點(diǎn)和Surf算法對Meanshift改進(jìn)的算法，提高了運(yùn)動(dòng)目標(biāo)跟蹤算法的性能；吳瑋[5]等在Camshift算法框架下得到目標(biāo)匹配中心位置，通過自適應(yīng)加權(quán)融合的方法得到最優(yōu)中心位置，進(jìn)而實(shí)現(xiàn)存在顏色干擾以及目標(biāo)重疊遮擋時(shí)運(yùn)動(dòng)目標(biāo)的跟蹤；W.Zhou[6]利用背景減法、HOG特征檢測和系統(tǒng)聚類的偏差二乘法建立了基于HOG檢測和系統(tǒng)聚類的多視角前景匹配模型，實(shí)現(xiàn)對同一位置不同角度前景運(yùn)動(dòng)目標(biāo)的檢測和提取；M.Z.Alom[7]等利用動(dòng)態(tài)環(huán)境神經(jīng)網(wǎng)絡(luò)和背景差分法對行人進(jìn)行檢測，從而更好的獲得前景區(qū)域的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤和檢測。上述算法雖較好地實(shí)現(xiàn)了動(dòng)態(tài)目標(biāo)的實(shí)時(shí)跟蹤，但是在多攝像頭連續(xù)跟蹤且存在重疊視野范圍時(shí)，不能實(shí)現(xiàn)對同一運(yùn)動(dòng)目標(biāo)的檢測和跟蹤。本文提出一種通過特征點(diǎn)對數(shù)匹配生成重疊視域范圍內(nèi)的視野分界線，實(shí)現(xiàn)同一運(yùn)動(dòng)目標(biāo)判別和實(shí)時(shí)跟蹤，完成在重疊視域范圍的多視角協(xié)同的運(yùn)動(dòng)目標(biāo)跟蹤方法。

2 重疊視域運(yùn)動(dòng)目標(biāo)交接跟蹤實(shí)現(xiàn)過程

特征點(diǎn)的匹配、視野分界線的確定和目標(biāo)的交接與跟蹤是實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)在重疊視域多視角協(xié)同下交接跟蹤的核心環(huán)節(jié)，其具體過程是：首先通過Harris-Sift算法自動(dòng)生成特征匹配點(diǎn)對，利用特征點(diǎn)對數(shù)計(jì)算求得投影矩陣，進(jìn)而生成視野分界線，然后利用可見性函數(shù)判斷運(yùn)動(dòng)目標(biāo)的位置，檢測識別同一運(yùn)動(dòng)目標(biāo)，完成對重疊視域范圍內(nèi)的同一運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤，該方法的具體技術(shù)流程如圖1所示。

圖1 運(yùn)動(dòng)目標(biāo)交接跟蹤技術(shù)流程

3 運(yùn)動(dòng)目標(biāo)交接跟蹤方法

在圖1中，運(yùn)動(dòng)目標(biāo)交接跟蹤方法主要包括Harris-Sift特征點(diǎn)匹配、重疊視域視野分界線的生成、目標(biāo)可見性判別、運(yùn)動(dòng)目標(biāo)交接和運(yùn)動(dòng)目標(biāo)跟蹤五部分，特征點(diǎn)匹配結(jié)果和視野分界線為運(yùn)動(dòng)目標(biāo)的可見性判別提供了基礎(chǔ)，運(yùn)動(dòng)目標(biāo)檢測和交接是實(shí)現(xiàn)同一運(yùn)動(dòng)目標(biāo)實(shí)時(shí)跟蹤的關(guān)鍵環(huán)節(jié)。

3.1 Harris-Sift特征點(diǎn)匹配算法

本文將Harris算法和Sift算法相融合，利用Harris算法能夠剔除視域范圍邊緣特征點(diǎn)對Sift算法[8，9]進(jìn)行改進(jìn)，通過Harris在角點(diǎn)鄰域范圍以角點(diǎn)為中心，設(shè)置半徑限制檢測圖像特征點(diǎn)，從而刪除不在Harris角點(diǎn)領(lǐng)域范圍內(nèi)的Sift特征點(diǎn)提高特征點(diǎn)匹配效率，實(shí)現(xiàn)光滑邊緣特征點(diǎn)的提取，降低誤匹配精度，提高特征點(diǎn)匹配效率。Harris-Sift特征點(diǎn)匹配方法的過程如下：

將圖像窗口[u，v]進(jìn)行灰度化E(u，v):

(1)

其中

I(x+u，y+v)=I(x，y)+Ixu+Iyv+o(u2，v2)

(2)

則

(3)

是用來濾波的高斯函數(shù)，對于局部微小移動(dòng)量[u，v]，表式為

(4)

M為2×2矩陣，由圖像的導(dǎo)數(shù)求得

(5)

對角點(diǎn)相應(yīng)函數(shù)F進(jìn)行閾值處理，F(xiàn)>threshold，即得到F的局部極大值

F(x，y)=det(M)-Ktrace2(M)

(6)

其中K為常數(shù)項(xiàng)，取值范圍是0.03～0.05；det(M)=λ1λ2，trace(M)=λ1+λ2，和trace(M)分別為自相關(guān)矩陣的行列式和跡。

本文算法以Harris角點(diǎn)為中心，r為半徑檢測圖像的特征點(diǎn)。其中半徑r計(jì)算公式為

(7)

式中：δoct為Harris角點(diǎn)所在尺度。通過定義半徑r，尋找得到半徑r范圍內(nèi)的特征點(diǎn)，刪除定義r半徑外鄰域范圍的Sift特征點(diǎn)，使得這些特征點(diǎn)同時(shí)具備高穩(wěn)定性和旋轉(zhuǎn)不變性。利用最終在重疊視域范圍得到的特征匹配點(diǎn)為視野分界線的生成提供基礎(chǔ)。

3.2 視野分界線生成方法

投影不變量算法[10]是一種投影變量不受場景、場景中目標(biāo)的運(yùn)動(dòng)以及攝像機(jī)參數(shù)等信息變化而改變的方法，因此采用該方法能較好地生成視野分界線。如圖2所示，圖像A1和圖像A2中任選三點(diǎn)，均不能構(gòu)成一條直線，因此可以得到相互獨(dú)立的兩個(gè)投影不變量

(8)

(9)

(10)

利用Harris-Sift算法得到4對特征匹配點(diǎn)并獲取相應(yīng)坐標(biāo)，選取攝像頭A2右邊界上的兩點(diǎn)，將這兩點(diǎn)的坐標(biāo)和已獲得的4點(diǎn)坐標(biāo)帶入式(8)中計(jì)算，求得A2右邊界上的兩點(diǎn)在A1中的對應(yīng)點(diǎn)，連接兩點(diǎn)，得到A2圖像在A1圖像中的視野分界線，再利用得到的重疊視域范圍的視野分界線來判別運(yùn)動(dòng)目標(biāo)。

3.3 運(yùn)動(dòng)目標(biāo)可見性判別過程

利用投影不變量算法得到的視野分界線后將一個(gè)攝像頭的視野分為兩個(gè)區(qū)域，如圖3所示。其中灰色區(qū)域?yàn)橐曇爸械目梢妳^(qū)域，白色區(qū)域?yàn)椴豢梢妳^(qū)域。

圖3 相鄰攝像頭可見區(qū)域示意圖

設(shè)所追蹤的運(yùn)動(dòng)目標(biāo)在A1圖像中質(zhì)心位置坐標(biāo)為Q:(x1，y1)，圖像中的視野分界線為Q1Q2:Ax+By+C=0，則運(yùn)動(dòng)目標(biāo)在圖像A1視野中的目標(biāo)可見性判別為

Q(x1，y2)=Ax1+By1+

(11)

因此，為確保運(yùn)動(dòng)目標(biāo)能夠順利跟蹤，只需通過運(yùn)動(dòng)目標(biāo)判別性函數(shù)在視野范圍以及視野分界線的情況即可。通過目標(biāo)可見性判別，為后續(xù)實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)在重疊視域的交接和跟蹤提供良好的基礎(chǔ)。

3.4 運(yùn)動(dòng)目標(biāo)交接

當(dāng)運(yùn)動(dòng)目標(biāo)從一個(gè)視野范圍進(jìn)入另一個(gè)視野范圍時(shí)，判斷運(yùn)動(dòng)目標(biāo)的質(zhì)心與視野分界線之間的水平距離即只需計(jì)算水平方向x的之間的值，將水平差值值最小的運(yùn)動(dòng)目標(biāo)記為跟蹤目標(biāo)。運(yùn)動(dòng)目標(biāo)的標(biāo)記過程可以記為

(12)

通過直方圖與視野分界線相匹配來解決在運(yùn)動(dòng)目標(biāo)交接過程中出現(xiàn)誤判而導(dǎo)致目標(biāo)交接失敗的問題，具體方法是：

1)根據(jù)目標(biāo)質(zhì)心與視野分界線在X方向的距離，通過對比閾值確定待跟蹤目標(biāo)，將待跟蹤目標(biāo)與跟蹤目標(biāo)的顏色直方圖進(jìn)行匹配度識別；

2)對匹配度最好的待跟蹤目標(biāo)賦予標(biāo)識，進(jìn)而完成運(yùn)動(dòng)目標(biāo)交接。

3.5 運(yùn)動(dòng)目標(biāo)跟蹤

運(yùn)動(dòng)目標(biāo)跟蹤首先利用Vibe算法對視頻幀圖像建立背景模型并對背景進(jìn)行實(shí)時(shí)更新；然后是對圖像進(jìn)行三幀差分運(yùn)算，并得到前景運(yùn)動(dòng)目標(biāo)；最后利用meanshift算法融合實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的提取，從而解決運(yùn)動(dòng)目標(biāo)跟蹤失敗問題，具體流程如圖4所示。

圖4 運(yùn)動(dòng)目標(biāo)跟蹤過程

利用上述運(yùn)動(dòng)目標(biāo)跟蹤方法消除了Vibe算法在運(yùn)動(dòng)目標(biāo)檢測過程中產(chǎn)生的鬼影，解決了運(yùn)動(dòng)目標(biāo)跟蹤丟失的問題，實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。

4 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證所提方法的有效性，本文所采用的開發(fā)環(huán)境為CPU：Inter(R)Core (TM)i7-7700K CPU @ 4.20GHz 4.20GHzi7+16G內(nèi)存；程序代碼采用Matlab2016a+OpenCv2.7.1為實(shí)驗(yàn)平臺進(jìn)行編寫。在校園內(nèi)設(shè)置實(shí)驗(yàn)場景，場景中相鄰攝像機(jī)之間設(shè)置40-50%的重疊視野區(qū)域，為顏色直方圖模板匹配法[11]和多特征信息融合法[12]及本文提出的改進(jìn)算法的對比提供實(shí)驗(yàn)數(shù)據(jù)源。

4.1 視野分界線實(shí)驗(yàn)

圖5為A1視野區(qū)域在A2視野區(qū)域生成的視野分界線過程，圖5(a)是A1視野區(qū)域，圖5(b)是A2視野區(qū)域，圖6(a)是利用Sift算法在A1和A2視野重疊視域內(nèi)產(chǎn)生的特征點(diǎn)匹配結(jié)果，圖6(b)是利用本文所提出的算法在A1和A2的重疊視域內(nèi)產(chǎn)生的特征點(diǎn)匹配結(jié)果，從所有特征點(diǎn)對數(shù)中選取4對特征點(diǎn)，利用特征點(diǎn)求得投影變換矩陣，在圖5(c)中選擇A1視野右邊界上兩點(diǎn)，通過投影變換得到A2視野中的對應(yīng)點(diǎn)，連接兩點(diǎn)得到重疊視域的視野分界線，如圖5(d)所示。

圖5 生成視野分界線

圖6 特征點(diǎn)匹配結(jié)果圖

經(jīng)過實(shí)驗(yàn)對比，Harris-Sift算法與Sift算法的特征點(diǎn)匹配結(jié)果相比較，降低了特征點(diǎn)誤匹配效率，提高重疊視域范圍的特征點(diǎn)的匹配精度，且該算法能夠在重疊視域范圍內(nèi)能夠找到特征匹配點(diǎn)對數(shù)，為視野分界線生成提供了基礎(chǔ)。

4.2 目標(biāo)跟蹤實(shí)驗(yàn)及對比分析

為了驗(yàn)證重疊視域多攝像頭協(xié)同的運(yùn)動(dòng)目標(biāo)跟蹤方法可行性和實(shí)時(shí)性，試驗(yàn)從運(yùn)動(dòng)目標(biāo)跟蹤效果和運(yùn)動(dòng)目標(biāo)跟蹤精度兩個(gè)方面進(jìn)行了對比試驗(yàn)。

4.2.1 運(yùn)動(dòng)目標(biāo)跟蹤效果對比

通過設(shè)置單目標(biāo)的連續(xù)跟蹤、有干擾目標(biāo)時(shí)的連續(xù)跟蹤和與干擾目標(biāo)近距離跟蹤三種常見實(shí)驗(yàn)場景，將顏色直方圖模板匹配法、視野分界線與Sift算法融合和重疊視域目標(biāo)跟蹤算法進(jìn)行實(shí)驗(yàn)對比分析，分別獲取實(shí)驗(yàn)過程中的相關(guān)幀圖像跟蹤結(jié)果進(jìn)行對比分析，實(shí)驗(yàn)結(jié)果如下圖7、圖8、圖9所示。

圖7 顏色直方圖法目標(biāo)跟蹤結(jié)果圖

圖8 視野分界線與Sift算法融合的目標(biāo)跟蹤結(jié)果圖

圖9 重疊視域多視角跟蹤算法對運(yùn)動(dòng)目標(biāo)連續(xù)跟蹤

圖7中的a、b、c分別為單個(gè)目標(biāo)的連續(xù)跟蹤、有相近目標(biāo)進(jìn)行干擾時(shí)的連續(xù)跟蹤和干擾目標(biāo)靠近跟蹤目標(biāo)時(shí)的連續(xù)跟蹤實(shí)驗(yàn)過程。從上述實(shí)驗(yàn)結(jié)果圖中可以看出，當(dāng)出現(xiàn)背景顏色進(jìn)行干擾或匹配模板與運(yùn)動(dòng)目標(biāo)出現(xiàn)偏差，跟蹤效果較差，均會(huì)導(dǎo)致跟蹤目標(biāo)丟失。

圖8中的a、b和c分別為單個(gè)目標(biāo)連續(xù)跟蹤、干擾目標(biāo)與跟蹤目標(biāo)的連續(xù)跟蹤和干擾與跟蹤目標(biāo)靠近的連續(xù)跟蹤實(shí)驗(yàn)。跟蹤結(jié)果可以看出，雖然視野分界線與Sift算法相融合的方法能夠提高目標(biāo)交接效率，當(dāng)存在多個(gè)干擾目標(biāo)時(shí)目標(biāo)跟蹤失敗，因此導(dǎo)致運(yùn)動(dòng)目標(biāo)跟蹤丟失。

圖9中的a、b和c為分別為單個(gè)目標(biāo)連續(xù)跟蹤、干擾目標(biāo)與跟蹤目標(biāo)的連續(xù)跟蹤和干擾與跟蹤目標(biāo)靠近的連續(xù)跟蹤實(shí)驗(yàn)。從上述實(shí)驗(yàn)結(jié)果中可以得出，重疊視域多視角跟蹤算法在三種不同的場景下對運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤均能成功地實(shí)現(xiàn)目標(biāo)交接，完成目標(biāo)的連續(xù)跟蹤。

4.2.2 運(yùn)動(dòng)目標(biāo)跟蹤精度對比

為了進(jìn)一步驗(yàn)證本文算法的跟蹤精度，與文獻(xiàn)[13]算法進(jìn)行對比，在原有的實(shí)驗(yàn)數(shù)據(jù)基礎(chǔ)上進(jìn)行了連續(xù)跟蹤，跟蹤過程中運(yùn)動(dòng)目標(biāo)的起點(diǎn)和終點(diǎn)一致，跟蹤視頻幀數(shù)設(shè)為150幀，跟蹤結(jié)果精度分析如表1所示。

表1 算法對比跟蹤效果

本文與文獻(xiàn)[13]算法相比在特征點(diǎn)匹配方面提高了特征點(diǎn)的匹配精度，降低了特征點(diǎn)誤匹配效率；在運(yùn)動(dòng)目標(biāo)檢測與跟蹤方面消除了Vibe算法在運(yùn)動(dòng)目標(biāo)檢測過程中產(chǎn)生的鬼影，解決了運(yùn)動(dòng)目標(biāo)跟蹤丟失的問題。通過數(shù)據(jù)對比(如表1所示)，本文算法對運(yùn)動(dòng)目標(biāo)跟蹤準(zhǔn)確率分別為76%、87%、88%，文獻(xiàn)[13]算法對運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤準(zhǔn)確率為63.4%、74.7%、72%，實(shí)驗(yàn)結(jié)果分析表明，本文運(yùn)動(dòng)目標(biāo)跟蹤算法準(zhǔn)確率高于文獻(xiàn)[13]改進(jìn)算法準(zhǔn)確率。

5 結(jié)論

本文將Harris算法和Sift算法相融合提出了Harris-Sift特征點(diǎn)匹配算法，提高了重疊視域特征點(diǎn)匹配精度，通過構(gòu)建重疊視域范圍內(nèi)視野分界線和目標(biāo)可見性判別，提高了對運(yùn)動(dòng)目標(biāo)交接。經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文構(gòu)建的重疊視域多視角協(xié)同的運(yùn)動(dòng)目標(biāo)交接跟蹤方法既提高了運(yùn)動(dòng)目標(biāo)跟蹤精度，又提高了跟蹤效率，解決了重疊視域范圍運(yùn)動(dòng)目標(biāo)交接與跟蹤失敗[14-16]的問題，為多視角重疊區(qū)域內(nèi)的運(yùn)動(dòng)目標(biāo)跟蹤提供了一種實(shí)現(xiàn)方法。