基于背景約束的抗遮擋目標跟蹤算法研究

陽永清

（長沙師范學(xué)院信息與公共實驗管理中心，湖南 長沙 410100）

目標跟蹤技術(shù)一直以來都是計算機圖像智能處理領(lǐng)域中的研究熱點，其最早應(yīng)用于軍事領(lǐng)域，現(xiàn)已在專項偵察、人機交互、醫(yī)療診斷、安防監(jiān)控和虛擬現(xiàn)實等諸多領(lǐng)域有著廣泛的應(yīng)用[1-2]，成為城市智能視頻監(jiān)控的核心技術(shù)之一。目標跟蹤的目的主要在于確定目標在視頻圖像中的準確位置和狀態(tài)，從而有效獲取目標的行跡、特征信息和空間位置信息等內(nèi)容，為對目標狀態(tài)進行更精準的分析提供技術(shù)支持。目標跟蹤過程可以依據(jù)目標的類別分為點目標跟蹤和特征目標跟蹤兩種。

目前，已有一些相對成熟的目標跟蹤方法。劉美枝、楊磊等[3]設(shè)計了基于Camshift的跟蹤算法，該算法充分考慮了角點的特征不變性，并利用圖像Harris角點檢測過程提取圖像信息的局部特征點，繼而在視頻圖像的連續(xù)兩幀之間，通過對特征信息的配準剔除圖像中的虛假特征點，從而獲得特征點的實際位置和主方向，再利用CamShift算法完成對目標位置和方向的搜索和跟蹤。曾禮靈、李朝鋒[4]設(shè)計了基于支持向量機（Support Vector Machine,SVM）的跟蹤算法，該算法在多核學(xué)習(xí)過程中導(dǎo)入了Boosting提升方法，利用比普通多核學(xué)習(xí)過程更加便捷的樣本訓(xùn)練過程，建立基于互補性特征集和核函數(shù)集的弱分類器池，然后把多個單核的弱分類器組合起來，形成一個較強、多核的分類器，使得雙方可以在強背景干擾的環(huán)境下仍能實現(xiàn)對目標的識別和跟蹤。周珂、張浩博等[5]設(shè)計了基于SiamMask的跟蹤算法，該算法利用了融合優(yōu)化的思想，將傳統(tǒng)的基于PyTorch深度學(xué)習(xí)框架的SiamMask單目標跟蹤過程和感興趣區(qū)域檢測過程相結(jié)合，并使用時空語境預(yù)測過程，根據(jù)圖像中目標的時空變化，對目標下一時刻的新位置進行預(yù)測，借助于SiamMask模型的校正能力實現(xiàn)對圖像中目標的快速識別和跟蹤。周克虎、周進等[6]設(shè)計了基于Struck的遮擋目標跟蹤算法，該算法在Struck算法框架的基礎(chǔ)上融入遮擋判斷機制，當追蹤目標存在遮擋時，通過縮放搜索樣本的尺寸避免遮擋檢測虛警，并通過卡爾曼濾波實現(xiàn)目標全遮擋后的持續(xù)跟蹤。盧瑞濤、任世杰等[7]設(shè)計了基于稀疏表示多子模板的跟蹤算法，該算法首先利用子模板選擇方法最大程度地捕捉目標特征信息。這一過程中，針對圖像直方圖對光照敏感的弊端，引入了稀疏表示理論，將其用于描述子模板特征，從而提高模板子塊的適應(yīng)能力，然后通過構(gòu)造表決圖對目標位置進行融合決策，對目標模型進行有效跟蹤。

為進一步提高目標跟蹤結(jié)果的質(zhì)量，建立了背景約束模式，在此基礎(chǔ)上設(shè)計了一種抗遮擋目標跟蹤算法，以實現(xiàn)優(yōu)質(zhì)的運動目標跟蹤。

1 算法設(shè)計

1.1 基于背景約束機制的目標識別

1.1.1 前景目標物與背景信息提取

目標識別過程中，圖像內(nèi)前景目標物與背景劃分是一個關(guān)鍵環(huán)節(jié)[8]。為實現(xiàn)對視頻圖像內(nèi)信息的智能感知，有效劃分圖像內(nèi)跟蹤目標識別前景與背景，采用由下向上的視覺注意模型生成圖像馬爾科夫矩陣，獲取顯著圖[9]。過程如下：

Step 1：在對圖像進行降采樣后提取圖像顏色c、亮度l、方向d三類低級特征，調(diào)整每一個尺度下的圖像低級特征生成“activation maps”；

Step 2：歸一化處理“activation maps”，過程為：

其中，H(φ)是歸一化過程的哈密頓算符，h表示歐氏距離，t表示尺度。

1.1.2 背景約束機制

視頻圖像背景內(nèi)通常存在大量情景信息，這些信息同跟蹤目標的出現(xiàn)密切相關(guān)，基于這些相關(guān)性能夠輔助確定圖像內(nèi)跟蹤目標出現(xiàn)的概率[10]。基于此，利用先驗知識構(gòu)建背景對目標的約束機制，可提升目標識別概率，同時與單純目標分類獲取的識別結(jié)果相比更能滿足人類的認知心理。

根據(jù)背景約束機制構(gòu)建背景對象（Background Object,BO）模型，圖像背景信息與跟蹤目標出現(xiàn)的相關(guān)性關(guān)系Z用下式描述：

其中，Background、Object和Probability分別表示圖像集內(nèi)背景集合、目標物集合和某圖像背景下目標物出現(xiàn)的概率。

根據(jù)以上分析可知，目標物集合內(nèi)各目標物元素同背景集合內(nèi)各背景元素之間都存在某種程度的相關(guān)性，但各背景元素下不同目標物元素存在的可能性有所差異，這種概率約束被定義為背景對標定的概率約束機制[11]。劃分視頻圖像內(nèi)前景目標物與背景后，識別判斷背景，利用背景約束機制構(gòu)建的BO模型對前景目標物進行分析，由此實現(xiàn)視頻圖像內(nèi)跟蹤目標識別。

1.2 基于多線索融合的目標跟蹤

1.2.1 粒子濾波的跟蹤框架

依照觀測值優(yōu)化粒子權(quán)值：

1.2.2 mean-shift算法

其中，N和Kφ分別表示粒子總數(shù)和核寬為φ的高斯核函數(shù)。依照均值向量梯度方向?qū)⒘Ｗ右苿又梁篁灨怕拭芏鹊木植繕O值區(qū)域，同時利用上限Bhattacharyya系數(shù)確定跟蹤目標運動的最優(yōu)方位。

1.2.3 線索的選取

利用顏色直方圖模板和基于核密度橢圓的二值形狀模板選取[16-17]粒子濾波跟蹤的線索。

1）加權(quán)顏色直方圖模型

其中，CH和δ分別表示歸一化因子和Kronecker函數(shù)。

其中，P值與分布一致度之間為反比關(guān)系。針對兩個一致的加權(quán)顏色直方圖模板，P值為0可描述最優(yōu)的匹配度。

在此基礎(chǔ)上，利用式（11）描述候選目標的顏色似然函數(shù)：

其中，σc表示顏色線索觀測值內(nèi)的高斯噪聲。

2）二值形狀線索

以二值形狀為目標跟蹤線索時，假設(shè)Y表示跟蹤目標橢圓參數(shù)，由此得到跟蹤目標的二值形狀模板：

其中，Bt-1表示前景目標的二值分割圖像。

利用式（14）描述候選目標的概率化形狀似然函數(shù)：

1.3 遮擋判定與融合策略自適應(yīng)

當跟蹤目標存在被遮擋現(xiàn)象后，跟蹤算法應(yīng)通過相應(yīng)策略進行抗遮擋處理，至遮擋現(xiàn)象消失后返回正常跟蹤模式[19]。Bhattacharyya系數(shù)可描述當前候選跟蹤目標與跟蹤目標之間的一致度。在跟蹤目標無遮擋情況下，Bhattacharyya系數(shù)波動控制在一定范圍內(nèi)；在跟蹤目標被遮擋情況下，Bhattacharyya系數(shù)將顯著下降。因此可根據(jù)Bhattacharyya系數(shù)的波動情況判斷跟蹤目標是否被遮擋。

在跟蹤目標被遮擋條件下，遮擋物不同，Bhattacharyya系數(shù)下降水平也有所差異[20]。在遮擋物同跟蹤目標顏色差異較小的條件下，Bhattacharyya系數(shù)下降幅度也有所減緩。一般來說，若遮擋物顏色類似于跟蹤目標，其紋理特征通常區(qū)別于跟蹤目標。因此，在顏色線索與二值形狀線索中，若任意線索的Bhattacharyya系數(shù)存在顯著下降的趨勢，則可說明跟蹤目標被遮擋。

融合顏色直方圖與二值形狀線索過程中采用自適應(yīng)融合策略[21]，在線索充分的條件下，為獲取高精度的似然函數(shù)，兩種線索采用乘性融合模式；若存在跟蹤目標被遮擋導(dǎo)致線索退化現(xiàn)象發(fā)生時，為提升似然函數(shù)的穩(wěn)定性，則轉(zhuǎn)換為加權(quán)融合的模式。

在跟蹤目標無遮擋、跟蹤線索充分的條件下，選用的乘性融合模式的表達式如下：

其中，α、β都表示加權(quán)系數(shù)，同時α+β=1，兩者的值由跟蹤場景決定，若存在目標遮擋，α值較大。

在目標跟蹤時，粒子濾波跟蹤框架自適應(yīng)優(yōu)化兩種線索直方圖，用q和r分別表示當前模板和當前候選跟蹤目標的直方圖，在兩者的Bhattacharyya距離小于閾值Th時，優(yōu)化模板；相反判定跟蹤目標受外界因素影響顯著，或跟蹤目標被局部或整體遮擋，不優(yōu)化模板。以此避免跟蹤結(jié)果受外界因素影響，并確保跟蹤目標被遮擋條件下目標模板的準確優(yōu)化。

2 實驗分析

2.1 跟蹤結(jié)果初步檢驗

實驗對象選取某場籃球比賽視頻進行實驗測試，視頻幀率為24 fps，分辨率為352×288。利用該文算法追蹤該視頻內(nèi)的22號球員，初步判斷該文方法的有效性，結(jié)果如圖1所示。

圖1 文中算法追蹤結(jié)果

由圖1可知，采用該文算法進行目標追蹤的過程中，第18幀、第69幀和第97幀圖像在非遮擋與遮擋條件下都可以準確跟蹤運動目標，由此可初步證明該文算法能夠有效跟蹤運動目標。這是因為該文方法在目標跟蹤算法的基礎(chǔ)上增加了判斷模式，若存在目標遮擋，則及時轉(zhuǎn)變線索融合模式，在粒子濾波框架內(nèi)引入了mean-shift算法，因此可在存在目標遮擋的情況下有效追蹤目標。

2.2 跟蹤效果對比

2.2.1 非遮擋目標跟蹤

在實驗對象內(nèi)選取某非遮擋運動目標視頻進行實驗測試，對比該文算法、基于Camshift的跟蹤算法、基于SVM的跟蹤算法、基于SiamMask的跟蹤算法、基于Struck的遮擋目標跟蹤算法和基于稀疏表示多子模板的跟蹤算法的跟蹤效果，結(jié)果如圖2所示。

圖2 非遮擋目標跟蹤效果對比

2.2.2 遮擋目標跟蹤

在實驗對象內(nèi)選取某遮擋運動目標視頻進行實驗測試，對比不同方法的跟蹤效果，結(jié)果如圖3所示。

圖3 遮擋目標跟蹤效果對比

2.3 跟蹤性能測試

2.3.1 跟蹤速度測試

在相同實驗環(huán)境下，對比不同算法對不同目標進行跟蹤所需的時間，結(jié)果如表1、表2所示。

表1 非遮擋目標跟蹤時間對比

表2 遮擋目標跟蹤時間對比

2.3.2 中心位置誤差與覆蓋率對比

中心位置誤差與覆蓋率分別描述跟蹤框與實際目標框的中心偏差和兩者合并部分內(nèi)的重疊比重。為定性評價該文算法的跟蹤效果，將上述兩個指標作為評標標準，結(jié)果如表3所示。

分析表3可知，該文算法在中心位置誤差與覆蓋率兩項指標的計算結(jié)果均顯著優(yōu)于其他5種算法，這一結(jié)果表明該文算法的跟蹤效果更優(yōu)。這是因為該文算法通過建立前景目標物的概率約束提高了目標識別的精度，并將mean-shift算法引入粒子濾波框架內(nèi)，減小了遮擋信息的干擾。

表3 中心位置誤差及覆蓋率對比

3 結(jié)論

該研究在提取初始幀圖像內(nèi)的前景目標與背景特征的基礎(chǔ)上，建立了對前景目標物的概率約束，有效地提高了目標識別的精度，并在目標跟蹤算法的基礎(chǔ)上增加了判斷模式，若存在目標遮擋，則及時轉(zhuǎn)變線索融合模式，將mean-shift算法引入粒子濾波框架內(nèi)，實現(xiàn)了抗遮擋的目標跟蹤。實驗結(jié)果表明，該文算法在跟蹤精度與跟蹤速度上均顯著優(yōu)于現(xiàn)有算法。