基于決策融合和模型更新的紅外目標(biāo)跟蹤方法

李佳文，李 建，彭 程，楊 杰

(1.上海交通大學(xué)圖像處理與模式識(shí)別研究所，上海 200240；2.上海航天控制技術(shù)研究所，上海 200240；3.中國(guó)航天科技集團(tuán)公司紅外探測(cè)技術(shù)研發(fā)中心，上海 200240)

1 引言

如今復(fù)雜的現(xiàn)代化戰(zhàn)爭(zhēng)環(huán)境中，只有及時(shí)發(fā)現(xiàn)目標(biāo)，實(shí)現(xiàn)有效跟蹤，才能實(shí)現(xiàn)精確打擊。相較普通目標(biāo)圖像而言，紅外目標(biāo)圖像反映的是目標(biāo)表面的溫度分布。通常情況下，相比于普通目標(biāo)而言，紅外目標(biāo)信噪比低、對(duì)比度低且目標(biāo)紋理較為模糊[1-2]，在低信噪比低對(duì)比度的條件下，目標(biāo)極易被周圍噪聲淹沒(méi)從而跟蹤失敗。同時(shí)，實(shí)戰(zhàn)環(huán)境具有復(fù)雜多變、不可預(yù)測(cè)的特性，當(dāng)目標(biāo)的紋理特征不清晰時(shí)，實(shí)戰(zhàn)中可能存在的干擾源降低目標(biāo)跟蹤系統(tǒng)的跟蹤性能，這也是目前的目標(biāo)檢測(cè)跟蹤技術(shù)所關(guān)注和解決的重要問(wèn)題。可以說(shuō)，紅外目標(biāo)跟蹤技術(shù)是提升現(xiàn)代化軍事實(shí)力的重要一環(huán)。

2 目標(biāo)跟蹤介紹

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要方向。它主要針對(duì)視頻中的圖像序列，其任務(wù)是通過(guò)第一幀中所給的真實(shí)目標(biāo)信息構(gòu)建模型，在之后所有幀的圖像中準(zhǔn)確估計(jì)目標(biāo)的位置。目標(biāo)跟蹤技術(shù)在交通監(jiān)控、導(dǎo)彈制導(dǎo)、自動(dòng)駕駛等領(lǐng)域均有廣泛應(yīng)用。在軍用方面[3]，現(xiàn)階段主要對(duì)紅外圖像中的目標(biāo)進(jìn)行跟蹤，與民用領(lǐng)域中所采用的可見(jiàn)光圖像有著一定區(qū)別，跟蹤難度也更大。

自上個(gè)世紀(jì)70年代起，人們陸續(xù)提出了一系列經(jīng)典的跟蹤算法。常用的跟蹤算法可以分為T(mén)BD算法和DBT算法兩類。DBT(Detect-Before-Track)算法是先通過(guò)目標(biāo)的像素強(qiáng)度檢測(cè)目標(biāo)，然后根據(jù)連續(xù)的圖像序列得到目標(biāo)軌跡；TBD(Track-Before-Detect)算法先進(jìn)行掃描，將結(jié)果存儲(chǔ)起來(lái)，然后對(duì)假設(shè)軌跡上的點(diǎn)做相關(guān)分析，最終得到目標(biāo)軌跡[4]。DBT算法中比較典型的算法如Irani等人[5]利用像素小鄰域上灰度差的加權(quán)平均度量目標(biāo)的運(yùn)動(dòng)，得到目標(biāo)的運(yùn)動(dòng)軌跡；2002年Markandev等人[6]利用光流法檢測(cè)跟蹤運(yùn)動(dòng)目標(biāo)；2003年Wang 等人[7]提出的基于數(shù)字形態(tài)學(xué)的紅外目標(biāo)檢測(cè)跟蹤算法，利用形態(tài)膨脹運(yùn)算累加同一目標(biāo)在不同幀中的能量。TBD算法主要應(yīng)用于低信噪比的背景，有利用方向加權(quán)的動(dòng)態(tài)規(guī)劃算法的檢測(cè)跟蹤技術(shù)[8]，也有通過(guò)計(jì)算幀間的高階相關(guān)性，在圖像中檢測(cè)出目標(biāo)軌跡的方法[9]。近幾年，基于多示例學(xué)習(xí)的跟蹤方法[10]和香港理工大學(xué)的Wang等人[11]提出的基于深度學(xué)習(xí)的跟蹤方法和也是目標(biāo)跟蹤領(lǐng)域研究的熱點(diǎn)。

兩類跟蹤算法相比，TBD算法在計(jì)算中同時(shí)考慮了時(shí)間信息與空間信息的關(guān)系，計(jì)算量相較于DBT算法要大。但是DBT算法是通過(guò)將假設(shè)軌跡與已經(jīng)存在的軌跡做相關(guān)分析，由此確定是否為目標(biāo)，會(huì)有較高的誤檢率。通常在低信噪比的條件下，TBD算法性能優(yōu)于DBT算法。本文所提出的紅外目標(biāo)跟蹤框架屬于TBD算法。

3 本文算法主要原理

本文所提出的算法流程如圖1所示。其主要并行構(gòu)建兩種表觀模型來(lái)描述紅外圖像目標(biāo)。圖中左側(cè)支路主要處理輪廓紋理信息流，右側(cè)支路利用到了紅外圖像的能量分布信息流，而后通過(guò)動(dòng)態(tài)決策融合機(jī)制來(lái)定位目標(biāo)在當(dāng)前幀的位置。最后，為了使算法適應(yīng)目標(biāo)的快速移動(dòng)、形態(tài)模糊和外界遮擋等情況，利用自適應(yīng)的模型更新策略來(lái)對(duì)兩種模型進(jìn)行更新，避免將錯(cuò)誤的目標(biāo)信息更新至模型，進(jìn)而減少累計(jì)的偏移誤差，有利于在之后長(zhǎng)時(shí)間的跟蹤過(guò)程中準(zhǔn)確識(shí)別和跟蹤目標(biāo)。

圖1 本文算法流程圖

3.1 基于多模型表達(dá)的動(dòng)態(tài)決策融合機(jī)制

首先在輪廓紋理模型方面，對(duì)于第t幀的圖像Xt，本文算法主要訓(xùn)練一個(gè)濾波器Ht使得兩者進(jìn)行相關(guān)操作后輸出的響應(yīng)圖與期望響應(yīng)圖盡可能接近，即最小化下式的損失函數(shù)

(1)

其中，符號(hào)?代表相關(guān)操作，Y＇ 代表期望響應(yīng)圖，一般為高斯分布。另外，λ為正則化參數(shù)，用來(lái)防止模型過(guò)擬合。

由表示定理[12]，可以將上述最小化問(wèn)題轉(zhuǎn)換到對(duì)偶空間，轉(zhuǎn)變?yōu)榍蠼鈱?duì)偶變量αt，利用快速傅里葉變換求得解析解，即

(2)

其中，F(xiàn)和F-1分別代表離散傅里葉變換及其反變換操作，<·>代表求取內(nèi)積操作。φ為一映射函數(shù)，主要將低維特征空間中的特征向量映射到高維特征空間，從而在高維特征空間中找到一個(gè)更恰當(dāng)?shù)某矫孢M(jìn)行分類判別。利用該方法的好處是無(wú)需知道映射函數(shù)的具體表達(dá)式，而通過(guò)確定該核函數(shù)即可以直接求取高維特征空間中特征向量的內(nèi)積結(jié)果，避免了求解核函數(shù)的復(fù)雜過(guò)程。

基于上述訓(xùn)練好的濾波器模型以及提取的目標(biāo)表觀模型，在新的第t+1幀圖像中，濾波器響應(yīng)圖Yt+1可以在頻域中通過(guò)式(3)計(jì)算得到

Yt+1=F-1(F(αt)⊙F(〈φ(Xt)，φ(Xt′)〉))

(3)

其中，⊙代表矩陣元素點(diǎn)乘操作，Xt＇代表目標(biāo)特征模板，其中存放了目標(biāo)在時(shí)空序列中的表觀模型信息。

(4)

而后通過(guò)圖像積分，可以得到當(dāng)前幀的能量響應(yīng)圖Et。

在之后的融合階段，本文針對(duì)紅外目標(biāo)跟蹤引入一種動(dòng)態(tài)決策融合機(jī)制[14-15]。其主要利用平均峰值相關(guān)能量[16](Average Peak-to-Correlation Energy，APCE)來(lái)衡量響應(yīng)圖的起伏波動(dòng)程度。對(duì)于響應(yīng)圖，其APCE值的計(jì)算方式為

(5)

從其計(jì)算方式可以看出，如果相關(guān)濾波器所獲得的響應(yīng)圖單峰特性較好，即其峰值區(qū)域較為高聳而旁瓣區(qū)域較為平緩，此時(shí)計(jì)算所得的平均峰值相關(guān)能量值就會(huì)較大；反之，如果響應(yīng)圖起伏波動(dòng)較大，則上式的分母項(xiàng)較大，因而其平均峰值相關(guān)能量值就會(huì)較小，由此可以實(shí)時(shí)并且動(dòng)態(tài)地衡量每一幀紅外視頻圖像的相關(guān)濾波結(jié)果的置信度。

(6)

3.2 自適應(yīng)模型更新策略

通常而言，紅外目標(biāo)所包含的信息量不如彩色圖像中那么豐富，因而在每一幀的跟蹤結(jié)果之后，對(duì)目標(biāo)表觀模型的更新就尤為重要。一旦模型中累計(jì)的錯(cuò)誤信息偏多，在之后的跟蹤過(guò)程中算法就很容易丟失目標(biāo)。

本文所提出的目標(biāo)跟蹤算法利用到自適應(yīng)模型更新策略，針對(duì)當(dāng)前幀的目標(biāo)進(jìn)行衡量，根據(jù)目標(biāo)是否被遮擋的置信度，自適應(yīng)地更新模型。具體而言，算法基于當(dāng)前幀的濾波器響應(yīng)圖的APCE值衰減率，利用sigmoid函數(shù)來(lái)計(jì)算一個(gè)更新因子ηt，將當(dāng)前幀的目標(biāo)信息通過(guò)線性插值的方式更新至本文算法模型中，即

αt=(1-ηt)αt-1+ηtαt′

(7)

Xt′=(1-ηt)Xt-1+ηtXt′

(8)

(9)

(10)

由此，如果當(dāng)前幀的目標(biāo)被遮擋，所計(jì)算得到的更新因子就會(huì)較小，模型保存的更多的仍是正確的信息，進(jìn)而從本質(zhì)上避免了訓(xùn)練樣本集被污染，有利于算法在之后的每幀中更準(zhǔn)確地跟蹤紅外目標(biāo)。

4 實(shí)驗(yàn)結(jié)果及分析

本文所提出的目標(biāo)跟蹤算法采用了與KCF算法相同的特征提取方法，即利用方向梯度直方圖特征，各梯度區(qū)塊為4×4像素大小，區(qū)塊中均勻提取9個(gè)方向的梯度，所獲得的特征圖維數(shù)為31維。

本文算法主要針對(duì)紅外視頻圖像，因此選取了VOT-TIR2015公開(kāi)紅外數(shù)據(jù)集[17]中的部分視頻序列進(jìn)行實(shí)驗(yàn)。圖2、圖3、圖4和圖5分別展示了傳統(tǒng)的KCF算法與本文所提出的目標(biāo)跟蹤算法，在birds、jacket、depthwise_crossing和crowd四個(gè)視頻序列上的跟蹤結(jié)果。圖中上一行是KCF算法的結(jié)果，下一行是本文所提出的目標(biāo)跟蹤算法的實(shí)驗(yàn)結(jié)果，圖中左上角的數(shù)字代表當(dāng)前圖片的幀數(shù)。可以看出在圖2中，KCF算法在出現(xiàn)鳥(niǎo)群干擾后會(huì)逐漸跟偏，并在目標(biāo)人物突然躲閃時(shí)跟丟，而本文所提出的算法可以在快速運(yùn)動(dòng)的情況下較好地跟蹤到目標(biāo)。此外，由于傳統(tǒng)的KCF算法只利用到了輪廓紋理特征進(jìn)行建模，一旦當(dāng)紅外圖像中的目標(biāo)的輪廓信息很少或者目標(biāo)很淡的時(shí)候，如圖3和圖4所示，KCF算法在數(shù)幀過(guò)后便逐漸脫離跟蹤，不能很好地跟上目標(biāo)，而本文提出的算法利用到了多模型動(dòng)態(tài)決策融合機(jī)制，因而可以利用紅外目標(biāo)的能量分布信息與背景進(jìn)行區(qū)分，有著更好的跟蹤效果和更強(qiáng)的魯棒性。在圖5的場(chǎng)景中，待跟蹤的目標(biāo)位于人群中，跟蹤過(guò)程中不斷有旁人路過(guò)干擾，KCF在路人第一次干擾時(shí)就跟丟，轉(zhuǎn)而跟蹤了錯(cuò)誤的目標(biāo)，而本文算法一直跟蹤到了正確的目標(biāo)，顯示了對(duì)外界環(huán)境的良好抗干擾性。

圖2 KCF算法和本文算法在birds數(shù)據(jù)集實(shí)驗(yàn)結(jié)果比較

圖3 KCF算法和本文算法在jacket數(shù)據(jù)集實(shí)驗(yàn)結(jié)果比較

圖4 KCF算法和本文算法在depthwise_crossing數(shù)據(jù)集上結(jié)果比較

圖5 KCF算法和本文算法在crowd數(shù)據(jù)集上結(jié)果比較

5 結(jié)束語(yǔ)

本文針對(duì)紅外圖像中的目標(biāo)跟蹤問(wèn)題，提出了一種基于動(dòng)態(tài)決策融合和自適應(yīng)模型更新的紅外目標(biāo)跟蹤方法。該方法對(duì)相關(guān)濾波器輸出響應(yīng)圖的單峰特性進(jìn)行定量的衡量，自適應(yīng)地求取多模型決策融合因子以及模型更新系數(shù)，使得算法可以充分利用各表達(dá)模型在不同情況下的優(yōu)勢(shì)，同時(shí)有效地避免錯(cuò)誤信息更新至跟蹤模型中，提升了跟蹤結(jié)果的準(zhǔn)確率。最后在公開(kāi)紅外數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并與傳統(tǒng)的目標(biāo)跟蹤方法進(jìn)行對(duì)比，有效地證明了本文所提出跟蹤算法在紅外目標(biāo)快速移動(dòng)、形態(tài)模糊和外界遮擋等情況下的有效性與魯棒性。