融合深度信息的判別式相關(guān)濾波跟蹤

高 晨，翟 優(yōu)，郭希維

（陸軍工程大學(xué)石家莊校區(qū)，河北 石家莊 050000）

0 引 言

視覺目標(biāo)跟蹤系統(tǒng)在智能監(jiān)控、機(jī)器人、無人駕駛、工業(yè)自動(dòng)化等很多領(lǐng)域具有廣泛的應(yīng)用前景。根據(jù)目標(biāo)表觀模型的不同，視覺目標(biāo)跟蹤分為基于生成式模型的目標(biāo)跟蹤和基于判別式模型的目標(biāo)跟蹤等兩大類。判別式相關(guān)濾波（Discriminative Correlation Filter, DCF）跟蹤將相關(guān)濾波器理論應(yīng)用于目標(biāo)跟蹤，可在頻域進(jìn)行分類器學(xué)習(xí)和跟蹤，極大地加快了目標(biāo)跟蹤速度，具有很強(qiáng)的魯棒性，是目前視覺目標(biāo)跟蹤研究的重點(diǎn)方向之一。

文獻(xiàn)[1]提出Mosse算法，將相關(guān)濾波引入跟蹤領(lǐng)域，但該方法的分類器訓(xùn)練樣本有限。在此基礎(chǔ)上，已有學(xué)者將梯度直方圖（HOG）、顏色名（CN）、顏色直方圖（DAT）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等人為特征作為訓(xùn)練相關(guān)濾波器的特征，提高算法準(zhǔn)確性。文獻(xiàn)[2]通過循環(huán)矩陣擴(kuò)充樣本集合，跟蹤過程中需要保證目標(biāo)位置和目標(biāo)尺度準(zhǔn)確性。文獻(xiàn)[6]和文獻(xiàn)[7]分別提出尺度池和尺度金字塔進(jìn)行目標(biāo)尺度估計(jì)。此外，在跟蹤過程中出現(xiàn)嚴(yán)重遮擋時(shí)，目標(biāo)特征會(huì)發(fā)生變化，易出現(xiàn)目標(biāo)丟失現(xiàn)象，需要及時(shí)對(duì)跟蹤結(jié)果的優(yōu)劣進(jìn)行判斷。文獻(xiàn)[8]提出平均峰值相關(guān)能量（APEC），用以決定是否更新目標(biāo)特征模板。文獻(xiàn)[9]在跟蹤中加入檢測(cè)算法，判定失敗時(shí)，對(duì)目標(biāo)進(jìn)行重檢測(cè)，確定目標(biāo)正確位置。文獻(xiàn)[10]提出ECO算法，有效減少了深度學(xué)習(xí)特征維數(shù)、參數(shù)過多的問題。文獻(xiàn)[11]提出GSF-DCF算法，利用多通道圖像表達(dá)進(jìn)一步提高精度。

綜上，基于DCF的視覺目標(biāo)跟蹤算法架構(gòu)日益完善，同時(shí)采用了圖像灰度、HOG和深度學(xué)習(xí)特征等，算法性能逐漸提高，但算法復(fù)雜度日益加大，算法運(yùn)行速度無法滿足跟蹤系統(tǒng)的實(shí)時(shí)要求。因此，本文結(jié)合實(shí)際跟蹤系統(tǒng)，做出以下改進(jìn)：使用跟蹤系統(tǒng)搭載的傳感器，量測(cè)目標(biāo)深度信息，將更具魯棒性的距離特征融入DCF框架，設(shè)計(jì)基于D-DCF框架的跟蹤系統(tǒng)。

1 跟蹤系統(tǒng)框架

跟蹤系統(tǒng)框架如圖1所示，流程如下：

圖1 跟蹤系統(tǒng)框架圖

（1）初始化位置濾波器、尺度濾波器、預(yù)測(cè)目標(biāo)深度模型，控制云臺(tái)旋轉(zhuǎn)使光軸對(duì)準(zhǔn)目標(biāo)。

（2）由激光測(cè)距傳感器輸出當(dāng)前目標(biāo)深度至CA模型，估計(jì)當(dāng)前幀目標(biāo)空間位置、運(yùn)動(dòng)狀態(tài)，計(jì)算得到目標(biāo)預(yù)測(cè)深度。

（3）輸入新一幀圖像，提取圖像特征描述目標(biāo)，利用二維位置濾波器和一維尺度濾波器在候選區(qū)域提取低維特征對(duì)目標(biāo)位置和尺度進(jìn)行估計(jì)。

（4）構(gòu)建目標(biāo)位置置信度指標(biāo)，對(duì)上一步位置估計(jì)結(jié)果可靠性進(jìn)行判別。若滿足置信度要求，則更新位置濾波器模板，反之將目標(biāo)預(yù)測(cè)位置作為目標(biāo)新位置，預(yù)測(cè)位置由第2步估計(jì)的目標(biāo)空間位置計(jì)算得到。

（5）結(jié)合自適應(yīng)尺度因子，進(jìn)行目標(biāo)尺度估計(jì)，提取目標(biāo)尺度樣本，提高尺度精確性。

（6）將估計(jì)的目標(biāo)位置與尺度輸入至硬件跟蹤系統(tǒng)，控制云臺(tái)旋轉(zhuǎn)對(duì)準(zhǔn)目標(biāo)，獲取新一幀圖像，重復(fù)2～6步，直至跟蹤停止。

2 目標(biāo)跟蹤算法改進(jìn)

2.1 DSST和ECOHC算法原理簡介

DSST和ECOHC算法中設(shè)計(jì)了位置濾波器和尺度濾波器，前者進(jìn)行當(dāng)前幀目標(biāo)定位，后者進(jìn)行當(dāng)前幀目標(biāo)尺度估計(jì)。DSST和ECOHC算法將輸入信號(hào)設(shè)計(jì)為維特征向量，而后建立損失函數(shù)構(gòu)造最優(yōu)相關(guān)濾波器，則有：

式中：表示特征的某一維度；是正則項(xiàng)系數(shù)，目的是消除輸入信號(hào)頻譜中的零頻分量；為期望輸出。在頻域中求得式（1）的解為：

其中為學(xué)習(xí)率。在新的一幀中目標(biāo)位置通過求解相關(guān)濾波器最大響應(yīng)值得到，即：

同時(shí)，上述方法適用于基于一維獨(dú)立的相關(guān)濾波器的尺度搜索和目標(biāo)估計(jì)方法。用于目標(biāo)尺度評(píng)估的目標(biāo)樣本尺度選擇原則為：

式中：、分別為目標(biāo)在前一幀的寬度和高度；為尺度因子，=1.02；為尺度總級(jí)數(shù)，=33。

2.2 基于CA模型預(yù)測(cè)目標(biāo)深度

本文算法融合目標(biāo)深度信息，因此需要準(zhǔn)確預(yù)測(cè)目標(biāo)的深度。因?yàn)槟繕?biāo)運(yùn)動(dòng)的先驗(yàn)知識(shí)很少，很難用數(shù)學(xué)表達(dá)式精確表示，只能在各種假設(shè)條件下用近似方法予以描述。本文的應(yīng)用背景為實(shí)時(shí)跟蹤地面目標(biāo)，量測(cè)頻率高于目標(biāo)運(yùn)動(dòng)狀態(tài)變化頻率。因此在一個(gè)量測(cè)周期內(nèi)，可視目標(biāo)做勻加速直線運(yùn)動(dòng)，其運(yùn)動(dòng)狀態(tài)可用三階勻加速CA模型描述為：

設(shè)目標(biāo)在三維空間內(nèi)運(yùn)動(dòng)，則式（6）中的目標(biāo)運(yùn)動(dòng)狀態(tài)變量()可以定義為：

其中、、分別表示目標(biāo)在三個(gè)方向的位置分量。

以目標(biāo)做“S”形運(yùn)動(dòng)為例，如圖2所示，以跟蹤系統(tǒng)為原點(diǎn)建立三維直角坐標(biāo)系。首先，系統(tǒng)以為周期量測(cè)目標(biāo)的深度信息和云臺(tái)姿態(tài)角（俯仰角γ、偏航角θ），利用幾何關(guān)系與運(yùn)動(dòng)方程計(jì)算目標(biāo)于時(shí)刻的運(yùn)動(dòng)狀態(tài)()，則有：

圖2 預(yù)測(cè)深度原理圖

將離散坐標(biāo)點(diǎn)組合，得到目標(biāo)路徑序列()∈, ...,S。將+1時(shí)刻與時(shí)刻之間的運(yùn)動(dòng)路徑近似為直線（如圖2中虛線），即下一個(gè)量測(cè)周期內(nèi)三維方向目標(biāo)做勻變速直線運(yùn)動(dòng)。將式（7）中的()代入式（6），可以預(yù)測(cè)下一時(shí)刻運(yùn)動(dòng)狀態(tài)(+1)，最終計(jì)算得到下一時(shí)刻目標(biāo)的距離為：

2.3 目標(biāo)位置置信度判別式

在實(shí)驗(yàn)中發(fā)現(xiàn)，由于HOG特征和HC特征魯棒性不強(qiáng)，在背景復(fù)雜或目標(biāo)被遮擋時(shí)會(huì)出現(xiàn)目標(biāo)丟失的情況。為了增強(qiáng)特征魯棒性，提升跟蹤精確性，本文融合預(yù)測(cè)深度構(gòu)建目標(biāo)位置置信度判別式。構(gòu)建原理如圖3所示。

圖3 構(gòu)建目標(biāo)位置置信度判別式

2.4 自適應(yīng)尺度因子

DSST和ECOHC算法是在上一尺度的基礎(chǔ)上直接提取33個(gè)樣本，精確性不高且極大地增加了計(jì)算復(fù)雜度。為減少尺度樣本數(shù)量，提高跟蹤精確性與實(shí)時(shí)性，本文對(duì)算法做出如下優(yōu)化：利用預(yù)測(cè)目標(biāo)深度計(jì)算自適應(yīng)尺度因子，與時(shí)刻目標(biāo)尺度相乘，得+1時(shí)刻預(yù)測(cè)目標(biāo)尺度；而在目標(biāo)中心位置，提取17個(gè)尺度樣本{......}，對(duì)尺度樣本進(jìn)行相關(guān)濾波后，找到令濾波器響應(yīng)最大的尺度，該尺度即為目標(biāo)尺度。圖4為自適應(yīng)尺度因子的計(jì)算過程。

圖4 計(jì)算自適應(yīng)尺度因子

記為目標(biāo)真實(shí)寬度，為攝像頭焦距，為像元大小，為目標(biāo)深度，為目標(biāo)圖像寬度，下標(biāo)last、curr、pred分別表示上一幀、當(dāng)前幀、預(yù)測(cè)幀。式（10）、式（11）為根據(jù)比例關(guān)系計(jì)算的目標(biāo)預(yù)測(cè)寬度、目標(biāo)真實(shí)寬度。

式中：和分別為初始化目標(biāo)深度和目標(biāo)圖像寬度。將CA模型預(yù)測(cè)的目標(biāo)深度與式（11）代入式（10），得到預(yù)測(cè)目標(biāo)寬度為：

為了適應(yīng)目標(biāo)運(yùn)動(dòng)造成的尺度變化、提高尺度準(zhǔn)確性以及減少尺度采樣數(shù)量，本文基于目標(biāo)深度信息，引入目標(biāo)寬度自適應(yīng)尺度因子。對(duì)于目標(biāo)高度自適應(yīng)尺度因子的計(jì)算，與上述過程相似，則有：

3 跟蹤系統(tǒng)硬件設(shè)計(jì)

設(shè)計(jì)云臺(tái)跟蹤系統(tǒng)如圖5所示。

圖5 跟蹤系統(tǒng)硬件設(shè)計(jì)

系統(tǒng)采用STM32F103C8作為主控芯片，云臺(tái)搭載攝像頭、激光測(cè)距器，能夠完成深度信息采集、圖像采集、舵機(jī)控制、與上位機(jī)通信的任務(wù)。二軸云臺(tái)由兩個(gè)總線舵機(jī)驅(qū)動(dòng)，分別控制偏航和俯仰兩個(gè)方向的旋轉(zhuǎn)。舵機(jī)型號(hào)為LX-224，采用單總線通信方式，內(nèi)部帶有控制器完成角度PID、電流PID控制，只需要一條串口指令就可以使其旋轉(zhuǎn)到給定角度，誤差不超過±0.24°。激光測(cè)距模塊能以100 Hz的頻率測(cè)量深度，分辨率為1 cm，能夠滿足本文測(cè)量目標(biāo)深度信息的要求。攝像頭是USB接口的CMOS攝像頭，這種攝像頭可通過USB接口直接與計(jì)算機(jī)相連而無需圖像采集卡，易于開發(fā)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)場(chǎng)地與環(huán)境

由于本文提出的跟蹤算法需要利用目標(biāo)的深度信息，而現(xiàn)有的公開測(cè)評(píng)集多是基于2D圖像序列，無法提供深度信息；且目標(biāo)深度信息是激光測(cè)距傳感器采集所得，需要舵機(jī)旋轉(zhuǎn)以確保深度屬于跟蹤目標(biāo)。因此，本文設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)場(chǎng)地情況如圖6所示。

圖6 實(shí)驗(yàn)場(chǎng)地情況

實(shí)驗(yàn)環(huán)境：CPU采用Inter（R）Core（TM）i5-7300HQ CPU@2.5 GHz；內(nèi)存為12 GB；操作系統(tǒng)為Windows10；框架為MATLAB2017a。

4.2 跟蹤系統(tǒng)性能與分析

從準(zhǔn)確性和實(shí)時(shí)性兩個(gè)方面評(píng)估跟蹤系統(tǒng)性能。準(zhǔn)確性：引入跟蹤概率P，在工作時(shí)間內(nèi)，當(dāng)目標(biāo)中心與圖像中心偏差大于固定閾值時(shí)，0.2 s內(nèi)修正偏差跟蹤目標(biāo)則視為成功（計(jì)入成功跟蹤時(shí)間t），否則視為失敗。實(shí)時(shí)性：以算法的每秒處理圖像幀數(shù)（Frames Per Second, FPS）為評(píng)判依據(jù)。圖7對(duì)比了六種算法在實(shí)驗(yàn)中的跟蹤情況，圖片右下角的A～F分別表示D-DSST、DSST、D-ECOHC、ECOHC、ECO、GSF-DCF算法，1～3分別表示跟蹤的初始階段、遮擋階段、結(jié)束階段。表1為跟蹤性能實(shí)驗(yàn)結(jié)果。由此可以得出：相較于DSST、ECOHC算法，改進(jìn)后的算法D-DSST和D-ECOHC的跟蹤概率更高且未出現(xiàn)目標(biāo)丟失情況，幀率滿足實(shí)時(shí)性要求；ECO算法使用神經(jīng)網(wǎng)絡(luò)提取特征，雖然也能夠克服遮擋干擾，但速度慢，難以應(yīng)用于實(shí)際跟蹤；GSFDCF算法同樣采取神經(jīng)網(wǎng)絡(luò)提取的特征，所以跟蹤速度慢，目標(biāo)離開視場(chǎng)，跟蹤失敗。

圖7 六種算法下跟蹤系統(tǒng)的實(shí)驗(yàn)情況

表1 跟蹤系統(tǒng)性能實(shí)驗(yàn)結(jié)果

5 結(jié) 語

當(dāng)前基于判別式相關(guān)濾波（DCF）視覺目標(biāo)跟蹤算法的跟蹤系統(tǒng)存在尺度估計(jì)不精確和容易丟失目標(biāo)的問題，設(shè)計(jì)穩(wěn)定實(shí)時(shí)的跟蹤算法仍是業(yè)界研究的難點(diǎn)及重點(diǎn)。本文通過融合激光測(cè)距器的深度信息，改進(jìn)目標(biāo)跟蹤系統(tǒng)的算法。實(shí)驗(yàn)結(jié)果表明：在有遮擋、背景復(fù)雜、目標(biāo)運(yùn)動(dòng)的情形下，基于D-DSST、D-ECOHC的跟蹤系統(tǒng)平均跟蹤概率分別為90.01%、93.66%，與原算法相比沒有出現(xiàn)目標(biāo)丟失現(xiàn)象；平均幀率分別為79.5 幀/s、47.2 幀/s，較原算法分別提升16.7 幀/s、4.3 幀/s。系統(tǒng)能夠克服遮擋干擾，且滿足穩(wěn)定可靠、精度高、實(shí)時(shí)性良好等要求。