基于BOX-PHD的紅外視頻目標跟蹤算法

李 瞳， 吳孫勇， 楊 標

(桂林電子科技大學 數學與計算科學學院,廣西 桂林 541000)

隨著科技水平的與日俱增，視頻目標跟蹤的研究應用在醫療、安防、軍事以及生活等各個領域當中。常見的視頻研究主要圍繞著彩色視頻目標，通過顏色和紋理等信息對視頻目標進行處理，最終實現對視頻目標的檢測與跟蹤。然而，在彩色視頻的研究中，當遇到霧、霾、雨、雪等惡劣天氣或夜間作業時，針對目標的處理過程就存在著一定的局限性。為了應對上述環境，并實現指定范圍的全天候監控[1]，國內外專家學者對紅外視頻目標進行了相關研究。紅外目標跟蹤是基于紅外熱像儀獲取視頻圖像，因其信噪比低，與周圍環境灰度值相差不大的特點，使得跟蹤過程存在一定難度。

對于紅外目標跟蹤的研究，通常分為2大類：

1)紅外弱小目標的跟蹤。此類研究常用的是檢測前跟蹤(track before detect，簡稱TBD)算法[2]。TBD算法根據目標運動連續性這一特征，對目標所有可能的運動軌跡進行積累，通過目標特征對各條軌跡的后驗概率進行判定，實現目標的跟蹤。

2)紅外面目標的跟蹤。行人作為非剛體，具有形態不定[3]的特點，給跟蹤過程帶來了困難。華宇寧等[4]在一種無向圖即馬爾可夫隨機場上實現了粒子濾波跟蹤；王梅梅等[5]提出了一種基于目標灰度和運動特征的粒子濾波跟蹤算法；吳敏等[6]實現了一種融合深度特征和梯度特征的特征融合紅外目標跟蹤算法；張紹明等[7]用有向梯度直方圖來描述所要跟蹤目標的特征，在粒子濾波的框架下實現了紅外行人目標的跟蹤。雖然粒子濾波可以解決非線性、非高斯條件下的多目標跟蹤，但存在數據關聯的問題，在目標數或虛警較多時，計算量會大幅增加，同時會影響目標狀態的估計。

為了處理數據關聯帶來的問題，Mahler[8]提出了隨機有限集的概念，可以在解決上述問題的同時，實現對多目標的有效跟蹤。Reza等[9]在對視頻多目標進行跟蹤的過程中，通過核密度估計的方法對目標進行提取，用多伯努利濾波的方法實現對視頻多目標的跟蹤，其跟蹤過程是通過粒子濾波來實現，用以擬合目標的后驗概率密度，所以算法在效率上相對較差，同時在對目標的數目以及狀態的估計上存在一定偏差。針對此類問題，采用BOX-PHD濾波估計目標狀態，并提升計算效率。針對紅外行人目標跟蹤中紅外圖像信噪比低、粒子濾波實現計算量大、目標狀態估計不準確等問題，使用箱粒子濾波[10]來處理。箱粒子濾波實現過程中，所需粒子數少，且存在雜波時仍然可以估計目標狀態。本算法首先借用文獻[9]中用于提取目標的核密度估計的方法對背景進行剔除，將所獲紅外行人目標的質心等狀態信息作為量測信息，利用箱粒子濾波與概率假設密度[11-12]相結合的BOX-PHD濾波算法，實現目標跟蹤過程的預測和更新。實驗表明，本算法可有效提升運算效率，箱粒子濾波實現過程所需粒子數相對于粒子濾波少很多。由于行人目標不是點目標，目標產生的量測是區間量測，于是在實現行人目標跟蹤時，使用箱粒子濾波中的區間分析[13]思想更為合適。實驗結果表明，本算法對目標數和狀態的估計較為準確。

1 背景減除

為了獲取紅外目標的量測信息，通過核密度估計技術[9]將紅外視頻圖像進行背景減除，一方面無需通過訓練建立目標模板，另一方面不用直接對目標的類型或者外觀進行預先假定，就能夠有效地抑制背景或雜波帶來的干擾。

本研究所處理的圖像是紅外視頻圖像，為了操作方便，計算簡單，將紅外視頻圖像的灰度值映射到[0,1]，可得到第k幀灰度圖像的像素點i的映射值：

di(k)=hi(k)/255，

(1)

其中hi(k)為第k幀灰度圖像的像素點i的像素值。

為了通過核密度估計的方法實現對每個像素點的背景概率，首先設置一個大小為N0的棧，棧用于存放樣本圖像，將采樣間隔設為K0，紅外圖像序列的采樣時間分別為0、K0、2K0、…、(N0-1)K0。也就是說，在采樣過程中，從原紅外圖像中的第1幀圖像開始，每隔K0幀圖像后提取當前幀圖像，并存入棧中。當第k幀圖像能被K0整除時，將該幀圖像存入棧中，用于棧的更新，將該幀所要更新的圖像放在棧的最前面，最先入棧的幀圖像最先出棧，以此方式循環更新棧中的樣本，用于消除背景輕度變化所帶來的影響，并建立合適的背景模板來估計像素點的核密度。在棧中，圖像的序號為

將棧中樣本值N0設置為10，將樣本采樣間隔K0設置為10。

通過將當前幀圖像與棧中圖像依次作減操作，獲取像素點i為背景的概率：

(2)

其中：di(k)為由式(1)所得的像素點i的映射值；kl為k時刻棧中第l-1幀圖像，

(3)

σd,i(k)為k時刻像素點i的高斯核帶寬。而在核密度估計過程中，帶寬的選取非常重要，當樣本數無限多時，帶寬的選擇對結果帶來的影響并不明顯，但在實際操作中，樣本數是固定的，此時帶寬的選擇就顯得尤為重要。核帶寬的計算公式為

(4)

其中median表示取中值。

假設將像素點i通過核密度背景減除操作得到的該像素點為背景的概率為yi，將式(3)代入式(2)，再進行歸一化，則

(5)

通過背景減除操作獲得的背景密度圖可用y=[y1,y2,…,ym]來表示，m為背景密度圖中像素點的總個數。在得到的背景密度圖里獲取前景目標，采用形態學操作來消除前景目標中散落的噪點，便于后續操作。通過對圖像的連通區域分析來獲取前景目標的狀態信息，作為下一時刻目標量測值的輸入。圖1為背景減除操作處理后所獲得的前景目標圖像信息。

圖1 原圖與前景目標圖

2 BOX-PHD濾波算法實現

通過背景減除操作獲得目標的狀態信息后，通過引入BOX-PHD濾波算法實現紅外視頻目標的跟蹤。

2.1 箱粒子濾波

在紅外視頻目標跟蹤中，所獲量測不是常見的點量測，前景目標作為區域進行處理，而量測作為區間進行處理。箱粒子濾波較之傳統的粒子濾波，箱粒子具有一定大小，且大小可控，其主要思想是傳統的點粒子被最大誤差已知的箱粒子所取代，是一種基于區間分析的方法。在有效處理量測的3個不確定性的同時，僅使用幾十個箱粒子就可以實現類似于傳統點粒子的跟蹤效果，而點粒子則需要上千個粒子，因此箱粒子濾波能夠在降低計算復雜度的同時提升計算效率。

2.2 算法流程

2.2.1 初始化

(6)

(7)

其中bk-1為k-1時刻新生目標數的期望值。則k時刻所要傳遞的粒子狀態集為

(8)

k時刻粒子總數為

Nk=Jk-1+Nk-1。

(9)

2.2.2 預測

新生初始化后，箱粒子由新生的部分和持續存活的部分構成。在預測過程中，通過狀態轉移矩陣[fk|k-1](·)及存活概率PS(·)分別對箱粒子集的狀態和權值進行預測，即

(10)

(11)

2.2.3 更新

約束后箱粒子的似然函數為

(12)

在更新過程的最后，根據得到的似然函數來計算更新后的每個箱粒子的權值：

(13)

λk|k-1=λc([zj])+

(14)

2.2.4 重采樣

在重采樣中，由于濾波過程是用區間的方式進行目標跟蹤，其重采樣方法不同于傳統的粒子濾波方法。本研究采用隨機劃分的重采樣方法，可以有效地增多粒子多樣性。先計算目標的期望數

即為真實量測的個數，再將選中的箱粒子隨機劃分為多個箱粒子，取代傳統的復制方式。重采樣后得到的新的箱粒子及權值為

其中Nk+1為重采樣的箱粒子數。

2.2.5 目標狀態估計

預測箱粒子所對應的各個區間量測的更新權值：

(15)

3 仿真實驗

選用一列紅外視頻圖像序列用于視頻跟蹤，為了操作簡便，將用于更新棧中圖像樣本，并將樣本進行提取和存儲，且隨核密度估計的實現過程對樣本進行更新，在視頻序列中有目標新生的情況出現。圖2為文獻[9]伯努利濾波算法與本BOX-PHD濾波算法對同一序列紅外視頻圖像的跟蹤結果。圖2中從左到右分別為序列圖像中的第2幀、第49幀和第83幀圖像。從圖2可看出，本算法在對紅外行人目標的數目和狀態的估計較為準確，文獻[9]的算法在對目標數的估計上存在漏檢的情況，在對目標狀態的估計上不夠準確。

圖2 紅外視頻的實驗結果

伯努利濾波算法與BOX-PHD濾波算法在對紅外視頻序列中的多行人目標估計的示意圖如圖3所示。從圖3可看出，BOX-PHD濾波算法在對行人目標數目的估計效果較好且較穩定，這是因為BOX-PHD濾波算法在處理區間量測的問題上比較適用。

圖3 2種算法目標數估計

圖4 2種算法OSPA距離估計

采用最優子模式分配(OSPA)距離[14]對多目標的跟蹤算法進行評價。該方法常被用在多目標跟蹤算法的實驗結果評價中，對紅外視頻多目標的跟蹤結果也同樣適用。

圖4為伯努利濾波算法與BOX-PHD濾波算法OSPA距離估計的對比。從圖4可看出，BOX-PHD濾波與伯努利濾波相比，OSPA距離顯著降低，跟蹤誤差較小，這是因為BOX-PHD濾波采用的是區間量測的算法，對目標狀態的估計上較為穩定。從圖4還可看出，從第40幀圖像開始，OSPA距離有一定程度的波動，這是因為有新生目標出現，但過了幾幀之后，BOX-PHD濾波的OSPA距離又趨于穩定，這表明本濾波算法可以有效地處理目標新生的問題。

4 結束語

為了處理紅外視頻多行人目標紋理細節少、噪聲強的問題，用核密度估計的方法結合BOX-PHD濾波算法實現跟蹤，一方面可以提升跟蹤過程的計算效率，另一方面可以有效估計目標狀態，保證了算法的準確性和穩定性。通過核密度估計實現對目標的提取，將背景進行有效地濾除，并將目標的位置以及狀態信息作為量測，用于后續跟蹤。基于箱粒子PHD濾波的紅外視頻目標跟蹤算法比伯努利濾波跟蹤算法有更好的跟蹤效果，同時實驗結果表明，在對目標數的估計以及OSPA距離的計算上，本算法可以有效地實現紅外視頻多行人目標的跟蹤。本算法在對目標數目以及狀態的估計上有著更強的魯棒性，且在運算上相比伯努利濾波算法具有更高的跟蹤精度和計算效率。