基于特征融合的粒子濾波紅外目標跟蹤算法*

劉潤邦，朱志宇

（江蘇科技大學電子信息學院，江蘇 鎮江 212003）

0 引言

目標跟蹤一直以來都是計算機視覺和數字圖像處理的重要組成部分，廣泛應用于智能安防、行為識別和軍事安全等領域。紅外探測通過被動接收目標與背景間的輻射差和溫度差來識別目標，具有隱蔽性優良、抗干擾能力強等優點［1］。但與可見光的目標相比，紅外圖像缺乏有效的特征模型和場景信息，跟蹤效果并不理想［2］。

近年來，關于視頻目標跟蹤的算法層出不窮，逐漸形成了以Mean Shift算法為代表的確定性跟蹤算法和以Kalman Filter、Particle Filter為代表的概率性跟蹤方法［3-6］。相比較于卡爾曼濾波，粒子濾波算法在解決非線性非高斯問題時表現出良好的魯棒性，廣泛地應用于紅外視頻目標跟蹤中［7］。粒子濾波跟蹤算法的最大問題是如何建立準確的目標模型，單一的特征建模缺乏對圖像背景的自適應能力，跟蹤精度并不理想［8-9］。國內外學者對粒子濾波跟蹤算法中目標觀測模型的建立進行了大量研究。Fouad［10-11］等人在粒子濾波算法基礎上，利用R，G，B顏色分量和紋理特征共同描述目標；Chong［12-13］等人將目標顏色特征和方向梯度特征融合，建立精確地粒子濾波觀測模型；Tao［14］等人建立了基于SIFT特征和顏色特征的目標觀測模型；楊志雄［15］等人將灰度特征和運動特征進行融合，增強紅外目標跟蹤算法的魯棒性。

粒子濾波跟蹤算法中觀測模型的準確與否直接影響最終的跟蹤效果。目前，目標的描述特征包括顏色、灰度、梯度、紋理、運動等。對于紅外目標，灰度特征具有平移、旋轉不變性和對遮擋及姿態變化不敏感的優點，但是它隱藏了圖像的像素空間信息，且易受到背景中相似物的干擾和背景噪聲的影響。為解決該問題，本文提出一種融合灰度特征和方向梯度特征的改進粒子濾波跟蹤算法，通過加權計算的方法來更新粒子權值，提高目標在遮擋、重疊等情況下的跟蹤魯棒性和準確性。

1 粒子濾波

系統狀態模型和觀測模型可描述為：

其中，xk為系統狀態向量，zk為觀測向量，uk為過程噪聲，vk為觀測噪聲；函數f為系統狀態轉移概率密度，h為系統觀測似然概率密度。

對于上述模型，k時刻的目標狀態xk可以利用后驗概率密度計算而來，可以通過狀態預測和狀態更新遞推而來。

預測：

更新：

在非線性、非高斯系統模型中，上式的解析解是無法求取的，只能通過近似的方法計算，而粒子濾波就是其中的一種逼近方法。粒子濾波的核心思想是采用一組含有權值的隨機粒子來近似，利用貝葉斯公式修正粒子的權值，最后將粒子集加權融合求取目標的估計狀態k。初始化的粒子集則是從一個容易抽樣的建議分布中采樣得到。后驗概率密度可近似表示為：

其中，粒子權值為歸一化的權值，中采樣得到的粒子權值為：

歸一化權值為：

最后估計出目標的狀態：

粒子濾波算法存在粒子退化問題。解決粒子退化的主要方法是引入粒子重采樣，在繁衍權值較大的粒子的同時淘汰權值較小的粒子。

2 目標特征提取

2.1 灰度直方圖特征特征提取

目前，基于粒子濾波的紅外目標跟蹤方法大多是建立在灰度直方圖觀測特征之上的。在灰度直方圖特征的提取過程中采用核函數加權計算的方法，對目標中心區域的像素的灰度級賦予較大權值；考慮到周圍區域可能受到背景的影響，則分配較小權值。本文將灰度特征平均量化為128個等級，假設目標區域每個像素用表示，特征值bin的個數為 m（m=128），目標特征 u=1，2，…，m(u 為圖像像素的灰度級別），則以x0為中心的目標區域歸一化灰度直方圖為；

其中，為核函數；δ（x）為 Delta 函數，用于判斷目標區域中像素xi的灰度值是否屬于第u個bin；C為一個歸一化常數，滿足：，使。

2.2 方向梯度直方圖

HOG（Histogram of Oriented Gradient）算法的主要原理是利用邊緣梯度方向的分布來描述被跟蹤目標的外形特征。該算法將圖像分為大小均等的矩形區域（cells），計算每個cell的梯度方向直方圖。將幾個cell組合成block并計算block內部所有cell的聯合直方圖（2個block之間有重疊的cell）。以一幅64×128像素的圖像為例，cell選擇8×8像素，block選為2cell×2cell，若block之間上下或左右都有2個cell重疊，則圖像包含7×15個互相重疊的block。如果每個cell的量化為32級，則每個block的直方圖為32×4=128維。目標圖像的HOG特征則為128×7×5=4480維。高維目標梯度特征增強了跟蹤的精度，但也會導致跟蹤算法實時性的降低。為此，本文將對HOG算法進行簡化，將目標區域看做一個cell而不進行block的劃分，降維損失的目標特征將由灰度特征彌補。

建立梯度方向直方圖，首先計算區域內所有像素點I（x，y）在垂直方向和水平方向相鄰點的差，然后計算各像素點的梯度幅值 G（x，y）和方向 θ（x，y）。水平方向［-101］，垂直方向［-101］T，梯度算子為：

式中，θ的范圍為［-π，π］，本文將梯度方向量化為72級，則目標區域歸一化的梯度方向直方圖為：

式中，參數和灰度直方圖特征相同。

3 紅外目標跟蹤算法

3.1 狀態轉移模型

狀態轉移模型是紅外目標在視頻序列中運動特征的數學建模體現，但是目標運動存在很大的隨機性，準確的狀態轉移模型是無法通過提前的數學建模得到的。粒子濾波算法是建立在蒙特卡羅模擬思想之上的，被跟蹤目標在圖像序列中的運動狀態可以通過對隨機抽樣的樣本粒子進行統計分析得到，狀態轉移模型的精確與否并不影響目標狀態的魯棒性。于是本文采用簡單的一階自回歸模型來描述目標的狀態轉移。

式中，Xt為紅外目標運動狀態，，狀態向量（x，y）中表示目標跟蹤矩形窗口的中心，d是窗口半長，h是窗口半寬，Wt為系統噪聲。

3.2 觀測模型

紅外目標一般沒有有效的顏色信息和清晰的紋理，因此，本文選擇灰度特征和梯度特征作為觀測模型。為了使目標的灰度特征和梯度特征更好地融合起來，通過計算目標模板特征和候選目標特征的Bhattacharyya距離來衡量它們之間的相似度，計算方法為：

灰度特征和梯度特征的Bhattacharyya距離分別為：

則高斯模型構建的似然函數（粒子權重）為：

其中，為觀測高斯噪聲的標準方差，從上式可以看出，Bhattacharyya距離越小，似然函數求得的值越大，粒子狀態越接近真實目標狀態。

對似然函數進行加權融合：

其中，為灰度特征和梯度特征的置信度，且。

跟蹤過程中，外部光強變化及目標自身形變都會導致跟蹤精度的降低。為解決該問題，算法建立了目標模板灰度特征和梯度特征的自適應在線學習更新機制。假設當前目標模板為q，當前估計位置的特征直方圖為p，那么當它們之間的Bhattacharyya距離小于更新閾值T時，則以估計位置中心的灰度特征和梯度特征對模板q進行更新；若它們之間的Bhattacharyya距離大于更新閾值T時，則認為目標存在嚴重的復雜環境影響，不進行更新。更新準則為：

3.3 算法流程

基于灰度和梯度特征融合的粒子濾波紅外目標跟蹤算法基本步驟為：初始化、狀態轉移、樣本權值計算、目標狀態估計和重采樣。

Step1初始化：人工選取第一幀圖像中的目標并獲取其狀態信息X0，求取該目標的灰度特征和梯度方向特征；根據先驗分布p（X0）建立初始狀態樣本集。

Step2狀態轉移：根據式（15）預測下一幀圖像中候選目標的狀態信息。

Step3樣本權值計算：以預測的粒子坐標為中心，根據式（9）和式（14）求取候選區域灰度特征直方圖和方向梯度特征直方圖，由式（19）和式（20）計算預測候選目標與目標模板的相似度，得到每一個預測粒子權值并歸一化。

Step4狀態估計：根據預測的粒子集和求取每個粒子的歸一化權值來估計目標的真實位置。計算當前估計位置的特征直方圖和目標模板特征直方圖的巴氏距離，若距離值小于T，則根據式（22）對目標灰度和梯度模板進行更新。

Step5重采樣：對粒子集進行重采樣，得到新粒子集。

Step6檢測當前圖像序列是否為最后一幀圖像，若不是則回到Step2繼續進行目標跟蹤。

4 實驗結果與分析

算法仿真實驗在安裝Matlab2011b軟件的聯想G470筆記本電腦上進行，電腦搭載了2.5 GHz的雙核處理器和2 GB處理內存。實驗檢測了基于特征融合的粒子濾波跟蹤算法在圖像信噪比低、目標被遮擋、目標與其他目標重疊三種復雜背景下的跟蹤效果。同時將改進算法的紅外目標跟蹤效果與基于單一特征的粒子濾波跟蹤效果進行了對比。跟蹤過程中粒子數 N=100，σI=0.3，σG=0.25=0.6=0.4，η=0.1，T=0.1，系統噪聲 Wt的方差 v=5。

圖1和圖2為紅外目標在低信噪比情況下的跟蹤實驗，視頻長70幀，單幀圖像大小為300×200像素，對視頻中的人物目標分別采用灰度特征和融合特征進行跟蹤。視頻序列中，圖像信噪比較低且不斷變化，目標在第39幀時被樹木遮擋。截取第10、27、39、47幀圖像。由截取的圖像可見，基于特征融合的跟蹤算法保持了良好的跟蹤魯棒性，而基于單一灰度特征的跟蹤算法則出現了較大的跟蹤誤差。

圖3和圖4為紅外目標在被遮擋情況下的跟蹤實驗，視頻長80幀，單幀圖像大小為300×200像素。目標被樹木遮擋，對視頻中躲藏在樹木后面的目標分別采用方向梯度特征和融合特征進行跟蹤，截取第7、38、44、53幀圖像。由截取的圖像可見，基于單一方向梯度特征的粒子濾波跟蹤算法誤差較大，在第53幀以后出現了目標丟失的現象，而基于特征融合的跟蹤方法則保持了較高的跟蹤精度。

圖1 基于灰度特征的紅外目標跟蹤效果圖

圖2 基于特征融合的紅外目標跟蹤效果圖

圖3 基于梯度特征的紅外目標跟蹤效果圖

圖4 基于特征融合的紅外目標跟蹤效果圖

圖5為紅外目標在和其他目標有重疊情況下采用本文算法的跟蹤實驗，視頻長120幀，單針圖像大小為300×200像素，截取視頻的第18、44、86、115幀?？梢?，基于特征融合的粒子濾波跟蹤算法保持了良好的跟蹤準確性，在第86幀多目標重疊時，并沒有出現誤跟蹤現象，具有較強的魯棒性，跟蹤速度在8 fps，可以滿足跟蹤要求。

圖5 基于特征融合的紅外目標跟蹤算法在多目標重疊時的跟蹤效果圖

從以上3個實驗可以發現，灰度特征和梯度特征在很多情況下可以互相彌補跟蹤精度低的缺陷，算法能滿足復雜情況下紅外目標的穩健跟蹤。

5 結論

針對粒子濾波紅外目標跟蹤算法過程中存在的問題，本文提出一種基于特征融合的粒子濾波紅外目標跟蹤算法。考慮到紅外目標觀測特征的局限性，利用灰度特征直方圖和方向梯度直方圖來共同建立粒子濾波目標跟蹤過程中的觀測模型。為增強目標在光強變化、形態變化情況下的跟蹤精度，引入目標模板自適應在線更新策略。仿真實驗證實，與基于單一特征的紅外目標跟蹤方法相比，多特征融合的跟蹤算法在復雜背景下表現出良好的跟蹤魯棒性和準確性。

［1］LI Y，LIANG S，BAI B，et al.Detecting and tracking dim small targets in infrared image sequences under complex backgrounds ［J］.Multimedia Tools and Applications，2014（1）：1179–1199.

［2］楊杰，王瑞.一種實用粒子濾波紅外目標跟蹤算法［J］.工業控制計算機，2015，28（12）：55-57.

［3］HOOSHANG A M，ARASH A L.Applying mean shift，motion information and Kalman filtering approaches to object tracking［J］.ISA Transactions，2012，51（3）：85-97.

［4］ PHANI CHAVALI，ARYENEHORAI.Hierarchical particle filtering for multi-modal data fusion with application to multiple-target tracking ［J］.SignalProcessing，2014， 97：207-220.

［5］姬雪峰.基于粒子濾波的紅外目標跟蹤方法研究［D］.西安：西安電子科技大學，2011.

［6］FUKUIA S J，HAYAKAWAB O，IWAHORIB Y J.Particle filter based tracking with image-based localization［J］.Procedia Computer Science，2016，96：977-986.

［7］王法勝，魯明羽，趙清杰.粒子濾波算法［J］.計算機學報，2014，37（8）：1679-1694.

［8］閆河，劉婕，楊德紅，等.基于特征融合的粒子濾波目標跟蹤新方法［J］.光電子·激光，2014，25（10）：1990-1999.

［9］ JINANA R J，RAVEENDRANB T R.Particle filters for multiple target tracking［J］.Procedia Technology，2016，24：980-987.

［10］BOUSETOUANE F A，DIB L D，SNOUSSI H E.Improved mean shift integrating texture and color features for robust real time object tracking ［J］.The Visual Computer，2013，29（3）：155-170.

［11］李遠征，盧朝陽，高全學，等.基于多特征融合的均值遷移粒子濾波跟蹤算法［J］.電子與信息學報，2010，32（2）：411-415.

［12］CHONG Y W，CHEN R，LI Q Q.Particle filter based on multiple cues fusion for pedestrian tracking［J］.Emerging IntelligentComputing Technology and Applications，2012，304：321-327.

［13］張雷，王延杰，孫洪海，等.基于顏色和邊緣直方圖的多目標跟蹤［J］.液晶與顯示，2016，31（6）：595-602.

［14］GAO T，LI G，LIAN S G，et al.Tracking video objects with feature points based particle filtering［J］.Multimedia Tools And Applications，2012，58（1）：1-21.

［15］楊志雄，于春超，嚴敏，等.基于特征融合的粒子濾波紅外目標跟蹤算法［J］.紅外技術，2016，38（3）：211-217.