基于色彩相關直方圖與SIFT特征融合的粒子濾波跟蹤算法*

劉元龍　李玉惠

(昆明理工大學信息工程與自動化學院　昆明　650500)

?

基于色彩相關直方圖與SIFT特征融合的粒子濾波跟蹤算法*

劉元龍李玉惠

(昆明理工大學信息工程與自動化學院昆明650500)

摘要論文提出了基于色彩相關直方圖與尺度不變性特征(SIFT)相融合的粒子濾波跟蹤算法,該方法克服了在跟蹤過程中運動目標的遇到形變以及目標被短暫遮擋丟失的問題。特別是提高了當運動目標與背景相近的情況下的跟蹤效果。該算法在粒子濾波算法基礎上將目標色彩相關直方圖作為目標的一種描述特征,用于評價不同預測狀態與觀測狀態之間的色彩相關性。依靠尺度不變性特征保證克服運動目標的仿射變化的特性,將色彩相關性特征與尺度不變性特征進行特征融合,從而提高目標描述的可靠性及跟蹤的準確性。實驗結果表明,該算法優于傳統粒子濾波的跟蹤算法。

關鍵詞色彩相關直方圖; SIFT; 粒子濾波; 信息融合

Class NumberTP301.6

1引言

在智能安全監控、精確制導系統、人機交互、機器視覺和導航領域,視覺跟蹤技術有著非常廣泛的應用。在視覺跟蹤的眾多方法中,有一種稱作序貫蒙特卡羅方法(Sequential Monte Carlo methods,SMC)[1～2]也稱為粒子濾波。粒子濾波適用于非高斯非線性目標的跟蹤,然而傳統的粒子濾波跟蹤對于形變以及光照變換目標的跟蹤效果不理想[3]。本文在傳統粒子濾波的框架下,提出了基于色彩直方圖與SIFT特征[4～5]融合的粒子濾波跟蹤算法,該算法一方面利用了色彩直方圖對目標對于光照變化的魯棒性和在目標與背景色彩相近情況下良好的區分性等優點,另一方面,在融合了尺度不變性特征之后可以克服目標的仿射變化[6],最終提高描述目標的可靠性。

2基于色彩相關直方圖與SIFT特征融合的粒子濾波

2.1粒子濾波

現粒子濾波(Particle Filter)是一種非線性濾波方法,它以貝葉斯估計為基礎,其核心思想是使用隨機樣本集合(粒子)來表示需要的后驗密度,集合中的各個粒子具有相應權值。

采用式(1)和式(2)描述動態系統:

xk=fx(xk-1,vk-1)

(1)

zk=hk(xk,nk)

(2)

其中,式(1)表示系統的狀態轉移方程,式(2)表示系統的測量方程。

(3)

在此之前需要對權值進行歸一化處理。其中,權值通過重要性采樣法選擇[7～8]。權值被修正后為

(4)

將重要性密度函數帶入粒子濾波算法,即

(5)

對權值做公式做簡化處理后可以得到:

(6)

2.2目標運動模型

(7)

為了模擬隨著時間的變化目標的狀態也要跟著變化,這里需要使用一個隨機擾動模型來描述:

(8)

式中,T為采樣周期;Wt為一個還有多個變量的高斯白噪聲。

2.3色彩相關直方圖特征模型

關于色彩相關直方圖[10]可以作如下定義:令距離為d∈[n]這個值為一個先驗固定值,那么在圖像I中關于i,j∈[m],k∈[d]的色彩相關直方圖定義為

(9)

根據上述的定義可以將色彩相關直方圖理解為由距離和色彩對作為索引的一個索引表。在這個表中,關于〈i,j〉的第k條內容可以表示為:在與色彩為i的像素相距為k的地方找到色彩為j的像素概率值。

假如想要評價圖像I中相同色彩之間的相關性,那么可得圖像I的色彩自相關直方圖。由此,圖像I關于色彩ci,距離k的自相關直方圖可以表示為

(10)

色彩自相關直方圖可以理解成對同一種色彩根據在空間上的一種相關性描述,嚴格來說,它是相關直方圖的一個子集。

計算色彩相關直方圖首先需要計算得到灰度圖像共生矩陣的值:

(11)

然后將θ1的色彩固定為ci,計算條件概率

(12)

式中,分子含義是在圖像I中,相距為k,ci,cj的色彩對數目;分母表示相距為k的任意色彩對的數目。因子8k是從中心點到L∞范數定義的距離為k的像素數目。因此,色彩相關直方圖實際上描述一個條件概率分布,這個分布隨著k變化而變化。

本文實驗在RGB顏色空間中將各個顏色分量分成16個等級,也就是m=16×16×16=4096種顏色。用St表示目標的狀態,其中(x,y)為目標矩形區域的中心,2hx和2hy分別為矩形區域的長和寬,選取距離k={1,3,5},目標矩形區域內的兩個像素點分別為θ1和θ2。則目標區域中的色彩自相關直方圖為

(13)

其中,ci={c1,c2,…,cm}。

(14)

對于色彩空間為RGB的三通道的情況,模板與候選目標之間的自相關直方圖測度為

(15)

在得到兩種分布之間的距離測度之后,選擇如下的觀測似然函數:

(16)

式中,σ為高斯方差,實驗中取為0.2。式中的值越大說明候選目標與目標模板的色彩相關直方圖越相似,候選目標為真實目標的可能性越大。

2.4尺度不變特征模型

為應對光照變化以及仿射變化(平移、縮放、旋轉、錯切變化),本文采用SIFT方法來描述目標,運用的是目標的局部特征信息,因而對目標發生部分遮擋的情況也具有較強的魯棒性。該方法利用DOG方法來檢測尺度空間中的極值點,如果一個像素點與它同尺度的8個相鄰點以及上下相鄰尺度對應的9×2點共26個點進行比較,都為最大值或最小值,那么就認為這個像素點是圖像在該尺度下的一個特征點。然后以特征點為中心,在4共16個區域內分別計算8個方向的剃度方向直方圖,從而用一個128維的特征向量來描述一個SIFT特征點。

psift(zt|xi)=1-exp[-match(Sq,Sp)]

(17)

其中:match(Sq,Sp)用與計算目標目標模型和候選模型中相匹配的SIFT特征點的數目。由式(17)可知,當候選模型與目標模型匹配的SIFT特征點越多,值越大,候選目標為真實目標的可能性越大。

2.5基于色彩相關直方圖與SIFT特征融合的粒子濾波跟蹤算法描述

綜合前面的論述,在得到上述兩種特征將其兩種特征簡單地以各占50%的比率進行加權求和,求和公式為

(18)

基于色彩相關直方圖與SIFT特征融合的例子濾波跟蹤算法的流程描述如下

7) 計算t時刻目標狀態的估計值。

8) 置t=t+1,轉到2)。

3實驗結果與分析

采用三組實驗視頻對本文算法進行驗證,并且將本文算法和基于顏色直方圖的粒子濾波跟蹤方法進行比較。這幾組視頻包括了目標的任意平移、轉動、遮擋、相似物干擾以及光照變化等一些復雜情況,實驗中是以手動方式選定目標,每個目標模版采用150個粒子。

在第一組考試視頻中,對考場內監考教師進行跟蹤。圖1(a)是基于顏色直方圖的粒子濾波跟蹤方法,圖1(b)是基于色彩相關直方圖與SIFT特征融合的粒子濾波跟蹤方法。從圖中可以看出當目標遠離攝像機而變小,并且在運動過程中肢體形狀發生變化時,基于基于顏色直方圖的粒子濾波跟蹤方法受到影響,出現偏移,而本文所述的方法能夠較穩定地跟蹤目標。

在第二組實驗視頻中,對街道上行人進行跟蹤相對于第一組視頻,跟蹤目標的大小變化程度更大,同時還存在著目標被短暫遮擋的情況。圖2(a)是基于顏色直方圖的粒子濾波跟蹤方法,在跟蹤的過程中受遮擋的影響,出現了目標丟失的情況。而圖2(b)是本文的方法所得的跟蹤結果,從圖中可以看出,雖然會受到短暫遮擋的影響,但在后續的跟蹤中沒有將目標丟失,依舊能夠較好地跟蹤目標。

圖1　考場內監考教師跟蹤結果對比

圖2　室外行人跟蹤結果對比

在第三組實驗視頻中,對高速公路上航拍車輛進行跟蹤。可以看出道路顏色與被跟蹤車輛的顏色非常相近。圖3(a)是基于顏色直方圖的粒子濾波跟蹤方法的跟蹤結果,可以看出在跟蹤的過程中由于受到背景顏色相似的影響紅色方框偏離了真實的目標位置。而本文提出的方法卻沒有發生跟蹤偏離的現象,如圖3(b)所示。

圖3　高速航拍車輛跟蹤結果對比

4結語

針對基于顏色粒子濾波算法在目標發生仿射變化和當目標與背景相近時跟蹤效果不理想的問題,本文提出了基于色彩相關直方圖與SIFT特征融合的粒子濾波跟蹤算法,該方法從提高特征描述的可靠性入手,一方面引入顏色相關直方圖作為目標模版的一個描述特征;另一方面將其與SIFT特征融合從而克服上述情況對跟蹤準確性的影響,增強了跟蹤的準確性。實驗結果表明本算法能夠對目標發生仿射變化、目標與背景相近、短暫遮擋等情況下實現的跟蹤具有較好的穩定性和準確性。然而本文只是將兩種特征做了簡單的融合,并沒有對這兩種特征就重要性權重方面做分析研究。所以為了進一步提高特征描述的可靠性,下一步的研究工作將對特征的融合方法進行改進。

參 考 文 獻

[1] Gordon N J, Salmond D J, Smith A F M. Novel approach to nonlinear/non-Gaussian Baysian state estimation[J]. IEEE Proceedings of Radar and Signal Processing,1992,140(2):107-113.

[2] Arulampalam M, Maskell S, Gordon N. A tutorial on particle filters for online non-linear/non-Gaussian Bayesian tracking[J]. IEEE transactions on Signal Processing,2002,50(2):174-188.

[3] Ning J, Zhang L, Zhang D, et al. Robust mean-shift tracking with corrected background-weighted histogram[J]. Computer Vision,2013,6(1):62-69.

[4] CHEN A H, ZHU M, WANG Y H. Mean shift tracking combining SIFT[C]//ICSP2008 Proceedings. Leipzig, Germany, Springer LNCS,2008:1523-1535.

[5] ZHOU H, YUAN Y, SHI C. Object tracking using SIFT features and mean shift[J]. Computer Vision and Image Understanding,2009,30(4):345-352.

[6] 楊曉峰.基于仿射變換模型的圖像目標定位跟蹤方法[D].武漢:華中科技大學,2005:42-49.

YANG Xiaofeng. Image target tracking method based on the affine transformation model[D]. Wuhan: Huazhong University of Science and Technology,2005:42-49.

[7] Kalva H, Petljanski B. Exploiting the directional features in MPEG-2 for H.264 intra transconding[J]. IEEE Transactions on Consumer Electrnics,2006,52(2):706-711.

[8] Doucet A, Godsill S, Andrieu C. On sequential Monte Carlo sampling methods for Bayesian filtering[J]. Statics and Computing,2000,10(1):197-208.

[9] Kim J B, Lee C W, Lee K M, et al. Wavelet-based vehicle tracking for automatic traffic surveillance[C]//IEEE Region 10 International Conference on Electrical and Electronic Technology. Singapore,2001:313-316.

[10] 臧雪柏,孫毅,王慧,等.基于空間和顏色自相關的直方圖目標檢測方法[J].吉林大學學報(工學版),2008,(S2):202-204.

ZANG Xuebai, SUN Yi, WANG Hui, et al. Target detection method based on spatial and color histogram of autocorrelation[J]. Journal of Jilin University of Technology,2008,(S2):202-204.

收稿日期:2016年1月11日,修回日期:2016年2月13日

作者簡介:劉元龍,男,碩士,研究方向:智能視頻圖像處理。李玉惠,女,教授,研究方向:數字水印、智能視頻圖像處理。

中圖分類號TP301.6

DOI:10.3969/j.issn.1672-9722.2016.07.012

Particle Filer Tracking Algorithm Based on Fusion of Color Correlogram and SIFT Features

LIU YuanlongLI Yuhui

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)

AbstractThis paper proposes a tracking algorithm based on particle filter algorithm with color correlogram and SIFT features. In the process of tracking, this algorithm has attractive result to resolve the problem of target losing no matter when the target was obscured or when target deformation occurred. The tracking effect is especially improved when moving target is similar to background in color. To evaluate different color correlation between prediction and observation state, the algorithm adopts color correlogram as one describe feature. To overcome the affine change characteristics of target, the SIFT feature is also adopted. With the color correlogram and SIFT features fusion, both the reliability of features description and accuracy of tracking is improved. This algorithm is superior to the traditional particle filter tracking algorithm.

Key Wordscolor correlogram, SIFT, particle filter, feature fusion