一種自適應融合顏色和梯度方向特征的粒子濾波跟蹤算法

魏天舒，尹麗菊，高明亮，鄒國鋒,臧圓茹

(山東理工大學 電氣與電子工程學院,山東 淄博 255049)

一種自適應融合顏色和梯度方向特征的粒子濾波跟蹤算法

魏天舒，尹麗菊，高明亮，鄒國鋒,臧圓茹

(山東理工大學 電氣與電子工程學院,山東 淄博 255049)

針對傳統的粒子濾波通常采用單一的特征信息，會導致跟蹤精度低、魯棒性差等問題，提出一種自適應融合顏色特征和梯度方向特征的粒子濾波跟蹤算法.首先提取出能夠描述目標的顏色和梯度方向特征，并分別采用空間核函數加權顏色直方圖和梯度方向直方圖對特征進行描述，然后在跟蹤過程采用民主融合策略，根據兩個特征在跟蹤時的可靠性，自適應的調節各自權重，最后采用融合后特征來對目標進行建模和跟蹤. 實驗結果表明，算法能夠很好地處理目標尺度縮放、旋轉、光照變化等復雜環境下的跟蹤問題.

視覺跟蹤;多特征融合;粒子濾波

近年來，目標跟蹤在智能視頻監控、人機交互、機器人導航等諸多領域得到了廣泛應用[1-3]，成為計算機視覺領域中最熱門的研究課題之一.粒子濾波與傳統濾波方法相比，具有簡單易行、適用于非線性及非高斯噪聲環境的優點，在目標跟蹤領域得到了廣泛應用[4-5].

傳統的粒子濾波跟蹤算法大多采用單一的特征信息.例如：Perez等人[6]將顏色特征作為粒子濾波的觀測模型，解決了目標發生遮擋情況下的跟蹤.但是該算法的不足之處在于當背景中出現與目標顏色分布相似的干擾物時，容易造成粒子發散.為此，Birchfield等在粒子濾波框架下提出了空間顏色模型，利用像素點之間的空間關系改善了跟蹤的性能[7].楊大為等[8]在粒子濾波框架內，提取出基于局部二值模式(LBP)的紋理特征，并采用稀疏表達實現目標跟蹤，實驗結果表明該方法對光照變化較為魯棒，但對形狀變化較大的目標，跟蹤效果較差.

針對單信息進行目標跟蹤的缺陷，許多學者提出利用目標的多種特征信息對目標進行跟蹤.Spengler等[9]提出了一種融合多特征信息的跟蹤算法，但該算法屬于尋求局部最優的匹配算法，當目標發生遮擋時容易導致跟蹤失敗.張峰等[10]采用模糊邏輯的思想，將顏色和LBP特征融入到粒子濾波跟蹤算法中，提高了目標跟蹤算法在復雜環境下的魯棒性和準確性，但算法較復雜. 本文提出了一種基于民主融合策略的多信息融合模型，將顏色和梯度方向信息自適應的融入到粒子濾波跟蹤方法，根據當前跟蹤結果自適應地調節每個特征信息的權值，增強了跟蹤特征的可靠性，取得了良好的跟蹤效果.

1 粒子濾波

xk=F(xk-1,uk)

(1)

zk=H(xk,vk)

(2)

式中：F為狀態轉移方程；uk為過程噪聲;H是測量方程；vk為系統的測量噪聲.

(3)

粒子濾波算法引入重要性采樣的概念，即對另一個與p(xk|zk)非常接近的分布q(xk|zk)進行采樣，從而有:

(4)

為便于迭代預測系統狀態，q(xk|zk)滿足:

q(xk|zk)=q(xk|xk-1,zk)q(xk-1|zk-1)

(5)

根據概率統計理論，有如下關系:

p(xk|zk)∝p(zk|xk)p(xk|xk-1)

p(xk-1|zk-1)

(6)

將式(5) 、( 6) 帶入式( 4) ，得

(7)

實際操作中常有如下近似:

(8)

對于粒子濾波算法而言，一個重要缺陷是算法存在粒子退化現象[11]. 為了避免粒子退化問題，粒子濾波算法引入了重采樣技術. 在重采樣之前，應該首先確定粒子的退化程度，以確定是否進行重采樣.Liu等人[12]給出了一種衡量粒子數匱乏程度的方法. 他們定義了“有效粒子數”Neff

(9)

當Neff

2 目標特征提取與融合

2.1 顏色特征

由于顏色特征具有平移、尺度不變性，且計算簡單，因此在跟蹤領域得到了廣泛的應用. 現有的圖像采集設備最初采集到的顏色信息是RGB值，但RGB顏色空間不符合人對顏色的感知心理.HSV顏色空間是一種面向視覺感知的顏色模型[13].HSV顏色空間有兩個特點:(1)亮度分量與圖像的彩色信息無關;(2)色調與飽和度分量與人感受顏色的方式緊密相連.這些特點使得HSV顏色空間非常適合以人的視覺系統來感知彩色特性的圖像處理算法[13]. 因此，本文將目標的顏色空間從RGB轉化為HSV空間.

為了使得到的顏色直方圖更加準確，提取出目標的基于核函數加權空間顏色模型[14]:

(10)

(11)

式中‖r‖為像素距離目標中心的歐式距離.

得到目標區域和候選區域的顏色信息后，采用Bhattacharyya距離來度量兩者的相似性. 顏色特征信息的觀測似然函數為

(12)

2.2 梯度方向特征

通過提取圖像中每一點的梯度值并按照不同梯度變化方向對這些點進行歸類，生成該圖像的梯度方向特征(HOG)[15].HOG特征提取過程如下：

(1)利用水平Sobel算子Kx和垂直的Sobel算子Ky計算感興趣區域內所有像素點(x,y)的梯度：

(13)

(2)計算梯度的幅值大小和梯度方向：

(14)

θ= actan2(Gy(x,y)/Gx(x,y))

(15)

得到了候選位置的梯度方向直方圖后，定義梯度方向特征信息的觀測似然函數為

(16)

2.3 多特征自適應融合

融合顏色信息和梯度方向信息，總的似然模型可以表示為

(17)

其中wc和we分別表示顏色信息和梯度方向信息的權重，也稱為信息的可靠性. 通過歸一化保證wc+we=1. 圖1顯示了兩種特征信息的獲取.

圖1 顏色信息和梯度信息的提取

在目標跟蹤過程中，顏色信息權重wc和梯度方向信息權重we根據目標實際狀態自適應的進行更新. 當顏色可靠時，則權重wc值變大，反之梯度方向信息權重we變大.

為了能夠自適應的調整兩種信息的權重，本文采用一種民主融合的策略對兩種信息進行自適應的調整. 民主融合策略是Spengler等[9]提出的一種自適應融合各個特征信息的方法，它利用期望最大(EM)算法來在線調節每個特征信息的權重. 此融合方法根據各個信息在跟蹤時的可靠性，給不同的信息賦予不同的加權值. 若一個信息在某個時刻的可靠性大，其加權值就大，則此信息跟蹤的結果對最終的跟蹤結果貢獻就大.

在公式(17)的基礎上，通過最大似然估計可得到最終的目標狀態，即

(18)

(19)

式中：sign是一個符號，分別代表兩種信息；a是一個常量，根據實際情況而定.

由于相鄰兩幀圖像之間變化很小，因此各個信息的加權在下一幀中可以預測為

(20)

2.4 算法流程

算法的具體流程圖如圖2所示，包括以下幾個步驟.

圖2 算法流程圖

步驟1 在初始幀中采用矩形框選定初始目標，記初始狀態為X0=[x,y,s]，其中，(x,y)表示矩形框的中心位置，s表示矩形框的放縮比例. 分別統計目標模板的核函數加權空間顏色直方圖和梯度方向直方圖.

步驟6 判斷是否有新圖像輸入，如果沒有，程序結束. 否則，根據公式(9)判斷是否滿足重采樣的條件，如果滿足重采樣條件，對粒子進行重采樣，否則執行步驟3.

3 實驗結果及分析

采用兩組典型的測試視頻序列對算法的有效性進行測試. 在第一組測試視頻中，對室內女子頭部進行跟蹤，這組視頻序列包括了目標的平動、轉動、遮擋、相似物干擾，以及光照變化等一系列復雜的情況. 為了客觀地描述算法的跟蹤精度(誤差)，分別計算出幾種跟蹤方法的跟蹤結果(x,y)與真實目標位置(xtrue,ytrue)的歐氏距離：

(21)

在跟蹤實驗中，跟蹤位置與真實目標位置之間的歐氏距離d稱為跟蹤的誤差，用來客觀地描述某種跟蹤算法的準確度. 對比實驗結果如圖3所示.

圖3 粒子濾波算法在不同的特征下跟蹤室內女子頭部結果比較

—單獨采用顏色信息—單獨采用梯度方向信息—融合信息圖4 室內女子頭部跟蹤效果

從實驗結果看，本算法在處理任意平動、轉動、遮擋、相似物干擾，以及光照變化等較復雜的情況均有較好的效果. 部分跟蹤實驗結果如圖4所示(彩分圖見網絡版). 其中，黃色框為單獨利用顏色信息進行跟蹤的結果. 這種方法在目標顏色發生很大變化時(如人體頭部發生旋轉)，會跟蹤失敗. 紅色框是單獨利用邊緣信息進行跟蹤的結果，該方法能對目標發生旋轉的時候進行較準確地跟蹤，但是該方法不夠穩定，因此適合于在簡單的背景下進行跟蹤. 藍色框為融合兩個信息的跟蹤結果，可以看出自適應融合特征的粒子濾波跟蹤算法優于單特征的跟蹤效果.

圖5為室外場景的車輛跟蹤結果. 在跟蹤過程中，目標有較大的尺度變化，并且，車輛的尾燈的開關會改變目標的顏色特征. 部分對比跟蹤實驗結果如圖6所示.

圖5 粒子濾波算法在不同的特征下跟蹤室外車輛結果比較

—單獨采用顏色信息—單獨采用梯度方向信息—融合信息圖6 室外車輛跟蹤效果

圖中，黃色框為單獨利用顏色信息進行跟蹤的結果，顏色特征對于目標的縮放有一定的魯棒性，但對于目標的顏色變化比較敏感. 紅色框是單獨利用邊緣信息進行跟蹤的結果，該方法對于顏色變化較為魯棒，但對于目標的縮放比較敏感. 藍色框為本章算法跟蹤結果，從實驗結果看，本文算法能夠很好地處理目標尺度縮放、光照變化等復雜情況下的跟蹤問題.

4 結束語

對于復雜背景下的目標跟蹤，利用目標的單一特征信息往往很難實現魯棒的跟蹤. 本文算法自適應的融合顏色和梯度方向信息描述目標的觀測信息，提高了跟蹤的魯棒性和準確性；在跟蹤過程中，根據當前幀目標顏色和梯度方向信息的可靠性，利用民主融合策略在線調節下一幀觀測信息中顏色和梯度方向信息的權重，實現了兩個信息的自適應加權. 通過多組視頻測試，算法對目標的相似性干擾、部分遮擋、不同方向的運動旋轉、攝像機的移動和光照變化具有較高的精度和魯棒性.

[1]MAQUEDAAI,DEL-BLANCOCR.Human-computerinteractionbasedonvisualhand-gesturerecognitionusingvolumetricspatiogramsoflocalbinarypatterns[J].ComputerVisionandImageUnderstanding, 2015, 141:126-137.

[2]SHARMAKD,CHATTERJEEA,RAKSHITA.APSO-Lyapunovhybridstableadaptivefuzzytrackingcontrolapproachforvision-basedrobotnavigation[J].IEEETransactionsonInstrumentationandMeasurement, 2012, 61(7):1 908-1 914.

[3]ARROYOR,YEBESJJ.Expertvideo-surveillancesystemforreal-timedetectionofsuspiciousbehaviorsinshoppingmalls[J].ExpertSystemswithApplications, 2015,42(21):7 991-8 005.

[4]NUMMIAROK,KOLLER-MEIERE,VANGOOLL.Anadaptivecolor-basedparticlefilter[J].ImageandVisionComputing, 2003,21(1):99-110.

[5]王法勝,魯明羽,趙清杰,等. 粒子濾波算法[J],計算機學報, 2013, 37(8):1 679-1 694.

[6]PEREZP,HUEC,VERMAAKJ,etal.Color-basedprobabilistictracking[M]//BERLIN:Springer-verlagberlin, 2002:661-675.

[7]BIRCHFIELDST,RANGARAJANS.Spatialhistogramsforregion-basedtracking[J].ETRIJOURNAL, 2007,29(5):697-699.

[8]揚大為, 叢楊, 唐延東. 基于粒子濾波與稀疏表達的目標跟蹤方法[J]．模式 識別與人工智能，2013, 26(7):680-687.

[9]SPENGLERM,SCHIELEB．Towardsrobustmulti-cueintegrationforvisualtracking[J]．MachineVisionandApplications, 2003,14(1): 50-58．[10] 張峰, 何小海, 楊曉敏, 等. 基于模糊邏輯的多特征融合的粒子濾波跟蹤算法[J], 四川大學學報(工程科學版), 2013,45(S2):335-340.

[11]GAOML,LILL,SUNXM,etal.Fireyalgorithm(FA)basedparticlefiltermethodforvisualtracking[J],Optik, 2015, 26(18):1 705-1 711.

[12]LIUJS,CHENR.SequentialMonteCarlomethodsfordynamicsystems[J].Journaloftheamericanstatisticalassociation, 1998, 93(443):1 032-1 044.

[13]姜蘭池, 沈國強, 張國煊. 基于HSV分塊顏色直方圖的圖像檢索算法[J], 機電工程, 2009,26(11):54-57.

[14]COMANICIUD,RAMESHV,MEERP.Kernel-basedobjecttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[15]DALALN,TRIGGSB.HistogramsofOrientedGradientsforHumanDetection[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. (CVPR),2005,886-893.

(編輯：劉寶江)

Avisualtrackingmethodbasedonadaptivecolorandorientationgradientfeaturesfusioninparticlefilter

WEITian-shu,YINLi-ju,GAOMing-liang,ZOUGuo-feng,ZANGYuan-ru

(SchoolofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo, 255049,China)

Thetrackingresultsareoftendisappointingwithpooraccuracyandrobustnessbecauseonlysinglecueisadoptedinthetraditionalparticlefilteralgorithm．Tosolvethisproblem,aparticlefiltertrackingalgorithmwithadaptivecolorandorientedgradientfeaturesisproposed.Firstly,thecolorandorientedgradientfeaturesarecalculatedandaredescribedbyspatialkernel-weightedcolorhistogramandedgeorientationhistogram,respectively.Thenthetwofeaturesarefusedadaptivelyusingdemocraticintegrationmethodandtheweightsareadjustedbythetheirreliabilityinthetrackingprocess.Last,thetargetismodeledandlocatedusingthefusedfeatures.Experimentalresultsshowedthattheproposedtrackingmethodhasagoodtrackingperformanceinagooddealofchallengingenvironmentandtheresultsareaccurateandrobust．

visualtracking;multi-featurefusion;particlefilter

2016-03-29

國家自然科學基金項目(61601266);山東省自然科學基金項目(ZR2015FL034，ZR2015FL029);山東理工大學青年教師支持計劃項目

魏天舒，女，weitianshu13@163.com; 通信作者：高明亮， 男，sdut_mlgao@163.com

1672-6197(2017)02-0017-05

TP

A