空間信息碼本和粒子濾波相結合目標跟蹤算法

瞿 中 趙棟梁

1(重慶郵電大學計算機科學與技術學院 重慶 400065)2(重慶市軟件質量保證與測評工程技術研究中心 重慶 400065)

?

空間信息碼本和粒子濾波相結合目標跟蹤算法

瞿 中1，2趙棟梁1

1(重慶郵電大學計算機科學與技術學院 重慶 400065)2(重慶市軟件質量保證與測評工程技術研究中心 重慶 400065)

針對粒子濾波跟蹤過程中容易積累誤差引起跟蹤失敗的問題，提出一種基于空間信息碼本背景建模的粒子濾波跟蹤算法。首先，在碼本背景建模過程中將目標像素碼本和周圍8鄰域像素碼本進行融合，克服背景噪聲干擾得到精確的前景目標；然后提取前景區域的核函數加權顏色特征作為粒子濾波初始狀態先驗分布。同時在重采樣過程中引入位置信息加權改進。實驗結果表明，該算法減少了粒子發散引起的采樣誤差，且能夠在復雜背景下對目標進行有效跟蹤，在實時性和準確性上優于標準粒子濾波算法。

碼本背景建模 目標跟蹤 粒子濾波 空間信息

0 引 言

粒子濾波通過非參數化蒙特卡羅模擬方法實現遞推貝葉斯濾波，被廣泛應用于非線性模型和非高斯噪聲的目標跟蹤[1]。標準粒子濾波[2]需預先建立目標觀測模型對跟蹤系統進行初始化，在跟蹤過程中該目標的觀測模板通常是不變化的。隨著跟蹤的進行，由于目標形狀尺度變化、交叉遮擋或背景復雜等干擾，預先建立的觀測模型難以滿足狀態的變化，使跟蹤過程產生誤差。同時，由于粒子采樣空間的隨機性，大量粒子浪費在非目標區域采樣，造成粒子發散并加速粒子退化，進而造成目標跟蹤失敗。為提高跟蹤精度，目前有很多研究都是從觀測模型檢測基礎上對粒子濾波進行改進。文獻[3]采用改進的視覺顯著性表示來對運動物體進行表征，將檢測結果作為觀測模型整合到粒子濾波跟蹤器中，但視覺顯著性特征易受復雜背景干擾，目標與背景特征相似時其跟蹤效果較差；文獻[4]提出了Tracking-by-Detection跟蹤框架，利用連續可信檢測器和粒子濾波對目標進行邊檢測邊跟蹤，精度雖有提高，但算法復雜度較高實時性差；文獻[5]采用Adaboost對目標進行檢測建模，將分類樣本作為粒子濾波觀測模型，實現運動目標的離線跟蹤，但需要大量訓練的樣本為前提，不利于跟蹤多樣化目標；文獻[6]采用多尺度二維離散小波描述可能的目標區域，通過對其主成分分析作為粒子濾波初始狀態先驗分布，但其初始狀態建立耗時，且在交叉遮擋試驗中效果較差。

為建立有效的先驗狀態模型，提升粒子濾波精度。本文采用空間信息融合對碼本模型進行改進，克服光照和噪聲干擾，得到運動目標精確的前景區域，提取目標前景區域特征，然后由改進過的粒子濾波實現對目標交叉遮擋、前背景相似等復雜環境下的有效跟蹤。

1 空間信息碼本背景建模算法

1.1 標準碼本建模

標準碼本模型由Kim[7]等提出，基本思想是對時間序列上的像素進行訓練建立碼字，得到每個像素的時間變化模型，形成一個碼本，最后將像素與碼本進行比對判斷前景與背景。

其中，α(α<1)和β(β>1)是亮度變化范圍的閾值，通常取0.4≤α≤0.7，1.1≤β≤1.5。同時定義顏色失真度為：

在前景檢測階段，視頻幀中的像素點和碼本模型中碼字進行比對，匹配成功的像素則為背景，被學習到背景中去，匹配不成功的像素則為噪聲或新的碼字，被記錄到新的碼本模型中。

1.2 空間信息碼本建模

標準碼本模型[7]忽視了像素之間信息的相關性，沒有很好地處理背景空間變化的不確定性，故不能準確反映當前像素的實際情況。為更好適應對光線變化和陰影等噪聲干擾提取出精確的前景目標，本文提出了融合空間信息的碼本模型，對Wu M[9]提出的馬爾可夫局部信息碼本建模算法進行簡化改進，相關算法步驟如下：

Step1 初始化碼本，令C→?,L→0；

Step2 對視頻中每個像素值序列進行訓練：

在碼本中需找滿足以下條件，即與xt相匹配的碼字ci：

colordist(xt,vi)≤ε1，其中ε1為設定采樣閾值；

若C=φ或無匹配，則L=L+1，同時產生一個新碼字cl，vl=(R,G,B)，auxl=(I,I,1,t-1,t,t)；否則更新碼字ci：

Step3 消除冗余碼字，在集合C={ci,1≤i≤L}中，令tempλi=max{λi,N-qi+pi-1}

前景檢測階段：

Step4 輸入待檢測像素xt=(R,G,B)。

Step5 在碼本中需找滿足以下條件，即與xt相匹配的碼字ci：

colordist(xt,vi)≤ε2，其中ε2為檢測閾值，通常情況下ε1<ε2；

Step6 若碼字ci與xt匹配，則xt=background，并更新碼字ci；否則，xt=foreground；同時對xt進行以下操作：

Step6.1 若在xt碼本的8鄰域相鄰碼本中，存在ci與之平匹配，則count++；

Step6.2 若count++≥K，K為設定閾值，則xt=background；否則，xt=foreground。

1.3 前景檢測結果對比

采用PETS視頻數據庫中Camera和Lab兩組視頻進行實驗，分別對室外和室內場景進行前景檢測對比。如圖1所示，Camera中左側存在樹枝晃動，以及車輛經過引起沿途車窗光線變化，這些干擾都引起了標準碼本的誤檢。同樣，Lab中人體經過引起室內光線突變更是引起了標準碼本較大范圍的誤檢噪聲。而空間信息的碼本在初步檢測出前景之后又與背景碼本進行融合比較，進一步精確判斷前景像素，很好地適應了環境中的噪聲和背景干擾。

圖1 前景檢測結果對比

2 基于前景檢測的粒子濾波跟蹤算法

2.1 核函數加權顏色特征提取

復雜背景、光照等干擾影響對目標的正確描述，本文采用核函數加權[10]顏色特征對檢測出的前景目標提取HSV顏色特征作為粒子濾波觀測模型，以減少復雜背景對觀測值的影響，即目標中心區域分配較大權值，而目標邊緣區域分配較小權值。其中H和S分量對光照不敏感各劃分為16個量化級，而V分量對光照明感劃分為4個量化級，直方圖顏色共被劃分為16×16×4個量化級。

首先通過碼本前景檢測得到準確目標前景并求得外接矩形H0=[x0,y0,w,h]，其中(x0,y0)為矩形框中心坐標，w、h為矩形框寬和高，可得以矩形區域(x0,y0)為中心歸一化加權直方圖：

u=1,2,…,m

(1)

(2)

2.2 結合空間信息碼本的粒子濾波跟蹤算法

文獻[8]粒子濾波算法其粒子搜索空間為隨機采樣，由于噪聲、背景等干擾引起跟蹤誤差，隨著跟蹤過程進行，大量粒子浪費在噪聲計算上且發散越來越大，引起粒子枯竭退化等問題。本文在前景檢測中得到目標區域(x0,y0,w,h)，可知該區域外的粒子采樣是無意義的，以此區域為粒子采樣區域，減少粒子無必要的采樣，同時結合幀間位置信息加權對重采樣算法進行改進，相關算法步驟如下：

Step1 前景檢測。通過空間信息碼本檢測出精確的運動目標區域，以(x0,y0)為中心設粒子采樣區域。

(3)

可得兩個粒子特征與目標特征的巴氏距離：

(4)

Step5 權重歸一化。定義粒子的權重ω(i)：

(5)

當巴氏距離d的值越小，粒子權重越大。對粒子進行權重歸一化，使得所有粒子權重和為1。

(6)

Step6 位置預測。權重表示目標的所處位置的可能性大小，權重最大的粒子表示目標位置。

Step7 粒子重采樣。隨著粒子預測目標狀態的運行，權重較大的粒子數量會驟減，此時需要進行重采樣，計算能夠有效描述系統狀態的粒子數量Neff：

(7)

2.3 位置信息加權重采樣算法改進

目標運動狀態是一個連續的過程，目標當前位置與前N幀中位置變化不大且是相關聯的。提出了位置信息加權的粒子重采樣算法，著重選擇目標下一幀可能所在位置進行重采樣，相關過程如下：

Step1 目標位置的預測。設當前幀為第k幀，將前m幀劃分為兩部分，其中第n幀為中心劃分點，分別計算該兩部分目標所處的平均位置的重心，兩個重心的連線矢量Vp即為下一幀目標可能所處位置，該矢量的方向為tanθ：

(8)

Step4 按照式(7)中所講方法重采樣。

Step5 讀取下一幀，重新進行粒子初始化。

3 實驗結果及分析

為驗證本文算法前景約束下粒子采樣的穩定性和跟蹤效果的魯棒性，與空間信息碼本特征提取狀態下復雜背景跟蹤的有效性，分別進行了在交叉遮擋環境下同文獻[8]算法對比，與復雜背景環境下同文獻[2]標準粒子濾波算法對比。實驗采用VS2010+OpenCV2.0，環境為i5(2.60 GHz)，內存2 GB的筆記本電腦。

(1) 實驗一：文獻[8]算法交叉遮擋實驗對比

實驗采用兩個目標由接近、交叉到分開的視頻(跟蹤粒子數為100)，對比文獻[8]和本文兩種算法的跟蹤效果與粒子采樣狀態。如圖2(a)所示，由于文獻[8]中粒子的采樣空間是隨機的，所以其粒子發散比較大，兩目標交叉過程中發散尤為嚴重。圖2(b)為本文算法的粒子采樣狀態，由于采用了檢測出的前景區域為粒子濾波觀測樣本，且粒子圍繞目標中心采樣，故粒子狀態較穩定。圖2(c)為本文算法的最大權重粒子狀態即最終的跟蹤結果。

圖2 跟蹤效果對比

根據圖2兩目標交叉時的第188幀跟蹤結果，設定粒子矩形框的中心與目標實際中心的像素距離表征粒子的采樣狀態即發散程度，兩種算法粒子序號為1-100，采樣狀態統計如圖3所示，整個跟蹤過程數據對比如表1所示。

圖3 第188幀粒子采樣狀態統計

表1 跟蹤過程數據對比

由圖3和表1可以看出，本文算法能在目標交叉遮擋下準確、魯棒地跟蹤目標。同時抑制粒子發散，克服粒子快速退化的問題。

(2) 實驗二：復雜背景下目標跟蹤對比

實驗采用了一段有陰影擾動和前背景相似的視頻分別對Rob Hess的標準粒子濾波[2]和本文兩種算法的跟蹤結果進行對比(粒子數為100)。如圖4(a)所示在240～276幀，兩種算法都可以進行有效跟蹤，但由于地面枝葉晃動和明暗交錯，標準粒子濾波算法對預先手動劃定的目標顏色特征不能很好地適應，粒子波動較大。圖4(b)中在第277幀目標與背景的顏色特征較為接近難以區分，此時標準粒子濾波出現較大偏差以至于在291幀之后徹底跟丟，而本文算法由于結合前景檢測對目標區域進行顏色特征觀測，雖有偏差但誤差較小仍能穩定跟蹤。實驗中以目標跟蹤框的中心與實際目標中心的像素距離表征跟蹤誤差，加入文獻[8]算法對比。誤差統計結果如圖5所示，整個跟蹤過程的數據對比如表2所示。

圖4 跟蹤結果對比

圖5 240～290幀跟蹤誤差統計

表2 復雜背景實驗結果對比

由圖4、圖5和表2可以看出，本文的改進算法可以在前背景相似情況下對目標進行準確穩定跟蹤，同時準確性實時性優于文獻[8]算法和標準粒子濾波算法。

4 結 語

本文提出了一種結合空間信息碼本和粒子濾波的目標跟蹤算法，通過碼本前景檢測結果與背景碼本進行融合得到準確前景區域，提取該前景區域的核函數顏色特征作為粒子濾波觀測模型，同時在跟蹤過程中對觀測模板進行實時更新，并對粒子重采樣算法進行了改進。實驗結果表明本文算法能夠克服交叉遮擋和復雜背景等干擾，能穩定跟蹤目標且粒子發散小，在精度、實時性和魯棒性上優于標準粒子濾波算法。

[1] 夏利民, 張良春. 基于自適應粒子濾波器的物體跟蹤[J]. 中國圖象圖形學報, 2009, 14(1): 112-117.

[2] Hess R. Particle filter object tracking[J/OL]. blog, May, 2013, http://blogs.oregonstate.edu/hess/code/particles.

[3] Su Y, Zhao Q, Zhao L, et al. Abrupt motion tracking using a visual saliency embedded particle filter[J]. Pattern Recognition, 2014, 47(5): 1826-1834.

[4] Breitenstein M D, Reichlin F, Leibe B, et al. Online Multiperson Tracking-by-Detection from a Single, Uncalibrated Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(9):1820-1833.

[5] 瞿中, 張亢, 喬高元. MB-LBP 特征提取和粒子濾波相結合的運動目標檢測與跟蹤算法研究[J]. 計算機科學, 2013, 40(12): 304-307.

[6] Rui T, Zhang Q, Zhou Y, et al. Object tracking using particle filter in the wavelet subspace[J]. Neurocomputing, 2013, 119(16):125-130.

[7] Kim K, Chalidabhongse T H, Harwood D, et al. Real-time foreground-background segmentation using codebook model[J]. Real-time imaging, 2005, 11(3): 172-185.

[8] Sherrah J, Ristic B, Redding N J. Particle filter to track multiple people for visual surveillance[J]. IET computer vision, 2011, 5(4): 192-200.

[9] Wu M, Peng X. Spatio-temporal context for codebook-based dynamic background subtraction[J]. AEU-International Journal of Electronics and Communications, 2010, 64(8): 739-747.

[10] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

TARGETS TRACKING ALGORITHM COMBINING SPATIAL-INFORMATION CODEBOOK AND PARTICLE FILTER

Qu Zhong1，2Zhao Dongliang1

1(College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)2(Chongqing Engineering Research Center of Software Quality Assurance,Testing and Assessment, Chongqing 400065, China)

In order to avoid tracking failure caused by the errors easily accumulated in particle filter tracking process, we proposed an algorithm particle filter tracking, it is based on spatial-information CodeBook background modelling. First, in the process of codebook background modelling, it combines the CodeBook of targets’ pixels and the CodeBook of its 8-neighborhood pixels to overcome the interference of background noise and to get precise foreground targets; Then, it extracts the weighted kernel function colour features of foreground regions as the prior distribution of initial state of particle filter, meanwhile imports the weighted improvement of position information to resampling progress. Experimental results show that this algorithm reduces the sampling errors caused by particle emission, and can effectively track targets under complex background as well, moreover, it is superior to the standard particle filter algorithm in real-time property and accuracy.

CodeBook background modelling Targets tracking Particle filter Spatial information

2015-09-17。重慶市教委科學技術研究項目(KJ1402 001)；重慶市科委基礎與前沿項目(cstc2014jcyjA1347);重慶市高校優秀成果轉化項目(KJZH14219)。瞿中，教授，主研領域：數字圖像處理，普適計算，物聯網技術等。趙棟梁，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.11.054