基于SPN-PF模型的行人跟蹤算法改進

張婧,田宏

(大連交通大學 軟件學院，遼寧 大連 116028)

基于SPN-PF模型的行人跟蹤算法改進

張婧,田宏

(大連交通大學 軟件學院，遼寧 大連 116028)

結合粒子濾波和神經網絡方法提出了一種新的自適應的行人跟蹤改進算法.根據行人跟蹤經常出現的遮擋，失跟，誤跟等問題，提出了一個SPN-PF模型，通過Sigma-Pi網絡將行人的多個特征聯系在一起，經過學習和計算，進一步講結果運用到粒子濾波方法中,從而達到可靠準確的跟蹤行人目標的目的.實驗結果表示該文提出的方法能夠更準確的對行人進行跟蹤.

行人跟蹤;粒子濾波;神經網絡;級聯分類器

0 引言

在復雜背景下跟蹤特定行人目標的研究和應用是計算機視覺領域的重要分支.我國自1986年開始立項研究視頻跟蹤技術，至今已取得一定的成果.通過動態圖像序列進行行人跟蹤是非線性的狀態估計問題，主要思想是通過非線系統的輸入和對目標的手動選定對行人的位置信息做出預測.粒子濾波技術對這類非線性非高斯問題的處理具有明顯的優勢，它用隨機樣本形式描述目標狀態的后驗概率分布.因為粒子濾波直接用系統非線性模型做非線性變換，更加接近系統本質，因此作為近幾年來的新技術已經廣泛應用于眾多領域中[1- 2].

總結近年來提出的眾多粒子濾波目標跟蹤算法，粒子濾波的研究還有很多不足之處[1- 2]，如目標在復雜背景下容易受到干擾，出現遮擋、失跟、誤跟，計算量大，實時性差等問題.另外在以往的粒子濾波研究中，單個特征在描述目標時具有局限性，研究表明將多個描述目標性能較好的特征組合在一起，結合各自的優缺點，取長補短，可以彌補單個特征的不足，并且提高準確率.本文以視頻中跟蹤行人為目標，重點研究復雜背景下的單個行人目標視頻跟蹤問題.根據現有粒子濾波方法的不足之處，針對上述問題，提出一種新的自適應的算法模型，結合行人目標的特征，可以更加準確的對行人定位，較以往采用單個特征的算法在可靠性和準確性方面有一定的提高，減小了光線變化和遮擋所造成的影響.

1 算法簡介

1.1 特征選取和處理

從行人的動態序列圖像中可以提取出許多特征作為行人的目標的描述，可以有效區分目標與非目標，因此如何選取有效的目標特征，對目標的檢測和跟蹤結果至關重要.

顏色 行人的膚色和所穿衣服都有明顯的顏色特征，并且行人目標的顏色比較穩定，不會快速改變，因此在跟蹤時非常可靠[3- 4].在進行計算機處理時把視頻轉換為HSV顏色空間下進行可以減少計算量.直方圖投影算法是一種常用的算法[3]，通過生成的顯著值圖像可以得到輸入圖像像素點是否屬于樣本直方圖的概率.每個像素值的概率越大，則這個圖像塊越匹配樣本直方圖.

運動 采用背景相減法可以確定行人的位置并預測下一時刻的信息[3- 4].主要是根據當前幀與參考圖像的差異進行比較和判斷，在差分圖像中，灰度不發生變化的背景部分被減掉，兩幀相減后就使運動目標突現出來.因為視頻背景比較固定，所以只要行人目標大于閾值就可以被檢測出.但是如果行人運動速度過慢，低于閾值或者完全靜止，背景相減法就會失效.此時系統就只能依靠其余的特征繼續跟蹤.

形狀 人體是非剛性物體，人體的姿勢變化多端，無法用一個固定的形狀表示.因此基于人體整體的研究方法可靠性很低.人體的所有部位中，頭肩部位形變較小，位置較固定，穩定性最高，抗干擾性最好，見圖1.通過實驗表明采用部件的檢測結果效果高于采用整體的[5- 6].因此本文采用人體頭肩的類Haar特征[7](圖2)和級聯的Adaboost算法[8]進行行人目標檢測分類器的訓練.主要思路為準備大量的正負樣本，其中正樣本是待檢測目標圖像，負樣本為不包含目標的其他任何圖像，對正樣本進行尺寸規整后，建立正樣本集，提取描述特征；然后開始利用統計學原理訓練分類器.分類器訓練好之后，就可以實時的利用分類器進行目標檢測，見圖3.

圖1 人體頭肩部位

圖2 擴展的類Haar特征

1.2 SPN-PF模型

運動特征可以有效的對行人目標定位，但是當行人靜止時無法提供信息.顏色和形狀是可靠的跟蹤特征，但是需要預先學習.將不同的特征結合起來，可以提高跟蹤行人的可靠性.

本文結合了現有的粒子濾波技術和神經網絡，提出了一個SPN-PF模型，見圖4.

Sigma-Pi網絡是一種常見的高階神經網絡模型[9- 11].該網絡通過隱層對輸入進行計算.對每一個輸入都設有不同的權重.這些值作為一個多項式函數的輸入，在隱層通過乘法運算，進一步把結果傳給輸出層，然后進行求和運算，得到最終結果.

SPN-PF模型把行人的三個重要特征作為Sigma-Pi網絡的輸入，通過計算將結果作為粒子濾波的權值，從而使粒子濾波結果更加準確和可靠.

圖4 SPN-PF算法框架圖

在算法模型中，每一個粒子的權值都是通過Sigma-Pi網絡計算得出的[10]，計算公式如下：

(1)

粒子濾波方法主要思想是選取一個重要性概率密度并從中進行隨機抽樣，通過這些帶有權值的粒子逼近狀態的后驗概率分布，以樣本均值代替積分運算從而獲得狀態的最小方差估計，作為狀態估計值的一個過程[1].

根據貝葉斯理論，估計值可根據如下預測方程估計

(2)

式中:xt為t時刻的系統狀態；yt為t時刻的觀測狀態;p(yt|xt)是系統觀測模型；p(xt|xt-1)是根據時刻0～t觀測值以后t時刻的概率值.行人目標的概率分布可估計為

(3)

2 實驗結果

本文對三個自我采集的視頻(不同背景，相同目標)進行了相應的跟蹤實驗，背景中有很多其他行人干擾，待跟蹤行人目標顏色與背景中的樹木相近.粒子個數為10個，在圖像序列初始幀時手動選定待跟蹤的行人目標.跟蹤效果很理想.實驗效果如圖5所示.

圖5 視頻跟蹤效果實驗圖

本文用Matlab分別做了單個特征的粒子濾波和采用本文提出的SPN-PF模型算法的仿真實驗進行比對，一共選取了50個時間點，50個粒子.圖6(a)是單個特征實驗的狀態圖，僅選取了行人的顏色特征，點代表實際的位置信息，出現概率是隨機的，曲線是系統預測的位置.可見在前期情況跟蹤效果很好，準確率較高，但是實驗后期失跟情況很嚴重，可能是出現干擾或者遮擋等情況，因此所采用的單個特征失效.與單個特征粒子濾波方法比較，本文提出的新SPN-PF模型的實驗結果由圖6(b)所示，根據實驗結果分析，采用單個特征的粒子濾波會出現失跟現象，而采用SPN-PF模型的算法除了在初期初始化階段，效果一般外，基本上不會出現失跟現象.當所參考的其中一個特征失效時，系統會通過Sigma-Pi網絡計算自動選取其他特征，避免了精度下降.另外準確率也有提高.

實驗結果證明了本文提出的新的模型識別率優于單一特征的粒子濾波方法.

(a)提取單個特征

(b)SPN-PF模型

3 結論

本文提出的SPN-PF模型根據多個特征的有效結合，可以顯著提高跟蹤效果.以前的很多多特征融合算法未采用Sigma-Pi網絡，因此即使選取了多個特征，但是系統不能自適應判斷哪個特征可靠性更大，而Sigma-Pi網絡可以根據多個輸入和權值，自適應計算出最優的結果，舉例來說，當行人靜止不動時，運動特征失效，相應的權值為0，系統會只考慮其他特征.但是，在算法初期，系統初始化階段，由于計算量較大，初始幀階段訓練的目標樣本數量太少，權值的可靠性較低，不過它是一個自適應遞增的過程，隨著時間的推移，精準度會越來越高，結果會越來越好.本文針對以往跟蹤研究系統只采用單個特征或不能自適應多個特征這一缺點，提出了一種結合了神經網絡，粒子濾波的新模型.實驗結果表明，提取多個特征并通過人工神經網絡技術進行計算提高了粒子濾波權值的可靠性，避免了采取單個特征所帶來的缺陷，提高了行人跟蹤的準確性.但是由于計算量較大，并且需要前期進行離線訓練，在實時性等方面效果并不是特別突出，希望在將來的研究過程中可以進一步完善.

[1]DJURIC P M,KOTECHA J H,ZHANG J,et al.Particle filtering[J].Signal Processing Magazine,IEEE,2003,20(5):19- 38.

[2]查宇飛,畢篤彥.一種基于粒子濾波的自適應運動目標跟蹤方法[J].電子與信息學報,2007,29(1):92- 95.

[3]章毓晉.圖像工程[M].北京：清華大學出版社,2005.

[4]YILMAZ A,JAVED O,SHAH M.Object tracking: A survey[J].Acm Computing Surveys(CSUR),2006,38(4):13.

[5]DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C].CVPR 2005：IEEE Computer Society Conference on.IEEE,2005:886- 893.

[6]LIN Z,DAVIS L S,DOERMANN D,et al.Hierarchical part-template matching for human detection and segmentation[C].IEEE 11th International Conference on.IEEE,2007:1- 8.

[7]LIENHART R,MAYDT J.An extended set of haar-like features for rapid object detection[C].Proceedings 2002 International Conference on.IEEE,2002:900- 903.

[8]MIKOLAJCZYK K,SCHMID C,ZISSERMAN A.Human detection based on a probabilistic assembly of robust part detectors[M].Berlin Heidelberg：[s.n.],2004:69- 82.

[9]GILES C L,MAXWELL T.Learning,invariance,and generalization in high-order neural networks[J].Applied optics,1987,26(23):4972- 4978.

[10]ZHANG B T,MUHLENBEIN H.Synthesis of sigma-pi neural networks by the breeder genetic programming[C].Proceedings of the First IEEE Conference on.IEEE,1994:318- 323.

[11]VILLALOBOS L,MERAT F L.Learning capability assessment and feature space optimization for higher-order neural networks[J].Neural Networks,IEEE Transactions on,1995,6(1):267- 272.

[12]ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1998,20(11):1254- 1259.

Improved Pedestrian Tracking Algorithm based on SPN-PF Model

ZHANG Jing,TIAN Hong

(Software Institute,Dalian Jiaotong University,Dalian 116028,China)

A self-adapting algorithm is presented for pedestrian tracking,combining particle filter with neural network,and a SPN-PF model is proposed according to the problems such as covering,missing,wrong tracking and so on.The model integrates different features by means of a Sigma-Pi network.After the study and calculation,the result will be used in particle filter method to achieve the goals of reliable and accurate pedestrian tracking.Experimental results show that the purpose can be achieved.

pedestrian tracking;particle filter;neural network;cascade classifier

1673- 9590(2015)01- 0101- 04

2013- 11- 12

國家自然科學基金資助項目(61074029)

張婧(1987-)，女，碩士研究生；田宏(1968-)，女，教授，博士，主要研究數據挖掘，人工智能方面的研究

E-mail:olina1212@163.com.

A