嵌入式視覺運動目標跟蹤技術研究

毛 磊，金立左

（東南大學 自動化學院，江蘇 南京 210096）

PPM（Posterior Probability Measure）[1]是一種圖像匹配相似性判別指標，它利用搜索區域的統計特征來抑制背景特征對相似度函數的貢獻，相比傳統巴氏Mean Shift[2]跟蹤算法，基于PPM指標的PPM跟蹤算法有較銳的單峰值態勢，能有效減小匹配偏差并得到搜索最優解[1]。但此法對存在明顯尺度變化的目標進行跟蹤時，由于跟蹤窗口尺寸固定，容易出現目標跟偏甚至跟丟的現象。針對上述問題，我們在深入研究PPM跟蹤算法基礎上，提出了一種能表征目標尺寸變化的PPM縮放指標，對傳統PPM跟蹤算法進行了改進，改善了跟蹤效果。

嵌入式視覺運動目標跟蹤系統以其體積小巧、性能可靠、性價比高等突出優點，已在視頻監控、智能交通、成像末制導等領域獲得廣泛應用。以高速DSP為核心的高速圖像處理卡和實時視頻采集卡是視覺目標跟蹤研究的重要硬件平臺。目前，國內外在該領域已開展了廣泛研究，并已成為機器視覺應用的熱門方向之一。本文研究并實現了一套基于高速DSP的視覺目標跟蹤系統，并將改進后的PPM跟蹤算法移植到該嵌入式系統中，取得了較好的實時運動目標跟蹤效果。

1 視覺運動目標跟蹤算法流程

本文的視覺運動目標跟蹤算法包括傳統PPM跟蹤算法、基于PPM縮放指標的跟蹤窗尺寸自適應算法。算法流程如圖1所示。

2 跟蹤窗口自適應的PPM跟蹤算法設計

2.1 PPM原理簡介

以φ（p，q）表示候選目標區域與目標模板之間的相似度，其中p和q分別表示候選區域和目標模板的特征向量，以s表示搜索區域的特征向量，若采用直方圖作為圖像的統計特征，則最大后驗概率指標的形式為:

式中:m是目標模板像素數；mu是特征維數；qu、pu和su分別是模板、候選區域和搜索區域的第u維的值。

要統計第u個特征的值，即puqu/su，若以像素的形式來求解，就是對候選區域中所有特征為u的像素對應的qu/su求和。如果有n個這樣的像素，則有:

圖1 視覺運動目標跟蹤算法流程圖Fig.1 Flow chart of visual moving target tracking algorithm

顯然，n正是候選區域第u個特征的統計值，也就是說pu=n。對每一維特征，其對應的puqu/su值都可以通過像素對應的值求和得到，則式（1）可以改寫為:

式中:m是候選區域的像素數。又設像素j對應的顏色特征是第 u維的，qu（j）和su（j）則表示目標模板和搜索區域直方圖向量的第u維的值。通過每個像素的相似度貢獻值計算相似度。將每個像素對其候選區域的相似度的貢獻作為密度，提出PPM圖像跟蹤算法。跟蹤算法的詳細原理介紹請參看文獻[1]。

2.2 跟蹤窗口尺寸自適應的PPM算法

由式（3）啟發，我們定義能表征目標大小變化的PPM縮放指標δ如下：

式中:m是目標區域的像素數。設像素i對應的顏色特征是第 u 維的，Cu（i）和 Tu（i）分別表示當前目標區域和模板目標區域直方圖向量的第u維的值。分解式（4）得：

式中：m1 是目標窗口區域中目標的像素數，C1u（i）和 T1u（i）分別表示目標窗口區域中當前目標和模板目標直方圖向量的第 u 維值，C0u（i）和 T0u（i）分別表示目標窗口區域中當前背景和模板中背景直方圖向量的第u維值。式（5）是線性的相加，因此我們可假設：當前目標窗中歸類為目標的像素個數為x（則歸類為背景的像素個數為m-x）；目標模板中歸類為目標的像素個數設為a（則歸類為背景的像素個數為m-a）。因此，PPM縮放指標δ可由下式表示：

上式中ε1和ε2是與目標窗口中圖像直方圖相關的非零系數，由式（6）得，我們所取的PPM縮放指標跟當前目標像素數是線性單調關系。目標選定后，m和a的值就定了，ε1和ε2也能計算得到。顯然，m肯定大于a；而且選定目標時，目標窗口一般為目標的外接矩形。因此（ε1m-（ε1+ε2）a），一般小于 0，所以式（6）一般為單調減函數（為排除特殊情況，我們在算法實現的時候，預先計算了該函數的系數，以確定其單調性）。

3 改進后的PPM算法跟蹤實驗結果

文中基于Visual Studio 2010和OpenCV2.3實現所有仿真實驗代碼。有關OpenCV的介紹及使用方法可以參看文獻[3-4]，實驗用計算機型號為DELL OPTIPLEX380。計算機硬件配置為 Intel Pentium（R）Dual-Core CPU E5800 3.2 GHz，3 GB內存。

3.1 PPM縮放指標實用性驗證實驗

實驗中，被跟蹤目標分別是一輛汽車和一個杯子上的圖標，汽車由近及遠，在畫面中漸漸變小；杯子的整個運動無規律，但其中有一段較明顯的先遠離后靠近鏡頭的過程，目標先變小，然后又變大。圖2（a）中給出了能反映兩目標運動特征的相關幀。

圖2（b）中，兩曲線分別描繪了汽車和杯子在整個跟蹤過程中對應PPM縮放指標的變化情況。根據給出的實驗結果我們看到：當目標尺寸縮小時，PPM縮放指標變大；目標尺寸放大時，PPM縮放指標變小。實驗結果表明：我們所設計的PPM縮放指標能很好的反映跟蹤過程中目標尺寸的大小情況。

3.2 PPM跟蹤算法改進前后跟蹤效果對比

圖3中，用傳統的PPM跟蹤算法對目標進行跟蹤時，由于目標窗沒能及時根據目標大小進行自適應變化，當目標尺寸逐漸縮小時，目標窗內混入其他目標或者大量背景，導致跟蹤目標窗的中心發生偏移；而改進后的目標窗口自適應PPM跟蹤算法，能很好的解決這個問題，當目標尺寸發生變化時候，目標窗能夠很好的自適應目標尺寸的變化，目標窗始終能緊緊的包含住目標。同樣，改進后的PPM跟蹤算法也避免了當目標尺寸變大時，目標溢出目標窗的情況。

3.3 改進后PPM跟蹤算法計算性能分析

綜合表1第一、二列數據可以看到，我們設計的PPM縮放指標的每幀計算耗時不到1 ms，由于在傳統PPM算法中，原本就要計算目標及搜索區域圖像直方圖，在計算PPM縮放指標時我們只需要將已計算好的數據拿來用即可。所以，相比基于其他特征來衡量目標尺寸大小的縮放指標，在耗時方面，本文的縮放指標要小很多。再看第一、三列數據，發現當跟蹤窗口實現自適應變化時，整個跟蹤算法的耗時反而減少了，究其原因是跟蹤窗變小時，包含的像素數減少，計算量自然也減少了。當然，當目標窗變大時，這個值也會變大。但是，不管目標放大還是縮小，窗口自適應的PPM算法，會保證目標被恰好包含在窗口內，多余背景像素的計算將會盡可能減少，因此，其計算是高效率的。

圖2 PPM縮放指標實際應用效果Fig.2 The actual effect of PPM zoom indicator

圖3 目標窗未縮放與縮放情況下的跟蹤效果對比Fig.3 Tracking performance contrast in the case of the target window scale adaptive and non-adaptive

表1 PPM算法改進前后計算性能對比Tab.1 Computing performance comparison of original PPM and improved PPM

4 嵌入式視覺運動目標跟蹤系統設計

4.1 系統功能及硬件設計

視覺運動目標跟蹤是在某一幀視頻中用檢測、人工選定等方法，對感興趣的區域或目標進行確定，并在后繼各幀中定位出這些目標或區域，它把圖像處理、自動控制、信息科學有機結合起來，形成了一種能從圖像信號中實時地自動識別目標，提取目標位置信息，自動跟蹤目標運動的技術[5]。

完整的視覺目標跟蹤系統一般可分為兩部分：目標檢測和目標跟蹤。目標檢測作為另外一個圖像處理問題也有很多人在研究；很多研究者采用人機交互的方式來確定目標：用鼠標或控制臺上的按鈕在畫面中框選目標，以完成目標檢測和識別的功能，本文的設計中采用了人機交互選定目標的方式。圖4分別為實物簡圖和系統硬件結構圖。

整個系統包括支持PELCO-D協議的一體化球形攝像機，TMS320DM642開發板，控制臺，顯示器等。系統的功能描述如下：通過顯示器，用戶能看到架在云臺上攝像機拍攝到的實時圖像，用戶通過撥動操縱桿來控制攝像機角度和速度的變化，以達到在整個監控環境中手動搜索跟蹤目標的目的，當用戶通過顯示器發現目標時，可以通過小角度撥動操縱桿來微調攝像機角度，以便將目標定格在視野中央的跟蹤窗內。最后，按下“開始跟蹤”按鈕，系統便進入自動跟蹤狀態，隨著目標的移動，攝像機能保持隨動狀態，使得目標始終處于視野的中央。當用戶想停止跟蹤時，只要撥動一下操縱桿，系統就會立即停止跟蹤，切換到手動搜索狀態。

圖4 嵌入式視覺目標跟蹤系統實物簡圖及硬件結構圖Fig.4 The physical map and hardware structure diagram of visual target tracking embedded system

4.2 改進后的PPM算法移植及實際跟蹤效果

本文的嵌入式軟件是基于CCS2.2（Code Composer Studio）[6]開發的。TI公司的C6000系列DSP支持C、線性匯編、匯編相結合的編程方案。在代碼移植過程中，我們采用了基于C語言的變量類型優化、內聯函數優化、編譯器優化，存儲器優化，線性匯編優化等[7]方法對代碼進行了一定優化工作，以達到嵌入式系統運行的實時性要求。圖5為本文設計的嵌入式視覺運動目標跟蹤系統的實際跟蹤效果。

5 結束語

本文研究了PPM跟蹤算法，針對該算法在實際跟蹤過程中，存在跟蹤窗口不能自適應變化而導致的目標跟偏甚至跟丟的缺陷，進行了改進，在綜合考慮算法計算性能和縮放指標實際效果的基礎上，我們提出了一種PPM縮放指標并實現了目標窗口自適應的PPM跟蹤算法，經實驗驗證，改進后的算法相比傳統PPM算法，有更好的跟蹤效果，同時，算法的計算復雜性也沒有明顯增加。進一步，我們基于TMS320DM642設計了一套嵌入式視覺目標跟蹤系統，對改進后的PPM跟蹤算法進行了DSP移植，最終實現了一套嵌入式視覺運動目標跟蹤系統，取得了較好的實際跟蹤效果。

圖5 嵌入式視覺運動目標跟蹤系統的實際跟蹤效果Fig.5 The tracking results of visual target tracking embedded system

[1]馮祖仁，呂娜，李良福.基于最大后驗概率的圖像匹配相似性指標研究 [J].自動化學報，2007，33（1）:1-8.

FENG Zu-ren，LV Na，LI Liang-fu.Research on image similarity criterion based on maximum posterior probability[J].Acta Automatica Sinica，2007，33（1）:1-8.

[2]Comaniciu D，Ramesh V，MEER P.Kernel based object tracking[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2003，25（5）:564-575.

[3]劉瑞禎，于仕琪.OpenCV教程—基礎篇[M].北京:北京航空航天大學出版社，2007.

[4]Bradski Gray，Kaebler Adrian.Learning OpenCV:Computer Vision with the OpenCV Library[M].O’REILLY Press，2009.

[5]李偉.視頻圖像中的運動目標跟蹤算法研究[D].南京:東南大學自動化學院，2009.

[6]尹勇，歐光軍，關榮鋒.DSP集成開發環境CCS開發指南[M].北京:北京航空航天大學出版社，2003.

[7]TexasInstruments.TMS320C6000 OptimizingCompiler User’s Guide[R].USA，Texas:Texas Instruments，2008.