基于狀態分割的運動目標實時跟蹤

,，

(韶關學院物理與機電工程學院，廣東 韶關 512005)

0 引言

基于云臺的攝像頭可移動式視頻監控系統，通過攝像頭的移動，保證監控對象始終位于攝像頭圖像中心區域，實現大視角范圍內運動目標的檢測跟蹤，已廣泛應用于各類重要場所對可疑目標或異常行為的實時監控、預警[1]。但攝像頭移動狀態下復雜的動態背景，使得準確、實時的運動目標檢測變得困難[2]。

針對動態背景下的運動目標檢測方法主要有光流法和背景補償法。光流法[3-4]依據攝像頭運動引起的背景光流與運動目標光流不一樣來實現運動目標的識別，但該算法要遍歷幀中所有像素點來評估光流，計算量大，難以滿足實時性要求。背景補償法[5]通過提取背景特征，得到基于匹配點的全局運動參數，對背景進行補償，從而將動態背景情況下的運動目標檢測轉化為靜態背景下的運動目標檢測，目前主要通過基于圖像像素匹配算法(如SSDA算法[6])和基于圖像特征匹配算法(如SIUF算法[7]、SURF算法[8]和塊匹配算法[9])等算法，提高全局運動參數估計精度來保證背景補償精度，但這將導致運動目標檢測實時性下降。

對此，提出基于狀態分割的運動目標跟蹤方法，根據攝像頭運動與否，分別實施運動目標檢測與運動目標跟蹤，避免動態背景下的運動目標檢測復雜算法對目標跟蹤實時性的影響。在攝像頭靜止狀態時，基于靜態背景實施運動目標檢測，當檢測到運動目標后，對運動目標進行特征提取、匹配，基于目標跟蹤算法，定位其運動軌跡和運動參數，并控制攝像頭實施目標跟蹤，使運動目標始終位于攝像頭圖像中心區域。

1 基于狀態分割思想的運動目標實時跟蹤

1.1 運動目標檢測算法

基于背景建模技術的背景差法是運動目標檢測的一個重要方法，其利用當前圖像與背景模型做差分運算來檢測運動目標，進而提取出完整的前景運動目標的位置、大小、顏色和形狀等信息，算法簡單，檢測速度快。該算法關鍵在于背景模型的建立與實時更新。混合高斯背景模型 (GMM)[10]算法采用多個高斯模型分布的加權來表示背景圖像，模型中的參數隨著背景的不斷變化自適應更新，可有效處理背景光照變化對目標檢測準確性的影響，其基本原理如下所述。

用K(取值3～5)個高斯模型來描述視頻圖像序列中的每個像素點的特征，任意像素點在時刻t處3個通道的觀察值為xt=[rt,gt,bt]T，屬于背景的概率ρ(xt)為：

(1)

(2)

將每一幀視頻圖像的像素值與上述的K個混合高斯模型的某個分布進行匹配，比較此像素值與K個高斯分布中的某個分布是否滿足：

|xt-μt,i|≤Dσi

(3)

若滿足，則判定為背景像素點，否則判定為前景像素點。Dσi為用戶自定義參數。對匹配成功的高斯分布進行更新，不匹配的高斯分布不變。

GMM算法需對圖像中每一個像素點單獨處理，為減少建模與更新時間，提高實時性，采用雙線性插值法對視頻圖像進行縮小處理。假設原始圖像大小為m×n，縮小后圖像為a×b，圖像縮小前后像素點坐標變換關系為：

i=int[(x+0.5)×a/m-0.5]

(4)

j=int[(y+0.5)×b/n-0.5]

(5)

i，j分別為縮小后圖像的行、列坐標；x，y分別為原始圖像的行、列坐標。

經過GMM算法檢測到運動目標后，按坐標變換關系，將縮小圖像上的運動目標坐標映射到原始比例大小的視頻圖像上，實現運動目標的檢測。

1.2 運動目標跟蹤算法

運動目標跟蹤是在運動目標檢測的基礎上，通過對目標進行表觀建模，并基于一定的跟蹤算法，如基于特征匹配的Meanshift算法[11]、卡爾曼濾波算法[12]、粒子濾波算法[13]等目標跟蹤方法，尋找運動目標最優位置的過程。本文針對目標顏色與背景顏色可區分場景，通過提取運動目標顏色特征信息，基于Camshift算法[14]，以逐幀處理視頻序列的方式完成運動目標的連續跟蹤，具有良好實時性與魯棒性，其算法流程如下：

a.計算來自目標顏色信息的色度直方圖。

b.對視頻序列圖像的單通道色度圖，按照色度直方圖轉化為反向投影圖。

c.提供一個用于對視頻序列圖像進行匹配搜索的初始化搜索窗口，若當前圖像是攝像頭運動階段的第1幀圖像，搜索窗口的中心位置和大小為靜止階段檢測到的目標窗口位置和大小，若不是，則為上一幀搜索窗口的最終位置和大小。

d.計算搜索窗口的質心。設(u,v)為搜索窗口內的像素點坐標，其在反向投影圖中的像素值為I(u,v)，定義搜索窗口的零階矩M00和一階矩M10，M01分別為：

(6)

(7)

(8)

則當前搜索窗口質心坐標為：

(9)

e. 若搜索窗口質心與窗口中心重合，記錄此時搜索窗口的中心和大小，其中心位置坐標就是當前幀圖像中運動目標的中心坐標；若不重合，則移動搜索窗口，使窗口中心與質心重合，再對新的搜索窗口重新計算質心，不斷迭代下去，直到窗口質心與窗口中心重合或達到迭代最大次數。

2 基于OpenCV的運動目標跟蹤算法實現

OpenCV是基于C++語言實現圖像處理與視覺處理通用算法的開源計算機視覺庫[15],其提供的庫函數可以非常便捷地完成復雜的計算機視覺處理。在OpenCV使用前，需要對開發環境VS2010進行相關的工程配置。

2.1 運動目標檢測算法實現

基于GMM算法的運動目標檢測通過OpenCV提供的BackgroundSubtractorMOG2類來實現，主要實現步驟為：

a.利用VideoCapture類讀取攝像頭視頻圖像。

b.利用cv::resize()函數完成雙線性插值法對圖像尺寸的縮小，提高算法的處理速度。

c.利用BackgroundSubtractorMOG2類進行混合高斯建模算法處理，得到處理結果圖像fgmask1。

d.利用medianBlur()函數、morphologyEx()函數對圖像fgmask1進行中值濾波和形態學閉操作，并保存結果圖像fgmask2。

e.利用findContours()函數尋找圖像fgmask2的連通域，找出運動目標輪廓。

f.通過boundingRect()計算運動目標輪廓的垂直邊界最小矩形rect1坐標位置和大小，再將其映射到到原始比例大小的視頻圖像上，得到矩形rect2，該矩形所在位置即為運動目標所在實際位置和大小。

檢測獲取的運動目標輪廓的垂直邊界最小矩形rect1和rect2，在原始比例視頻圖像上的位置和大小如圖1所示。

圖1 運動目標檢測結果

2.2 運動目標跟蹤算法實現

基于Camshift算法的運動目標跟蹤通過OpenCV的Camshift()函數來實現，該函數的調用需要提供初始的搜索窗口(位置與大小)和運動目標的顏色直方圖。

初始搜索窗口的位置和大小與運動目標重合，由運動目標檢測結果的rect2提供；對rect2確定的運動目標進行背景信息過濾等預處理，提取其顏色特征信息，建立運動目標顏色直方圖，如圖2所示。

圖2 運動目標顏色直方圖的建立

經過上述處理得到初始搜索窗口和運動目標顏色直方圖后，按如下步驟實現目標跟蹤算法：

a.利用cvtColor()函數把視頻幀圖像格式轉為HSV格式。

b.從視頻幀圖像中分離出單通道色度值圖。

c.利用calcBackProject()函數，計算單通道色度值圖關于運動目標顏色直方圖的反向投影，濾除反向投影圖上的噪聲干擾。

d.利用Camshift()函數，根據初始搜索窗口與運動目標顏色直方圖，進行Camshift算法運算，得到一個平面上的旋轉矩形。該矩形的中心位置就是跟蹤目標的中心位置，將該中心坐標加入到物體坐標發送隊列里，用于攝像頭轉動控制。

e.用Ellipse()函數把旋轉矩形用橢圓表示出來，用circle()函數畫出旋轉矩形的矩形中心點。

3 實驗結果與分析

為評估本文提出方法的有效性，搭建了基于云臺的移動式攝像頭視頻監控實驗系統。系統由上位機和下位機組成，其中，下位機負責云臺運動控制及視頻圖像信息采集，上位機開發了視頻實時監控軟件，負責視頻圖像的顯示，運動目標檢測、跟蹤，以及發送云臺控制指令等工作，兩者通過以太網通訊功能實現信息交流。

圖3a ～圖3e描述了運動目標(圖中小車)跟蹤過程中不同時刻的實時跟蹤效果，圖3f描述了運動目標在各個時刻的坐標軌跡?？梢钥闯?，當運動目標進入到攝像頭的視野范圍后，攝像頭精確地捕獲到了運動目標，確定了其位置和區域，并快速地追隨運動目標移動方向，使運動目標始終位于攝像頭圖像中心區域。

圖3 運動目標跟蹤結果

實驗結果表明，在目標顏色特征顯著的情況下，基于狀態分割思想的運動目標實時跟蹤方法，實現了移動式攝像頭對運動目標的精確檢測與跟蹤，并具有很好的魯棒性和實時性。

4 結束語

針對基于云臺的攝像頭可移動式視頻監控系統的運動目標檢測與跟蹤，提出了一種基于狀態分割思想的運動目標實時跟蹤方法。借助于OpenCV計算機視覺庫，便捷地實現了相關算法，并結合Windows平臺應用程序開發環境VS2010，開發了用戶界面良好的視頻實時監控應用軟件。實驗結果表明，該方法較好地解決了移動式攝像頭對運動目標檢測跟蹤的精確性和實時性問題，對于基于云臺的移動式視頻監控系統的運動目標跟蹤具有重要意義。

參考文獻：

[1] 黃凱奇，陳曉棠，康運鋒,等．智能視頻監控技術綜述[J]．計算機學報，2015，38(6)：1093-1118．

[2] 陳杏源，鄭烈心，裴海龍．基于Camshift和SURF的目標跟蹤系統[J]．計算機工程與設計，2016，37(4)：902-906．

[3] 蘭紅，周偉，齊彥麗．動態背景下的稀疏光流目標提取與跟蹤[J]．中國圖象圖形學報，2016，21(6)：771-780．

[4] 崔智高，王華，李艾華,等．動態背景下基于光流場分析的運動目標檢測算法[J]．物理學報，2017，66(8)：116-123．

[5] 于明，孫煒燁，閻剛,等．動態場景下基于精確背景補償的運動目標檢測[J]．計算機應用與軟件，2013，30(10)：139-141,198．

[6] 王文勝，翟尚禮，白俊奇．基于SSDA的圖像匹配跟蹤算法[J]．指揮信息系統與技術，2016，7(6)：77-80．

[7] Lowe D G．Distinctive image features from scale-invariant keypoints[J]．International Journal of Computer Vision，2004，60(2)：91-110．

[8] Kalia R，Lee K D，Samir B V R，et al．An analysis of the effect of different image preprocessing techniques on the performance of SURF： Speeded up robust features[C]//17th Korea-Japan Joint Workshop on Frontiers of computer Vision，2001：1-6．

[9] 施家棟，王建中．動態場景中運動目標檢測與跟蹤[J]．北京理工大學學報，2009，29(10)：858-860,876．

[10] Stauffer C，Grimson W．Adaptive background mixture models for real-time tracking [C]//Proceedings of the 1999 IEEE Conference on Computer Vision and Pattern Recognition，1999：246-252．

[11] Comaniciu D，Ramesh V，Meer P． Real-time tracking of non-rigid objects using mean shift[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2000：142-149．

[12] 梁錫寧，楊剛，余學才,等．一種動態模板匹配的卡爾曼濾波跟蹤方法[J]． 光電工程，2010，37(10)： 29-33．

[13] 李軒， 張紅．基于粒子濾波的檢測前跟蹤算法的改進[J]．科學技術與工程，2017，17(30)：227-232．

[14] Bradski G R．Real time face and object tracking as a component of a perceptual user interface[C]//Proceedings of the Fourth IEEE Workshop on Applications of Computer Vision，1998：214-219．

[15] 李振偉，陳翀，趙有．基于OpenCV的運動目標跟蹤及其實現[J]．現代電子技術，2008(20)：128-130,138．