Mean Shift算法在運(yùn)動(dòng)目標(biāo)檢測與跟蹤中的研究

李國強(qiáng)，陳蒲陽

（桂林電子科技大學(xué)，桂林　541004）

Mean Shift算法在運(yùn)動(dòng)目標(biāo)檢測與跟蹤中的研究

李國強(qiáng)，陳蒲陽

（桂林電子科技大學(xué)，桂林541004）

0　引言

隨著經(jīng)濟(jì)的不斷發(fā)展，人民生活水平的迅猛提高，現(xiàn)代社會(huì)對安防的要求越來越高。這也給智能監(jiān)控和身份識別技術(shù)帶來了巨大的發(fā)展機(jī)遇和挑戰(zhàn)。在許多場合，如人口密集區(qū)的檢測，銀行、證券交易所等重要場所的安防，僅僅只是對運(yùn)動(dòng)的物體感興趣，所有運(yùn)動(dòng)目標(biāo)的檢測與跟蹤目前已經(jīng)成為了應(yīng)用視覺領(lǐng)域一個(gè)重要的研究方向，具有重大的實(shí)用價(jià)值和廣闊的發(fā)展前景。而隨著多媒體技術(shù)的飛速發(fā)展與計(jì)算機(jī)性能的提高與集成化工藝的提升，基于圖像處理的智能監(jiān)控技術(shù)得到了廣泛應(yīng)用。運(yùn)動(dòng)目標(biāo)的檢測與跟蹤是一切智能場景分析與監(jiān)控的基礎(chǔ)核心，而運(yùn)動(dòng)的人體目標(biāo)是一個(gè)特殊的目標(biāo)群體，更是運(yùn)動(dòng)目標(biāo)檢測跟蹤領(lǐng)域中一個(gè)典型的研究對象。

目前一般的運(yùn)動(dòng)目標(biāo)檢測方法有：幀間差分法、背景差分法、光流法；跟蹤算法主要有基于特征、區(qū)域、活動(dòng)輪廓、模型的跟蹤算法；基于背景差分與卡爾曼濾波的跟蹤方法［1］；為了解決復(fù)雜場景中行人跟蹤的問題，需要我們設(shè)計(jì)出越來越多的魯棒算法，使其足以解決光照變化、噪聲影響、障礙物遮擋等種種實(shí)際應(yīng)用中不可避免的問題。

運(yùn)動(dòng)目標(biāo)檢測與跟蹤的目的就是確定當(dāng)前幀圖像中的運(yùn)動(dòng)目標(biāo)在下一幀圖像中的位置，在跟蹤過程中最大的問題就是當(dāng)運(yùn)動(dòng)目標(biāo)相互遮擋時(shí)目標(biāo)信息容易丟失從而導(dǎo)致跟蹤失敗。針對此種固定場景的情況，目前卡爾曼濾波以及基于卡爾曼濾波的目標(biāo)跟蹤算法已經(jīng)在各個(gè)領(lǐng)域得到廣泛應(yīng)用，但是卡爾曼濾波有一定的限制條件，首先需要系統(tǒng)為精確的數(shù)學(xué)模型，并且要假設(shè)系統(tǒng)為線性，噪聲信號為高斯噪聲，且噪聲統(tǒng)計(jì)特性已知，然而，在實(shí)際應(yīng)用中，系統(tǒng)狀態(tài)為高動(dòng)態(tài)情況下，將會(huì)不可避免地產(chǎn)生較大的噪聲誤差，導(dǎo)致狀態(tài)預(yù)測不準(zhǔn)確，環(huán)境與使用條件的復(fù)雜多變，系統(tǒng)噪聲以及觀察噪聲統(tǒng)計(jì)特性的不確定性，也會(huì)導(dǎo)致卡爾曼濾波器性能下降。

Mean Shift是一種魯棒的特征空間分析方法，基于此算法的目標(biāo)跟蹤具有易于實(shí)現(xiàn)、實(shí)時(shí)、魯棒等特點(diǎn)，因此本文將Mean Shift算法作為主要理論基礎(chǔ)，與目標(biāo)區(qū)域灰度直方圖結(jié)合，進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測跟蹤。運(yùn)動(dòng)目標(biāo)檢測和跟蹤的流程在攝像頭固定的情況下對運(yùn)動(dòng)行人檢測跟蹤的系統(tǒng)框圖如圖1所示。

圖1　運(yùn)動(dòng)目標(biāo)檢測和跟蹤的步驟

算法設(shè)計(jì)主要有兩個(gè)模塊：

（1）基于中值濾波來提取背景圖像。采用中值濾波器可以有效地去除圖像的噪聲。檢測運(yùn)動(dòng)物體之前需要提取無運(yùn)動(dòng)目標(biāo)的背景圖像，而視頻的連續(xù)幀圖像中一般都包含有運(yùn)動(dòng)物體，因此首先需要提取背景。

（2）基于Mean Shift算法的行人跟蹤。由于在早期的濾波跟蹤理論中，都是事先假定目標(biāo)的運(yùn)動(dòng)和觀察方程都是線性的，系統(tǒng)狀態(tài)的后驗(yàn)密度符合高斯分布，所以基于時(shí)間序列的卡爾曼濾波被廣泛應(yīng)用，然后在實(shí)際中由于攝像機(jī)抖動(dòng)、光照變化、圖像的噪聲等因素的影響，假設(shè)條件就不成立了，因此采用Mean Shift梯度下降算法來求解代價(jià)函數(shù)的局部極值點(diǎn)來實(shí)現(xiàn)幀間特征的對應(yīng)匹配，以此來完成運(yùn)動(dòng)行人的跟蹤［1］。

1　背景提取

一般情況下中值濾波器可以有效地去除圖像的噪聲。它的算法為：計(jì)算灰度圖像中的每一個(gè)像素，然后將它和與相鄰的八個(gè)像素的灰度排序，排在中間的像素灰度作為輸出圖像像素的灰度值。具體就是先將彩色圖像轉(zhuǎn)換成灰度圖像，把在中間的像素對應(yīng)的原始彩色圖像的像素矢量作為濾波結(jié)果。

將彩色像素矢量Fi（x，y）轉(zhuǎn)換成灰度Gi（x，y），將像素按照像素值大小進(jìn)行排序，生成單調(diào)的二維數(shù)據(jù)序列。假設(shè)排在中間的是Gk（x，y）則將此像素對應(yīng)的彩色像素矢量Fk（x，y）作為濾波處理后圖像。實(shí)現(xiàn)中值濾波彩色背景的提取。

本實(shí)驗(yàn)在主頻為2.8GHz Intel Pentium G640處理器的PC上運(yùn)行，軟件平臺(tái)為MATLAB R2013a，視頻采用數(shù)據(jù)堂網(wǎng)站的用于前景處理的一段視頻。

實(shí)驗(yàn)結(jié)果表明，此方法可以較好地提取背景圖像，通過把灰度中值濾波圖像處理提取背景，擴(kuò)展到RGB圖像空間，可以有效地消除噪聲信號，較好地完成后續(xù)運(yùn)動(dòng)目標(biāo)的跟蹤，圖像處理結(jié)果如圖2所示。

圖2　背景圖像

2　目標(biāo)跟蹤

1975年，F(xiàn)ukunaga等人在一篇關(guān)于概率密度梯度函數(shù)的估計(jì)中最先提出Mean Shift這個(gè)概念的，起初它僅僅是指偏移的均值向量，通過不斷反復(fù)迭代直到滿足一定條件而結(jié)束，但是隨著理論的進(jìn)一步發(fā)展，Mean Shift的含義也發(fā)生了改變，在1995年，Yizong Cheng發(fā)表了一篇對均值漂移算法里程碑意義的文章［3］。文章對基本的算法做出了兩方面的改進(jìn)。首先定義了一組核函數(shù)，隨著被偏移點(diǎn)與樣本的距離不同，而偏移量對均值偏移向量的貢獻(xiàn)也不同，另外還設(shè)定了一個(gè)權(quán)重系數(shù)，使不同樣本點(diǎn)的重要性也不一樣，另外Yizong Cheng還指出了Mean Shift可能應(yīng)用的了領(lǐng)域，因此本文采用基于Mean Shift算法實(shí)現(xiàn)運(yùn)動(dòng)行人目標(biāo)的檢測與跟蹤。

Mean Shift跟蹤算法本質(zhì)上是一種梯度下降算法，從空間任意點(diǎn)出發(fā)，沿著核密度梯度上升的方向，以自適應(yīng)的步長進(jìn)行搜索，直到得到收斂于核密度估計(jì)函數(shù)的局部最大值，算法運(yùn)算量相對較少，可以滿足實(shí)時(shí)性的要求［4］。

基本Mean Shift：

在給定的d維空間Rd中的n個(gè)樣本點(diǎn)xi，i=1，…，n，x點(diǎn)的Mean Shift向量可以定義為：

其中，k表示在n個(gè)樣本點(diǎn)xi中，有k個(gè)點(diǎn)落入Sh區(qū)域中。Sh是半徑為h的高維球區(qū)域，滿足式（2）關(guān)系的y點(diǎn)的集合。

Mean Shift向量Mh（x）就是在對落入?yún)^(qū)域Sh的k個(gè)樣本點(diǎn)相對于點(diǎn)x的偏移向量（xi-x）求和然后再平均。從表面上看，如果樣本點(diǎn)xi是從一個(gè)概率密度中采樣得到，那么由于非零的概率密度梯度指向概率密度增加最大的方向，所以Sh區(qū)域內(nèi)的樣本點(diǎn)更多的落在沿著概率密度梯度的方向。因此，對應(yīng)的 Mean Shift向量Mh（x）應(yīng)該指向概率密度梯度的方向。

Mean Shift算法采用顏色直方圖對所選的目標(biāo)區(qū)域進(jìn)行建模，然后計(jì)算特征空間中各個(gè)特征值的概率來建立目標(biāo)模型，給定d維空間Rd中的n個(gè)樣本點(diǎn)xi，i=1，…，n，那么在x點(diǎn)的密度估計(jì)可以表示為［4］：

其中：函數(shù)b是R2→｛1…m｝是位于xi的像素向灰度索引的映像，δ（x）是delat函數(shù)，C是歸一化系數(shù)。

對目標(biāo)函數(shù)引入核估計(jì)，則概率密度函數(shù)可以表示為：

其中：k（x）為核函數(shù)的輪廓。

圖像中可能包含目標(biāo)的區(qū)域，稱為候選區(qū)，該區(qū)域中的像素用｛xi｝i=1…n表示，則候選區(qū)域的特征值u=1…m的概率密度為：

其中Ch是標(biāo)準(zhǔn)化的常量系數(shù)。

在本文跟蹤算法中，我們選取Bhattacharyya系數(shù)作為相似性函數(shù)，其定義為：

相似性函數(shù)用來度量目標(biāo)模型和當(dāng)前模型的相似性，數(shù)值在0～1之間，ρ值越大，表明兩個(gè)模型越相似［5］。

目標(biāo)從初始位置，開始尋找最優(yōu)位置，最可能出現(xiàn)的位置，即是ρ最大的候選區(qū)域，由于Mean Shift算法的收斂性，不斷迭代搜索出Bhattacharyya系數(shù)的最大值，最終會(huì)收斂到目標(biāo)的真實(shí)位置，從而實(shí)現(xiàn)目標(biāo)的跟蹤。

算法步驟如下［6］：選擇搜索窗口，然后計(jì)算窗口的重心，將此窗口的中心設(shè)置在計(jì)算出的重心處，不斷迭代計(jì)算，直到窗口的位置不再發(fā)生改變。

3　實(shí)驗(yàn)結(jié)果及分析

現(xiàn)通過一個(gè)視頻對Mean Shift算法跟蹤實(shí)驗(yàn)結(jié)果進(jìn)行分析。視頻采用數(shù)據(jù)堂網(wǎng)站的用于前景處理的一段視頻。

首先，在一個(gè)三岔路口行走的行人，不存在障礙物遮擋時(shí)，RGB顏色模型下，基于 Visual Studio 2010和OpenCV 2.4.4中對本算法進(jìn)行仿真實(shí)驗(yàn)，結(jié)果如圖3所示。

圖3　目標(biāo)跟蹤結(jié)果序列

從實(shí)驗(yàn)結(jié)果可以看出，沒有遮擋物存在的條件下，與目標(biāo)區(qū)域灰度直方圖結(jié)合的Mean Shift算法，進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測跟蹤效果明顯要優(yōu)于基于卡爾曼濾波的傳統(tǒng)跟蹤方法，這就可以說明此種算法可以更好地檢測與跟蹤目標(biāo)。

4　結(jié)語

本文介紹并重點(diǎn)研究了Mean Shift跟蹤算法，本質(zhì)是自適應(yīng)的梯度上升搜索峰值的方法，通過均值漂移來實(shí)時(shí)搜索的候選區(qū)域，在攝像頭固定的情況下，可以很好地檢測和跟蹤運(yùn)動(dòng)中的行人目標(biāo)。背景提取采用從灰度圖像擴(kuò)展到RGB圖像中的中值濾波算法；運(yùn)動(dòng)跟蹤采用基于Mean Shift與目標(biāo)區(qū)域灰度直方圖結(jié)合運(yùn)動(dòng)跟蹤算法。它們的魯棒性和實(shí)時(shí)性都符合實(shí)際運(yùn)用的要求。

采用的是在攝像頭固定下的運(yùn)動(dòng)行人作為實(shí)驗(yàn)場景，可以運(yùn)用到小區(qū)監(jiān)控、銀行監(jiān)控、校園監(jiān)控，等等，然而如何在攝像頭移動(dòng)、背景復(fù)雜、多行人情況下實(shí)現(xiàn)目標(biāo)的檢測與跟蹤，以及在背景圖像不斷更新，光照條件復(fù)雜變化過程中的目標(biāo)檢測與跟蹤都是可以進(jìn)一步研究的方向。

［1］王亞亮.基于最優(yōu)貝葉斯估計(jì)的目標(biāo)識別與跟蹤研究［D］.北京：北京交通大學(xué)碩士學(xué)位論文，2013

［2］來磊.基于室內(nèi)的人體目標(biāo)識別與跟蹤關(guān)鍵技術(shù)研究［D］.上海：東華大學(xué)碩士學(xué)位論文，2010

［3］CHENG Y.Mean Shift，Mode Seeking，and Clustering［J］.IEEE Transon Pattern Analysis and Machine Intelligence，1995，17（08）: 790～799

［4］李格.視頻序列中的人體檢測與跟蹤技術(shù)研究［D］.武漢：武漢理工大學(xué)碩士學(xué)位論文，2012

［5］趙欣，陳峰，吳立知.一種改進(jìn)的Meanshift運(yùn)動(dòng)目標(biāo)跟蹤算法［J］.通信技術(shù)，2011，11（44）：76

［6］趙艷啟.運(yùn)動(dòng)目標(biāo)識別與跟蹤算法的研究［D］.南京：河海大學(xué)碩士學(xué)位論文，2005

Target Detection；Motion Tracking；Mean Shift；Image Processing

Research on the Mean Shift Algorithm in the Moving Target Detection and Tracking

LI Guo-qiang，CHEN Pu-yang
（Guilin University of Electronic Technology，Guilin 541004）

1007-1423（2015）08-0038-04

10.3969/j.issn.1007-1423.2015.08.009

李國強(qiáng)（1989-），男，山西呂梁人，碩士研究生，研究方向?yàn)閳D像處理與模式識別、控制工程與系統(tǒng)

2015-01-27

2015-02-11

運(yùn)動(dòng)行人的檢測與跟蹤技術(shù)已經(jīng)成為智能視頻監(jiān)控中的關(guān)鍵性技術(shù)，是計(jì)算機(jī)視覺領(lǐng)域研究的一個(gè)重要領(lǐng)域。傳統(tǒng)的視頻監(jiān)控技術(shù)應(yīng)用雖然廣泛，但是智能性不足、應(yīng)用效率較低。針對攝像頭固定情況下的運(yùn)動(dòng)行人跟蹤進(jìn)行研究，引入一種應(yīng)用效果較好的Mean Shift算法，與目標(biāo)區(qū)域灰度直方圖結(jié)合，進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測跟蹤，在Visual Studio 2010和OpenCV 2.4.4中對本算法進(jìn)行仿真，從仿真結(jié)果中得出系統(tǒng)可以較好地實(shí)現(xiàn)對運(yùn)動(dòng)行人的檢測與跟蹤。

目標(biāo)檢測；運(yùn)動(dòng)跟蹤；Mean Shift；圖像處理

陳蒲陽（1965-），男，湖南祁東人，碩士，碩士生導(dǎo)師，研究員，研究方向?yàn)榭刂乒こ膛c系統(tǒng)

Motion pedestrian detection and tracking technology has become crucial in intelligent video surveillance technology,is an important area of research in computer vision.Although the traditional video surveillance technology are widely used，but less intelligent,less application efficiency.Aims at the tracking study of the movement of pedestrians in case of a fixed camera,introduces a better application of Mean Shift algorithm,combined with target area gray histogram，moving target detection and tracking,the simulation results obtained from the Visual Studio 2010 and OpenCV 2.4.4 can achieve better movement of pedestrian detection and tracking.