人體運動目標檢測與跟蹤方法的研究與實現

摘 要:通過攝像機拍攝到的一段視頻，對其中運動的人進行檢測與跟蹤。在目標檢測方面，獲取運動行人圖像序列，利用自適應背景提取方法得到背景，根據將目標與背景進行分離的分割閾值，對差分圖像進行分割，提取運動區域，檢測出人體運動目標;在目標跟蹤方面，選用基于Kalman濾波的運動跟蹤系統，通過估計出運動目標的下一位置，對運動目標進行實時跟蹤。這里的實驗是在Linux平臺上利用Intel的開源OpenCV函數庫建立起模型并實現算法。經過多次仿真測試表明，使用Kalman濾波可以很好地解決實驗中兩個人握手時運動目標間遮擋的問題，并跟蹤運動目標，而且處理速度比較快，能夠滿足一般情況下的實時性要求。

關鍵詞:圖像序列;目標檢測;Kalman濾波;實時跟蹤

中圖分類號:TP311文獻標識碼:A

文章編號:1004-373X(2010)04-128-04

Research and Realization on Moving Object Detection and Tracking Methods of Human

XU Lei，PEI Hailong

(College of Automation Science and Engineering，South China University of Technology，Guangzhou，510640，China)

Abstract:Through a section of camera video，the moving human bodies are detected and tracked.In target detection，it obtains image sequence，gets the background using adaptive background extraction method.In accordance to the segmentation threshold of the partition separating the objects and images，it segments the images，extracts moving field，and detects the human bodies′ moving targets.In the target tracking，it chooses the movement tracking system based on Kalman filtering.By estimating the next position of moving targets，it tracks moving targets with real-time.In this paper，it builds the model and algorithm on the experimental platform in the Linux open-source use of Intel′s OpenCV library.Several rounds of simulation tests show that the use of Kalman filter can be a very good solution to the experiment.When two people shake hands with the issue of inter-shading，it solves the problem well，gets very good tracking of moving targets and fast processing speed.So，the system meets the real-time requirements under normal circumstances.

Keywords:image sequence;target detection;Kalman filtering;real-time tracking

0 引 言

運動目標的檢測和跟蹤是計算機視覺研究的主要問題之一，它融合了圖像處理、模式識別、自動控制、人工智能及計算機等許多領域的先進技術，在無人機視覺導航、視頻監控、醫療診斷、智能交通等方面都有廣泛的應用。在此主要圍繞這兩個方面的內容展開研究。

運動檢測的目的是從序列圖像中將變化區域從背景圖像中提取出來，運動區域的有效分割對于目標分類、跟蹤和行為理解等后期處理是非常重要的。然而，由于背景圖像的動態變化，如天氣、光照、影子及混亂干擾等影響，使得運動檢測成為一項相當困難的工作。在此，只研究在背景靜止狀況下的人的運動[4]。

所謂跟蹤，就是對圖像序列中的運動物體，通過提取它的某些特征，并且把這些特征從一幅圖像到另一幅圖像匹配起來，這個過程叫作跟蹤。運動跟蹤主要通過建立目標鏈來實現，目的是獲得運動物體的運動軌跡。如果把所有的這些圖像重疊起來，就可以得到這個運動物體的運動軌跡，所以運動物體的跟蹤也可以看作是對運動物體的運動狀態進行估計。

本文主要利用基于背景剪除方法檢測出運動目標，然后利用Kalman濾波實現運動估計與跟蹤。

1 人體運動檢測原理及具體實現

在本文中，由于系統的實時性、穩定性等可實現性問題，根據行人檢測系統對實時性的要求，這里采用背景差法提取運動行人。算法主要包括圖像預處理、背景提取、動態選取閾值和運動行人分割等。基本流程圖如圖1所示。

圖1 運動目標檢測流程圖

背景差分法是利用視頻圖像中每一幀圖像與確定的背景圖像相減，比較其中的偏差得到運動區域，并通過閾值化差分圖像檢測出運動物體，求取運動行人。背景差分方法是以固定攝像機為前提條件，該方法很大程度上依賴于背景圖像的可靠性，背景圖像需不斷地被更新，以迎合環境光線、陰影和天氣的變化等。背景更新中的誤差累計和光線變化是影響背景差分法精度的主要因素。它可用式(1)描述。

d(x，y)=0，如果|f1(x，y)-f2(x，y)|

1，其他(1)

式中:f1(x，y)為輸入圖像幀;f2(x，y)為背景圖像幀。如果輸入圖像幀中不含行人，則與背景圖像幀相同，此時d(x，y)=0;相反，如果輸入圖像幀中包含行人，則與背景圖像幀不同，此時根據閾值Th的大小判定d(x，y)可能不為0。下面是目標檢測流程中用到的方法。

1.1 圖像預處理

圖像預處理主要用于消除圖像的基本噪聲、增強圖像對比度等，以改善圖像質量，使圖像變得較為清晰，以便后續處理和分析，如圖像分割等。

對圖像濾波方法的選擇取決于噪聲與圖像的關系以及處理的具體要求，圖像常被強度隨機信號(也稱為噪聲)所污染。考慮到實際場景圖像中的噪聲特性，這里主要采用高斯濾波法，來濾除圖像中包含的高斯噪聲。

1.2 背景提取

背景圖像為不含前景目標的場景圖像。這里采用自適應背景提取方法，即首先將輸入的第一幀圖像作為原始背景，從第二幀開始對當前幀間差分圖像進行二值化處理，由二值圖找到運動區域和非運動區域[2]。為了消除紋理相似的前景交疊區域作為背景提取的不足，這里采用的方法中引入了數學形態學運算對幀差分圖像的進一步處理，準確提取出非運動區域;然后用當前幀圖像中的非運動區域部分更新當前背景圖像，而運動區域部分的背景圖像則保持不變，經過一定數量圖像的迭代便可提取出背景。

1.3 運動行人分割

在采用背景差法檢測運動行人過程中，除了得到清晰的背景圖像之外，選取合適的閾值也是準確分割出運動的行人中至關重要的一步，是運動行人檢測的一個重點和難點。由于場景中背景基本無動態變化，且行人的服裝顏色與背景差別較大，經反復實驗，人工確定動態圖像序列中差分圖像二值化的閾值為30(灰度值)。

1.4 提取運動區域

分割后的連通區域受噪聲影響很大，圖像中存在一些小的噪聲干擾點，這些干擾的存在必然影響行人檢測的質量。首先，對二值化之后的圖像進行中值濾波，消除小的噪聲;然后，采取數學形態學處理中的腐蝕和膨脹算子對二值圖進行操作，去除噪聲前景點和填補目標區域的小孔，從而得到行人較為清晰和完整的輪廓，如圖2所示。

圖2為兩人面對面行走的圖像。對得到的差分二值圖像進行標記，顯示出檢測到的運動目標(人)。用行人的外接矩形表示檢測到的行人輪廓，矩形的四個邊分別表示行人的上下左右四個邊界位置，矩形的中心位置即為檢測出的行人位置。

圖2 人體運動目標檢測結果圖像

從行人通行情況下的檢測效果圖來看，效果比較明顯，可以準確檢測到場景中運動的行人。但是由于運動產生的噪聲因素影響，輪廓有時不是十分準確。

2 目標跟蹤關鍵技術分析

運動跟蹤主要通過建立目標鏈來實現，目的是獲得運動物體的運動軌跡。如果把所有這些圖像重疊起來，就可以得到這個運動物體的運動軌跡，所以運動物體的跟蹤也可以看作是對運動物體運動狀態的估計。

在此，選用基于Kalman濾波的運動跟蹤系統，通過估計出運動目標的下一位置，對運動目標進行實時跟蹤[3]。

在處理每幀圖像的過程中，提取并記錄每個目標對應的位置信息，可以利用這些檢測出的位置信息對行人的運動進行預測，預測出行人目標在下一幀的位置，對運動行人進行連續檢測和跟蹤。最后，根據圖像序列中依次確定的目標位置，得到行人的運動軌跡。

2.1 行人的運動預測

運動預測通常利用了運動的連續性約束和平滑性約束。運動的連續性約束是指相鄰幀間目標的運動位移很小，運動的平滑性約束是指相鄰幀間目標的運動不會發生突變。因而當起始幀目標的位置標定完成以后，可以通過前幾幀的檢測結果來估計新一幀圖像中目標的位置，從而簡化對后續幀目標的檢測，加速對目標的識別[4]。

在對行人跟蹤過程中，需要在圖像序列中連續不斷地檢測到行人，如果對每幀圖像的處理都采用搜索整幅圖像的方法，則系統的處理速度必然得不到保證[5];同時在行人的檢測過程中，圖像中同時出現的兩個行人在運動過程中也經常發生相互間遮擋現象。由于這些問題的存在，為了提高系統的實時性和解決目標短時間內被遮擋時的跟蹤問題，可以考慮采用運動預測的方法對被遮擋目標的位置加以估計，利用預測的目標位置繼續跟蹤目標，達到實時檢測和連續跟蹤運動行人的目的。

2.2 Kalman濾波在運動目標跟蹤中的應用

Kalman濾波以其實時性較好而得到了廣泛的應用，在此選用Kalman濾波進行運動估計。

在視頻監控中對運動物體進行跟蹤時，最簡單的方法是利用空間、時間特性來描述運動目標，采用基于像素的區域搜索匹配方法進行目標的運動預測和判別，該方法只有目標在兩個連續幀的運動變化很小時才適用，當目標運動發生跳躍變化或受到其他因素干擾時，如被其他物體遮擋或在視頻傳輸時發生丟幀現象，則算法便會失敗。

基于Kalman濾波的目標跟蹤是將運動目標的運動模型看作是一個Kalman濾波器模型，根據運動目標的運動歷史預測它在下一幀中的位置信息。目標跟蹤過程中Kalman循環濾波的過程如圖3所示。

圖3 Kalman循環濾波過程

首先在進行時間分析處理時，不需要定義一個精確的運動模型，它能夠通過一個簡單的運動學模型有效地跟蹤真實對象的運動軌跡;其次，Kalman濾波算法是一種基于運動學模型的反饋結構算法，當運動目標發生跳躍變化時，可以根據對象以前的運動軌跡和運動模型繼續對其運動進行預測[6]。當這些對象再次在場景中出現時，可以幫助跟蹤系統識別這個對象。Kalman濾波在運動目標預測中的具體實現如下:

若X表示目標狀態向量，(x，y)和(vx，vy)分別為目標特征點在圖像中的坐標位置和運動速度，則X=(x，y，vx，vy)T，若Y=(x，y)T表示觀測向量。根據Kalman濾波理論，建立的系統狀態估計Kalman濾波模型如下:

狀態方程:

X(k)=A(k|k-1)X(k-1)+w(k-1)(2)

觀測方程:

Y(k)=H(k)X(k)+v(k)(3)

式(2)和式(3)中:A(k|k-1)為從k-1時刻到k時刻系統的狀態轉移矩陣;H(k)為觀測矩陣;w(k-1)和v(k)分別為零均值的系統噪聲向量和觀測噪聲向量，其中:

A(k|k-1)=10100

0100

0010

0001(4)

H(k)=1000

0100(5)

假設兩個人做勻速直線運動，通過計算得知每個人的運動速度，則根據離線實驗可得初始狀態的預測誤差協方差矩陣P、系統噪聲向量w(k)和觀測噪聲向量v(k)的協方差矩陣Q，R分別為:

P= 100000

010000

00250

0000 Q= 4000

0400

0010

0001

R=10

01(6)

根據式(2)~(6)，可以很容易地實現計算機的程序，完成對運動目標跟蹤任務的實現。

2.3 OpenCV介紹

該實驗是在開源系統Linux平臺上用OpenCV函數庫建立起模型并實現算法的。OpenCV是Intel公司開發的開源數據庫。作為一個基本的計算機視覺、圖像處理和模式識別的開源項目，OpenCV可以直接應用于很多領域，作為第二次開發的理想工具。比如實時計算機視覺領域中人機交互目標的分割和識別、人臉識別、手勢識別、運動跟蹤、自我運動、運動理解、移動機器人等。它由以下類庫組成:

(1)CXCORE。包含了圖像處理和數學運算，特別是矩陣運算的相關函數。

(2) CV。包含圖像處理和分析的一些函數，同時還包含了其他諸如結構分析、極線幾何、模式識別、結構分析等一些函數。

(3) HighGUI。與平臺相關的用戶界面函數，主要用以控制圖像窗口、按鈕等控件。

(4) CVCAM。與視頻設備輸入/輸出相關的函數。

在該程序中，主要利用了CV庫中現有的圖像處理函數，如邊緣檢測、圖像疊加、灰度轉換及圖像翻轉等。在此基礎上開發自己的一些函數，如演算圖像運動歷史(Motion History of Image)等。

3 目標跟蹤試驗與仿真

在本次試驗中，充分利用OpenCV封裝的函數庫。其中，在跟蹤階段用到兩個重要的函數為:

(1) KalmanPredict

估計后來的模型狀態 :

const CvMat* cvKalmanPredict( CvKalman* kalman，const CvMat* control=NULL );

#define cvKalmanUpdateByTime cvKalmanPredict

(2) KalmanCorrect

調節模型狀態:

const CvMat* cvKalmanCorrect( CvKalman* kalman，const CvMat* measurement );

#define cvKalmanUpdateByMeasurement cvKalmanCorrect

得到的實驗結果如圖4所示。

圖4 運動行人檢測跟蹤效果圖

圖4中標注白色線框的為檢測到并進行了標記的運動人體前景圖像，黑色線框為利用Kalman濾波技術對人體進行預測跟蹤的結果。其中，兩個中點為各自方框的中心點。

4 結 語

該實驗結果表明，Kalman濾波的估計值與實際測量值比較接近，誤差在很小的范圍之內，可以很好地跟蹤運動目標，而且處理速度比較快，能夠滿足一般情況下實時性的要求。此外利用Kalman濾波可以很好地解決實驗中兩人握手時運動目標間遮擋的問題。

通過Kalman濾波器的預測估計可以大大縮小圖像處理的范圍，因此極大地提高了處理速度和信息反饋的時間，減少或消除視覺通道反饋信息的時間滯后問題。

但是，一個明顯的缺陷是該實驗只對目標一個方向上的估計跟蹤效果比較好，而對另一個目標的預測則明顯呈現滯后現象，這一點可以在今后對代碼的不斷完善中完成。Kalman濾波存在初值選取、噪聲參數確定的問題，該實驗是在多次反復試驗的基礎上選定的各個參數及初值，而且假設運動目標做勻速直線運動，這也是Kalman濾波的局限性之一。

參考文獻

[1]王亮，胡衛明，譚鐵牛.人運動的視覺分析綜述[J].計算機學報，2002，25(3):225-237.

[2]侯志強，韓崇昭.視覺跟蹤技術綜述[J].自動化學報，2006(4):603-617.

[3]宋磊，黃祥林，沈蘭蓀.視頻監控系統概述[J].測控技術，2003(5):33-35.

[4]陳玥，蔡自興.基于DirectShow技術的移動機器人視頻采集系統[J].華中科技大學學報:自然科學版，2004(Z1):87-89.

[5]劉雷.人體運動建模仿真方法研究[J].計算機仿真，2009(1):166-168.

[6]孫劍，李克平.行人運動建模及仿真研究綜述[J].計算機仿真，2008(12):12-16.

[7]Neri A，Clonnese S，Russo G，et al.Automatic Moving Object and Background Separation [J].Signal Processing，1998，66:219-232.

[8]Peter Meer.Real-Time Tracking of Non-Rigid Objects using Mean Shift[A].IEEE CVPR[C].2000.

[9]Natan Peterfreund，Robust.Tracking of Position and Velocity with Kalman Snakes[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，1999，21(6):564-569.