基于運動檢測的多車輛跟蹤方法研究

單玉剛,汪家寶,李世興,董 爽

(1.湖北文理學院 教育學院，湖北 襄陽 441053; 2.北方自動控制技術研究所，太原 030006;3.北京聯合大學，北京 100101)

基于運動檢測的多車輛跟蹤方法研究

單玉剛1,汪家寶1,李世興2,董 爽3

(1.湖北文理學院 教育學院，湖北 襄陽 441053; 2.北方自動控制技術研究所，太原 030006;3.北京聯合大學，北京 100101)

針對交通監控場景中多目標粘連造成跟蹤上的困難和前后兩幀車輛關聯困難，提出了區域運動相似性分割方法和相似度關聯矩陣的解決方案；在運動目標檢測過程中, 首先使用背景差分法提取運動區域，經過消除缺口、空洞和分離等處理，在運動區域所在范圍內進行塊匹配搜索和局部光流計算區域運動矢量，然后使用模糊聚類方法對運動矢量區域融合，完整的分割出粘連運動目標；在目標跟蹤部分，目標跟蹤建立在目標關聯的基礎上，提出建立連續兩幀目標間距離和局部二元模式相似度關聯矩陣的方法進行運動目標標定，從而實現多目標關聯；使用公共視頻庫的圖像序列進行測試，所提算法都能實現連續的跟蹤和準確的運動目標分割，且處理速度快，表明了算法具有魯棒性和適用性。

運動相似性；粘連分割；目標關聯；運動檢測

0 引言

智能視頻監控廣泛應用于軍事、安保、交通、航空、醫療等領域。視頻圖像的車輛檢測與跟蹤技術是智能交通系統的核心技術，它可以同時獲取車型、車流量、車速等交通信息，實現對交通智能管理，并為車輛的行駛提供參考。

多車輛檢測與跟蹤的效果主要受到兩個因素的制約 ，一是場景中多目標粘連車輛間的相互遮擋造成跟蹤上的困難，二是前后兩幀車輛關聯困難。在復雜的交通環境中車輛間的遮擋是不可避免的,目前還沒有能夠完全解決車輛之間因遮擋而造成粘連的方法 。對于車輛粘連，常用的方法有特征模型、統計模型、推理模型等[1]。文獻[2]利用車輛的角點作為特征點建立特征模型解決粘連問題，文獻[3]使用馬爾可夫隨機場模型可以有效解決遮擋問題，但其計算復雜，不適合實時性場合。文獻[4]提出基于凹性分析的粘連車輛分割，但在復雜條件下，效果不佳。文獻[5]提出基于運動一致性的分割方法，但全局性運動矢量計算影響實時性。

多目標跟蹤的一個關鍵是確定多目標數據關聯方法。常見的多目標數據關聯算法中：kalman預測和模板匹配易丟失目標，概率數據關聯(PDA)，JPDA的數據關聯和基于蟻群數據關聯[6-8]等方法計算量較大。

針對復雜交通環境中運動車輛遮擋的問題本文提出一種改進的基于區域運動相似性的粘連車輛分割方法，提高了精度，滿足了實時性。在車輛跟蹤部分，使用基于背景差分的運動目標檢測方法，這種方法可以有效避免模板漂移造成的跟蹤丟失，始終保持對運動目標的檢測。目標之間的匹配建立在目標關聯層次上，采用將運動目標符號化[9]的方法改進文獻[10]方法，采用建立前后兩幀目標間距離和局部二元模式(Local binary pattern,簡稱LBP)[11]相似度關聯矩陣的運動目標標定方法實現目標匹配。實驗驗證表明該方法是有效的。

1 運動車輛檢測

1.1 背景差分目標檢測

我們采用通過 Surendra 的建模背景，使用背景差分法對視頻中的運動區域進行分割。若將背景幀記為B(x，y)，當前幀記為I(x，y)，背景差掩模圖像記為F(x，y)，則：

(1)

式中，Thr為二值化閾值，由Otsu法自適應計算得到。當F(x，y)為 1 時，對應的是前景圖像及部分噪聲，為0時對應背景。

對于背景點,將以一定的學習速率對原來的背景進行修正，以達到動態維護背景的目的，背景更新采用公式：

Bi=Bi-1*BWi+(alpha*fi+

(1-alpha)*Bi-1)*(1-BWi)

(2)

其中，alpha是學習速率，B、BW和f分別表示背景圖像、二值圖像和序列圖像，i表示當前幀號。

1.2 運動目標區域標定

從背景差分獲得二值圖像到運動目標區域的標定，還需要經過形態學處理，用8-鄰域搜索的區域生長算法完成連通區域的檢測，以及消除背景差法造成的目標區域的缺口、空洞和分離等步驟完成運動目標區域標定。

對于目標分離，文獻[12]給出了對當前幀使用區域間距離判斷是否合并的公式，但有時兩車輛之間相距很近時，會把兩車合為一體，導致勿分。本文增加了比較前后兩幀位置的限制條件：

(3)

其中：xcc，ycc表示當前幀目標的中心點坐標，xpc，ypc表示前一幀目標的中心點坐標，wcx，wcy，wpx，wpy分別為當前幀和前一幀目標的長寬。

兩目標是否粘連根據前后兩幀區域重疊數量和區域面積變化情況判斷：

(4)

2 基于運動一致性車輛粘連分割

2.1 目標運動矢量場

由于同一目標在運動時，它的各個組成部分的運動的速度和方向是相似的，具有運動一致性，因此可以使用運動矢量場來表示目標的運動信息。通過計算區域運動信息，能實現對運動一致性區域合并，實現對粘連目標的分割。區域運動矢量場計算如下：

1) 對算法運動檢測部分檢測出的運動區域依次進行目標粘連判斷，若發生粘連，選取當前幀與前一幀的這個區域范圍進行運動矢量場計算，得到該區域的運動矢量場圖，即速度大小和方向圖，具體計算在第2步。車輛是否粘連依據前后兩幀目標矩形框重疊數量和重疊區域面積變化情況，即：根據公式(4)判斷。

2) 將前后兩幀該運動區域適當擴大尺寸，以便進行局域光流計算，然后分成多個大小相等的小塊，使用塊匹配運動矢量計算方法，計算當前幀與上一幀相同區域范圍的小塊運動矢量場，每一個塊就轉化成一個點，這里塊大小取8×8個像素點，這樣可提高匹配計算速度，每一小塊用Ri表示。塊過大會降低運動矢量精度。按照區域標記，計算每個區域中每個小塊運動矢量方向θi和幅值Ai，i表示是塊號。塊匹配運動估計得到一幀二維圖像上對應的運動矢量圖陣列。運動矢量圖陣列映射成二維坐標平面上的點集 ，每一個子圖像塊對應坐標平面上的一個點。塊匹配搜索算法比較多，常用的有全局搜索、對數搜索、三步搜索、四步搜索等算法[13]。塊匹配搜索算法計算速度快，但由于受到相似度量限制，塊匹配搜索算法精度不是非常高。光流估計算法在小位移量的圖像匹配精度高。本文采取塊匹配搜索結合光流估計的運動矢量場計算方法，首先用塊匹配搜索大致位置，然后在這個位置用光流估計微小變化，充分發揮兩者優勢。本文塊匹配搜索采用對數搜索策略，得運動矢量[Mvbx,Mvby]。

文獻[14]采用點匹配計算光流，可將其方法擴展到塊匹配光流估計應用中。用A(x,y)，B(x,y)表示前后兩幀圖像的灰度值，塊Ri大小為M×N，塊Ri的運動矢量為[vx，vy]，vx，vy分別表示水平和垂直方向的位移。為了估計運動參數，建立如下灰度差平方和誤差函數：

(5)

其中：v=(vx,vy)，在搜索窗口范圍內，ε取最小值的位置為最佳匹配位置。這時的vx，vy即為所求的運動矢量。采用泰勒優化法求解該問題。

對式(5)進行二元泰勒展開，略去高項：

(6)

(7)

v=G-1b。

(8)

塊Ri總的運動矢量：

(9)

3) 獲取目標區域的運動矢量幅值和方向后，把每個小塊的運動矢量分配到塊中每個像素中，最終得到該區域運動矢量幅值和方向。

2.2 塊合并

在區域運動矢量場的基礎上，合并運動幅值和運動方向一致的塊，最終實現分割運動區域。本文對運動矢量場的幅值使用模糊C均值聚類[15]分析(初始類別數為車輛粘連數量)，將塊聚類到由若干個相同或相近并且基本連通的多個子塊構成的子區域，這樣不同的圖像區域塊代表具有不同運動速度的目標。

經過幅值聚類分析得到的分割結果還不精確，需進一步使用區域運動矢量方向和幅值的相似性對區域合并。如 果 區域的第i和 第j像素的 運動矢量 的 夾 角小于15度，即：Angle(j)-Angle(k)<15*pi/180，且幅 值 差 異 的 絕 對 值滿足小于區域均值的百分之八十條件時，即：

(10)

判定這兩個點具有運動一致性，進行合并。

3 運動車輛跟蹤

多車輛跟蹤的一個關鍵是進行車輛數據關聯，對于視頻圖像序列，就是要在相鄰幀間進行目標匹配。根據本幀檢測出的目標區域的外接矩形框特征和前一幀目標區域外接矩形框特征建立和維持兩張車輛表，一個當前幀車輛表newObject_info，另一個是前一幀車輛表oldObject_info。每個表項包括目標序號index、車輛狀態state、車輛坐標位置position(包括外接矩形框的left、right、top、bottom坐標)、車輛形心centriod、車輛速度velocity、車輛標號label等項。當前目標表中沒有包括粘連車輛，粘連車輛已經被分割開，車輛始終單獨存在。當幀數更新時，前一幀目標表項繼承于當前目標表項。

依據這兩張基本表建立距離相似度關聯矩陣和LBP相似度關聯矩陣來處理當前車輛狀態。LBP特征描述方法具有旋轉不變性和灰度不變性等顯著的優點，對車輛尺度變化、光線變化不明顯，匹配精度要優于模板匹配精度。關聯矩陣中的一行表示當前幀第i個目標，一列表示前一幀第k個目標。距離相似度：

(11)

通常使用巴氏距離衡量LBP相似性：

(12)

本文把車輛目標狀態分為 三種情況：新車輛、車輛消失、車輛正常。把多車輛粘連和正常的車輛運動情況歸為正常狀態，因為本文會把多車輛粘連分割開，始終以獨立的目標存在。通過按行、列掃描匹配矩陣，確定當前幀目標匹配狀態。三種情況處理如下：

(1)新增：在距離和LBP相似度關聯矩陣中第i行的每個元素都小于某個閾值，那么表示當前幀的第k個目標為新出現目標,State更新為New。新增目標標號需查找上一幀車輛表中消失的目標號或最大目標號進行設定。

(2)消失：在距離和LBP相似度關聯矩陣中第k列的每個元素都小于某個閾值，表示上一幀的第k個目標消失，State更新為Disappear。

(3)正常：正常狀態是找到當前幀中一目標與前一幀中匹配的某目標的過程。按行掃描特征關聯矩陣，取出Dik和Lik，計算兩個目標的相似度：

Sik=α*Dik+(1-α)*Lik

(13)

α是權值，本文取0.6，距離特征比紋理特征更重要，具有最大相似度的目標就是所求目標。為了減小計算，規定：如果距離或LBP特征相似度小于一定閾值，就忽略該目標。計算結束后更新第i個目標的目標標號項，賦予與前一幀中第 k個目標相同的標號，State狀態為Normal。多目標關聯方法如圖1所示。

圖1 目標關聯方法

運動目標檢測和跟蹤的總體算法流程圖如圖 2所示。

圖2 基于運動檢測的多運動目標分割與跟蹤流程圖

4 實 驗

實 驗 環 境 為CPU:AMDAthlonX2，操 作 系統:Windows8.0，運 行 軟 件:MATLAB2013a。使用PETS視頻庫視頻源來驗證本文提出算法的效果，選取了兩種實驗場景：一個比較復雜，一個比較簡單。第一種場景中是車輛運行在高速公路上的視頻序列圖像，分辨率320×240，車輛以比較快的速度持續運動，且車流量較大。第二種場景中運動車輛較稀少，但背景對前景干擾較大。

圖3 基于運動相似性的車輛粘連分割

在第一場景第24幀中，有車輛遮擋造成了粘連現象，整個粘連分割處理流程如圖3(a)～3(d)所示。我們可以看到最右側的白色車和它上方的黑色車經過檢測確定為發生了粘連，如圖3(a)。這種情況下，我們在這個粘連區域進行運動估計產生運動目標區域運動矢量圖，如圖3(b)所示，根據區域運動矢量的幅值大小和區域運動方向進行聚類的效果如圖3(c)所示。將分割映射到原圖中，并進行后續的形態學處理后，可以看到粘連車輛被準確地分割，從而實現單獨跟蹤，如圖3(d)所示。

第一場景中第20幀到第31幀車輛跟蹤效果如圖4所示。可以看到從第24幀到第31幀，最右邊的兩輛車都一直處于遮擋狀態，由于粘連分割正確，兩車均被正確單獨跟蹤。

圖4 粘連情況下跟蹤

第二場景中車輛較少，場景不復雜，如圖5所示，但在第72-75幀中，由于有的車輛的車窗反射造成玻璃與地面紋理相似，這時使用背景差分進行運動檢測會導致同一車輛分為兩個或多個目標。運用本文車輛合并判斷和合并處理算法能準確地實現車輛分離部分的合并。

圖5 目標合并

圖6是圖4中目標8從出現到消失的運動信息面積變化曲線圖，平滑的曲線說明了本文算法對粘連目標分割的有效性。在圖4、圖5兩個不同場景中，本文算法都能實現連續的跟蹤和準確的目標分割，表明本文車輛檢測和跟蹤算法具有魯棒性和適用性。

本文算法與文獻[16] 中的車輛跟蹤方法進行了比較，結果如表1所示。從表1中可以看出：本文方法的跟蹤準確率高于文獻[16]中的方法，而且處理速度與后者相差不多，12幀/s的處理速度可以滿足實時系統的要求。

圖6 目標面積變化曲線

表1 算法比較

5 結論

本文針對交通視頻多目標跟蹤的車輛分割和目標關聯難點，提出了一種固定攝像機監控視頻序列中多運動目標的檢測和跟蹤方法。該方法首先采用背景差法進行運動檢測，經過形態學濾波和合并處理提取當前幀中運動目標區域，然后對檢測出含有粘連運動目標區域分別采用基于區域運動一致性分割算法進行車輛粘連分割，取得較好分割效果。同時由于算法先進行變化檢測，在運動窗口范圍內進行運動分割，避免了在整個圖像平面上進行計算，能夠大大減少運算量。在車輛跟蹤部分，目標跟蹤建立在目標關聯的基礎上，通過建立幀間特征相似度關聯矩陣實現目標匹配的方法對檢測出的運動車輛進行實時跟蹤。實驗結果表明了本文算法具有有效性。

[1]CavallaroA,SteigerO,EbrahimiT.Trackingvideoobjectsinclutteredbackground[J] .IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2005, 15(4):575-584.

[2]CoifmanB，BeymerD，MclauchlanP，etal.Areal-timecomputervisionsystemforvehicletrackingandtrafficsurveillance[J].TransportationResearchPartC:EmergingTechnologies, 1998, 6(8):271-288.

[3]ZhouY,TaoH.Abackgroundlayermodelforobjecttrackingthroughocclusion[A].9thIEEEInternationalConferenceonComputerVision[C].NewYork:IEEE, 2003:1079-1085.

[4] 吳忻生,劉 洋,戚其豐. 基于凹性分析的粘連車輛分割[J].計算機應用研究，2012，29(1): 344-347.

[5] 洪澤宏，王占輝，周榕軍. 基于運動一致性的視頻對象分割方法研究[J]. 海軍工程大學學報，2007，19(4):90-94.

[6]Bar-ShalomY,DaumF,HuangJ.Theprobabilisticdataassociationfilter[J].IEEEControlSystems, 2010,29(6):82-100.

[7]SvenssonL,SvenssonD,GuerrieroM,etal.SetJPDAFilterforMultitargetTracking[J].IEEETransactionsonSignalProcessing, 2011,59(10):4677-4691.

[8] 康 莉，謝維信，黃敬雄.一種基于蟻群算法的多目標跟蹤數據關聯方法[J].電子學報，2008，36(3):586-589.

[9] 王 栓, 艾海舟, 何克忠. 基于差分圖像的多運動目標的檢測與跟蹤[J] . 中國圖像圖形學報, 1999, 4(6):470-474.

[10]LMarcenaro,MFerrari,LMarchesotti,etal.MultipleObjectTrackingunderHeavyOcclusionsbyUsingKalmanFiltersBasedonShapeMatching[A].InternationalConferenceonImageProcessing[C]. 2002.341-344.

[11]OjalaT,ValkealahtiK,OjaE,PietikainenM.Texturediscriminationwithmultidimensionaldistributionsofsignedgray-leveldifferences[J].PatternRecognition, 2001,34(3):727-739.

[12] 危自福,畢篤彥等.基于背景重構和水平集的多運動目標分割[J].光電工程,2009,36(7):28-35.

[13] 劉海峰,郭寶龍,馮宗哲.用于塊匹配運動估值的正方形-菱形搜索算法[J].計算機學報,2002,25(7):747-752.

[14] 戴 斌,方宇強.基于光流技術的運動目標檢測和跟蹤方法研究[J].科技導報,2009,27(12):55-60.

[15]KannanSR,RamathilagamS，ChungPC.Effectivefuzzyc-meansclusteringalgorithmsfordataclusteringproblems[J].ExpertSystemswithApplications,2012,39(7):6292-6300.

[16] 李躍發.基于視頻的車輛檢測與跟蹤技術研究[D].西安：西安電子科技大學,2007.

Research on Multiple Moving Vehicles Tracking Method Based on Motion Detection

Shan Yugang1, Wang Jiabao1, Li Shixing2, Dong Shuang3

(1.Hubei University of Arts and Science, Xiangyang 441053,China; 2.North Automation Control Technology Institute,Taiyuan 030006,China; 3.Beijing Union University, Beijing 100101,China)

In view of the difficulties in tracking the overlapping targets in traffic surveillance scene and the difficulty of the vehicle correlation in two consecutive frames, the solutions of the region motion similarity segmentation and the similarity correlation matrix are proposed，background substraction is used for detecting targets，after eliminating gaps, holes and separation, etc. ,motion vector is calculated in the motion region by block matching search and local optical flow method, and then the fuzzy clustering method is used to implement the regional integration of motion vectors, which completes adhesion segmentation of the moving target, and reduces the amount of computation.In the part of tracking, target tracking is established on the basis of the target correlation, and the target matching is completed by using similarity correlation matrix of distance and local binary pattern features between frames , so as to realize the multiple target correlation. By using image sequences in PETS to test, The proposed algorithm can achieve continuous tracking and accurate target segmentation,and the processing speed is fast,which shows that the algorithm is robust and applicable.

motion similarity; adhesion segmentation; target correlation; motion detection

2016-09-27；

2016-11-24。

湖北省教育廳科學技術研究項目(B2016175);湖北文理學院博士基金(2015B002)。

單玉剛(1971-)，男，遼寧沈陽人，講師，博士，主要從事目標跟蹤、模式識別方向的研究。

汪家寶(1964-)，男，湖北隨州人，教授，碩士，主要從事教育信息化方向的研究。

1671-4598(2017)03-0024-05

10.16526/j.cnki.11-4762/tp.2017.03.008

TP391.41

A