基于Contourlet和MeanShift的交通視頻車輛跟蹤算法

王相海, 劉美瑤, 蘇元賀, 方玲玲, 宋傳鳴

(遼寧師范大學 計算機與信息技術學院, 遼寧 大連 116081)

?

基于Contourlet和MeanShift的交通視頻車輛跟蹤算法

王相海, 劉美瑤, 蘇元賀, 方玲玲, 宋傳鳴

(遼寧師范大學 計算機與信息技術學院, 遼寧 大連 116081)

提出一種基于Contourlet直方圖的MeanShift交通視頻車輛目標跟蹤算法.首先，利用Contourlet變換提取交通視頻中感興趣區域下跟蹤目標的紋理特征和輪廓，并用其直方圖統計跟蹤目標的紋理特征；然后，通過Kalman濾波技術來進行跟蹤目標軌跡的相關性函數計算，并將計算結果迭代到MeanShift跟蹤算法中選取最優估計值，進而實現對交通視頻車輛在復雜場景中的精確定位.通過與傳統的MeanShift跟蹤算法以及基于Kalman濾波的MeanShift跟蹤算法等比較表明，此算法不僅能夠對復雜場景中的視頻車輛進行有效跟蹤，同時還具有較好的穩定性和抗干擾性.

Contourlet直方圖；MeanShift跟蹤算法；Kalman濾波；紋理特征；復雜場景

復雜場景下的交通視頻車輛跟蹤技術作為智能交通系統(ITS)的重要組成部分對智慧城市的發展具有重要的理論和實際意義，同時也是一難點問題.MeanShift(MS)概念最早由Fukunaga等人以“偏移的均值向量”含義被提出[1]，但隨著其理論的不斷發展,其含義也相應地發生了變化.Cheng在文獻[2]中將MeanShift理論引入到計算機視覺領域，被用來通過梯度優化識別目標的位置.近年來MeanShift跟蹤算法在視頻中移動目標跟蹤領域受到人們的關注.然而，該算法在跟蹤目標的過程中很容易受到環境的干擾，特別對復雜場景情況.為此人們將Kalman濾波引入車輛跟蹤算法中，用以計算和評估跟蹤目標軌跡的相關性來提高目標的跟蹤精度.

提出一種基于Contourlet直方圖的MeanShift交通視頻車輛目標跟蹤算法，該算法通過融合Contourlet直方圖、Kalman濾波和MeanShift跟蹤算法等多種工具來提高復雜場景中目標的跟蹤精度，同時增強算法對復雜場景的魯棒性.首先，利用Contourlet子帶的直方圖統計來獲取交通視頻中感興趣區域下跟蹤目標的紋理和輪廓特征，然后，通過Kalman濾波進行跟蹤目標軌跡的相關性函數計算，最后，通過迭代MeanShift跟蹤算法選取最優估計值.

1 Contourlet變換概述

圖1 Contourlet變換濾波器組結構Fig.1 Contourlet transform filter bank structure

離散Contourlet變換即塔形方向濾波器組(Pyramidal Directional Filter Bank，PDFB)，是M.N.Do等人提出的利用拉普拉斯塔形分解(Laplacian Pyramid, LP)和方向濾波器組(Directional Filter Bank,DFB)分別進行多尺度和方向分析的一種多尺度分析工具[3-6]，該變換通過多分辨率變換對圖像進行擴展，并采用局部化的方向濾波器進行線性表示，可以將圖像邊緣、紋理附近的相關變換系數更加有效的表示和集中，因而被稱為一種“真正”的二維圖像稀疏表示方法.Contourlet變換濾波器組結構參見圖1.

Contourlet變換首先由LP變換對圖像進行多尺度分解以捕獲奇異點，然后由DFB對每一級金字塔分解的帶通分量進行多方向分解，將同方向的奇異點合成線，少量的線條便可以有效地捕捉圖像中的邊緣輪廓，而邊緣輪廓正是自然圖像中的主要紋理特征，也是我們所要提取的跟蹤目標的主要特征.其中，Contourlet頻域分解圖和DFB分解后各尺度方向示意圖參見圖2和圖3.

圖2 Contourlet頻域分解圖Fig.2 Contourlet frequency domain decomposition

圖3 DFB分解后各尺度方向Fig.3 DFB after decomposition scale direction

由LP變換分解得到的帶通圖像傳遞給DFB后能獲得不同方向上的子帶圖像，因此，圖像經過迭代Contourlet變換便可得到多個尺度多個方向上的子帶圖像.同時也因為Contourlet變換可以將多尺度分解和多方向分解分開進行，因此Contourlet變換可以實現圖像在多尺度上的多方向分解.進一步分析可知，Contourlet變換具有更好的多分辨率、局域性、多方向性以及各向異性等特點，能更有效地捕獲圖像的邊緣輪廓信息.圖4和圖5分別給出了圖像Contourlet變換的示意圖和實際圖像的分解子帶情況.

圖4 Contourlet變換示意圖Fig.4 Schematic diagram of Contourlet transform

圖5 實際圖像Contourlet分解示例圖Fig.5 Schematic diagram of Contourlet transform of real image

2 基于Contourlet直方圖的MeanShift跟蹤算法

2.1 Contourlet直方圖的計算

Contourlet變換的基函數分布在不同尺度不同方向上，這樣少量的變換系數便可以有效地獲取圖像的邊緣輪廓信息特征[7-9].為了增強交通視頻車輛在復雜場景下跟蹤算法的魯棒性和抗干擾性，本文采用文獻[10]中的Contourlet直方圖計算方法獲取跟蹤目標的特征，具體過程如下：

Step 1 將交通圖像進行2級和3級LP Contourlet分解，獲取不同尺度下的4幅和8幅子圖(共12幅，參見圖6)；

圖6 交通視頻圖像的2層Contourlet分解Fig.6 Two layer Contourlet decomposition of traffic video image

Step 2 計算每幅子圖系數矩陣W的絕對值獲得能量E，并據此對不同尺度Contourlet分解的子帶調整排列順序，選取同尺度下能量最大的子圖排在第一幅，其他子帶按順時針依次循環序列，形成2個尺度下的子帶輸出順序；

Step 3 利用每幅子圖W的能量均值e對其進行量化，獲得0/1量化矩陣I：

(1)

通過上述采樣獲得大小相同的能量矩陣.

Step 4 將每幅子圖相對本子圖相同存儲位置點的(0/1)合成12位二進制數，通道0～3為2級Contourlet分解產生的4幅子圖，4～11為3級Contourlet分解所產生的8幅子圖.

Contourlet直方圖生成方法[10]如圖7所示，其中T為數據0/1的量化.

圖7 Contourlet直方圖的構造示意圖Fig.7 Contourlet histogram structure diagram

2.2 基于Contourlet直方圖的輪廓區域的確定

傳統的MS跟蹤算法利用顏色直方圖提取跟蹤目標的特征，但顏色直方圖僅僅統計候選區域的圖像像素色彩特征，并未包含其他的紋理特征，而顏色直方圖極易將圖像噪聲的顏色作為目標的特征加入統計中，因此對目標候選區域的確定有一定的干擾.本文利用Contourlet直方圖統計目標的紋理特征和亮度特征[11]來提高對目標候選區域確定的抗干擾性.具體目標候選區域的確定過程如下:

Step 1 將原交通視頻RGB圖像轉換為HSV圖像，提取HSV圖像的V通道分量；

Step 2 采用Contourlet直方圖提取目標的紋理特征(目標的輪廓)，即利用2.1節獲得的Contourlet變換子圖量化后組成矩陣，對目標候選區域模型進行建模[12]，即確定目標候選區域的Contourlet直方圖qu(x0,h)(u為矩陣中元素的值)：

(2)

(3)

x0為矩陣的中心坐標，xi為矩陣中第i個元素的坐標；h為模板的大小，nh為模板中元素的個數；t(xi)為目標模型矩陣；C為歸一化參數；k(x)為高斯核函數.

Step 3 對目標模型做反向投影操作，將目標模型的紋理特征和亮度特征融合，求得目標模型特征值的概率密度分布直方圖.在概率密度分布直方圖中，峰值越大，與目標區域越接近.這樣峰值大且密集的區域即為目標模型的輪廓區域.

2.3 基于Kalman濾波的相似性函數計算

Kalman濾波[13]是一種空間狀態估計方法，通過跟蹤目標動態特性的線性關系來預測和校正它的實時位置.Kalman濾波可以按照式(4)估計候選區域的相似性函數：

(4)

在交通視頻序列中，跟蹤目標的位置為(x,y)，并且按照式(4)進行實時計算.假設Q是初始狀態時平均值為0、方差為0.5的高斯噪聲的協方差矩陣.那么當前狀態模型矩陣為

(5)

(6)

用矩陣Φ、H作為視頻序列中跟蹤目標的參數對Kalman濾波進行初始化.

2.4 目標的搜索策略

假設候選對象位于y，則目標模板可以描述為[14]

(7)

有關符號的說明參見2.2節.

將2.3節中Kalman濾波計算的相似性計算結果迭代入式(7)中，求出與qu最接近的pu的值，即為目標模型的最佳中心位置.

MeanShift跟蹤算法利用概率密度的梯度上升來尋找局部最優[15].針對選取的跟蹤目標的區域范圍，根據其反向投影概率圖進行MeanShift迭代，實現目標的跟蹤.

3 實驗結果與分析

實驗的運行環境為：Window專業版，處理器Intel(R)Core(TM)i5-3470 CPU@3.20Ghz 3.20 GHz，內存4 G.實驗平臺Visual Studio 2013+OpenCV-3.1.0.

圖8～圖10給出了復雜場景下各算法對目標車輛的跟蹤情況，表1給出了各算法跟蹤目標的位置坐標.

圖8 傳統MS跟蹤算法結果Fig.8 The tracking result of traditional MS algorithm

圖9 基于Kalman濾波的MS跟蹤算法結果Fig.9 The tracking result of the MS algorithm based on Kalman filter

圖10 基于Contourlet直方圖的MS跟蹤算法結果Fig.10 The tracking result of the MS algorithm based on Contourlet histogram

從圖8～圖10及表1可以看出在復雜場景下的交通視頻車輛跟蹤中，傳統的MS算法的抗干擾性較差，而基于Contourlet直方圖的MeanShift交通視頻車輛目標跟蹤算法的抗干擾性較好.跟蹤目標在復雜場景中不易丟失.

表1 目標位置與各算法的跟蹤窗口中心位置的對比

圖11～圖13對遼寧省大連市西崗區的交通視頻進行跟蹤的結果.可以看出，對復雜場景本文算法具有較好的穩定性和抗干擾性.

圖11 傳統MS跟蹤算法結果Fig.11 The tracking result of traditional MS algorithm

圖12 基于Kalman濾波的MS跟蹤算法結果Fig.12 The tracking result of the MS algorithm based on Kalman filter

圖13 基于Contourlet直方圖的MS跟蹤算法結果Fig.13 The tracking result of the MS algorithm based on Contourlet histogram

4 結束語

針對MeanShift算法在復雜場景下交通視頻車輛跟蹤中存在極易丟失跟蹤目標的問題以及跟蹤窗口大小不穩定的缺陷，將Kalman濾波算法以及Contourlet直方圖引入到MeanShift跟蹤算法中，提出一種基于Contourlet直方圖的MeanShift交通視頻車輛目標跟蹤算法.仿真實驗表明所提出的算法對復雜環境具有較好的魯棒性.

致謝 感謝大連市公安局交通警察支隊西崗區交通大隊所提供的實驗視頻支持.

[1] FUKUNAGA K, HOSTERLER L. The estimation of the gradient of a density function with application in pattern recognition[J].IEEE Trans Information Theory,1975,21(1):32-40

[2] CHENG Y. MeanShift, mode seeking, and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.

[3] DO M N ,VETTERLI M. Wavelet-based texture retrieval using generalized Gaussian density and Kullback-Leibler distance[J]. IEEE Trans Image Proc,2002,11(2):146-158.

[4] DUNCAN D Y P,MINH N D. Directional multiscale modeling of images using the Contourlet transform[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2006,15(6):1610-20.

[5] 吳莉,梅雪,林錦國.基于Cntourlet變換和KFD的相似目標特征提取[J].計算機工程與設計,2011,32(1):240-243.

[6] 王相海,陳明瑩,宋傳鳴，等.帶方向特征的Contourlet HMT模型[J].中國科學(信息科學),2013,43(5):626-643.

[7] 郭文婷,蔡念.基于Contourlet直方圖的目標跟蹤算法[J].激光與紅外,2012,42(10):1177-1180.

[8] 周妍,李慶武,霍冠英.基于非下采樣Contourlet變換系數直方圖匹配的自適應圖像增強[J].光學精密工程,2014,22(8):2214-2222.

[9] 馬文佳,曲仕茹.基于非下采樣Contourlet變換的交通圖像融合方法研究[J].交通運輸系統工程與信息,2010, 10(6):48-52.

[10] 田小忱,楊東,杜春華.綜合顏色和Contourlet直方圖的圖像檢索方法[J].計算機工程，2010,36(1):224-227.

[11] 韓敏,侯榆青,張海波,等.綜合Contourlet變換和顏色特征的圖像檢索算法[J].小型微型計算機系統,2012,33(6):1288-1292.

[12] 傅薈璇,王宇超,孫楓.融合Kalman濾波的自適應帶寬MeanShift算法[J].中南大學學報(自然科學版),2011，42(1):784-788.

[13] KULKARNI A, VARGANTWAR M.Video based tracking with Mean Shift and Kalman filter[J].International Journal of Engineering Research & Technology (IJERT),2014,3(5):1271-1274.

[14] 張鳳軍,趙嶺,安國成,等.一種尺度自適應的MeanShift跟蹤算法[J].計算機研究與發展,2014,51(1):215-224.

[15] 劉陽,王忠立,蔡伯根.復雜環境基于多信息融合的車輛跟蹤方法[J].交通運輸系統工程與信息，2015,15(6):74-81.

Video vehicle tracking algorithm based on Contourlet and MeanShift

WANGXianghai,LIUMeiyao,SUYuanhe,FANGLingling,SONGChuanming

(School of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)

Based on Contourlet Histogram,the paper proposed a new traffic video tracking algorithm of MeanShift.First of all,using Contourlet transform to achieve the textural feature and contour of the tracking object in the region of interest from traffic video,and using histogram to count tracking object's textural characteristics.Then,calculate the correlation function of tracking object curve with Kalman filter.Finally,iterate the computing result to MeanShift tracking algorithm to select the optimal estimate,and then realize the accurate location of traffic video vehicles in complex scenes.By MeanShift of traditional tracking algorithm with MeanShift tracking algorithm based on Kalman filter comparing, we find shows that this algorithm not only can effectively track the video vehicle in complex scenes, but also has good stability and anti-jamming.

Contourlet histogram;MeanShift tracking algorithm;Kalman filter;texture feature；complex scenes

2017-01-23

國家自然科學基金資助項目(41671439；41402214)；高等學校博士學科點專項科研基金資助項目(20132136110002)

王相海(1965-)，男，吉林汪清人，遼寧師范大學教授,博士,博士生導師,CCF高級會員.

1000-1735(2017)02-0192-07

10.11679/lsxblk2017020192

TP391

A