結構化預測的車輛聯合檢測與跟蹤方法

任亞婧 張宏立

摘 ?要： 為了對道路車輛進行流量的統計與監控跟蹤，提出一種聯合檢測與跟蹤思想的方法。該方法利用初始分割時產生的目標數量的沖突集描述分割階段產生的錯誤以及遮擋問題，并通過建立車輛近鄰關聯事件和與之對應的關聯標簽變量， 將汽車監控跟蹤建模為一個結構化預測問題，利用相應的關聯標簽變量建立全局目標函數，從而將車輛跟蹤問題轉化為一個通過求解帶約束的整數規劃問題，最后求解得到車輛軌跡的全局最優解。

關鍵詞： 交通監控; 隨機森林分類器; 聯合檢測跟蹤; 整數規劃; 結構化預測; 支持向量機

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）15?0029?04

Vehicle joint detection and tracking with structural prediction

REN Yajing， ZHANG Hongli

（School of Electrical Engineering， Xinjiang University， Urumchi 830002， China）

Abstract： A joint detection and tracking method for traffic statistics and monitoring tracking of vehicles on road is proposed. In this method， the errors and occlusion problems produced in the segmentation stage are described by using the conflict set of the number of targets in the initial segmentation. The vehicle monitoring and tracking is modeled as a structural prediction mode by establishing the vehicle adjacent correlation event and the associated label variable corresponding to the event， and the global objective function is established by the corresponding associated label variables， so as to transform the vehicle tracking problem into an integer programming problem with constraint. The global optimal solution of vehicle trajectory is obtained.

Keywords： traffic monitoring; random forest classifier; joint detection tracking; integer programming; structural prediction; support vector machine

多目標跟蹤技術是智能視頻監控系統的核心。文獻[1]提出一種基于時變濾波算法的多目標概率假設密度（PHD）濾波器，該算法有較好的實時性但在解決遮擋問題中還有待提高;文獻[2]利用目標的融合特征在線學習判別性外觀模型，再將判別性外觀模型引入到基于目標多級關聯的多目標跟蹤框架中，該方法能有效監測跟蹤目標，但存在欠分割與過分割的問題。此外還有CT[3]（Compressive Tracking）、TLD[4]（Tracking?Learning?Detection）、DFT[5]（Distribution Fields Tracker）、DLT[6]（Deep Learning Tracker）等方法。

1 ?預處理

1.1 ?前景目標分割

選取頻幀訓練二值隨機森林分類器[7]，選取高斯差分、Hessian值、像素灰度值以及梯度值的特征進行訓練。初始分割的結果如圖1所示。

圖1 ?初始分割圖

將所得到的前景圖像利用Sobel算子進行目標圖像的邊緣提取，然后利用邊緣數據進行多邊形擬合[8]，尋找邊緣圖像中多邊形連接的邊緣角度較大的拐點，并用這些斷點將邊緣分類為不同單元的輪廓以解決車輛前后遮擋的問題，如圖2所示。

圖2 ?生成目標集合

1.2 ?產生車輛目標的數量沖突集

對目標矩形擬合，生成矩形目標[Cj]，[j=1，][2，…，2k-1]。規定每個單元輪廓至多只能被使用1次，對于一個前景區域可以構造出[k]個矛盾橢圓集合[Mr]，[r=1，2，…，k]，其中，[Mr]由包含了第[r]段單元輪廓的所有組合輪廓對應的橢圓構成，以三個相互遮擋車輛為例，對每個輪廓（[a1]，[a2]，[a3]）可能存在的目標進行邏輯賦值，1代表目標存在，0代表目標不存在，則可能存在的目標的邏輯表示如表1所示。

表1 ?可能存在目標的邏輯表示

2 ?聯合檢測跟蹤

2.1 ?車輛近鄰關聯事件與關聯標簽

首先，定義時刻[t]圖像經過預處理后分割得到的前景圖像中目標集合為[Ci] ，并定義目標集合[Ci]中的兩兩相鄰的目標為一個目標對，從而得到目標對集合 [Pβ]。[Pβ]可以有效描述車輛近鄰關聯事件中的分離和合并事件。根據車輛之間的關系定義移動、合并、分離、出現、消失，如圖3所示。

2.2 ?全局約束

將關聯標簽組合成[N]維向量[Lnum]，[N]為所有關聯標簽的數目，num指的是事件的編號。組成的向量[Lnum]滿足如下條件：

1） 任何一個車輛目標每個可能發生的近鄰關聯事件的關聯標簽的數量都要滿足在相鄰幀中的相等關系，即：

式中：（1）代表遷移;（2）代表合并;（3）代表分離;（4）代表出現;（5）代表消失;[R1j] 和[R2j] 分別代表車輛目標[Cj]的鄰近車輛目標集合和鄰近目標對集合。

2） 一個車輛目標在相鄰幀中只能滿足一個事件的發生條件，即：

3） 在車輛目標數量沖突集中，最多只能有一個目標的值為1，即：

通過分析得到車輛目標的事件關聯標簽滿足的條件后，便可以定義全局約束向量[L]滿足的關系式，即：

以上關系式均滿足車輛在道路中行駛事件的基本發生規律。

圖3 ?目標集合、目標對和車輛臨近事件

2.3 ?全局目標

圖像序列中車輛行駛的每一種軌跡都能與關聯標簽[L]的一種取值相對應，所以目的就是找到與目標跟蹤軌跡最匹配的關聯標簽[L*]即可。因此定義內積[fnum#，ωnum]來描述近鄰關聯事件的匹配度，其中[fnum#]是從圖像中提取的近鄰關聯事件的特征向量，[ωnum] 是從訓練樣本中學習到的各個事件的參數向量，num指的是事件的編號，至此得到如下關系式：

由式（6）可以定義出從特征空間到標簽空間的預測函數[?ω：X→L]，函數中包含參數[ω∈RD]，其中，[D]為參數的個數。使用整數規劃求解器yalmip[9]中的線性規劃（linprog）工具包求解。

2.4 ?參數學習

將特征與相應的事件標簽關聯，給定[N]個與特征關聯的訓練樣本，樣本集合記為[fN，LN]。

應用結構風險最小化支持向量機算法[10]對參數[ω]進行訓練。首先引入一個期望風險的經驗估計，并定義損失函數為真實關聯事件標簽[L]和預測標簽的關聯事件[L=?ωf]的漢明距離：

3 ?實驗及討論

實驗給出部分跟蹤結果，從跟蹤結果中可以看出，本文算法在車輛發生遮擋時依舊能穩定跟蹤，如圖4所示。

如圖5所示為采用中心位置誤差作為跟蹤算法的精度指標、采用成功率和精度作為跟蹤算法的有效性指標。本文算法精度與成功率與其他4種算法相比均為最優，在道路復雜環境下對車輛識別有較強的優勢。

4 ?結 ?語

本文提出一種基于聯合檢測與跟蹤思想的方法對道路車輛進行流量的統計與監控跟蹤，該方法將檢測階段的信息傳遞到跟蹤階段，將汽車監控跟蹤建模為一個結構化預測問題。通過對比試驗的結果表明，該方法相對于主流的跟蹤方法能更有效地結合檢測與跟蹤階段的車輛信息，從而對分割階段產生的欠分割以及過分割現象進行修正，有效地避免了將檢測階段產生的錯誤信息引入到跟蹤階段中，充分利用車輛行駛時軌跡連接的信息進行預測和學習，提高了識別跟蹤的準確性。

圖5 ?測試結果的精度曲線和成功率曲線

參考文獻

[1] 吳鑫輝，黃高明，高俊.未知探測概率下多目標PHD跟蹤算法[J].控制與決策，2014，29（1）：57?63.

WU Xinhui， HUANG Gaoming， GAO Jun. Multi?target PHD tracking algorithm under unknown detection probability [J]. Control and decision， 2014， 29（1）： 57?63.

[2] 黃奇，項俊，侯建華，等.聯合特征融合和判別性外觀模型的多目標跟蹤[J].中國圖象圖形學報，2015，20（9）：1188?1198.

HUANG Qi， XIANG Jun， HOU Jianhua， et al. Joint feature fusion and discriminatory appearance model multi target tracking [J]. Chinese image graphics， 2015， 20（9）： 1188?1198.

[3] CHEN T， SAHLI H， ZHANG Y， et al. Improved compressive tracking based on pixelwise learner [J]. Journal of electronic imaging， 2018， 27（1）： 1?5.

[4] TIAN Y， DENG L， LI Q. A KNN match based tracking?learning?detection method with adjustment of surveyed areas [C]// International Conference on Computational Intelligence and Security. Hangzhou： IEEE， 2018： 447?451.

[5] WANG Y， CHEN H， LI S， et al. Object tracking by color distribution fields with adaptive hierarchical structure [J]. Visual computer， 2017， 33（2）： 235?247.

[6] WANG N Y， YEUNG D. Learning a deep compact image representation for visual tracking [C]// Proceedings of Advances in Neural Information Processing Systems. Nevada： NIPS Press， 2013： 809?817.

[7] 張乾.基于隨機森林的視覺數據分類關鍵技術研究[D].廣州：華南理工大學，2016.

ZHANG Qian. Research on key technologies of visual data classification based on random forests [D]. Guangzhou： South China University of Technology， 2016.

[8] 王彥芳，馮琦，鄧秀劍.基于幾何差異的目標識別算法[J].計算機測量與控制，2016，24（7）：156?158.

WANG Yanfang， FENG Qi， DENG Xiujian. Object recognition algorithm based on geometric difference [J]. Computer measurement and control， 2016， 24（7）： 156?158.

[9] ZHANG X， FAN X F， WU L G. Reduced?and full?order observers for delayed genetic regulatory networks [J]. IEEE tran?sactions on cybernetics， 2018， 48（7）： 1989?2000.

[10] LOU Zhongyu， ALNAJAR F， ALVAREZ J M， et al. Expression?invariant age estimation using structured learning [J]. IEEE transactions on pattern analysis & machine intelligence， 2018， 40（2）： 365?375.

[11] HARE Sam， GOLODETZ Stuart， SAFFARI Amir， et al. Struck： structured output tracking with kernels [J]. IEEE transactions on pattern analysis & machine intelligence， 2016， 38（10）： 2096?2109.

[12] KHALID S S， ABRAR S. A low?complexity interacting multiple model filter for maneuvering target tracking [J]. AEU?international journal of electronics and communications， 2017， 73： 157?164.

[13] YOUNG Shin Ahn， AHMED Mohammed， JAE Ho Choi. Mo?ving object tracking using multiple views and data association [J]. Applied mechanics and materials， 2014， 666： 226?229.