基于增強Tiny YOLOV3算法的車輛實時檢測與跟蹤

劉 軍，后士浩，張 凱，張 睿，胡超超

?

基于增強Tiny YOLOV3算法的車輛實時檢測與跟蹤

劉 軍，后士浩，張 凱，張 睿，胡超超

（江蘇大學汽車與交通工程學院，鎮江 212013）

針對深度學習方法在視覺車輛檢測過程中對小目標車輛漏檢率高和難以實現嵌入式實時檢測的問題，該文基于Tiny YOLOV3算法提出了增強Tiny YOLOV3模型，并通過匈牙利匹配和卡爾曼濾波算法實現目標車輛的跟蹤。在車載Jetson TX2嵌入式平臺上，分別在白天和夜間駕駛環境下進行了對比試驗。試驗結果表明：與Tiny YOLOV3模型相比，增強Tiny YOLOV3模型的車輛檢測平均準確率提高4.6%，平均誤檢率減少0.5%，平均漏檢率降低7.4%，算法平均耗時增加43.8 ms/幀；加入跟蹤算法后，本文算法模型的車輛檢測平均準確率提高10.6%，平均誤檢率減少1.2%，平均漏檢率降低23.6%，平均運算速度提高5倍左右，可達30幀/s。結果表明，所提出的算法能夠實時準確檢測出目標車輛，為卷積神經網絡模型的嵌入式工程應用提供了參考。

車輛；機器視覺；模型；車輛檢測；車輛跟蹤；Tiny YOLOV3算法；卡爾曼濾波

0 引 言

研究表明，駕駛員的駕駛行為是引發交通事故的主要因素[1]，因此通過車載視覺傳感器進行實時準確的車輛目標檢測與跟蹤，并在此基礎上對車輛目標進行測距有利于發現潛在危險，從而及時向駕駛員發出警告或采取主動控制車輛制動、轉向等措施以避免交通事故的發生[2-4]。車輛檢測與跟蹤是實現智能車輛和高級駕駛輔助系統環境感知的重要環節。

近年來國內外對車輛檢測和跟蹤算法的研究取得了一些進展，主要表現在基于卷積神經網絡的車輛檢測算法[5-7]和基于相關濾波的車輛跟蹤算法[8-9]。Girshick等[10-12]提出了一系列基于卷積神經網絡的通用目標檢測算法，從區域提名、特征學習和構建分類器的三步法改進到基于anchor-box的端到端檢測方法，在視覺目標檢測領域取得了具有突破性意義的研究成果，例如Yang等[13]、宋煥生等[14]基于文獻[12]中Faster R-CNN卷積神經網絡提出了針對道路車輛的檢測方法。李琳輝等[15]提出了一種基于車底陰影自適應分割算法的卷積神經網絡分類候選分割區域的車輛檢測方法。Lee等[16]提出了一種基于多尺度特征選擇的卷積神經網絡和Adaboost分類器的車輛檢測方法。劉軍等[17]提出了一種利用Haar-like特征訓練的Adaboost級聯分類器識別前方車輛并通過卡爾曼濾波算法對檢測的車輛進行實時跟蹤的方法。Danelljan等[18-19]提出了一系列基于判別相關濾波器先估計目標的最佳位置，再估計目標尺度的跟蹤算法，對存在大尺度變化的目標取得了較好的跟蹤效果。紀筱鵬等[20]提出了一種融合車輛輪廓拐點特征信息的擴展卡爾曼濾波車輛跟蹤方法，改善了存在重疊遮擋時的車輛跟蹤效果。

上述車輛檢測和跟蹤算法，一方面，基于深度學習的視覺車輛檢測方法尤其是卷積神經網絡，檢測精度取得了很大提高[21]，但由于車輛檢測算法的復雜性往往需要利用昂貴的計算資源才可以實現實時檢測，成為深度車輛檢測算法商業化的瓶頸[22]。另一方面，車輛跟蹤算法通常利用初始化的車輛位置估計車輛狀態或者建立表觀模型預測在連續視頻幀中該車輛出現的位置，降低了每幀車輛檢測的耗時，而面對復雜多變的交通環境，如車輛的快速移動、光照變化、道路環境干擾以及車輛在不同距離時的尺度變化等，使得車輛跟蹤算法的魯棒性面臨挑戰[23]。因此，如何實現實時魯棒的車輛檢測跟蹤算法是一個亟需解決的工程問題。

針對車輛檢測跟蹤算法實時性和準確性難以兩全的矛盾，本文在Tiny YOLOV3算法基礎上提出了增強Tiny YOLOV3模型，在刪減卷積層參數的同時，有效增強網絡中小目標的語義信息，結合車輛檢測框與跟蹤框的重疊度（intersection-over-union，IoU）和匈牙利匹配算法提出卡爾曼濾波車輛跟蹤算法，并將融合的檢測跟蹤算法在NVIDIA Jetson TX2嵌入式開發板上搭建實車試驗平臺，對本文提出的車輛檢測和跟蹤方法進行驗證試驗，以期實現實時車輛檢測跟蹤，有效緩解車輛檢測跟蹤的實時性和準確性矛盾。

1 車輛檢測算法

1.1 Tiny YOLOV3模型簡介

YOLO、YOLOV2和YOLOV3算法是Joseph等[24-26]提出的通用目標檢測模型，Tiny YOLOV3是YOLOV3模型的簡化，并且融合了最新的特征金字塔網絡[27]（feature pyramid networks，FPN）和全卷積網絡[28]（ fully convolutional networks，FCN）技術，模型結構更簡單，檢測精度更高。

Tiny YOLOV3算法模型網絡主要由卷積層和池化層構成，如圖1所示，網絡中層的命名規則由其類別和在網絡中第幾次出現的編號構成，例如conv5表示網絡中的第5個卷積層，maxpool1表示網絡中的第1個最大池化層，upsample1表示網絡中的第1個上采樣層，網絡中每層的輸出特征圖尺寸表示為“分辨率寬×分辨率高×通道數”，“＋”表示特征圖在通道維度的連接（concatenate）操作，“●”表示上采樣（upsample）操作。池化層是一種圖像下采樣操作，雖然會減少卷積特征層的參數，加快模型運算速度，但是會對上一層的卷積特征圖造成語義信息的損失。另一方面，淺層的卷積特征感受野包含的背景噪聲小，對小目標具有更好的表征能力。另外，當目標被遮擋時，只存在目標的局部特征，由于淺層的卷積層通常對目標的局部或者小目標較為敏感，因此需要增加網絡淺層的特征輸出層，同時增加目標局部特征學習的樣本，從而加強對遮擋目標和小目標的識別能力。

圖1 Tiny YOLOV3模型的網絡結構 Fig. 1 Network architecture of Tiny YOLOV3 model

1.2 增強Tiny YOLOV3模型

為了進一步說明Tiny YOLOV3模型由于沒有合理利用網絡淺層輸出的特征信息而導致檢測層對小目標不敏感的現象，以分辨率為416×416像素大小的輸入圖片數據為例，對網絡中淺層卷積特征圖的結構進行了研究，并分別對conv3、conv4和conv5層的感受野進行了可視化[29]，如圖2所示。由圖2可知，conv4層包含表征小目標更有效的語義信息，而conv3層感受野太小，不能表征圖2a中的車輛目標，conv5層則感受野太大，包含過多的背景噪聲干擾，不利于小目標車輛的表征。

因此，為了強化Tiny YOLOV3模型淺層的卷積特征，提高上下層的語義信息和小目標的檢測性能，同時為了更好的利用conv4層包含的語義信息，對Tiny YOLOV3模型的網絡結構進行改進，將Tiny YOLOV3模型的maxpool3層修改為conv4層，增加conv5層將conv4層的特征通道維度壓縮以減少無效參數；同時在Tiny YOLOV3模型的基礎上增加一層上采樣層upsample2，將conv6和upsample2在通道維度上進行連接操作，作為特征金字塔的一個特征圖層，特征金字塔網絡由原來的13×13和26×26像素變成13×13、26×26和52×52像素的3層結構。圖3為增強Tiny YOLOV3模型結構，網絡層的命名規則與圖1一致。

a. 輸入圖像b. 卷積層3的增強感受野 a. Input imageb. Receptive field of conv3 c. 卷積層4的增強感受野d. 卷積層5的增強感受野 c. Receptive field of conv4d. Receptive field of conv5

圖3 增強Tiny YOLO V3模型的網絡結構Fig.3 Network structure of enhancement-Tiny YOLO V3 model

改進之后，新增的conv18層上需要生成車輛目標候選框，與Tiny YOLOV3算法相同，可通過k-means聚類算法確定anchor個數并生成新的anchor尺寸，圖4為平均重疊度隨著聚類數變化的關系曲線。由圖4可知，隨著聚類數的增大，平均重疊度逐漸增大，但是當聚類數大于9之后，平均重疊度上升很小而基本趨于穩定，因此增強Tiny YOLOV3模型采用9個anchor，并通過-means算法確定相應的尺寸。

增強Tiny YOLOV3和Tiny YOLOV3模型對圖2a車輛的檢測效果對比如圖5所示。由圖5可知，增強Tiny YOLOV3模型成功檢測出右后方被沙石遮擋的小汽車，而Tiny YOLOV3模型漏檢了該目標，結果與圖 2一致。

a. Tiny YOLOV3模型b. 增強Tiny YOLOV3模型 a. Tiny YOLOV3 modelb. Enhanced Tiny YOLOV3 model

2 基于車輛檢測的跟蹤算法

2.1 基于IoU的匈牙利匹配算法

圖6為車輛檢測和跟蹤包圍框示意圖。如圖6所示，矩形框表示車輛檢測包圍框，矩形框表示車輛跟蹤包圍框，跟蹤框和檢測框的重疊度由式（1）表示，重疊度越接近1，說明檢測框和跟蹤框的重疊度以及相關性越大。

式中S表示面積，下標表示包圍框，即表示包圍框EHDP的面積。

匈牙利匹配算法根據IoU的先驗關系建立車輛檢測包圍框與車輛跟蹤包圍框之間的匹配對應關系，由式（2）表示。

式中thresh為試驗中確定的經驗值，用于去除相關性很低的檢測框和跟蹤框之間的匹配。

2.2 基于卡爾曼濾波算法的車輛跟蹤

卡爾曼濾波算法是一種自回歸優化算法，廣泛運用于動態測量系統中。視頻流中的車輛檢測通常存在著包圍框的跳動、車輛漏檢和誤檢等問題，因此本文運用卡爾曼濾波相關理論對車輛跟蹤進行優化。由于車載攝像機滿足高幀率，視頻序列之間車輛目標的位置變化很小,可視為勻速運動[30]。因此假設視覺車輛檢測跟蹤系統隨時間變化是線性相關的，滿足式（4）和（5）。

1）預測部分：根據系統的車輛檢測包圍框，當連續min幀及以上檢測出該目標時，說明該目標是非誤檢車輛，需要根據車輛檢測包圍框坐標預測對應的車輛跟蹤包圍框坐標和其協方差矩陣，由式（6）和（7）表達。

2）更新部分：當系統中建立了車輛檢測包圍框和跟蹤包圍框的匹配關系且連續丟失的車輛檢測目標不超過max幀，說明車輛目標沒有真正丟失，需要對車輛跟蹤包圍框的坐標及其協方差矩陣進行每幀更新，由式（8）～（10）表達。

3 車輛檢測跟蹤效果驗證與分析

通過搭建一個實車試驗平臺，驗證本文提出的車輛檢測和跟蹤方法。試驗設備主要包括奧迪試驗車、12 mm焦距鏡頭、OV10635芯片的USB攝像頭、Jetson TX2開發板和顯示屏，其中Jetson TX2為試驗平臺的處理核心。如圖7所示，攝像頭安裝在車內后視鏡位置。

外界環境的穩定情況直接影響著測量精度和數據的可靠性。因此，在實際測量過程中，應盡可能控制好外界條件，避免外界干擾，建議采取的措施有：(1)避開衛星周期性的誤差影響，選取信號強的時間段進行測量；(2)選取適宜的天氣進行測量，降低氣候變化、溫差變化、大風大雨等天氣對測量的影響；(3)使用穩定性強的電源進行設備供電，同時配備備用電源，謹防電源電壓不穩對測量精度產生不必要的影響。

圖7 實車試驗平臺 Fig. 7 Real vehicle test platform

在車輛檢測方面，本文中的車輛目標包含所有類型的轎車、卡車以及公共汽車等機動車輛，通過安裝在試驗車前方、側方以及后方的車載攝像機采集江蘇省各市區和高速道路交通的行駛視頻，并通過智能標注方法建立如圖8所示的訓練數據集，分為白天和夜晚2種主要場景，總共50 000張圖片，通過基于Tensorflow后端的Keras框架實現增強Tiny YOLOV3和Tiny YOLOV3模型，并通過配有NVIDIA GTX 1060顯卡的計算機訓練出增強Tiny YOLOV3和Tiny YOLOV3模型的權重，根據網格搜索算法設置網絡中的最優超參數為初始學習率0.001，權重衰減系數為0.000 5，訓練策略采用動量項為0.9的動量梯度下降算法，訓練過程中使用與Tiny YOLOV3相同的圖像擴充方法以及多尺度訓練策略。

a. 夜晚前車b. 白天前車 a. Preceding vehicles at nightb. Preceding vehicles in daytime c. 夜晚相鄰車輛d. 白天相鄰車輛 c. Adjacent vehicles at nightd. Adjacent vehicles in daytime

在車輛跟蹤方面，試驗中根據網格搜索算法設置經驗參數的最優值分別為min=2，max=8，thresh=0.3，式（11）～（12）為跟蹤系統的參數矩陣和初始化值。

Algorithm vehicle tracking Inputs: Initialize: For to : For : where If where : Add to Remove from Else if where : Add to Remove from For and and : Start new track with and insert into For : Add to Return

在白天和夜間分別進行了8組試驗，試驗中TN的值設為10 000，分別計算Tiny YOLOV3車輛檢測模型、增強Tiny YOLOV3車輛檢測模型以及本文車輛檢測跟蹤算法模型（融合算法模型）的評價指標值，結果如表1所示。由表1可知，與Tiny YOLOV3車輛檢測模型相比，增強Tiny YOLOV3車輛檢測模型的平均準確率提高了4.6%，平均誤檢率減少了0.5%，平均漏檢率降低了7.4%，算法平均耗時增加了43.8 ms/幀。增強Tiny YOLOV3模型通過淺層輸出的特征金字塔層增加了候選框的數量，所以網絡的漏檢率指標得到了顯著改善，同時伴隨著淺層特征的強化和利用，提高了模型的平均準確率，但增加了計算量，所以提升車輛檢測性能的同時增加了算法的平均耗時，這也為下一步本文車輛檢測跟蹤算法模型的運用創造了良好的條件。在增強Tiny YOLOV3車輛檢測模型基礎上加入本文跟蹤算法之后，相比Tiny YOLOV3車輛檢測模型，本文的融合算法模型平均準確率提高了10.6%，漏檢率降低了23.6%，且誤檢率降低了1.2%，誤檢主要有2方面原因，一是由于沒有連續2幀出現誤檢而真正減少了檢測器的誤檢，二是跟蹤過程中在車輛真正消失的時候，車輛的跟蹤圖像沒有被及時刪除而造成誤檢，2個因素疊加在一起，本文融合算法的誤檢率仍然降低了1.2%，相對于Tiny YOLOV3車輛檢測模型的運算速度提升顯著，平均運算速度為33.4 ms/幀，比Tiny YOLOV3車輛檢測模型的運算速度快5倍左右，可達30幀/s。

表1 不同車輛檢測與跟蹤模型的性能對比Table 1 Performance comparison between different vehicle detection and tracking models

注：M為平均準確率，%；M為平均誤檢率，%；M為平均漏檢率，%；M為平均運算速度，ms·幀-1。

Note:Mis the mean precision rate, %;Mis the mean detection error rate, %;Mis the mean missing detection rate, %;Mis the mean operation speed, ms·幀-1.

圖9為增強Tiny YOLOV3模型與Tiny YOLOV3模型對實際交通環境車輛的檢測效果對比，可以看出增強Tiny YOLOV3模型對小目標車輛具有更好的檢測效果。

a. 原圖1 a. Raw image 1b. 原圖2 b. Raw image 2c. 原圖3 c. Raw image 3d. 原圖4 d. Raw image 4 e. Tiny YOLOV3模型檢測結果1e. Detection result 1 of Tiny YOLOV3f. Tiny YOLOV3模型檢測結果2 f. Detection result 2 of Tiny YOLOV3g. Tiny YOLOV3模型檢測結果3g. Detection result 3 of Tiny YOLOV3h. Tiny YOLOV3模型檢測結果4h. Detection result 4 of Tiny YOLOV3 k. 增強 Tiny YOLOV3檢測結果1k. Enhanced Tiny YOLOV3 result 1l. 增強 Tiny YOLOV3檢測結果2 l. Enhanced Tiny YOLOV3 result 2m. 增強 Tiny YOLOV3檢測結果3m. Enhanced Tiny YOLOV3 result 3n. 增強 Tiny YOLOV3檢測結果4n. Enhanced Tiny YOLOV3 result 4

圖10為本文車輛檢測跟蹤模型的應用效果，第一列為原圖，第二列為增強Tiny YOLOV3模型的車輛檢測效果圖，第三列為本文融合算法模型的檢測效果圖，可以看出當增強Tiny YOLOV3模型出現漏檢和誤檢時，本文融合算法模型可以根據一定的置信度估計車輛目標的位置，減少誤檢和漏檢現象，在視頻序列的車輛檢測中具有更好的連續穩定性能。

a. 原圖b. 增強Tiny YOLOV3模型c.本文模型 a. Raw imageb. Enhanced Tiny YOLOV3 modelc. Model in this paper

進一步分析可知，增強Tiny YOLOV3模型的性能主要受以下幾個因素影響：

1）交通環境的影響。實際行駛過程中的目標車輛經常會出現部分遮擋和光照變化等情形，雖然本文模型對較小和部分遮擋的目標車輛檢測提出了改進，但是對于光照嚴重不足和遮擋面積很大的目標車輛可能會出現漏檢。

2）檢測模型的影響。增強Tiny YOLOV3模型是在Tiny YOLOV3模型基礎上改進的優化模型。但是在訓練的過程中，超參數的選擇、訓練集的大小以及訓練的策略都會影響模型的性能，因此模型在訓練過程中很難保證達到最優性能。

3）跟蹤模型的影響。跟蹤系統包含部分經驗參數，經驗參數的選擇具有試驗性，對跟蹤系統的性能有直接影響；跟蹤系統假設目標車輛都是勻速移動，沒有考慮車輛的動力學特性，對于快速移動的目標車輛在跟蹤過程中會出現輕微的漂移現象。

上述因素中1）屬于固有的外部因素，試驗中保持不變；2）和3）可以通過優化檢測和跟蹤模型取得更好的試驗性能，車輛檢測模型的好壞對本文算法平均準確率有著直接且重要的影響，因此如何保證訓練模型取得最優的泛化能力是后期研究的主要內容，尤其是通過一系列的智能搜索算法得到更好的模型泛化性能；另外如何將車輛的動力學特性考慮到跟蹤模型中建立更符合實際的運動模型是3）改進的關鍵。

4 結 論

1）在對Tiny YOLOV3網絡的淺層感受野進行可視化分析的基礎上，本文對Tiny YOLOV3的淺層語義信息進行強化重構，同時對其進行有效利用，提出了增強 Tiny YOLOV3模型，對小目標車輛的檢測具有更好的性能，平均準確率提高了4.6%，平均漏檢率、誤檢率分別降低了7.4%和0.5%。

2）根據車輛檢測包圍框的位置信息提出了基于重疊度的卡爾曼濾波跟蹤算法，提高了車輛檢測跟蹤系統的準確率和實時性。在增強Tiny YOLOV3模型基礎上增加車輛跟蹤算法，提出了車輛檢測跟蹤算法模型（融合算法模型），相比Tiny YOLOV3模型，融合算法模型的平均準確率提高了10.6%，平均漏檢率降低了23.6%，平均誤檢率減少了1.2%，平均運算速度可達30幀/s。試驗結果表明，基于增強Tiny YOLOV3模型的目標檢測與匈牙利匹配和卡爾曼濾波的目標跟蹤算法搭建的嵌入式車輛視覺檢測系統能夠滿足嵌入式智能車輛和高級駕駛輔助系統準確性和實時性的要求，具有較好的工程應用價值。

[1] Mukhtar Amir, Xia Likun, Tang Tongboon. Vehicle detectiontechniques for collision avoidance systems: A review[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(5): 2318－2338.

[2] Song Wenjie, Yang Yi, Fu Mengyin, et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(3): 758－773.

[3] 劉慶華，邱修林，謝禮猛，等.基于行駛車速的車輛防撞時間預警算法[J].農業工程學報，2017，33(12) ：99－106.Liu Qinghua, Qiu Xiulin, Xie Limeng, et al. Anti-collision warning time algorithm based on driving speed of vehicle[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(12): 99－ 106. (in Chinese with English abstract)

[4] 劉軍，后士浩，張凱，等. 基于單目視覺車輛姿態角估計和逆透視變換的車距測量[J]. 農業工程學報，2018，34(13)：70－76. Liu Jun, Hou Shihao, Zhang Kai, et al. Vehicle distance measurement with implementation of vehicle attitude angle estimation and inverse perspective mapping based on monocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 70－76. (in Chinese with English abstract)

[5] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 37(9): 1904－1916.

[6] He Kaiming, Gkioxari Georgia, Dollar Piotr, et al. Mask R-CNN[C]// IEEE International Conference on Computer Vision. IEEE, 2017: 2961－2969.

[7] Manana Mduduzi, Tu Chunling, Owolawi Piusadewale. A survey on vehicle detection based on convolution neural networks[C]// IEEE International Conference on Computer & Communications. IEEE, 2017: 1751－1755.

[8] Henriques Joaof, Caseiro Rui, Martins Pedro, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583－596.

[9] Tang Ming, Feng Jiayi. Multi-kernel correlation filter for visual tracking[C]// IEEE International Conference on Computer Vision. IEEE, 2016: 3038－3046.

[10] Girshick Ross, Donahue Jeff, Darrell Trevor, et al. Region-based convolutional networks for accurate object detection and segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 38(1): 142－158.

[11] Girshick Ross. Fast R-CNN[C]// IEEE International Conference on Computer Vision. IEEE, 2015: 1440－1448.

[12] Ren Shaoqing, He Kaiming, Girshick Ross, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137－1149.

[13] Yang Biao, Zhang Yuyu, Cao Jinmeng, et al. On road vehicle detection using an improved Faster RCNN framework with small-size region up-scaling strategy[C]// Pacific-Rim Symposium on Image and Video Technology. Springer, Cham, 2017: 241－253.

[14] 宋煥生，張向清，鄭寶峰，等. 基于深度學習方法的復雜場景下車輛目標檢測[J]. 計算機應用研究，2018，35(4)：1270－1273. Song Huansheng, Zhang Xiangqing, Zheng Baofeng, et al. Vehicle detection based on deep learning in complex scene[J]. Application Research of Computers, 2018, 35(4): 1270－1273. (in Chinese with English abstract)

[15] 李琳輝，倫智梅，連靜，等. 基于卷積神經網絡的道路車輛檢測方法[J]. 吉林大學學報：工學版，2017，47(2)：384－391. Li Linhui, Lun Zhimei, Lian Jing, et al. Convolution neural network-based vehicle detection method[J]. Journal of Jilin University (Engineering and Technology Edition), 2017, 47(2): 384－391. (in Chinese with English abstract)

[16] Lee Wonjae, Dong Sungpae, Dong Wonkim, et al. A vehicle detection using selective multi-stage features in convolutional neural networks[C]// International Conference on Control. IEEE, 2017: 1－3.

[17] 劉軍，高雪婷，王利明，等. 基于OpenCV的前方車輛檢測和前撞預警算法研究[J]. 汽車技術，2017(6)：11－16. Liu Jun, Gao Xueting, Wang Liming, et al. Research on preceding vehicle detection and collision warning method based on OpenCV[J]. Automobile Technology, 2017(6): 11－16. (in Chinese with English abstract)

[18] Danelljan Martin, H?ger Gustav, Khan Fahad, et al. Accurate scale estimation for robust visual tracking[C]// 2014 British Machine Vision Conference. BMVA Press, 2014: 1－11.

[19] Danelljan Martin, H?ger Gustav, Khan Fahad, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(8): 1561－1575.

[20] 紀筱鵬，魏志強. 基于輪廓特征及擴展Kalman濾波的車輛跟蹤方法研究[J]. 中國圖象圖形學報，2011，16(2)：267－272. Ji Xiaopeng, Wei Zhiqiang. Tracking method based on contour feature of vehicles and extended Kalman filter[J]. Journal of Image and Graphics, 2011, 16(2): 267－272. (in Chinese with English abstract)

[21] Lecun Yann, Bengio Yoshua, Hinton Geoffrey. Deep learning[J]. Nature, 2015, 521(7553): 436－444.

[22] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: single shot multiBox detector[C]// European Conference on Computer Vision. Springer, Cham, 2016: 21－37.

[23] Smeulders A, Chu D, Cucchiara R, et al. Visual tracking: an experimental survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(7): 1442－1468.

[24] Joseph Redmon, Divvala Santosh, Girshick Ross, et al. You only look once: Unified, real-Time object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2015: 779－788.

[25] Joseph Redmon, Farhadi Ali. YOLO9000: Better, faster, stronger[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2017: 6517－6525.

[26] Joseph Redmon, Farhadi Ali. YOLOv3: An Incremental Improvement[EB/OL].[2018-04-08].https://arxiv.org/pdf/1804.02767.pdf.

[27] Lin Tsungyi, Dollár Piotr, Girshick Ross, et al. Feature pyramid networks for object detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2017: 936－944.

[28] Long Jonathan, Shelhamer Evan, Darrell Trevor. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640－651.

[29] Yosinski Jason, Clune Jeff, Nguyen Anh, et al. Understanding neural networks through deep visualization[EB/OL]. [2015-06-22]. https://arxiv.org/abs/1506.06579.

[30] Bochinski Erik, Eiselein Volker, Sikora Thomas. High-Speed tracking-by-detection without using image information[C]// IEEE International Conference on Advanced Video & Signal Based Surveillance. IEEE, 2017: 1－6.

Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm

Liu Jun, Hou Shihao, Zhang Kai, Zhang Rui, Hu Chaochao

(,,212013,)

For intelligent vehicles and advanced driving assistant systems, real-time and accurate vehicle objects detection and tracking through on-board visual sensors are conducive to discovering potential dangers, and can take timely warning to drivers or measures to control vehicle braking and steering systems to avoid traffic accidents by active safety system. In recent years, vehicle detection based on deep learning has become a research hotspot. Although the deep learning method has made a significant breakthrough in vehicle detection precision, it will lead to high missed detection rate of small vehicle targets and rely on expensive computing resources in visual vehicle detection tasks, which is difficult to achieve in embedded real-time applications. Further analysis shows that the main reason for the above problems is that deep convolution neural network cannot reasonably prune network layer parameters, especially cannot reasonably utilize the shallow semantic information. On the contrary, a series of operations at the lower sampling layers will lead to the loss of vehicle information, especially for the small vehicle objects. Therefore, how to effectively extract and utilize the semantic information of small vehicle objects is a problem to be solved in this paper. On this basis, the problem of pruning network layer parameters reasonably was discussed. For the detection algorithm, on the one hand, based on visual analysis of receptive field of Tiny YOLOV3 network shallow layers, the use of shallow semantic information was enhanced by constructing a shallow feature pyramid structure, on the other hand, the shallow down sampling layer was replaced by convolution layer to reduce the semantic information loss of shallow network layers and increase the shallow layer features of vehicle objects to be extracted. Combine the above 2 aspects, the enhanced Tiny YOLOV3 network was proposed. For the tracking algorithm, because of the high frame rate of the vehicle-mounted camera, assuming that the vehicle objects in the adjacent frame moving uniformly without considering the image information, Kalman filter algorithm was used to track the vehicle target, and its observation position was estimated optimally. The proposed enhanced Tiny YOLO V3 network was trained by using 50 000 images collected by the on-board vehicle camera during the day and night. The training strategy included pre-training model, multi-scale training, batch normalization and data augment methods, which same as Tiny YOLOV3 network. On the vehicle Jetson TX2 embedded platform, 8 groups of comparative experiments were carried out with Tiny YOLOV3 model, including day and night traffic scenes. The experimental results showed that compared with Tiny YOLO V3 model，the mean precision rate of the enhanced Tiny YOLOV3 model proposed in this paper was improved by 4.6%, the mean detection error rate was reduced by 0.5%, the mean missing detection rate was reduced by 7.4%, and the mean time consumption was increased by 43.8 ms/frame without tracking algorithm. After adding the vehicle tracking algorithm, the mean precision rate was improved by 10.6%, the mean detection error rate was reduced by 1.2%, the mean missing detection rate was reduced by 23.6%, and the mean operation speed was 5 times faster than that of the Tiny YOLOV3 model, reaching 30 frame/s. The study provides an important guidance for embedded vehicle detection and tracking algorithm application in intelligent vehicles and advanced driving assistant systems.

vehicles; computer vision; models; vehicle detection; vehicle tracking; Tiny YOLOV3 algorithm; kalman filtering

2018-11-22

2019-01-20

國家自然科學基金項目（51275212）

劉 軍，教授，博士，主要研究方向為汽車主動安全。 Email：Liujun@ujs.edu.cn

10.11975/j.issn.1002-6819.2019.08.014

TP391；U491.6

A

1002-6819(2019)-08-0118-08

劉 軍，后士浩，張 凱，張 睿，胡超超. 基于增強Tiny YOLOV3算法的車輛實時檢測與跟蹤[J]. 農業工程學報，2019，35(8)：118－125. doi：10.11975/j.issn.1002-6819.2019.08.014 http://www.tcsae.org

Liu Jun, Hou Shihao, Zhang Kai, Zhang Rui, Hu Chaochao. Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 118－125. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.08.014 http://www.tcsae.org