基于YOLO_V3的側視視頻交通流量統計方法與驗證

賴見輝，王 揚，羅甜甜，陳艷艷，劉 帥

(1. 北京工業大學 城市交通學院，北京 100124；2. 北京交通運輸職業學院，北京 102618)

0 引言

隨著社會經濟快速的發展，我國機動車保有量急劇增長，截止2020年6月，全國機動車保有量達3.6億，隨之也造成很多問題，如交通擁堵、空氣污染。交通流量可準確反映道路交通運行狀態，為科學的交通管理、政策制定提供依據，例如長期固定的流量觀測數據可用于道路規劃、經濟效益評估等；而且短期臨時(若干小時、天)的流量觀測數據可用于靈活的交通管理、優化，交通影響評價等。目前，交通流量的獲取方法包括感應線圈[1]、紅外[2]、超聲波[3]、視頻[4]等，這些方法精度高，在固定式流量觀測方面取得較好效果，而針對臨時性交通流量觀測需求，以上方法在使用便利性和經濟性方面不具有優勢，目前用得最多的方法仍然是人工現場統計觀測或者現場采集視頻回內業觀測統計。

短期臨時交通流量觀測通常需求靈活多變，如某個交叉口、路段在早、晚高峰時段分車型的交通流量，不可能為這一臨時需求安裝龍門架，布設感應線圈、激光雷達等，相比較而言，人工現場觀測統計可能更“經濟”。但隨著人工成本的逐年提升，短期臨時交通流量觀測需求越來越難以滿足應用要求。

本研究利用視頻識別技術，從視頻源采集便利性角度，考慮攝相頭布置在路側，視角方向與道路存在一定夾角時的場景采集，如圖1所示，調查員可利用三腳架等支撐物將攝相頭臨時固定于一定高度，三腳架放置于人行道上。該方式采集視頻源靈活便利，缺點是視頻源中的車輛可能存在不同程度的相互遮擋，不利于車輛檢測和跟蹤。本研究以此為突破口，利用基于深度學習技術的YOLO檢測方法，實現不同車型目標物的采集；利用卡爾曼濾波+匈牙利分配法+透視投影變換法，實現高精度的車輛跟蹤，以攝相頭在不同角度、高度和車流密度條件下，對方法的有效性開展測試。

圖1 側視視頻采集示意圖Fig.1 Schematic diagram of road-side video collection

1 相關工作

利用視頻識別交通流量主要包括兩個過程，一是車輛目標物檢測，二是車輛連續跟蹤。車輛目標物檢測方法通常包括幀間差分法、光流法、背景差分法和近幾年新提出的深度學習法。車輛連續跟蹤包括輪廓追蹤、特征追蹤、貝葉斯濾波等。

1.1 視頻檢測方法

幀間差分法(Temporal Difference)通過對視頻圖像序列中相鄰兩幀作差分運算來獲得運動目標輪廓的方法，對光線等場景變化不太敏感，能夠適應各種動態環境，穩定性較好，缺點是當物體運動速度存在較大差異時，前后兩幀中容易沒有重疊或者完全重疊，此外，也不能夠檢測出靜止的物體[5]。

光流法(Optical Flow Method)根據圖像序列中像素強度變化值來判定各自像素位置的“運動”，即是時間上的變化與場景物體來描述共同運動物體，對于靜止目標的識別效果較差。如張潤初[6]利用光流運動點的分布和車輛在路面的占有情況之間的聯系，提出基于交通流理論的車流量統計方法，在正視角度下測試了約40輛車，精度為97.56%。

背景差分法(Background Difference Method)易受光線變化影響，背景更新是關鍵，不適用于靈活多變的路側場景。如李東[7]利用單高斯背景模型算法識別車輛，提高了檢測車輛前景區域的完整性；劉暢[8]采用統計平均法進行背景建模，通過將視頻當前幀與背景幀作差來獲取前景目標，在正視角度下的測試精度為96.3%；胡云鷺[9]將背景差分法與幀間差分法相結合，在不同天氣下不同車道的車速檢測精度的均值都可達到 95%以上。

以上3類作為傳統視頻識別的主要方法，在不同方面應用取得較好效果，但仍然存在以下問題：

(1)視頻場景要求高，如光線、陰影均易影響交通流量計數的精度，而復雜的路側交通視頻往往難以完全達到要求；

(2)算法在交通流量較小的場景下能取得較高精度，但高密度車流時精度急劇下降；

(3)算法主要針對道路正上方角度拍攝視頻，車輛間的遮擋小，而側視角度視頻往往存在相互遮擋。

因此，傳統視頻識別方法無法滿足側視視角的交通流量視頻識別要求。近年，深度學習法(Deep Learning Method)方法在不同領域應用取得長足進步[10-12]。它通過建立具有階層結構的人工神經網絡進行目標物檢測，基于目標物的位置和類別進行跟蹤計數。常見的目標物檢測方法有R-CNN (Regions with Convolutional Neural Network)、Fast R-CNN (Fast Regions with Convolutional Neural Network feature)、SSD (Single Shot Detection)、YOLO (You Only Look Once)。R-CNN選用Selective search(選擇性搜索)方法來生成候選區域，然后每個候選區域送入一個CNN模型，預測出候選區域中所含物體的屬于每個類的概率值，該方法檢測精度高，但計算效率低。Fast R-CNN[13]主要是為了減少候選區域使用CNN模型提取特征向量所消耗的時間，借鑒SPP-net思想，在計算效率上較RCNN有所提升。SSD采用了回歸方法進行目標檢測使得目標檢測速度大大加快，采用archor機制使得目標定位和分類精度有了大幅度提高，如牛嘉郡[14]利用SSD網絡模型對視頻中的車輛進行檢測，提出基于重疊率匹配和 SURF 特征提取的運動車輛目標跟蹤與計數方法，結合虛擬線圈技術，分車道對跟蹤車輛進行計數，在擁堵道路上正視角度視頻的測試結果表明，該方法精度約85%。

YOLO[15]在識別精度和效率之間取得平衡，其核心思想是利用整張圖作為網絡的輸入，直接在輸出層回歸邊界框的位置及其所屬的類別。YOLO代表的深度學習技術在圖像檢測中的最高水平之一，到目前為止，已經發展到第3代YOLO_V3，它很好地解決了小目標、遮擋目標識別精度不高的問題，總體而言，它比R-CNN快1 000倍,比Fast R-CNN快100倍。關于YOLO應用，目前有很多學者在不同領域開展了大量研究，包括用于安全帽佩戴檢測[16](精度92.13%)、交通標識檢測[17](精度80.1%)、機場場面飛機檢測[18](精度83.7%)、車輛信息檢測[19-20]、道路擁堵分析[21](精度80%)等。

本研究在YOLO_V3的基礎上開展側視頻角度的交通流量計數方法研究。

1.2 目標跟蹤方法

基于分類的目標檢測之后，在圖像序列中持續地估計出車輛運動所在位置，形成車輛軌跡。目標跟蹤分為單目標跟蹤和多目標跟蹤，單目標跟蹤算法而言，存在一個先驗假設是目標總是在視頻范圍內；多目標跟蹤問題跟蹤的對象位置變化很大，跟蹤對象從場景進入、離開，跟蹤目標個數不固定。

目標跟蹤算法包括基于輪廓的追蹤法、基于區域的追蹤法、基于模型的追蹤法、基于特征的追蹤法和基于貝葉斯濾波特征的追蹤法[22]。

(1)基于輪廓的追蹤法[23]

以目標物的輪廓曲線為對象，進行匹配追蹤，優點是匹配速度快，準確性較高，但存在遮擋時精度較差。

(2)基于區域的追蹤法

在事先獲得跟蹤目標的區域，利用跟蹤算法進行追蹤，該方法場景固定的視頻具備一定優勢，但無法適用于靈活多變的視頻。

(3)基于模型的追蹤法[24]

利用目標的先驗知識進行建模，通過模式匹配方法進行跟蹤，該方法同樣在發生較大形變、存在遮擋的情況則跟蹤效果不佳。

(4)基于特征的追蹤法[25]

該方法不考慮跟蹤目標整體情況，將目標物體的特征點作為跟蹤目標的方法,只對從目標物體上提取出來的顯著特征進行跟蹤。優點是物體的尺度、形狀和光照的變換不敏感，即使存在遮擋，只要有部分特征點可見，也可完成對目標的跟蹤。

(5)基于貝葉斯濾波特征的追蹤法

用系統模型預測狀態的先驗概率密度，再使用最近的測量值進行修正，得到后驗概率密度。典型的算法包括卡爾曼濾波[26](KalmanFilter)和粒子濾波[27](Partical Filter)。該方法對線性高斯系統和非線性高斯系統都有對應算法，而粒子濾波需大量樣本才可較好估計后驗概率密，卡爾曼濾波對遮擋敏感。

傳統上利用圖像識別方法開展交通流量計數，主要考慮目標物的特征和運動過程中產生的像素變化來識別車輛，這些方法對拍攝視頻的角度和視頻質量均有較高要求，如車輛間的遮擋，光照的變化，均可能較大地影響結果精度。而作為臨時采集交通流量數據，通過將相機布置于路側，難以滿足以上條件。針對這些問題，本研究利用深度學習技術，提出了一種適用于側視角度拍攝視頻用于交通流量統計的方法。

2 模型建立

模型的基本假設：YOLO_V3識別的車輛在視頻幀中的變化是連續的，不存在大幅度跳幀現象；不同車輛在圖片中的中心點距離小于相同車輛在相鄰兩幀之間的移動距離。

首先利用YOLO_V3對視頻連續幀中的目標檢測區域進行目標物識別，識別信息包括目標物的類別、概率值和邊框坐標；然后在幀圖片中選擇至少4個點，將這些點在圖片中的像素坐標與現實環境中的真實坐標建立對應關系，建立透視轉換模型，將檢測目標物的像素坐標以此模型轉換為真實坐標；計算相鄰幀所有檢測物的歐幾里得距離，用匈牙利匹配算法求解最小費用，實現連續幀之間車輛的追蹤；最后利用卡爾曼濾波算法實現車輛連續軌跡的修正預測，統計某車輛在流量檢測區域出行的幀次數，超過指定閾值時，認定為一個有效流量。詳細流程見圖2。

圖2 算法流程圖Fig.2 Flowchart of algorithm

2.1 目標跟蹤

(1)透視轉換模型

透視轉換的目標是將圖像投影到一個新的視平面，在本應用中是將相機拍攝存在透視角度圖的坐標轉換成真實環境中的坐標。其實現原理見公式(1)，其中[x′y′w′]是真實環境的坐標，[uvw]是圖片中的像素坐標，a矩陣是變換矩陣，本例中僅將路面作為檢測區域，僅需要二維空間上的坐標轉換。

(1)

透視轉換效果見圖3，圖3(a)為相機拍攝視頻原圖，畫對角線的多邊形框體為車輛檢測區域，因相機架設于路側，圖像存在顯著變形，圖3(b)是經透視轉換模型校正后的效果，道路的橫縱比例關系與真實環境基本完全吻合，因此該校正方法適用。

圖3 透視投影變換效果Fig.3 Perspective projection transformation effect

(2)匈牙利匹配法

前后幀的車輛追蹤問題，本研究將其描述為數學中的指派問題，即上一幀檢測到n輛車，當前幀檢測到m輛車，將m輛車中的車輛與上一幀的n輛車建立一一對應關系，目標是之間的總費用最低。前n與m不相等時，取最大值，并將不足的行列補0，形成方陣。通用數學模型見公式(2)，其中：ci1為前后兩幀間所有檢測物的歐幾里得距離矩陣，xi1為匹配結果矩陣，值為0時表示二者不匹配，為1時表示二者匹配。

(2)

(3)卡爾曼濾波預測法

卡爾曼濾波預測法提供了一種高效可計算的方法來估計過程的狀態，并使估計均方誤差最小。其基本思想是：以最小均方誤差為最佳估計準則，利用前一時刻的估計值和當前時刻的觀測值來更新對狀態變量的估計，求出當前時刻的估計值，算法根據建立的系統方程和觀測方程對需要處理的數據做出滿足最小均方誤差的估計。卡爾曼濾波預測法使用時包括預測和校正兩個過程。

預測過程如下：

(3)

式中，u為幀坐標向量；P為協方差矩陣；F為狀態轉移矩陣；Q為過程噪聲矩陣。校正過程如下：

(4)

式中，u為幀坐標向量；A為狀態轉移矩陣；b為當前幀坐標；P為協方差矩陣；Q為過程噪聲矩陣；R為觀測噪聲矩陣;C為狀態變量到觀測量的轉換矩陣;K為濾波增益矩陣。

利用卡爾曼濾波預測法可以有效減少噪聲干擾數據對軌跡追蹤精度的影響。

2.2 流量統計

考慮到卡爾曼濾波預測穩定性收斂需要一定的歷史數據，本研究通過建立車輛檢測區域和流量計數區域的二級檢測框架提高流量計數的精度。如圖4所示，沿車流方向在行車道范圍內建立一個長約100 m的車輛檢測區域(圖中淺灰色區域)，僅在該區域出現的車輛作為追蹤對象，減少無效干擾車輛影響；在車輛檢測區域中的下游處，建立長度約為25 m的流量計數區域(圖中深灰色區域)。當追蹤車輛經過流量檢測區域時，記錄其出現的幀次數量，當幀次數量達到一定閾值時，認為是一次有效的交通計數。閾值選擇與流量檢測區域大小、車輛平均行駛速度均有關，流量檢測區域越大，車輛通過需要越長時間，可檢測到的幀數越多；車輛平均行駛速度越快，通過流量檢測區域時間越短，可檢測到的幀數越少。

圖4 交通流量檢測示意圖Fig.4 Schematic diagram of traffic volume detection

考慮到不同車型速度差異較大時，幀次數量閾值按車輛類型設置不同的值，如城市道路中，非機動車的速度通常只有機動的1/3～1/2，閾值可稍大于機動車。

依據實際數據的測試經驗表明，各類型的車輛幀次數量閾值約為其最大可通過幀次的60%左右時，流量統計結果具有較高的精度。

該方法存在以下優點：

(1)采用二級檢測框架，僅利用卡爾曼濾波預測收斂后的數據作為流量計數的依據，有利于提高追蹤的精度。

(2)可以有效避免因車輛檢測誤差導致的流量誤判，如車輛在連續幀中出現某幀識別錯誤，導致車輛追蹤時誤認為另一輛新車出現，但該誤檢車輛無法在流量檢測區域達到閾值時，誤計車輛將被舍棄。

3 驗證與分析

3.1 試驗條件

為保證試驗結果的客觀性，采用YOLO_V3官方提供已訓練好的權重文件。

考慮到側視角度采集的視頻，流量計數結果精度的高低，不僅與算法設計相關，還與視頻采集的角度、高度以及道路上的車流密度密切相關。為了驗證方法的有效性，選擇不同環境條件開展測試，包括3個主要指標：

(1)拍攝相機與道路相交角度

考慮相機的廣角形變效果，相機與道路相交角度會影響透視變換效果，角度過大或過小均不利于視頻識別，本研究選擇測試角度分別為30°，45°和60°，記為A_30，A_45，A_60。

(2)拍攝相機架設高度

小型車輛一般高1.8 m，大型公交車高一般為3 m，考慮視頻在路側采集時布置相機的可行性，過低時存在大量車輛相互遮擋，過高時相機穩定性差，因此選擇高度為2 m和3 m進行測試，記為HT_2，HT_3。

(3)道路車流密度

車流密度大小會影響跟蹤的精度，當車流密度高時，車間距小，容易相互遮擋，極易在跟蹤時產生誤判。本研究選用交通流量(Veh/h)代表交通流密度，單向3車道，分別測試低、中、高3類(記為F_L，F_M，F_H)不同條件下的精度，不同類別對應的交通流量見表1。

表1 車流密度分類Tab.1 Classification of traffic densities

3.2 評估指標

統計不同周期內的檢測的車輛數量Fi，同時人工統計對應的車輛數Ai，n為樣本數量，以MAPE和RMSE對結果精度分別進行評價。

(1)平均絕對百分比誤差MAPE

(5)

(2)均方根誤差RMSE

(6)

(3)運行效率

用每秒傳輸幀數(Frames Per Second，FPS)表示。

3.3 結果分析

測試結果顯示見表2，最小MAPE為2.74%，最大為10.37%，總體而言，隨著夾角增大，MAPE逐漸增大，其主要原因是過大的夾角下視頻拍攝道路范圍減小，導致算法無法有效追蹤車輛；相交角度相同時，相機架設越高，MAPE值越低，當達到3 m，夾角為30°時，MAPE值為2.74%，具有較高的辨識精度；此外，相交角度相同時，視頻流量越低，MAPE值越低，精度越高。需要指出的是，在高度為2 m的，角度為30的測試視頻中，連續出現大型公交車輛遮擋視野，導致MAPE提高到10.45%。均方根誤差RMSE呈現的趨勢特征與MAPE基本一致且數值較低，表明算法具有較高的穩定性。

表2 角度與高度對識別精度的影響Tab.2 Influence of angle and height on recognition accuracy

當相機與道路夾角相同時，隨著相機架設高度的增加，MAPE呈減小趨勢，如在角度為30°，高度為2 m時，MAPE值為10.45%，而高度為3 m時，降為2.74%，精度大幅提升；如表3所示，在同等高度條件下，交通流量越大MAPE越小，測試的6組數據中，除一組數據因公交遮擋在16.5%，其余組主要分布在4%～6%之間，甚至有一組結果MAPE值為1.3%，RMSE也主要分布在10～20之間，表明具有較高穩定性，相機與道路角度相同時，交通流量的大小對精度影響不大，見表4。

表3 車流密度與高度對識別精度的影響Tab.3 Influence of traffic density and height on recognition accuracy

表4 角度與車流密度對識別精度的影響Tab.4 Influence of angel and traffic density on recognition accuracy

3.4 計算效率分析

程序運行環境為：windows10 x64操作系統，2080Ti顯卡，64G內存，i7-7820XCPU，程序每次運行過程中均無其他程序運行，測試視頻大小均為1080P，30FPS。

結果表明相機架設角度和高度均對程序運行效率無顯著影響，而車流密度則影響較大,結果顯示見表5，在低密度車流下，FPS值約為44，而高密度車流下，FPS值降為33左右，高密度客流下車輛數增多，卡爾曼濾波和匈牙利分配算法所消耗的時間均會顯著增加，但仍然高于常用的視頻流30FPS。表明該方法運行效率較高，可用于實時視頻流的數據采集。

表5 車流密度對運行效率的影響Tab.5 Influence of traffic density and efficiency on recognition accuracy

4 結論

(1)以YOLO_V3為基礎，對側視視角的視頻開展車輛目標物檢測，建立車輛檢測區域和流量計數區域的二級檢測框架，提出基于卡爾曼濾波+匈牙利分配法+透視投影變換法的車輛追蹤計數方法，實測結果顯示，MAPE平均在5%左右，RMSE平均在15左右，表明該方法具有較高的試驗精度和穩定性。

(2)基于YOLO_V3，利用本研究提出的交通流量統計方法，在相機高度為3 m，與路側夾角為30°的視頻環境中，流量計數的精度在95%，滿足臨時交通調查的需求。

(3)依然受大型公交、貨車影響嚴重，當存在大型車輛通過時，其他車輛幾乎完全被遮擋，導致流量計數出現偏差，盡管如此，精度仍然在90%左右。

(4)測試采用的18組視頻在識別結果上均表現出較高的精度，表明本方法具備較高的魯棒性，適合靈活多變的路側采集方式。

(5)對深度學習方法YOLO_V3的識別結果依賴較強，測試采用的是官方已訓練好的權重文件，國內車型與國外車型存在一定差異會影響精度，如面包車經常被識別成小貨車，而國內通常認為面包車小客車。

(6)本方法對雨雪等惡劣天氣條件下的適用性還需進一步驗證。