基于YOLO的道路車輛擁堵分析模型

張家晨 陳慶奎

摘 要：針對當前交通運行出現的擁堵問題，提出一種新型的道路狀態判斷模型。首先，模型基于YOLOv3目標檢測算法，然后結合圖片對應的特征值矩陣，通過相鄰幀之間的特征矩陣作差并將差值逐項求和得到的結果與預設值進行比較來判斷當前道路是處于擁堵狀態還是正常通行狀態，其次再將當前計算出的道路狀態與前兩次計算出的道路狀態進行比較，最后運用模型里的第二個算法狀態統計法此句指代不清晰，能否具體化一點，例如具體的算法名稱。來統計道路某狀態（擁堵或通暢）的持續時間。該模型能夠同時對一條道路的三個車道進行狀態統計分析，經過實驗，模型對單條車道狀態判斷的平均準確率能達到80%以上，并且白天與夜晚的道路均適用。該模型的提出對引導人們的方便出行以及交通擁堵的緩解具有重要的實際意義。

關鍵詞：交通擁堵;擁堵檢測;車道分析;擁堵時間;高峰時段

中圖分類號： TP393; TP18

文獻標志碼：A

Abstract： To solve traffic congestion problems， a new road condition judgment model was proposed. Firstly， the model was based on YOLOv3 target detection algorithm. Then， according to the eigenvalue matrix corresponding to the picture， the difference between adjacent frames was made by the eigenvalue matrix， and the difference value was compared with preset value to determine whether the current road was in a congested state or a normal traffic state. Secondly， the current calculated road state was compared with previous two calculated road states. Finally， the state statistics method in the model was used to calculate the duration of a state （congestion or patency） of road. The proposed model could analyze the states of three lanes of a road at the same time. Through experiments， the average accuracy of model to judge the state of single lane could reach 80% or more， and it was applicable to both day and night roads. The proposed model is of great practical significance to guide people to travel conveniently and alleviate traffic congestion.

Key words： traffic congestion; congestion detection; lane analysis; congestion time; rush hour

0 引言

隨著經濟的發展與城市化進程的加快，人們的生活水平日益提高，機動車成為了越來越多人的出行首選工具。根據中國公安部交管局的統計數據[1]，截至2017年6月底，全國機動車保有量達3.04億輛，其中汽車2.05億輛;機動車駕駛人達3.71億人，其中汽車駕駛人3.28億人。數量巨大的機動車也為城市交通的良好運行帶來了巨大的挑戰，我國道路交通擁堵情況非常嚴重，尤其是在特大、超大型城市，比如北京、廣州、上海等。除了我國，交通擁堵在其他國家也是個大問題，根據《Inrix：2016年全球交通擁堵情況排行榜報告》[2]顯示，洛杉磯以人均104h堵在路上位居第一。由此可見，道路擁堵是個亟待解決的問題。

當前存在的一些道路車輛擁堵檢測方法包括：利用路面傳感器定時采集道路車流數據信息以達到實時判斷道路擁堵情況，或者對特定路段的交通車輛數據流進行分時段的統計與數據分析。常用的路面傳感器[3]比如檢測器有線圈[4]此句不通順，請調整、浮動車[5]等。這兩個方法可移植性差，并且對每個路口都要進行設備安裝或者數據統計，因此這些方法存在著成本高、代價高的缺點。本文提出一種新型的道路車輛擁堵分析模型，該模型具有運行速度快、準確率高、成本低、易于部署等優點。實驗結果證明，針對直行車道，該模型的平均準確率均能達到80%以上。

1 相關工作

當前基于目標檢測的道路擁堵分析算法很少見，常見的目標檢測方法有SSD（Single Shot multibox Detection）[6]、YOLO（You Only Look Once）[7]、RCNN（Regions with Convolutional Neural Network）[8]、Fast R-CNN（Fast Regions with Convolutional Neural Network feature）[9]等。RCNN的基本思想是利用Selective Search[10]高效率地尋找圖片中可能包含目標物體的Box，再用CNN（Convolutional Neural Network）[11]提取特征，最后再做個分類便完成了目標檢測的工作。RCNN目標檢測的效果好，但是計算量大，算法運行緩慢，而Fast R-CNN[12]此處是指代文獻9，即是Fast;若是文獻12，則為Faster。若為文獻12，則應調整正文中的引用順序了和文獻列表的順序了。回復：標注的12是重復多余的。便是對RCNN進行的改進，主要改進有兩點：第一點是對RCNN中的ROI（Region Of Interest）[1312]提取特征后，把物體框的回歸和分類這兩個任務的loss融合在一起訓練，這使得訓練效率更高，運行也就更快;第二點是把SPP（Spatial Pyramid Pooling）[1413]改換成了ROI Pooling[1514]。相比RCNN，Fast R-CNN算法在運行速度上得到了很大提升。

從RCNN和Fast R-CNN甚至后來的Faster R-CNN（Faster Regions with Convolution Neural Network feature）[1215]請補充Faster R-CNN的英文全稱這一系列方法都是基于Region Proposal[16]的，而不用Region Proposal的目標檢測算法也有很多，其中比較有代表性的便是YOLO和SSD。YOLO是一種簡單、高效的目標檢測算法，其運行速度非常快，這是其最大的特點，YOLO的把一幅圖片劃分成S*S的格子，以每個格子所在位置和對應內容來進行預測目標存在的位置。與基于Region Proposal方法的不同之處在于YOLO是一個單純的卷積神經網絡，把物體檢測轉化成了回歸問題，沒有Region Proposal和對每個ROI的計算，再加上利用了GPU（Graphics Processing Unit）的并行計算優點，因此YOLO的運行速度非常快，用于實時目標檢測沒有問題;而SSD是同時借鑒了YOLO和Faster R-CNN思想，SSD可以達到在實時目標檢測的水平下仍然有很高的檢測精度。與YOLO相近的地方在于，SSD也會在CNN的最后階段得到S*S的響應圖;與Faster R-CNN相近的地方在于，SSD會基于每個格子的位置借鑒anchor box的思想生成默認的物體框。YOLOv3[17]與其他目標檢測算法在精度與檢測時間上存在一定的差異，具體來說，是YOLOv3可以在保持快速檢測的同時依然具有相當高的準確度，因此，本模型選擇了YOLOv3算法來進行目標檢測。

本模型基于YOLOv3（YOLOv3于2018年提出），相比YOLOv2，YOLOv3的目標檢測準確性得到了進一步提升。YOLO是一個單純的卷積神經網絡，用作目標檢測，速度快且準確度高;然而其缺陷是并不能體現出物體的運動狀態信息，比如物體的運動速度或者物體某段運動狀態的持續時間等。想要獲得物體的運動速度或者運動狀態持續時間等信息，必須建立起新的數學模型，因此，本文在YOLOv3之上提出了一個獲得車輛運動信息的新方法。該方法提取出了車輛在圖片中的特征矩陣，再通過特征矩陣之間的一系列計算得到當前道路中車輛總體的運行狀態。不僅可以檢測出道路上的車輛，還能獲得車輛的位置以及停止或運行狀態等信息，用以進一步判斷當前路段是處于交通擁堵狀況還是交通運行暢通狀況，該方法的提出對交通擁堵的緩解以及人們生活水平的提高具有非常大的實際意義。

2 模型結構

2.1 特征矩陣表示

本模型計算出圖片中目標的特征值并將該特征值按相應規則存放于矩陣中所得到的該矩陣即為特征矩陣。首先，根據圖片幀的寬高與目標在圖片中的寬高進行計算，得到特征矩陣的行數和列數，然后將所有目標的特征值映射到矩陣中的相應位置便得到了當前圖片幀對應的特征矩陣。當前特征提取的方法有很多，比如有：基于車窗定位的車輛特征提取方法[18]、基于方向梯度直方圖（Histogram of Oriented Gradients， HOG）特征提取的車輛檢測方法[19]以及使用角點檢測來提取車輛特征[20]，這些方法雖然具有一定的效果，但是計算復雜，本研究選擇了一種更加輕量、快速、簡單的車輛特征計算方法。計算目標X的特征值要注意的是，現實環境是復雜多變的，天氣的變化、光照的變化等都會對目標造成影響。為了最大限度地避免環境因素以得到較為穩定的特征值輸出，本模型中目標的特征值計算方法為：選擇目標X的中心像素值，取其紅色、綠色、藍色分量值，分別記為R、G、B，目標的面積大小記為S。記特征值為value，其計算方法如下：

接下來計算value在矩陣中的位置。

設當前的特征矩陣為M，該矩陣M有R行、C列。當前目標X的value在圖片中的位置posX、posY，計算其在M中相應的位置row、column：

其中CAR_WIDTH、CAR_HEIGHT為預設值。

假設一幅圖片寬800像素、高900像素，目標在該圖中的平均寬高分別為100像素和100像素，那么用圖像的寬高分別除以目標的寬高便得到了對應的特征矩陣的列數與行數。如下所示為一個8行9列的特征矩陣。

說明：其中特征矩陣中非零的元素便是計算出的目標車輛的特征值。

2.2 狀態計算

要計算當前幀中道路的狀態，需要根據特征矩陣中特征值的大小來進行計算，將相鄰兩（數）幀的特征矩陣進行一系列運算，最后將運算得到的結果diff與預設值進行比較，以此來得到當前道路的狀態信息。

計算diff：

3，x≥>5（5）條件存在交叉，在=5時，屬于哪一個條件？

其中：S=0時表示車輛停止運動（或沒有車輛）;S=1時表示車輛緩慢運動;S=2時表示車輛中速運動;S=3時表示車輛快速運動。

參數說明 FM為當前得到的目標特征值矩陣;FM2為上一幀得到的目標特征值矩陣;E為滿足條件FM和FM2中在相同坐標處均不為0的坐標的個數;N為當前幀中的目標數目。

首先運行YOLOv3神經網絡檢測當前視頻流中顯示的當前幀圖片，會得到圖片中的目標的位置以及目標所在的矩形框大小，然后根據目標在圖片中的位置計算其在特征矩陣中的對應位置：行數、列數，與此同時，還要根據目標在圖片中的位置計算其當前處于哪個車道：左轉彎車道、右轉彎車道或者中間直行車道。計算其在矩陣中的位置是為了確定目標的特征值在矩陣中的存放位置。計算特征值要注意，由于車輛可能一直在運動，因此，背景也很可能處于不斷變化中，所以，為了得到目標較為穩定的特征值，這里選取目標的中心坐標點的像素值來進行目標特征值的計算，將計算出的特征值結果存放在特征矩陣的相應位置中。將當前幀的特征矩陣與上一幀的特征矩陣進行相減，將得到的每一項的結果相加得到一個diff，根據diff的大小來判斷當前道路的狀態。

2.3 狀態統計

為了統計出當前車道某個狀態的持續時間，本文提出一種狀態增量state-bonus算法來計算道路某狀態的持續時間。算法描述：一個車道分為四個狀態，分別記為S1、S2、S3、S4。每一個狀態分別用一個對應的信號量Signal記錄：Signal_s1、Signal_s2、Signal_s3、Signal_s4。根據當前幀計算出的S_CUR與上兩幀計算出的道路狀態S_LAST，S_OLD來計算bonus，bonus的計算方法如下：

如果當前幀得到的道路狀態Si與前兩幀得到的道路狀態完全相同，則獲得最大bonus，Si得到最大化程度的加強，表明當前道路的Si狀態已經很明顯，需要被記錄。如果當前幀得到的道路狀態Si與前兩幀得到的道路狀態完全不同，則當前狀態獲得最低bonus，表明Si狀態還不夠穩定，需要繼續觀察。

當一條道路的某個狀態Si被加強的時候，該道路對應的其余三個狀態則被削弱，如果Si狀態對應的信號量Signal_si≥MAX_SIGNAL，則確定當前道路進入了狀態Si，否則，道路狀態還未被確定，或者目前道路狀態較為復雜，需要持續觀察。假設道路T的S1狀態被加強，則道路T下的信號量計算算法為：

其中：Signal_s1為道路當前狀態1對應的信號量，Signal_s2為道路當前狀態2對應的信號量，Signal_s3為道路當前狀態3對應的信號量，Signal_s4為道路當前狀態4對應的信號量。

3 實驗及模型準確性分析

3.1 實驗環境說明

本次實驗的硬件環境如下：CPU為Intel Core i5-6300HQ CPU @2.30GHz，電腦運行內存為8GB，顯卡為NVIDIA Geforce GTX 950M，顯存為4GB。

開發環境為Visual Studio 2015，需要配置CUDA8.0并行計算庫、cuDNNv7.0.5并行加速庫、OpenCV2.4.9圖像處理庫和YOLOv3物體檢測框架。

3.2 道路車輛運行數據獲取

為了測試模型的準確性，本研究對上海市的金橋路、淮海路、大世界三個路口的車輛運行情況進行了視頻錄制，白天和夜晚的車輛運行情況均有涉及，每個路口的視頻錄制時間均在5h以上，3個路口視頻總時長達到15h以上。

視頻錄制后，按照模型里給出的道路狀態，將每個路口的視頻進行了狀態時間劃分，以金橋路為例，該路段的左轉彎車道、中間直行車道、右轉彎車道在1min內各個狀態的持續時間如表1所示（狀態0表示擁堵情況，狀態1表示車輛緩慢運動情況，S列為當前車道的狀態值，S列后一列為T列，表示當前狀態下的持續時間，單位為s）。

以左車道為例，由表1可知，左車道的第一個狀態（S1）是0，該狀態持續了8s（即T1值），第二個狀態（S2）是1，該狀態持續了3s（即T2值），第三個狀態（S3）是0，該狀態持續了40s（即T3值），最后一個狀態（S4）是1，該狀態持續了5s（即T4值），其他車道的分析同理。本實驗整理了各個路口具有明顯狀態變化的視頻共15段，每個路口5段視頻，按照同樣的方法，為每個道口制作出了其狀態持續時間表，為后面計算模型準確性做數據準備。

3.3 模型測試以及模型準確性分析

將前面提到的15段視頻分別用本文的模型進行分析，以金橋路路口2018年4月7日夜間7點18分至夜間7點19分交通狀況視頻為例，模型分析該路口運行期間效果如圖1（a）所示，其中，被矩形框框出來的即為需要的目標，矩形框線條的顏色不同表示不同車道的目標。如圖1（a）：左邊車道中矩形框為深黑色，表示這是左車道中的目標;中間車道的矩形框為灰色，表示這是中間車道中的目標;最右邊的矩形框為白色，表示這是右邊車道中的目標加圖例。

準確率計算公式：

其中k為當前道路出現的狀態數目。如上，只有0、1兩個狀態出現，因此k=2，exS為實驗下S狀態的持續時間，m為exS狀態的數目，realS為實際情況下該道路S狀態的持續時間，n為realS狀態的數目。依據準確率計算公式，該視頻經過模型分析后，與實際數據相比，模型在左車道、中車道、右車道的準確率分別為97%、87%、99%。

模型分析淮海路的實驗圖如圖1（b），該幀對應的特征矩陣如下所示：

模型分析大世界路的實驗圖如圖1（c），該幀對應的特征矩陣如下所示：

按照上面的方法，對15個視頻一詞用模型視頻數據用本文模型感覺“視頻一詞用模型”這個說法有些奇怪，正確嗎？請明確分析并且與道路的實際情況相比后，得到如下金橋路、淮海路、大世界路三個路口的平均準確率分別如表4。

4 結語

本文提出了一種新的交通道路運行情況判斷方法，該方法具有一定的創新性，算法準確性高，運算速度快，效果理想，同時簡單易于部署。YOLO是一個目標檢測算法，本身是無法提取出目標的運動信息的。本文提出的方法建立在YOLO之上，不僅能進行目標檢測，還能提取出目標的關鍵信息，創新地將YOLOv3與特征值矩陣、狀態時間統計state-bonus算法相結合，不僅能檢測出道路上的車輛數目，還能判斷車輛是停止還是運行并且能獲得停止或者移動狀態下的狀態持續時間信息，并且可以做到分車道（左轉彎車道、中間車道、右轉彎車道）獨立檢測，在道路擁堵判斷方面，已經在一定程度上領先了其他方法，這對于今后的分析，包括道路交通擁堵的緩解，改善以及優化人們的出行都具有重要的意義。

同時，由于城市路口的復雜多變，情況十分繁雜，如何能做到任何路口都能用本模型準確判斷道路的運行狀況，如何更加正確地處理畫面上顯示重疊的車輛，如何得到更加穩定的目標特征值輸出，如何進一步提升算法的穩健性、準確性以及通用性，這將是今后工作的重點。

參考文獻 （References）

[1] 劉羨.大全國機動車保有量達3.04億輛機動車駕駛人3.71億人[N/OL].中國新聞網，2017-07-11（14）[2018-05-30]. http：//finance.chinanews.com/sh/2017/07-11/8274683.shtml.（LIU X. The number of motor vehicles in China has reached 304 million， with 371 million drivers[N/OL]. China News， 2017-07-11（14）[2018-05-30]. http：//finance.chinanews.com/sh/2017/07-11/8274683.shtml.）

[2] 于建SF069.2016年全球最堵城市洛杉磯奪冠[N/OL].新浪財經，2017-02-21（15）[2018-05-30]. http：//finance.sina.com.cn/stock/usstock/c/2017-02-21/us-ifyarrcf5236517.shtml.（YU J SF069. Los Angeles， the worlds biggest city， wins in 2016[N/OL]. Sina Finance and Economics， 2017-02-21（15）[2018-05-30]. http：//finance.sina.com.cn/stock/usstock/c/2017-02-21/us-ifyarrcf5236517.shtml.）

[3] 張立東.城市交通溢流智能協調控制算法研究[D].濟南：山東大學，2012：2-4.（ZHANG L D. Research on intelligent coordinated control algorithm of urban traffic overflow[D]. Jinan： Shandong University， 2012：2-4.）

[4] 陸化普，孫智源，屈聞聰.大數據及其在城市智能交通系統中的應用綜述[J].交通運輸系統工程與信息，2015，15（5）：45-52.（LU H J， SUN Z Y， QU W C. Big data and its application in urban intelligent transportation system[J]. Transportation Systems Engineering and Information， 2015， 15（5）： 45-52.）

[5] 廖孝勇.浮動車交通參數檢測及在道路交通狀態分析中的應用研究[D].重慶：重慶大學，2011：6-8（LIAO X Y. Study on the detection of floating vehicle traffic parameters and its application in road traffic state analysis[D]. Chongqing： Chongqing University， 2011： 6-8.）

[6] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single Shot multibox Detector [C]// Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer. 2016： 21-37.

[7] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real time object detection [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 779-788.

[8] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 580-587.

[9] GIRSHICK R. Fast R-CNN [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 1440-1448.

[10] UIJLINGS J R R， VAN DE SANDE K E A， GEVERS T， et al. Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[11] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]// Proceedings of the 2012 Advances in Neural Information Processing Systems. Lake Tahoe： [s.n.]， 2012： 1097-1105.

[12] BRETT M， ANTON J L， VALABREGUE R， et al. Region of interest analysis using an SPM toolbox[C]// Proceedings of the 8th International Conference on Functional Mapping of the Human Brain. Cambridge： Academic Press， 2002： 497210-217.

[13] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 346-361.

[14] GRAHAM B. Fractional max-pooling[J]. ArXiv Preprint， 2014， 2014： 1412.6071.

[15] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks [C]// Proceedings of the 2015 Advances in Neural Information Processing Systems. Montréal： [s.n.]， 2015： 91-99.

[16] MA Y， JIANG Z， ZHANG H， et al. Generating region proposals for histopathological whole slide image retrieval[J]. Computer methods and Programs in Biomedicine， 2018， 159： 1-10.

[17] REDMON J， FARHADI A. YOLOv3： an incremental improvement [J]. ArXiv Preprint， 2018， 2018： 1804.02767.

[18] 汪毅.基于車窗定位的車輛特征提取與車型分類識別[J].科學技術創新，2018（3）：17-19.（WANG Y. Vehicle feature extraction and vehicle classification based on window location [J]. Science and Technology Innovation， 2018（3）： 17-19.）

[19] 劉家旭.基于HOG特征提取的車輛檢測方法研究[D].北京：華北電力大學，2017：4-6.（LIU J X. Research on vehicle detection method based on HOG feature extraction [D]. Beijing： North China Electric Power University， 2017： 4-6.）

[20] 劉荊橋，戴光明.角點檢測在車輛特征提取中的應用[J].軟件導刊，2008（4）：91-92.（LIU J Q， DAI G M. The application of corner detection in vehicle feature extraction [J]. Software Guide， 2008（4）： 91-92.）