基于Sobel算子和CNN的車輛軌跡識別系統

趙 勝，趙學健，張欣慧，孫知信，陳 勇

(1.南京郵電大學 物聯網學院，江蘇 南京 210003;2.南京郵電大學 寬帶無線通信與傳感網技術教育部重點實驗室，江蘇 南京 210003;3.南京龍淵微電子科技有限公司，江蘇 南京 210000)

0 引 言

近年來，隨著經濟和交通運輸業的快速發展，道路上的機動車保有量迅速增加，而由此帶來的交通問題也越來越嚴重，給人們的出行和生活質量帶來不少的困擾。因此，人們日益關心如何用計算機技術來有效管理交通中的車輛，以此來解決交通擁堵和交通安全等方面的問題。隨著圖像處理技術和計算機視覺的快速發展，基于實時視頻分析的智能交通系統也越來越受到人們的關注，從視頻幀序列中準確地檢測出車輛目標是智能交通的一個重要研究內容。通過對道路上的攝像頭所拍攝到的實時交通視頻進行分析，實時檢測車輛的位置以及軌跡信息來分析車輛的行駛狀態等一系列的問題，能夠有效地監管交通運輸中的車輛，從而極大地提高交通運輸效率、保障交通安全。

基于特征信息的車輛識別是指通過對大量的車輛樣本學習來提取車輛的特征模型，該模型能夠針對視頻中車輛目標進行有效的識別分類。文獻[1]采用HOG特征來描述車輛的輪廓信息，利用支持向量機(SVM)良好的二分性特點來進行車輛的分類識別。為了有效地減少提取HOG特征的時間，在HOG檢測階段對圖像進行縮放和窗口掃描與合并進行并行化，彌補了HOG特征提取的時間消耗，能夠較快、較準確地識別出車輛[1]。文獻[2]使用GPU完成了車輛HOG特征的提取，解決了HOG特征提取速度慢的問題。文獻[3]中提出的基于顯著性與車底陰影塊的車輛感興趣區域提取算法，對比基于灰度圖車底陰影線提取的車輛檢測和識別算法,在車輛感興趣區域提取階段就可以減少大量的干擾區域,降低后期識別等操作的負擔,使用分類器可以進一步對感興趣區域進行分類識別。

文中針對提高視頻中車輛目標識別的準確性進行了研究。傳統的SVM對大規模訓練樣本難以實施[4]，使得SVM在車輛目標識別的精確度上仍存在一定的誤識別率[5-6],采用HOG+SVM的方法由于HOG提取算法過于復雜而不適用于實時視頻分析[7-8]。而采用深度學習的方法可以更好地提高車輛目標的識別分類。首先截取實時視頻中的視頻幀并進行分析，在每一幀中采用HSV顏色模型提取目標區域中顏色相對于背景區別明顯的區域，將該區域作為車輛目標的候選區域，然后再使用Sobel算子對視頻幀圖片中的其余區域進行輪廓區域的識別篩選，加入到車輛目標的候選區域，將得到的所有車輛目標候選區域輸入到卷積神經網絡中進行車輛目標的提取，計算每幀圖片中車輛的中心位置，根據前后幀中車輛的關聯性得到車輛運行的軌跡點信息[9]。

1 系統模型

車輛識別包含了兩個過程：提取車輛目標候選區域和提取車輛目標。文中采用HSV+Sobel算子對圖片進行車輛候選區域的快速篩選，將可能存在車輛位置的區域輸入到卷積神經網絡進行車輛的分類篩選，降低了卷積神經網絡計算過程中的復雜運算，從而在保證車輛識別精度的前提下，提高了實時視頻中車輛識別的實時性。系統流程如圖1所示。

圖1 系統流程

2 算法原理

2.1 車輛目標候選區域提取

2.1.1 HSV顏色空間目標提取

采用HSV顏色空間模型提取圖片幀中顏色相對于背景區分度較大的區域，可以將它作為車輛目標的候選區域。首先將每一幀圖片中的像素轉化到HSV顏色空間，HSV模型中顏色的參數由色調(H)、飽和度(S)和亮度(V)組成。不同顏色對應的HSV模型中H的取值范圍如下：Orange:0～22,Yellow:22～38,Green:38～75,Blue:75～130,Violet:130～160,Red:160～179。用H值可以代表該區域的顏色值。對視頻幀中需要檢測的特定顏色車輛設置閾值[a,b]，對符合[a,b]的像素點設置為255，否則設置為0，即對特定顏色區域進行二值化處理。HSV顏色空間轉換如圖2所示。

圖2 HSV顏色空間轉換

對二值化處理后的圖片計算其候選目標所占據矩形的面積s，設定一個閾值k,當滿足s>k時才保留該區域的坐標，并將該圖片及坐標加入到候選區域中。該方法可以有效地篩選道路兩側可能出現的干擾因素[10]。

使用HSV顏色模型提取出車輛候選區域依賴于顏色信息，對于給定的顏色值可以迅速地提取出車輛可能出現的位置，但是會受到道路兩側的樹木等因素的干擾。例如以黃色為例，在提取黃色候選區域時，會將大塊的草叢誤認為車輛。因此為了排除這些干擾，將這些提取出來的區域都作為車輛的候選區域，并將其輸入到卷積神經網絡中進行下一步的分類。

2.1.2 Sobel算子輪廓提取

Sobel算子是一階導數的邊緣檢測算子，通過3×3模板作為核與圖像中的每個像素點做卷積和運算，然后選取合適的閾值來提取邊緣[11]。先分別計算圖像橫向和縱向的梯度Gx和Gy，公式如下：

Gx=(Z7+2Z8+Z9)-(Z1+2Z2+Z3)

(1)

Gy=(Z3+2Z6+Z9)-(Z1+2Z4+Z7)

(2)

Sobel算子利用Gx和Gy之和G作為檢測邊緣的依據，當G大于一定的閾值時，則認為是物體的邊緣點，在得到所有的邊緣點后，將所有的點連通，即構成了目標區域的輪廓信息[12]。

針對HSV在提取與背景色相近的目標區域時的不足，采用Sobel算子提取圖片中與道路背景色相近的目標區域的輪廓。通過提取出的輪廓計算候選區域的目標的坐標位置，并將第二次提取出的候選區域加入到第一次提取的候選區域中，然后將所有的候選區域輸入到預先訓練好的卷積神經網絡，去除干擾目標(如道路兩側的路燈、樹木等)的影響，從候選區域中篩選出車輛目標，進行車輛的定位跟蹤[13]。

2.2 卷積神經網絡車輛識別

采用The PASCAL Visual Object Classes Challenge 2012(voc2012)數據集進行卷積網絡訓練，得到車輛目標的分類模型[14]。卷積神經網絡結構如圖3所示。

圖3 卷積神經網絡結構

將voc2012中車輛的圖片數據集通過和3個可以訓練的濾波器進行卷積[15-16]，得到C1層的三個特征圖，C層屬于特征提取層，每個神經元的輸入與前一層的局部感知相連并提取該局部的特征，然后特征映射圖中每組的4個像素進行求和，加偏置，加權值，得到一個S2層的特征映射圖。再將這些特征映射圖輸入到濾波器中得到C3層，然后如同C1層生成S2層那樣得到S4層[17]，并最終輸出分類結果。

將前面提取的車輛的候選區域目標集合作為參數輸入到卷積神經網絡中，進行車輛目標的提取及定位。經過卷積神經網絡識別分類后，將干擾目標排除，得到車輛目標的位置信息的集合。

2.3 車輛軌跡提取

以圖片幀的左上角為原點，建立車輛運動軌跡坐標系，如圖4所示，在車輛的坐標系下分析車輛的運動，車輛的中心坐標點可以由目標識別階段獲得。

圖4 車輛坐標計算

使用Sobel算子檢索車輛輪廓信息，獲取車輛最外側的輪廓信息，計算車輛識別框的位置信息(left,top,right,bottom)，并保存車輛中心坐標位置(x,y)。

(3)

3 實驗結果與分析

為了驗證該方法的有效性和可行性，實地拍攝了一段交通路口的視頻進行分析。該路口道路路面有5個車道，車流量較大，道路兩側有花壇、樹木等干擾因素。視頻格式為avi,圖片大小為856×480，時長約為90 s。實驗環境:處理器為i7-3770,內存大小8 G，GPU為titanX。開發環境：cuda7.5+ffmpeg2.0.7+opencv 3.0.0+qtCreator5.5.1。

為了驗證系統的功能，對系統進行整體測試。在初步進行特定顏色車輛的篩選過程中，由于這幾種顏色與背景模型的顏色差別較大，該算法可以以最快的速度篩選出第一部分的車輛候選區域。

其次，測試顏色與道路背景相似的車輛。采用Sobel算子快速篩選出輪廓面積區域大于一定閾值的車輛候選區域，該算法可以彌補HSV顏色空間在識別車輛上的不足，進一步提取出圖片幀中可能存在車輛的位置區域。

Sobel算子輪廓提取如圖5所示。

然后將整個系統進行測試，即將HSV+Sobel算子篩選出的車輛候選區域輸入到卷積神經網絡模型進行車輛的識別篩選。

為了驗證該方法的有效性，將其與傳統的車輛識別方法進行對比實驗，分別統計車輛目標識別的準確性，結果如表1所示。由表1知，提出的HSV+Sobel+CNN的方法在車輛目標的識別準確率和誤識別率上較其他方法更好。

圖5 Sobel算子輪廓提取

表1 4種車輛識別方法結果對比 %

4 結束語

提出了一種車輛軌跡識別系統，在現有的技術基礎上進行改進，通過HSV顏色空間和Sobel算子的方法快速篩選車輛目標的候選區域，并輸入到卷積神經網絡進行快速識別，達到實時識別的要求，基本能做到對道路中車輛的識別跟蹤和軌跡的跟蹤。同時對道路中可能出現的干擾進行標記排除，具有很好的適用性。在不同光照條件下，對道路中不同顏色車輛的識別準確性較高，且對于背景色和車輛顏色相近的車輛，采用輪廓識別的方法加以彌補。通過實驗數據表明，該方法在保證識別準確率的條件下，使得車輛識別的實時性也得到了很好的保證，可以適用于復雜交通視頻監控中。