基于邊緣檢測和深度學習的車輛定位與分類

□ 文/張驊 戚悅

引言

隨著現代社會生活水平的不斷提高，汽車數量高速增長，交通監管面臨巨大挑戰。高清智能卡口系統作為交通監管的一種重要手段，已被廣泛應用于現代交通的各個領域。然而傳統的依賴人工判讀的方法已無法滿足如今海量交通圖像處理的需要，構建智能識別系統以自動處理各種交通圖像信息成為必然趨勢。不同類型車輛，具有不同的道路使用權，高清卡口系統的一項主要任務就是識別車輛類型。本文就定位并識別高清卡口圖片中的小轎車和大客車進行了研究。

車輛定位一般是基于視頻監控系統。對于時域連續的圖片，可以利用幀間差分和光流法等技術方便提取出運動車輛的位置。但是不同于視頻監控系統，高清智能卡口系統只能獲取離散的抓拍圖片，傳統的基于視頻的定位系統不能取得理想的效果。目前，基于圖片的定位方法主要有：滑動窗和圖像分割，但是這兩種方法都非常耗時。本文充分利用高清智能卡口圖片背景信息，將卡口圖片的邊緣與背景邊緣進行差分，提取出前景車輛位置。確定車輛位置之后，就可以進行車型識別。本文的車型識別主要是利用卷積神經網絡對提取的前景車輛進行分類。相較于傳統方法，卷積神經網絡的識別正確率可以做到90%以上，此外將卷積神經網絡放入GPU中處理速度非常快。本文采取經典的AlexNet網絡進行車輛分類，取得了很好的效果。

車輛定位

背景建模和感興趣區域提取

高清智能卡口系統通過高清卡口抓拍攝像機對過往車輛進行抓拍，攝像機抓拍的所有圖片都是同一角度，背景完全相同。但是由于抓拍系統的工作時間間隔可能很長，無法實時建模，導致不能直接通過背景相減提取出前景。為了利用背景信息，必須消除光照影響。本文通過平均值法得到背景圖，然后提取出背景邊緣圖。考慮到抓拍攝像機不可能保持絕對不動，不同的圖片背景之間會有一定的位移，但是絕大數情況下，這種位移是很小的，所以對背景圖的邊緣進行膨脹操作以消除這些微小位移的影響。卡口系統都是針對特定車道的抓拍，對于其他車道的信息并不關心。因此可以劃定車道，只對特定車道進行處理，對于車道外信息完全屏蔽。

圖片預處理

高清智能卡口圖片清晰度好高，能很好的還原車輛的細節信息。但是對于車輛定位而言，許多細節信息并不重要，太大的圖片反而影響處理速度。所以將圖像縮放至原圖的1/4，并對原圖進行修剪，去除非車道部分。

在不同時間和天氣條件下，圖片的明暗程度差別很大。直方圖均衡化處理，可以很好的提高圖片的對比度，從而更有利于邊緣的提取。處理后圖片如下圖所示，從圖中可以看出，未處理之前的圖片光照條件很差，右下角的車輛幾乎看不清楚，經過均衡化處理提高了對比度，車輛外觀清晰可見。

▲圖1：均衡化處理結果

車輛定位

利用canny算法提取出抓拍圖片的邊緣信息，減去背景的邊緣信息即可得到前景信息。但是此時的前景邊緣可能會被背景邊緣切斷，需要對得到的前景邊緣進行膨脹處理以便將斷開的邊緣重新連接。抓拍系統一次抓拍目標只有一個，即距離攝像頭最近的車輛。由于相機的透視效應，離攝像頭最近的車輛也是最大的，因此只需找出最大連通域并求出其最小外接矩形，即可定位車輛。但是由于陰影的影響，以及前后車輛粘連，會導致，定位框過大。對于固定卡口，攝像頭的參數是固定的，攝像頭與車輛之間的距離也是固定的，因此車輛在不同位置的大小也是可以確定的。本文選取一系列抓拍圖片，對不同位置的車輛大小進行了測量，最終擬合出一個近似換算公式。對于過小、過窄以及過寬的外接矩形進行剔除，對于過大的外接矩形進行修正。

定位結果如圖所示。這張抓拍圖片抓拍的是左車道，本文算法屏蔽了右側車道只檢測出右車道的兩輛小轎車，最終保留了最近的轎車。

▲圖2：車輛定位結果

基于卷積神經網絡的車型分類算法

卷積神經網絡

卷積神經網絡（CNN）是人工神經網絡算法（ANN）的一種，近年來廣泛應用于圖像處理領域，是一種高效的識別方法。

卷積神經網絡的前向傳播

卷積神經網絡分為兩個部分：學習和預測，其中預測過程稱為卷積神經網絡的前向傳播，典型的卷積神經網絡一般有三步操作：卷積、激活和池化。其中卷積操作與圖像的卷積操作一致，它將每一個多通道的圖像看作是一層輸入，每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關系也隨之確定下來；卷積操作的本質是輸入按照權重進行疊加，這是一個線性操作，如果直接將疊加值作為輸出，則神經網絡的隱藏層將失去作用，卷積神經網絡將與原始的感知機無異，因此為了增加神經元的擬合能力，必須引入一個非線性的函數，即激活函數；卷積神經網絡的池化操作主要用于降低提取特征的維度以降低計算量，即通過對不同位置的特征進行聚合統計，可以有效的降低運算的復雜度，并一定程度上防止過擬合，常用的池化方法有平均池化或者最大池化。

卷積神經網絡的后向傳播

前面我們所介紹的卷積神經網絡的前向傳播過程是建立在權重已知的前提下，但是實際上我們并不能確定權重，因此我們需要通過后向傳播進行權重的更新學習（或稱為訓練）。通過學習，我們的算法計算得出的結果與實際結果越接近越好。數學上，我們用損失函數來衡量計算結果與實際結果的距離的指標。卷積神經網絡的學習過程就是最小化損失函數的優化過程，常用的優化方法有梯度下降法。

車型分類

我們利用邊緣檢測針對高清卡口圖片進行車輛定位，確定了待分類車輛的候選框。確定候選框之后，為了確定候選框內是否包含車輛和車輛的具體類別，就需要對候選框中圖像進行分類。卷積神經網絡作為一個自學習的特征提取器，避免了傳統算法手工挑選特征的主觀性，并且可以應對各種復雜環境。

車型分類作為物體分類的一個子問題，完全可以使用卷積神經網絡來實現車型的分類。目前大型卷積神經網絡，例如AlexNet、VGGNet以及GoogleNet等在物體識別上取得了巨大的成功。三個網絡在imagenet比賽中，一千類物體識別率均在80%以上。但是相對而言，AlexNet網絡最為扁平，處理速度最快。因此本文以AlexNet為基礎，針對車輛數據集進行訓練。AlexNet網絡結構如圖所示。整個網絡由5個卷積層和3個全連接層組成，最后接入softmax進行分類。

▲圖3：網絡結構

網絡訓練

數據集建立

卷積神經網絡的學習過程雖然不需要手工選取特征，可以實現對圖像特征的自動化學習，但是這種學習需要以大量的學習資料作為基礎，即數據集。然而目前物體識別領域已有的經典數據集，如imagenet和VOC，圖像數量龐大，物體種類繁多，對本文的研究并不具有針對性。因此為了針對性地提升識別效果，我們需要建立基于卡口圖像的車型數據庫。

參照標準圖像分類數據集，我們對數據集進行車輛區域和車輛類型的標注，其中，車輛區域用一個矩形框標定，包括左上角頂點的橫縱坐標以及右下角頂點的橫縱坐標；車輛類型分為小轎車和大客車兩大類，圖4是一個圖像的標注結果。

本文原始數據集中共標定了2800張圖像，其中2000張小轎車，800張大客車。本文選取1900張小轎車，700張大客車作為訓練集，余下100張小轎車，100張大貨車作為驗證集。由于兩類訓練數據并不均衡，且訓練集數據對于卷積神經網絡的訓練是遠遠不足的，因此在原有已標定數據集的基礎上，我們又進行了數據的增廣，具體的數據增廣方式如下：

對圖像進行上下左右的鏡像翻轉，候選框坐標做相應更改；

將圖像進行90°、180°、270°的選擇，候選框坐標做相應更改

對圖像添加小強度的高斯噪聲，候選框坐標無需更改；

在原圖上隨機裁剪圖像，保留包含完整候選框的圖像，并相應更改候選框坐標。

經過這樣的數據增廣處理，數據集可以擴大10倍，可以滿足卷積神經網絡的訓練需求。

▲圖4：數據集標注

網絡訓練過程

卷積神經網絡在本質上是一種輸入到輸出的映射。用大量的已知輸入以及對應輸出，對卷積網絡加以訓練，網絡就可以學習到這種映射關系。和標準AlexNet相同，本文也采取隨機梯度下降法訓練。每一層的權重用均值為0，標準差為0.01的高斯分布進行初始化。

學習率初始化為0.1，每訓練完一輪數據集驗證一次正確率。每當正確率不再提高時，將學習率除以10。最終，將數據集訓練200輪之后，正確率趨于穩定，訓練結束。

實驗結果及分析

本文數據集采用手動標定高清卡口圖像2800張，原始圖片大小為2208×2752像素，其中2600張用于訓練，200張用于驗證，并經過數據增廣將數據集擴大至原始數據集的十倍。

本文利用邊緣檢測針對高清卡口圖像進行車輛定位提取候選框，并將候選框輸入卷積神經網絡對車輛進行分類，每張圖的處理時間為180毫秒，具體結果如表1所示。在保證識別準確率基本不變的前提下，與RCNN算法比較，本文的定位速度要快280倍，識別速度快250倍；與fast rcnn算法比較，本文的的定位速度快11倍，識別速度快27倍。

表1：結果對比

結束語

與傳統物體識別算法和純粹的卷積神經網絡識別算法不同，本文結合了兩者的優點，并針對性地標注和選用數據集，利用邊緣檢測針對高清卡口圖片進行車輛定位，并選用了扁平化的卷積神經網絡AlexNet對車輛進行分類。實驗表明，相對于rcnn和fast rcnn算法，本文算法在較快的識別出卡口圖片中車輛的同時，在車輛定位速度上也有顯著提高。但是相較于識別過程，車輛定位花費時間太長，且定位精確度有所降低，后續有望對此進行改進。由于候選框回歸網絡和車型分類網絡都需要進行特征提取，候選框回歸網絡希望提取出車輛的位置及大小，車型分類網絡希望提取出車型的細節、組成及輪廓等信息。這兩種特征是密切相關甚至互相包含的，因此后期可以考慮讓這兩個網絡共享特征提取提取網絡以提高定位和識別速度。