基于公路監控視頻的車輛檢測和識別*

陳偉星,白 天,許曉瓏

(1.中國科學技術大學 軟件學院，安徽 合肥 230027；2.福建省廈門市公路局 信息處，福建 廈門 361008)

0 引言

隨著社會經濟的迅速發展，道路交通問題也越來越影響人們的生活，智能交通系統(ITS)的研究和設計受到廣大學者們的重視。而車輛檢測是智能交通系統中最重要且最基礎的一環。基于視頻的運動車輛檢測常用的方法是基于高斯混合背景[1-2]的背景減除法，然而此方法本身存在很多缺點[3]：(1)高斯混合模型需要對每一個像素點在時序上建立多個高斯模型，因此存在計算量大、不利于實時處理等問題；(2)對目標速度敏感，當車輛速度較慢時無法正確檢測出車輛。當目標從靜止到運動時，可能會將顯露出來的背景區域視為“運動目標”，檢測得到原目標的“影子”。為了解決高斯模型存在的不足，許多學者提出了諸多改進措施[4-7]。

目前車輛識別的方法主要有兩類，一種是通過提取圖像的特征，如Harr-like[8]特征，然后使用傳統機器學習分類器如Adaboost[9]進行分類；另外一種使用深度學習進行端到端的學習，如YOLO。2015年，REDMON J提出了YOLO[10]檢測算法，與Fast R-CNN[11]和Faster R-CNN[12]不同的是，YOLO采用了端到端的思路：利用神經網絡完成目標檢測和類別概率預測，將目標檢測問題轉化為回歸問題，大大提高了檢測速度。雖然YOLO大大提高了檢測速度，但由于采用7×7網格回歸，目標定位誤差較大，檢測精度有限，無法檢測到小目標。隨后REDMON J等提出了YOLO9000[13]算法，在原有YOLO算法上做了一些改進，提高了檢測的準確率。

以上方法曾在VOC、MS COCO等通用數據集上取得不錯的檢測效果。然而針對復雜情況下的運動車輛目標檢測任務，直接移植上述算法的思路是不可行的。這是因為受視頻監控設備以及環境的影響，公路監控視頻特別是夜間監控視頻混雜了大量的噪音，導致目標對象比VOC等通用數據集上的絕大部分對象要模糊很多。同時由于監控攝像頭距離攝像頭通常有幾十米，目標尺寸也要比VOC等通用數據集上的目標小得多。另外，VOC等數據集主要強調目標檢測的精度，并沒有對目標檢測的速度有硬性要求。

運動車輛檢測任務的特點和要求在于：在最大化目標檢測速度的同時，必須保持一定的檢測精度。目前已知的檢測算法都無法同時滿足這兩點要求。基于此，本文提出了結合高斯混合背景模型和AlexNet分類網絡的運動車輛檢測算法，主要步驟有：(1)對輸入的監控視頻進行降噪處理；(2)通過高斯混合背景建模的方法建立背景模型，采用背景相減法得到運動車輛的目標區域；(3)建立自采數據集，采用數據擴充策略豐富數據集，利用AlexNet對得到的目標區域進行分類。本文方法在公路監控視頻上取得了較好的檢測效果，運動車輛檢測的精度和速度均優于目前主流的檢測算法。

1 Alex分類網絡

2012年，HINTON G E和他的學生KRIZHEVSKY A在ImageNet競賽中使用AlexNet[14]進行圖像分類，刷新了圖像分類領域的記錄，為計算機視覺的深度學習奠定了基礎。AlexNet具有8層網絡結構，采用了5層卷積層和3層全連接層,如圖1所示。與神經網絡的經典模型LeNet相比，AlexNet增加了非線性激活函數ReLU，并使用Dropout和Data Augmentation來防止過度擬合。此外，AlexNet在第一個卷積層和第二個卷積層之后連接響應標準化層(RLN)。在每個RLN和最后一個卷積層之后連接最大的池化層。

圖1 AlexNet結構

2 基于高斯混合背景模型的目標檢測和識別框架

2.1 背景建模之高斯混合模型

背景建模是在視頻的圖像序列中建立并維護背景圖像，一般認為背景就是視頻中靜止不動的物體，在檢測運動目標的過程中，從當前幀圖像中減去背景圖像，將獲得的結果稱為前景，即運動目標。在現實環境下，真實背景并不是一直保持不變的，如果背景模型不能及時更新，則會導致運動目標檢測的漏檢或誤檢。通常來說，背景的變化分為以下3方面：

(1)背景擾動：背景局部變化，如樹葉隨風輕微的晃動。

(2)由光照引起的變化：光照強度的緩慢或突然變化，如照明燈突然開啟或關閉引起的像素值劇變、太陽落山引起的像素值緩慢改變。

(3)由目標引起的變化：車輛長時間停留在場景中被認為背景的一部分，而后發生運動離開場景。

針對背景發生變化的這些問題，STAUFFER C[2]首次利用高斯混合模型(GMM)用于視頻監控的前景檢測，該系統在戶外獨自運行了16多個月，具有較好的穩定性和自主學習能力。之后KAEWTRAKULPONG P等人[4]將高斯混合模型分成了訓練和權值更新兩個過程，取得了更好的檢測效果。ZIVKOVIC Z等[5]對高斯混合模型理論做了全面的論述，擴展了GMM理論的使用領域，并且在該理論中加入了參數估計的先驗知識，取得了更好的穩定性。

2.2 運動車輛檢測識別

本文車輛檢測框架的應用場景是：針對公路上攝像頭拍攝的長時間連續視頻，分別輸出運動車輛的定位框以及車輛類型識別的結果，為后續車輛流量檢測提供事實依據。受場景需求的影響，本框架需要分別完成運動車輛檢測和類型識別兩部分工作。與此同時，項目對目標檢測的準確率和實時性要求較高。

本文算法大致可分為目標車輛檢測、車輛類型識別兩個階段。算法流程如圖2所示。

圖2 本文算法流程

2.2.1車輛檢測

檢測部分，本文采用基于高斯混合模型的背景相減法。目前基于卷積神經網絡的檢測算法由于需要計算網絡中大量的參數，對計算機的性能要求比較高。而高斯混合模型通過對每一個像素點進行背景建模，然后將當前幀圖像與背景模型相減，與卷積神經網絡相比，沒有復雜的計算，因此具有較快的檢測速度。車輛檢測算法流程如圖3所示。

圖3 高斯混合模型算法流程

由于天氣、光照等外界因素的影響，通過公路監控設備采集得到的視頻中混雜著噪聲點。本文假設從監控設備所引入的噪聲服從正態分布，對于輸入的每一幀圖片，按式(1)進行去噪處理。

(1)

其中，(x，y)是相對原點的坐標。

通過統計像素點在時域上的像素值，對每一個像素值進行高斯混合建模。

(2)

|Xi,t-μi,t,k|<δ×∑i,t,k

(3)

wi,t,k=(1-α)wi,t-1,k+αMi,t,k

(4)

μi,t=(1-ρ)μi,t-1+ρXi,t

(5)

σ2i,t=(1-ρ)σ2i,t-1+ρ(Xi,t-μi,t-1)T(Xi,t-μi,t-1)

(6)

如果Xi,t與高斯混合模型中所有分布都不匹配，則高斯混合模型中具有最小權重的分布將被替換為新分布。將新模型的平均值初始化為Xi,t，并且初始化較小的權重wi,t,k和較大的標準差σ0，按式(4)進行更新權重，其中Mi,t,k=0。

計算wi,t,k/σi,t,k的值，按比值大小把每個像素點的k個高斯分布模型遞減排序。排在前面的高斯分布是背景的概率就越高。根據式(7)，T一般取值為0.85，可認為上述序列中前b個高斯分布作為背景模型，其余的分布視為前景模型。

(7)

將像素值Xi,t與它的前b個高斯分布進行匹配，如果能匹配上則認為該像點為背景，否則則認為是前景，即運動目標。

2.2.2分類網絡

在目標分類任務中，有許多典型的分類網絡：AlexNet、GoogleNet[15]、VGGNet[16]等。因為在識別過程中，輸入特征提取得越精細，輸入圖像被識別的可能就越大，且識別精確也越高。因此在經典Alex網絡的基礎之上，在其第5層后再添加2層卷積層，提高了網絡的識別精度。修改后的AlexNet如圖4所示。

圖4 修改后的AlexNet

為了盡可能避免過擬合，本文采取了兩個方案：數據擴充策略和Dropout[17]。每個輸入圖像由固定倍數的數據擴充，這可以有效地改善由收集的數據集太小引起的問題。

將Dropout添加到分類網絡的訓練中，這樣每個隱藏的神經元層都不會以概率p工作。在一次迭代中，不起作用的節點可以不被視為網絡的一部分，但可能在下一次迭代中再次起作用。如圖5所示，凡是不工作的神經元都不參與向前運算和BP運算。與此同時，每次輸入的神經網絡結構都不相同，從而增加了魯棒性，減少了過擬合。

圖5 Dropout

3 實驗結果與分析

本文測試所采用的數據集來自城市交通監控視頻，總共截取30 000張不同類型的車輛照片，分成4大類：car，truck，bus，motor。數據集中訓練集和驗證集、測試集的比例為7：1.5：1.5。圖6展示了該框架檢測和分類模塊的輸出結果。

圖6 目標檢測和識別結果

本文所提到的算法均使用C++實現，其中本文檢測算法是基于OpenCV+Caffe實現的，Faster R-CNN是基于Caffe實現的，而YOLO的實現是基于darknet框架。使用準確度和召回率來評估結果：

(8)

(9)

其中，TP、FP以及FN分別表示真正例、假正例和假反例。

表1給出了車輛檢測階段的實驗結果，表明本方法在檢測精準率、檢測速度上都優于其他兩種檢測方法。由于本文算法在運動車輛檢測任務中沒有大規模神經網絡計算，而是采用混合高斯模型背景建模的方法對每一個像素點進行建模，避免了復雜的計算，因此檢測速度比其他兩種方法更快。

表1 車輛檢測實驗結果

表2給出了車輛分類的結果，可以看出，car的識別效果最好，識別準確率達到了99.1%，但是motor識別準確率只有94.2%。這是因為在數據集中，car的圖片最多，而motor的圖片最少。通過增加訓練集，可以有效提高分類的準確性。

4 結論

本文根據公路監控視頻中車輛檢測和分類的具體場景，提出了結合高斯混合背景模型和AlexNet分類網絡的運動車輛檢測算法，該方法首先使用高斯混合背景模型檢測出視頻中的運動車輛，然后使用AlexNet對檢測出的運動車輛進行識別。通過在自采數據集上開展實驗，算法取得了較高的檢測精準率和檢測速度，優于目前主流的檢測算法，基本滿足了視頻實時檢測的需求。

表2 車輛分類結果