一種基于監控視頻的車型識別和車流量檢測算法*

吳亞斌，陳淑榮

（上海海事大學 信息工程學院，上海 201409）

0 引言

近年來隨著機動車保有量的迅速增加，交通擁堵等各類交通事故頻發。為了解決日益惡化的交通問題，智能交通系統（Intelligent Transport System）應運而生。交通監控系統是智能交通系統 （ITS）[1]的重要組成部分，而車型識別、車流量檢測是交通監控系統自動化的基礎部分，為進一步提取、分析道路交通信息和控制車輛提供依據。目前用于車量檢測的主要技術分為三類[2]：基于壓電回路的永久埋入式系統、懸掛式系統和基于圖像處理技術的視頻車輛檢測系統。其中基于圖像處理技術的視頻車輛檢測系統利用圖像處理與識別技術，通過視頻信息檢測道路車流量、車型、車速等交通流信息，具有成本低廉、安裝和維護簡便、應用范圍廣等優點，被廣泛采用。

針對交通視頻中的運動車輛目標檢測，當前主要方法有：幀間差分法、光流法、背景差分法[3]。其中背景差分法計算簡單，是目前最常用的方法。Wren等人[4]提出了通過單高斯背景模型對每一個像素建立高斯模型來表征像素在時間軸上的變化，但當固定位置的像素值不斷改變，像素顏色值不是單峰分布時，單高斯模型描述不夠準確。周世付等人[5]提出高斯混合模型（Gaussian Mixture Model，GMM），用K個單高斯分布來描述每個像素，再對每個單高斯分布進行加權。混合高斯背景模型雖然能夠處理復雜、非靜止的多模態背景，但它在背景變化較快的時候效果極巨下降，除此之外它的時間復雜度也較大。背景差分法可以獲取完整運動物體外形，但是通常計算量也較大，綜合考慮檢測效果以及計算量等因素，本文采用均值背景差分和自適應閾值選取相結合的方法[6]，獲取可靠前景、背景。

車輛陰影的存在嚴重影響了車輛檢測的效果，需要對其進行檢測與去除。馮文剛[7]等提出一種基于多顏色空間的車輛陰影分割方法。殷保才[8]等提出了一種融合紋理和陰影屬性的陰影檢測去除算法。然而，這些單獨利用陰影顏色、紋理不變等特征檢測陰影的方法在實際使用中效果均不夠理想。因此本文采用綜合顏色和紋理的陰影檢測算法[9]實現對陰影的去除。

車流量統計和車型識別的研究經過多年的發展也總結出許多方法，參考文獻[10]中利用長寬比和占空比的聯合概率進行判定。參考文獻[11]提出了快速的連通區域標記算法和基于邊緣檢測的鄰近區域連接算法，可以做到實時、準確地提取物體輪廓。本文采用判斷輪廓最小矩形框面積結合統計車輛跟蹤幀數的方法，該方法首先通過提取的車輛輪廓外接最小矩形框的面積初步識別車型，再引入擴展Kalman濾波跟蹤模型，跟蹤車輛輪廓目標經過檢測區域的幀數，進一步判斷所屬車型并統計對應車型的車流量。

1 算法理論

算法原理如圖1所示，首先對視頻監控圖像預處理，根據粗糙背景設置虛擬線圈作為檢測區域，以便最大限度地減少冗余計算。接著采用均值法提取背景，用Ostu自適應閾值進行圖像二值化，再對所得前景部分去除陰影，接著檢測前景輪廓，根據包圍輪廓的最小矩形框面積結合虛擬檢測區域跟蹤車輛的幀數，進而識別判斷車型以及統計對應車型的車流量。

圖1 算法原理框圖

1.1 虛擬檢測區域設置

根據道路監控攝像頭的安裝要求及通常攝像頭近端車輛遮擋較少的情況，本文將虛擬線圈放置于圖像中下部的車道上。線圈的長度設置為整個道路的寬度，線圈的寬可以根據需要進行控制，通常取普通車型的70%車長[8]，以實現對多車道車流量的檢測。

1.2 前景目標提取

為了保證整個算法的時效性，采用均值法進行背景提取，獲取運動的前景目標。算法如下：

（1）將彩色圖像灰度化，對灰度圖的每一像素求取平均值。如式（1）：

其中 i=1，2，…，n；Pi（x，y）為第 i幀對應點（x，y）的像素值，A（x，y）為該點的平均值。

（2）將n幅圖像中同一點像素與對應的均值 A（x，y）求差值，再將絕對差值累加，然后取平均值，并遍歷圖像中其他的所有像素。如式（2）：

其中n為提取的幀數。

（3）修正差異大的點，假如某像素點與均值的絕對差值大于平均絕對值誤差，則該點就取平均值像素值，否則就取當前幀對應像素的值。如式（3）：

（4）對修正好的每一個像素求平均值，記為B（x，y），得到的圖像即為背景圖像。如式（4）：

獲得初始背景后，通過計算當前幀與背景圖像的差值獲得前景運動圖像，得到的前景圖像 Dk（i，j），如式（5）：

由于背景圖像會隨著環境的變化而變化，需要對背景進行實時更新。更新方法如式（6）：

其中θ為 0～1之間的數。

如果 Dk（i，j）≠0，則判斷它為前景，背景保持原來的值。 如果 Dk（i，j）=0，則判斷它是背景，更新背景值。

不同的光線背景下分割出的差分圖像，不能用固定閾值進行二值化，通常交通監控圖像的灰度分布比較集中，因此采用Ostu算法（最大類間方差法）[3]，確定一個最佳閾值進行圖像二值化處理，從而較好地區別背景和前景。圖2（a）中為提取出的背景圖，（b）為提取出的帶陰影的前景目標。

圖2 提取出的背景和前景圖（有陰影）

1.3 前景目標陰影消除

經過前述方法提取的前景目標圖存在陰影干擾，這給后續的車型識別跟蹤等帶來困難，因此需要去除陰影。本文采用基于顏色和紋理的運動車輛陰影檢測方法[6]進行運動區域中的陰影檢測并去除。

經典的基于紋理的陰影檢測算法和SNP（統計無參）陰影檢測算法均能較好地檢測出陰影，但各自存在一定的缺陷[9]。SNP陰影算法當物體的顏色和陰影顏色相近時，處理效果較差，基于紋理的檢測算法適用于陰影較淺時，當陰影很重時幾乎不存在紋理，算法即會失效。通過分析交通車輛陰影的特點，本文采用一種綜合顏色和紋理的陰影檢測算法，其流程如圖3所示。

圖3 綜合顏色和紋理的陰影檢測算法流程圖

具體步驟如下：

（1）對采集的交通監控視頻進行預處理，通過均值差分、ostu等方法提取出前景目標塊Q。

（2）對前景圖像進行形態學的腐蝕處理，得到Qe。

（3）將Q與Qe作差得到前景圖像的邊緣信息：Qd=Q-Qe。

（4）將前景圖像Qe分別進行基于紋理的陰影檢測和基于SNP的陰影檢測，兩種處理得到的結果做 “與”運算。

（5）對邊緣圖像Qd進行基于顏色的SNP陰影檢測。

（6）依據式（7）和（8）標記出上述圖像中的陰影點。

SNP算法陰影判斷標準為：

其中 Ts和 Tc均為閾值，ai和 CDi分別為亮度失真度和顏色失真度。

紋理檢測算法陰影判別準則為：

其中ε、τ為閾值，GBε，x、GBε，y代表背景像素點各通道水平和垂直方向的一階梯度，GFε，x、GFε，y代表當前幀像素各通道水平和垂直方向的一階梯度。

（7）將標記為陰影點的像素從前景中去除，得到屬于車輛的前景目標塊。將得到的前景進行形態學處理，先用 3×3的結構元素開運算，再用7×7的結構元素進行閉運算，從而得到完整的飽滿的車輛目標塊信息。

1.4 車輛輪廓提取和車型識別

針對去除陰影后的前景目標塊，由于每個車輛目標都是以在空間上連通的區域表示的，識別不同車型的關鍵是提取出車型的輪廓再加以判斷，這里進行兩步法中的第一步，即提取目標車輛輪廓的外接最小矩形框面積，初步識別車型。提取輪廓的算法步驟如下：

（1）對去除陰影后的前景目標圖像采用canny邊緣檢測，得到目標車輛的邊緣輪廓。

（2）針對canny邊緣檢測存在著斷裂的情況，對其進行形態學處理，即膨脹、腐蝕等操作，得到完整的輪廓圖。

（3）求取包含輪廓的最小矩形框的面積A。

車輛的種類一般按車輛的大小分為大型車、中型車、小型車等，這里通過各車型的外接最小矩形框面積A的大小初步判斷車輛的類別，按照式（9）對車輛進行車型識別劃分。

1.5 車輛跟蹤及統計車流量

對檢測出來的車輛進行形態學處理后，再進行兩步法的第二步，即引入擴展Kalman濾波的跟蹤模型統計車輛輪廓目標經過檢測區域的幀數，進一步判斷所屬車型。通過分析連通區域獲得每個車輛目標的質心位置，利用Kalman預測方法對每個車輛在虛擬檢測區域內進行跟蹤。本文采用標準Kalman濾波器擴展方法[10]進行車輛運動估計，預測方程和觀測方程定義如下：

式中參數 F、P等取值見參考文獻[10]，跟蹤過程中，由于相鄰2幀之間的時間間隔很短，目標運動變化較小，因此假設目標在單位時間內是勻速運動?；贙alman濾波的車輛跟蹤算法通過運動估計和目標匹配兩個步驟實現對車輛的跟蹤，利用前一幀獲得的參數作為狀態變量，當前幀獲得的參數作為觀測值 zt+1，通過濾波推導獲得估計值。再以估計值為中心進行目標匹配，具體跟蹤方法見參考文獻[10]。

利用跟蹤模型跟蹤統計目標輪廓通過虛擬檢測區域所需的幀數 f，對經過式（9）判斷的目標輪廓采用式（11）做進一步車型判斷，分別統計相應車型的車流量。

其中數字代表各車型通過檢測區域需要的幀數。

2 算法步驟描述

本文建立的基于監控視頻的車型識別和車流量檢測算法步驟如下：

（1）從交通監控視頻中讀取視頻幀圖像，設定檢測區域，運用均值法、ostu法提取出目標前景信息。

（2）判斷前景目標中是否存在車輛目標信息。如無則轉步驟（1）讀取下一幀。

（3）采用基于顏色和紋理的陰影檢測算法對提取的前景去除陰影。

（4）對去除陰影后的目標塊采用canny邊緣檢測法檢測輪廓并提取輪廓的最小外接矩形，按照式（9）判定車型。

（5）利用卡爾曼濾波器跟蹤車輛，統計車輛經過檢測區域需要的幀數，按照式（11）對車輛類型做進一步判斷，統計相應車型的車流量。

3 實驗仿真及結果分析

為了驗證算法的有效性，運用交通監控視頻圖像進行實驗，實驗環境為：vs2010，計算機配置為酷睿i3處理器和4 GB內存，OpenCV2.4.4開源庫。

圖4是對視頻的第 100幀提取的圖像，其中（a）是采用均值法和ostu法提取出的帶陰影的前景目標，（b）是采用基于顏色和紋理的陰影檢測法檢測的結果，（c）是去除陰影后的結果，可以看到陰影基本被消除。

圖5 是從視頻中150幀圖像提取的輪廓外接最小矩形圖。（a）是未經陰影處理時提取的結果，（b）為經過陰影去除后的提取結果?？梢钥吹剑╞）圖中經過陰影處理排除了（a）圖中由于陰影粘連將兩個車輛目標提取成一個輪廓的情況。

圖5 車輛輪廓檢測結果

應用本算法對多段視頻進行了實驗，針對不同天氣條件（如晴天，陰天）多車道車流量統計的結果分別如圖6所示。其中（a）為在陰天環境下檢測結果，（b）為在晴天環境陰影比較重時的檢測結果。實驗結果如表1所示，其中給出了小、中、大型車的數量。

4 結束語

針對智能交通系統中實時進行車型識別和車流量統計的需求，提出了一種按車道進行機動車車型識別并統計車流量的方法，該方法對陰影進行有效去除，將車型識別和車流量統計結合起來，計算復雜度低，穩健性好。實驗結果表明，本算法識別檢測精度較高，能達到系統的實時性要求。

圖6 算法運行效果圖

表1 算法識別統計情況

[1]李瑞.基于視頻的車輛檢測與跟蹤算法研究[D].上海：上海交通大學，2008.

[2]李百惠，楊庚.混合高斯模型的自適應前景提取[J].中國圖象圖形學報，2013，18（12）：1620-1627.

[3]墨芹.運動車輛視頻檢測與車流量檢測方法的研究[D].長沙：中南大學，2012.

[4]WREN C R，AZARBAYEJANI A，DARRELL T，et al.Pfinder：real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：780-785.

[5]周世付，李建雄，沈振乾，等.基于高斯混合模型的多車道車流量檢測算法[J].計算機仿真，2012，（10）：331-335.

[6]甘新勝.基于碼書的運動目標檢測方法[J].中國圖象圖形學報，2008，18（2）：365-371.

[7]馮文剛，高雋，BUEKLES B，等.多顏色空間中目標約束的車輛陰影分割研究 [J].中國圖象圖形學報，2011，16（9）：1599-1606.

[8]殷保才，劉羽，汪增福.結合色度和紋理不變性的運動陰影檢測[J].中國圖象圖形學報，2014，19（6）：896-905.

[9]盧清華，吳志偉，范彥斌.基于顏色和紋理的運動車輛陰影檢測算法[J].測試技術學報，2013（2）：252-254.

[10]Yang Yanfang，Qi Meibin，Wang Qian，et al.Multi-object tracking based on motion detection and motion search[J].Computer Engineering，2008，34（19）： 222-224.

[11]周增剛.基于視頻監控的車輛識別技術的研究 [D].上海：東華大學，2013.