視頻車輛分類與計數的模型與應用

左 靜, 竇祥勝

(西南交通大學 經濟管理學院，四川省 成都 610031)

0 引言

隨著經濟發展，車輛保有量呈爆炸式增長，由此帶來的交通擁堵、交通事故、環境污染和能源浪費等一系列問題對社會造成了巨大的經濟損失，為了更高效利用現有道路基礎設施，傳統交通系統必然向智能交通系統(Intelligent Transportation System，ITS)轉型?；谝曨l的交通車輛檢測技術作為智能交通系統的一部分，能自動、實時、準確、高效地對車輛進行分類和計數，有利于緩解交通擁擠、提高管理效率、節約人力資源，因此基于視頻的車輛分類與計數極為重要。

準確的前景提取是車輛分類與計數的前提，在前景提取算法中Zeng和Lai[1]對高斯混合模型(GMMs)進行改進和對像素進行分類，很好的對前景進行了提取。Rother等[2]提出的更具魯棒性的迭代算法，可以在沒有背景的條件下直接對圖像中的前景進行準確分割，加入人為輔助后，使得算法更加完美。Lam等[3]通過對前景圖片和背景圖片的紋理及圖像中不同區域的相關性進行分析，將前景中的車輛準確地分割出來。Pang等[4]在確定存在車輛重合的情況下，首先根據圖像和圖像背景來準確提取圖像中的車輛，然后對車輛建立三維模型進行車輛分割，分割的準確率達到了94%～95%。Huang和Liao[5]針對視頻中的車輛遮擋，提出通過遮擋檢測、運動矢量校準和運動場聚類三個步驟進行解決。Zhang等[6]提出了包含幀內、幀間和跟蹤的多級框架處理視頻車輛檢測和遮擋分割。雖然這些基本模型對前景提取提供了一些基本的解決方向，但是由于需要大量的時間消耗，使得這些模型在實際中很難被應用。

在車輛分類方面，Ozkurt和Camci[7]用手動設計的14個特征作為車輛特征，用神經網絡算法將車輛分為3類，得到了94%的準確率。Kafai和Bhanu[8]提取了車輛后視圖的邊緣特征，最后用混合動態貝葉斯網絡將車輛分為4類。Ma和Grimson[9]根據車輛的邊緣結構和改進的SIFT特征來對車輛分類，得到了很好的效果。Ambardekar[10]通過對車輛進行3D建模，根據每個車輛的3D特征模型來對視頻中的車輛分類，取得了滿意的結果。在當前的車輛計數系統中，有很大一部分通過地磁感應來對車輛計數，這種方法可以降低分析的難度和錯誤率。但是地磁感應線圈本身比較笨重，安裝麻煩，維修困難，對道路的損毀嚴重，并不適合大范圍推廣。道路車流量的實時監控可以提供實時的道路數據給決策者，使得決策者可以更好地做出抉擇。Vigos等[11]給出了一種通過卡爾曼濾波的方法來對道路車輛進行估計。Jung和Ho[12]通過設計算法來對車輛進行跟蹤，通過每個車輛的運行軌跡，解決了碰撞問題和計數問題，但是算法并不適應道路擁擠下的情況。

在綜合以上現有研究成果的基礎上，本文在確定發生車輛碰撞后，提出了灰度空間和YCbCr空間同時處理的方案，可以很好地提取前景，并消除陰影的影響，在很大程度上提高了分割的準確率，通過對碰撞車輛塊的分析，根據碰撞車輛塊的凸包和閉包間的間隙，對所有的間隙定義特征向量和面積的概念，再將問題轉化為優化問題和尋找最優分割點問題。文章提出的算法可以在計算量很小的情況下對車輛進行準確的分割。再用神經網絡去對車輛分類，并在對發生碰撞的車輛進行分割后，給出用相鄰兩幀圖像來對車輛計數的準確算法，高效地對車輛計數，既滿足了實時性的要求又保證了較高的車輛分類與計數的準確性。

1 車輛前景提取

在監控視頻處理中，第一步是要將前景運動物體在視頻中準確提取出來，準確的提取是后面分類和計數等工作的前提，所以這一步至關重要。尤其當交通處于擁擠狀態時，問題變得復雜。當車流量變大，會發生車輛碰撞現象，車輛的視覺碰撞不僅會帶來分類不準確的問題，而且會帶來計數上的誤差，將兩輛車甚至多輛車計數為一輛車，當這種情況發生頻繁時，給車流量的統計帶來了很大的誤差。因此對碰撞車輛分割的解決方案十分重要。

1.1 背景建模

在交通監控環境中，交通情況瞬息萬變，但是所處的環境相對簡單，一般道路占有了很大部分，所以背景建模并不需要很復雜，一般背景建模算法就可以滿足要求。本文使用平均值背景法來對背景建模，背景差法提取前景：

(1)

式(1)中back表示背景圖像，learnNum表示用于背景圖像的視頻幀數，order表示當前視頻處于的幀數，current表示當前視頻幀圖像，F(x)表示監控視頻的第x幀的圖像。

1.2 前景預提取

通過設定閾值，我們可以得到前景圖像

(2)

式(2)中abs(x)為絕對值函數，threshold為待選取閥值，fore_t為前景圖像。

由于運動圖像的處理會出現毛刺和空洞等現象，所以還需要對前景fore_t進行數學形態處理：

fore=dilate(erode(fore_t))

(3)

erode()決定每個具有最小值像素點的領域形狀，dilate()將輸入圖像結構元素的鄰域形狀中各點的像素值替換為對應鄰域上的最大值。

由于對于車輛監控視頻來說，主要目的是計算車流量和分類每個車輛的車型，并沒有必要對前景提取的非常準確，前景計算越準確一般消耗的時間越長，會影響視頻車輛分類和計數的實時性。用均值法背景建模和背景差法提取前景有著簡單、處理速度快等優勢，已經可以對前景進行大概范圍的提取。當提取的前景中只存在一個單獨的物體時，此方法不僅有效而且高效。

但是實際的車輛監控中，尤其當車流量很大的時候，會出現多個車輛碰撞的現象，如果沒有對視頻中的車輛進行準確的分割，則會將幾輛車識別為一輛車，這顯然是不可以接受的。如果先對整個碰撞車輛塊分割，再單獨處理車輛塊，這會很大程度上降低計算的復雜度。下面我們將討論如何僅根據碰撞車輛的閉包和其凸包分割碰撞車輛。

1.3 前景再提取

對于發生車輛碰撞的情況，為了提高車輛分割的速度，并且滿足一定的準確率，通過定義間隙的概念對問題予以解決。根據初次前景提取，可以將單獨的車輛或者多輛重合車輛從視頻中分割出來，為了準確的識別車輛，需要對多輛重合的車輛更進一步做分割處理，建立下面數學模型來判斷是否存在多輛車碰撞的情況，式(4)中當T為true時則表示需要重新提取前景，否則不需要重新提取前景：

(4)

式(4)中C表示提取前景中閉包的周長，H表示提取前景中閉包的凸包周長，閉包與凸包的定義見圖1所示，黑色為閉包，灰色為閉包的凸包，其中灰線與黑線重合形成的虛線部分表示閉包與凸包重合。

圖1 閉包與凸包

根據式(4)可以判斷是否需要重新提取前景，如果符合條件，則重新提取前景。

由于在前景提取中，車輛的碰撞問題可能會有車輛陰影的影響，而根據陰影形成機理，有陰影的地方只是亮度會和原來相比有很大的變化，而且是亮度降低。當有黑顏色的車輛通過時，車輛區域也是亮度低于背景，相對于陰影的亮度變化，其幅度要更大，可以將閥值設置在陰影的區間內，即取兩個閥值，就可去掉陰影的影響，但是不會影響前景車輛的提取。詳細的模型如下所示：

(5)

式(5)中gf表示前景的灰度圖像，gb表示背景模型生成的背景灰度圖像，threshold1和threshold2分別為上限閥值和下限閥值來共同確定。

下一個步驟為將前景和背景的彩色圖像轉換到YCbCr顏色空間做處理。我們假設前景轉換后的YCbCr顏色空間的各個分量分別為yf，Cbf，Crf，背景轉換后的YCbCr顏色空間各個分量值為yb，Cbb，Crb，則建立下面模型來提取前景：

(6)

T=T1∪T2∪T3

(7)

本文通過多次測試中選取的閥值為：threshold1=30，threshold2=25,τ2=0.1,τ3=0.001。

圖2中左右圖片分別表示存在陰影的車輛圖片案例。每個案例中，從左到右，從上到下依次是原圖、背景圖片、灰度空間雙閥值法提取前景T1、YCbCr空間Y分量提取前景T2、YCbCr空間Cb，Cr分量提取前景T3，最后的為由T1，T2，T3取并集得到的最終結果T。

圖2 算法對陰影的處理結果

最后，我們再用形態處理去除掉噪聲點和空洞。下面對碰撞車輛的情況進行分析進行前景再提取處理，結果如圖3所示。

圖3 碰撞車輛前景提取圖

圖3中所示圖片，是經過數學形態處理前后的前景圖片，從左到右，從上到下依次是原圖f、背景圖像b、臨時前景圖像fore_t和最終前景圖像fore。

2 視覺碰撞車輛分割

當車輛發生重合時，不僅會造成后期對車輛的分類造成誤差，還會使得車輛計數出現誤差 。當交通比較擁擠時，車輛間的碰撞現象會很正常，所以要解決現實中的車輛監控問題，必須將車輛碰撞問題解決，即要將發生視覺碰撞的車輛分別識別分割出來。

2.1 間隙建模

下面建立模型來分割碰撞的車輛，通過前景再提取，可以計算出相對于預提取前景更為準確的前景，這樣有益于對每個閉包和其凸包進行定性分析。如圖4中第三張圖片，黑色為其前景閉包，灰色為前景凸包，下面我們對圖4中第二張圖片中的深灰色區域，即閉包與凸包的間隙進行建模分析。

圖4 碰撞車輛前景

設由閉包和凸包組成的每個間隙中遠離閉包的一個點稱為A點，本文中將稱為頂點(圖5中黑色的點)，其他兩個分別為B點和C點為凸包和閉包的交點(圖5中灰色的點)，如圖5所示。

圖5 間隙特征向量

這里提出間隙特征向量的概念，即對每個間隙定義特征向量，其定義式為：

(8)

即間隙的特征向量大小為間隙的面積大小，其方向為頂點的角平分線，特征向量包含了間隙的兩個主要特征，即面積和方向，式(8)中v為間隙H的特征向量，s為△ABC的面積大小。為了減少計算量，用s來近似代替間隙H的面積。則每個間隙H可以用面積s、特征向量v和三個頂點A、B、C五個特征來唯一表示。其中特征向量如圖6中第二列黑色線條所示，第二列圖像中黑色點即為每個間隙頂點。

圖6 尋找分割點

2.2 優化分割

在車輛分割的問題中，可以將車輛分割問題看作是選取兩個合適頂點的問題。根據間隙的特征，下面的模型將給出具體計算分割頂點的方法，設H為每個粘合塊中的所有間隙的集合。如果是分割頂點，則其間隙的特征方向是幾乎相反的，本文中建立優化方程，使得特征向量的方向相差越大則表示越優，但是間隙中的頂點不能相距太遠，如果相距太遠會有很多的噪聲點出現，使得尋找的分割點不是最優分割點，于是優化方程需滿足兩個間隙的頂點相距不能太遠，具體模型如下：

(9)

根據式(9)中的優化模型，當間隙的特征向量是方向相反和面積較大的情況下，可以表明間隙頂點可能是最優分割點，間隙面積大小和間隙頂點的限制可以很好地去除掉一些噪聲點，尋找到的分割點為圖6中右邊圖片中灰色的點。最后根據計算得到的最優點對車輛進行分割，效果如圖7所示。

圖7 (a)分割效果圖

圖7 (b)分割算法對陰影的適應性

本節就車輛的前景提取問題提出了解決方案，在前期的背景建模和初次前景提取中，用到的都是高效的算法來實現，而且效果在監控視頻的條件下是非常有效的。在車輛有粘合的情況中，本文在初次前景提取的基礎上再加以處理，這樣不僅提高的程序的運行效率，還可以提高分割的準確度。在前景再提取中，第一次將分割問題，轉化為優化問題來解決，雖然所有的優化問題需要遍歷兩兩組合所有的間隙，來列舉所有可能性，但是由于圖片較小和符合條件的間隙數目不多，所以并不會有很大的時間消耗。唯一的時間消耗是在再次提取前景中，由于已經做了初次的篩選，所以時間消耗已經被大大的降低。

3 車輛分類與計數

車流量是對交通情況的一個重要描述，在智能交通中，計算車流量是個重要研究方向。在上一部分對碰撞車輛進行分割的基礎上，本部分進行車輛分類和計數，對車輛進行準確分類，才有可能對車輛進行準確的計數。

3.1 車輛分類

上一部分給出算法對視頻中車輛進行了識別與分割提取，接下來將用深度神經網絡對車輛分為5類，分別是小汽車(sedan)、越野車(SUV)、面包車(van)、公共汽車(bus)和卡車(truck)。在輸入神經分類之前需將分割的車輛圖片進行歸一化處理統一圖像大小。再選擇恰當的稀疏編碼算法訓練得到的特征與原圖像卷積提取特征層圖片，再次通過池化層來對特征層降維并且產生平移不變性的特征，最后將提取的特征輸入到Softmax分類器中學習分類。

3.2 車輛計數

在車輛計數問題中，幾乎所有算法都是根據跟蹤來實現計數問題的，但是如果當車流量很大的時候，跟蹤將變的復雜，會很大程度的增大計算量，增加時間消耗，使得視頻的實時性處理不容易實現。

車輛的計數困難主要是由于存在對同一車輛重復計數或者沒有對車輛計數等情況，如果提供恰當算法，是可以對單行道的車輛準確計數的，但是當有多輛車發生視覺碰撞時，就會使得車輛少計數，只是通過計數層面的分析并不能很好的解決問題。

由于本文在計數之前已經對碰撞問題提出了好的解決方案，也就是說在計數過程中并不需要擔心車輛的粘合現象，這就相當于所有的車輛在固定時刻，其位置是確定的。根據此特點本文將提出一種簡單的計數方法(如圖8)，不僅提高了計數的準確率，而且可以在很小的計算量下實現此算法。

圖8 車輛計數

在車輛計數中，本文將同時根據當前幀(第N幀)和前面一幀(第N-1幀)的道路中車輛位置情況來對車輛計數。下面給出計數算法：

車輛計數算法While存在第N幀圖像 Step1如果N=1,根據第1幀圖像,計算在區域SNew2中的車輛,運行Step4,否則運行Step2; Step2根據第N幀圖像,重新計算在區域SNew2和區域SNew3區域中的圖像; Step3配對區域SNew3和區域SOld2中的所有車輛,求得所有滿足配對條件Y(SOld2i,SNew3j)車輛數目n,則車輛的總數目增加n; Step4將區域SNew2的值賦值到SOld2;

車輛計數算法中提到的配對條件Y(SOld2i,SNew3j)是用來判斷是否SOld2i和SNew3j為同一輛車。本文中的判斷配對條件為兩車輛外接矩形的面積變化率不會超過固定的閥值，而且車輛的行駛距離在一定的閥值范圍內。模型為:

D=dist(O(SOld2i)-O(SNew3j))

(10)

式(10)中area(x)函數為x車閉包最小外接矩形面積，O(x)函數為x車閉包最小外接矩形面積的中心點，dist(x)函數為兩點的距離函數。

本文將車輛計數算法在車流量較大的情況下和車流量較小的情況下做實驗。實驗結果證明，只要可以很準確的對車輛分割，則計數的結果是有很高置信度的。

4 實驗結果

在本節，我們應用提出的模型對視頻車輛進行分類和計數。

4.1 數據集

本文所使用的視頻數據來自成都白天某高速路視頻，該視頻是以25幀/秒拍攝，像素為640×480，時長超過5小時的一段視頻。這段視頻中存在大量的視覺車輛碰撞、視覺模糊、光線變化等復雜環境，大大增加了視頻車輛分類和計數的難度。視頻中，包含有車輛的圖片大約有140000張，但大多是重復和對分類無用的圖像。通過處理，從視頻中提取出了5000張對車輛分類有效的視頻圖片，其中4000張作為訓練集，用于訓練分類模型參數，剩余1000張作為測試集。最后再選取兩段不同拍攝角度的視頻，驗證分類和計數的效果[13]。

4.2 結果分析

將與車輛行駛方向呈0度角和45度角的2種拍攝角度視頻用作實驗，車輛分類和計數的效果如圖9所示。

圖9 車輛分類與計數結果

圖(a)中是攝像頭與車輛行駛方向成0度角(即從正面錄制視頻)的情況，也是同一測試視頻中不同時刻車輛通過時的效果圖，其中三條黑色線條為人為設置的檢測線，即當前景的中心處于兩邊的黑線中間時，進行車輛的檢測，當車輛經過中間黑色線條時，進行車輛計數，黑色的方框為檢測到的車輛，上方黑色區域為車輛的計數結果。

圖(b)是攝像頭與車輛行駛方向成45度角(即從側面錄制視頻)時的系統運行效果圖，其中黑色線條和方框的含義與圖(a)中一樣。側面視角可以消除掉部分的正面遮擋形成的車輛碰撞，與正面視角形成互補，對視頻車輛能更好的分類和計數。

Huang和Liao[5]在對同樣的課題進行了研究，建立了CR模型，取得了良好效果。Zhang等[6]運用檢測和處理車輛遮擋的多級框架建立了MF模型。下面我們將本文的結果與CR模型和MF模型結果從精確率，召回率等方面進行比較如表1所示。

表1 不同模型的實驗結果

可以看到，相對于CR和MF模型，本文所建立模型在精確率、召回率和F1-score上表現更優。其中最可能原因是，基于前景提取加閉包和凸包分析會更精準的進行車輛分割，使深度神經網絡更好的學習車輛特征，從而分類和計數變得更準確。本文使用方法在處理時間上沒有增加，說明基于前景提取結合卷積神經網絡的方法更加具有優勢,并且只要車輛分割和分類準確，計數就不會出錯。

5 結論

針對存在車輛粘合情況下的車輛分類與計數問題，通過兩次前景提取，并且提出通過特征向量和優化方程的方法來分割車輛，每次分割車輛的速度完全滿足實時性的要求，并且有很高的分割準確率作保證。使得后面的車輛分類與計數變得相對簡單和準確，由實驗結果得到，本文提出的模型在視頻車輛的分類和計數兩方面相較于現有的一些模型都有更優異的表現，兼顧了時效性和準確性。另外，本文給出了一般性的計數算法，可以適應很多的計數問題。計數問題的關鍵在于是否對車輛進行了準確的識別和分類，在有準確識別和分類的前提下，計數算法一般情況下不會出現錯誤或者異常。相對傳統的論文，本文為了可以對視頻進行實時處理，將計數問題簡單化，但是并沒有因此降低計數的準確性，每次計數的計算復雜度為o(m×n)其中，m和n分別表示每個區域中的車輛數，而對于監控視頻而言，m和n幾乎都是很小的值(一般不會大于5)，所以計算量降到了很低。

雖然我們的模型可以高效且有效地處理一般的車輛分類和技術問題，但是模型也存在一些不足。在碰撞問題中，模型需要首先對前景運動物體的凸包和閉包進行分析，判斷是否有車輛重合的現象。由于僅僅是在車輛的輪廓層面對其分析，避免不了會發生誤判的情況，也就是將一輛車的輪廓，判斷為是多輛車，對其進行分割，如果正確產生分割線，則會將一輛車錯誤地當作多輛車，最終產生誤差。對此如果直接在像素層分析，將會帶來很大的時間消耗，無疑是不可取的，所以在碰撞問題上還需要再做完善。另外本文的算法可以實時解決大多數一般的視覺碰撞而產生的車輛粘合問題，但是對于將車輛完全遮擋的情況，本文的分割算法是無效的，需要對其進行深度分析。