交通監控視頻中的車輛異常行為檢測

宋 耀，宋建新

（南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003）

隨著我國經濟的迅速發展，全國汽車保有量年年攀升。汽車為人民生活帶來了極大便利，但車輛違章違規所帶來的交通事故多發，給全國交通管理信息系統帶來了巨大壓力。為保證公路交通的正常運行，我國政府采用了智能交通系統，以實現大范圍、多場景的交通監控與管理，提升交通系統綜合運輸能力[1]。同時隨著信息技術幾十年的迅猛發展，海量視頻數據的存儲與處理得到了廣泛的普及與應用。本文提出的基于交通監控視頻的車輛異常行為檢測技術便是通過對交通監控視頻數據進行實時處理與分析，實現異常車輛行為的自動識別。

當今相關領域已經進行了廣泛的研究，例如：Weiming Hu等人提出基于3D跟蹤模型的交通事件檢測方法，獲取車輛運動軌跡后，運用模糊自組織神經網絡學習軌跡模式，通過概率匹配預測行駛行為[2]；趙海提出基于自適應單類支持向量機的車輛異常行為檢測方法，將車輛軌跡映射為高位空間中的向量點，通過支持向量機算法學習樣本軌跡并建立模型，實現對車輛的異常軌跡檢測[3]。但這些方法都有計算復雜、所需存儲容量過大等問題，會占用過多硬件成本與開銷。

本文主要就道路監控視頻中的運動車輛檢測、跟蹤與違章行為識別所涉及到的若干關鍵技術進行了研究，使用改進Surendra背景差分[4]與三幀差分[5]相結合的算法進行車輛目標檢測，之后結合CamShift算法[6]與Kalman濾波器[7]進行車輛目標跟蹤，提取車輛質心繪制運動軌跡，針對車輛運動方向判別、違章變道、調頭等行為提出了檢測方法。本系統能夠在保證結果準確性的前提下，降低計算復雜度，實現對車輛異常行為的實時檢測。系統流程如圖1所示。

圖1 基于交通監控視頻的車輛異常行為檢測系統流程

1 基于改進Surendra背景差分與三幀差分相結合的車輛檢測算法

車輛檢測本質上屬于基于視頻的運動目標檢測研究，后者是當今計算機視覺領域的一個重要研究分支，為圖像視頻更高層次的處理提供了基礎。目標檢測利用圖像處理技術，分割運動目標與背景，檢測出運動的目標，常用的檢測方法有：幀見差分法、背景差分法與光流法[5]。本文在對這3種目標檢測進行對比分析后，提出了使用改進Surendra背景差分與三幀差分相結合的算法進行車輛目標檢測，能夠較好滿足系統的實時性需求。

1.1 改進的Surendra背景差分算法

利用背景差分法獲取運動目標的關鍵是完整背景的構造，Surendra背景更新算法能夠自動地更新背景。Surendra背景更新算法操作簡單，易于實現，實時性強。但由于算法采用的是固定灰度閾值，需要人工的干預，因此不太適用于光線隨時改變的自然環境[8]。為了克服這個問題，可以采用閾值自適應的方法進行改進，改進后具體步驟如下：

1）取視頻第一幀圖像I0作為初始背景B0。

2）求出當前幀圖像的最大灰度值gmax和最小灰度值gmin，然后令

3）根據T對圖像的灰度值進行劃分，分為大于T的灰度值和小于T的灰度值兩組，分別求出兩組的平均灰度值μ1和 μ2。

4）更新閾值T

5）重復步驟3）和4），直到T 的值不發生變化。

6）迭代次數初始化，取m=1，最大迭代次數為M ；計算當前幀與前一幀的幀間差分圖像，并二值化

式中：It為輸入的t時刻的單幀圖像；It-1為輸入的t-1時刻的單幀圖像。

7）根據二值化后的圖像Dt來更新背景

式中：Bt(x,y)為t時刻背景圖像；α為更新速率系數，取典型值0.005。

8）迭代次數m每次迭代自增1，當迭代次數 m=M 時結束迭代，此時Bt(x,y)為更新后的背景圖像。

1.2 基于改進Surendra背景差分與三幀差分相結合的車輛檢測算法

三幀差分法主要思想是通過提取連續三幀圖像來分別計算相鄰兩幀圖像的灰度差分圖像，然后將所得到的兩個差分圖像的對應像素進行對應“與”操作，從而提取出運動目標。三幀差分法對運動目標的定位較幀差法更加精準，并且減少了幀差法在待檢測區產生的空洞現象。

本文以下融合改進Surendra背景差分與三幀差分這兩種方法，綜合兩者的優點，提高運動目標檢測的精度。具體步驟如下：

1）對獲取到的交通監控視頻幀圖像，使用改進的Surendra背景差分算法重構背景圖像，將輸入當前幀與背景圖像做差分處理，得到背景差分檢測區域；

2）與步驟1）并行處理，對當前輸入的視頻幀，結合對應的前一幀與后一幀，利用三幀差分法對相鄰的兩幀做差分處理，獲取三幀差分法檢測區域；

3）將步驟1）與2）的結果進行“或”運算處理，得到綜合車輛檢測結果，并進行形態學濾波與聯通域分析，以去除非車輛目標帶來的噪聲干擾；

4）根據步驟3）得到的結果標定車輛在視頻幀中的區域，以外接矩形框分割出目標車輛。

2 基于Kalman濾波預測的CamShift車輛跟蹤算法

車輛跟蹤建立在車輛檢測的基礎上，通過對車輛進行實時跟蹤，不僅能獲取車輛的運動軌跡與運動狀態，還能為車輛行為理解、車輛分類、事件監測以及車流量統計提供可靠數據。本文采用基于Kalman濾波預測的CamShift算法進行車輛跟蹤，以解決傳統CamShift算法半自動化、搜索區域過大、因遮擋造成跟蹤丟失等問題，實現了對車輛有效實時的跟蹤。

2.1 Cam Shift目標跟蹤算法

CamShift算法是MeanShift（均值漂移）算法的修改，其利用目標的顏色直方圖作為特征，判斷目標之間的色彩特征是否匹配來建立目標之間的對應關系，從而進行目標跟蹤。

CamShift算法的主要關鍵步驟如下：

1）直方圖反向投影：利用目標檢測算法檢測到運動目標，通過色域轉換，在HSV顏色模型中分離出目標圖像的H分量，之后確定運動目標的初始搜索窗，并且生成目標圖像的H分量顏色直方圖，最后使用反向投影獲取目標在原圖像的離散二維顏色概率分布圖。

2）MeanShift算法處理：在單幀視頻的目標二維顏色概率分布圖上使用MeanShift算法，進行目標質心點的匹配，如此，在若干次迭代計算之后便可求出目標質心坐標。

3）自適應調整搜索窗口：根據目標顏色概率分布圖求出目標的大小，利用外接矩形框標定出運動目標，之后便可獲取當前幀中運動車輛目標的長寬尺寸與質心坐標。

4）迭代搜索：在接下來的視頻幀中，將各自上一幀中目標的質心作為下一幀的輸入，重新進行MeanShift算法處理，尋找運動目標。

2.2 基于Kalman濾波預測的Cam Shift車輛跟蹤算法

CamShift算法的默認搜索區域是整幀圖像，因此引入Kalman濾波器預測，將CamShift算法檢測到的車輛質心作為變量輸入Kalman濾波器，之后將預測值作為CamShift新一輪的起始搜索框，在這個位置的鄰域內搜索最佳位置，再將搜索到的最佳位置信息反饋給Kalman濾波器，這樣可以加快CamShift算法的收斂速度[9]。

另外，CamShift算法在跟蹤過程中遇到目標遮擋會造成跟蹤失效的情況，此時使用Kalman濾波器的預測值代替CamShift算法計算的車輛質心位置，作為觀測值去更新Kalman濾波器，可以抵抗因目標遮擋帶來的車輛跟蹤失效。

綜上，針對車輛進行目標檢測與跟蹤的算法流程如圖2所示。

3 車輛違章檢測研究

在道路交通系統中，各種違章行為是造成道路安全事故的主要原因，準確、穩定、實時地檢測車輛違章行為，對減少交通事故發生、降低經濟損失具有重要意義。

本文之前已經完成了車輛的檢測與跟蹤，跟蹤結果以外接矩形來表示每幀視頻圖像中的目標車輛，取矩形的質心表示車輛的具體坐標，生成坐標序列，集合后可得到車輛的運行軌跡，并通過分析軌跡信息實現車輛運動行為的檢測與識別，并將其應用于車輛運動方向、逆行、變道、調頭等行為的判斷。

t時刻車輛在視頻頓中的質心坐標點記為(xt,yt)，則L幀后可以得到車輛的行駛軌跡

下面對具體車輛行駛行為進行分析。

圖2 車輛檢測與跟蹤算法流程圖

3.1 車輛運動方向判決與逆行判斷

設t1時刻視頻幀圖像中車輛質心坐標為(xt1,yt1)，t2時刻釆集到的視頻幀圖像中車輛質心坐標為(xt2,yt2)，則從t1到t2時刻，車輛運動方向判斷條件為：

1）xt2-xt1＞εx，車輛速度有向右方運動的分量，記為DR；

2）xt2-xt1＜εx，車輛速度有向左方運動的分量，記為DL；

3）yt2-yt1＞εy，車輛速度有向上方運動的分量，記為DU；

4）yt2-yt1＜εy，車輛速度有向下方運動的分量，記為DD。

其中，εx與εy是誤差閾值，防止因自然環境變化導致判斷失準。其中，εx=0.05×W，W為車輛外接矩形框寬度；εy=0.05×H ，H 為車輛外接矩形框高度。

綜上，正常行駛的車輛運動方向可用(DR,DU)，(DR,DD)，(DL,DU)與(DL,DD)表示。若在單一車道中，當前車輛運動方向與先驗規定運動方向相反，則判定此車運動軌跡為逆行軌跡，該車正在逆行。

3.2 車輛違章變道行為判斷

為了識別車輛與車道的位置關系，進而判斷車輛是否變道行駛，首先需要標定車道實線在視頻圖像中的位置坐標。本文采用Hough變換直線檢測算法進行車道線檢測[10]。

正常行駛的車輛，其運動軌跡通常與車道線平行。軌跡是車輛單幀坐標的集合，即可認為視頻幀序列中車輛質心與車道線距離波動較小。定義識別變道行為的方法為：車輛在變道行為中，從一個車道變換到另一個車道，其車輛質心與車道線的距離會出現較大波動，并且與車道線距離最近的兩個質心點分列車道線兩側。具體步驟如下：

1）使用Hough變換進行車道檢測，設置禁止變道直線為Forb[N]，其擬合直線方程為

2）計算車輛跟蹤軌跡Traj[M]上所有的點與其對應車道線的距離d

3）與車道線距離最近的兩個質心點記為(xc1,yc1)與(xc2,yc2)，令

R＞0表示兩個質心點位于車道直線同側；R=0表示至少有一個質心點在直線上；R＜0表示兩個質心點位于直線兩側。

4）計算距離的離散程度，即車輛與車道線距離的均值E與方差S，即

5）判決標準

當車輛與車道線距離的離散度S大于閾值TC，并且與車道線距離最近的兩個質心點分列車道線兩側，將CL置為1，表示發生了變道行為，反之為0代表未發生變道行為。

3.3 車輛調頭行為判斷

車輛在調頭時會跨越多個車道，此時司機視線存在死角，容易造成嚴重的交通事故，導致路面交通擁堵甚至癱瘓，因此當今城市交通路口通常設有禁止調頭標志。

針對調頭行為，本文提出以下具體判定條件：

1）對雙向車道進行討論，在右側直行車道中，使用跟蹤算法進行跟蹤車輛質心的y值在車輛行駛過程中持續增大，車輛調頭之后y值持續減小。

2）車輛目標 y值持續增大的時間段中，車輛行駛軌跡擬合直線段的斜率在右側車道斜率區間內，同理，車輛目標y值持續減小的時間段中，車輛行駛軌跡擬合直線段的斜率在左側車道斜率區間內。

3）車輛 y值從減小轉為增大的過程中，車輛變道判決標準CL置為1，即發生了變道行為。

4 實驗結果與分析

實驗軟件開發環境采用VS2008+OpenCV2.1；系統運行環境為Intel 1.60 GHz Windows XP平臺，內存：3 Gbyte，顯存：256 Mbyte。實驗樣本選取城市道路視頻。

實驗結果如圖3所示。從圖3中可以看出，本文提出的車輛檢測算法能夠有效檢測出車輛目標，細節保存完好，并且能夠有效更新當前視頻背景，抗干擾性較強。由圖3d可以看出，本文采用的基于Kalman濾波預測的CamShift車輛跟蹤算法能夠有效跟蹤當前幀車輛目標。

圖3 車輛檢測與車輛跟蹤效果圖

圖4 是對監控視頻2的第226～275幀之間發生變道行為車輛的檢測和跟蹤結果，其軌跡坐標特征點與單幀計算耗時如表1所示。為了簡化計算，本文每隔5幀取一個質心點繪制車輛運動軌跡；跟蹤車輛所跨越車道由Hough變換得出，其直線方程為：2.943x-y-546.415=0，車輛軌跡與提取車道直線如圖5所示。根據本文的車輛行為判別規則，可以得出結論：被跟蹤車輛運動方向為(DR,DD)，即正朝圖像的右下方行駛，變道判決CL=1，發生變道行為，并且在當前跟蹤范圍內，車輛質心坐標y值一直減小，沒有發生調頭行為。

圖4 車輛檢測、跟蹤與車道線示意圖

表1 車輛行駛軌跡點

圖5 車輛軌跡與車道位置關系

5 結束語

為了滿足智能交通系統對城市交通的有效監管，本文提出了利用交通監控視頻對車輛異常行為進行檢測的系統框架，分別在車輛檢測、車輛跟蹤與異常行為判別等方面進行了討論。提出的使用改進Surendra背景差分與三幀差分相結合的算法能快速檢測車輛目標，之后結合CamShift算法與Kalman濾波器對車輛進行有效跟蹤，根據外接矩形框求出車輛質心，擬合軌跡，并通過軌跡分析給出了車輛運動方向、逆行、違章變道、調頭等行為的判別標準。實驗結果表明，本文提出的系統具有較高的實時性與違章檢測準確性。

[1] 黃良.我國智能交通系統的現狀及新技術的應用[J].信息系統工程，2015（2）：69.

[2] LOU J，YANG H，HU W，et al.An illumination invariant change detection algorithm[C]//Proc.Asian Conf.Computer Vision.[S.l.]：IEEE Press，2002：13-18.

[3] 趙海.視頻序列下的車輛軌跡異常行為識別[D].昆明：昆明理工大學，2014.

[4]GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles[J].IEEE Trans.Intelligent Transportation Systems，2002，3（1）：37-47.

[5] 萬纓，韓毅，盧漢清.運動目標檢測算法的探討[J].計算機仿真，2006，23（10）：221-226.

[6] BRADSKI G R.Real time face and object tracking as a component of a perceptual user interface[C]//Proc.Fourth IEEE Workshop on Applications of Computer Vision.[S.l.]：IEEE Press，1998：214-219.

[7] KALMAN R E.A new approach to linear filtering and prediction problems[J].Journal of Fluids Engineering，1960，82（1）：35-45.

[8] 王正勤，劉富強.自適應背景提取算法的比較[J].計算機工程，2008，34（23）：220-223.

[9]SALHI A，JAMMOUSSI A Y.Object tracking system using Camshift，Meanshift and Kalman filter[J].World Academy of Science，Engineering and Technology，2012，64：674-679.

[10] 尤小泉，彭映杰.結合Hough變換與運動估計的車道線提取方法[J].電視技術，2013，37（11）：191-193.