基于時空關系模型的城市道路車輛實時檢測①

王元奎 ,秦 勃 ,李 偉

1(中國海洋大學 計算機科學與技術系,青島 266100)2(棗莊科技職業學院,棗莊 277599)

基于時空關系模型的城市道路車輛實時檢測①

王元奎1,秦 勃1,李 偉2

1(中國海洋大學 計算機科學與技術系,青島 266100)2(棗莊科技職業學院,棗莊 277599)

復雜城市道路環境下運動車輛目標檢測是現代智能交通系統的重要組成部分.依據多幀視頻圖像序列的時空連續變化關系,通過構建多幀視頻圖像序列時空關系模型(Time-space model——TSM),進一步完善車底陰影特征檢測算法,并與AdaBoost算法相結合,實現運動車輛目標檢測的候選區域篩選與驗證處理,以降低車輛檢測的誤檢率,提高準確率.在白天復雜城市道路環境下,實驗結果顯示基于TSM的車輛檢測,檢測準確率為92.1%,誤檢率為4.3%,圖像分辨率為1920*1088,單幀圖像平均處理時間76 ms.基于TSM的車輛檢測顯著改進了AdaBoost和車底陰影特征檢測算法存在的誤檢率高,效率低問題,滿足城市道路環境下車輛檢測準確率和魯棒性的要求.

智能交通系統; 車輛檢測; 車底陰影; AdaBoost算法; 時空關系模型

基于計算機視覺的智能交通系統(Intelligent transport system,ITS)是近幾年的熱點之一,計算機視覺技術在ITS中應用大致可分為兩類:車載移動視頻處理系統和路邊固定的靜止處理系統.車載移動視頻處理系統中攝像機固定在車輛上,該系統對車道線,標識牌,信號燈,前方車輛密集度,行人等多種信息的檢測和識別,為輔助駕駛提供參考以及對視頻信息進行實時標注.路邊固定的靜止處理系統主要是檢測和收集交通流量,平均車速等有關實時交通狀況信息.本文主要研究基于移動視頻系統的車輛檢測方法.文獻[1,2]總結分析了目前基于圖像處理的車輛檢測方法發展概況,應用比較廣泛的方法為基于知識的候選車輛區域提取算法和基于外觀特征的候選區域驗證算法相結合的車輛檢測方法.基于知識的候選區域提取算法主要有:依據車輛對稱性[3-5],顏色[6-8],車底陰影[9-13]等信息提取候選車輛區域.基于外觀特征的候選區域驗證算法通過訓練大量的樣本集得到AdaBoost或SVM分類器,以驗證候選車輛區域.

對稱性作為車輛的重要的特征之一,被大量應用于車輛檢測中.文獻[3]最早提出采用對稱性方法檢測目標.文獻[4]采用對稱性和水平陰影去除背景噪聲以快速準確的提取候選車輛區域.文獻[5]為了適應復雜的道路環境,采用對稱性與AdaBoost相結合的方法.基于對稱性特征的方法極易被亮度均勻區域的噪聲干擾.

顏色是候選車輛區域提取的重要依據.文獻[6]采用多變量決策樹的方式從樣本集中學習檢測目標的顏色,通過近似函數分類檢測車輛.文獻[7]提出了一種基于顏色和運動信息的夜間車輛檢測方法,以減少計算量,提高檢測效率.文獻[8]提出了基于顏色特征的顏色模型,為獲得合適的顏色特征,通過顏色原型的密度重量估計來提取代表性的顏色特征.基于顏色的方法極易受光照影響.

車底陰影作為車輛的顯著特征,被廣泛應用于車輛檢測.文獻[9]依據車底陰影區域的灰度值明顯小于周圍路面灰度值提出了采用車底陰影特征的方法檢測車輛.文獻[10]運用車底陰影,熵和對稱性三個車輛特征以提高前方車輛檢測的準確率.文獻[11]通過構建了一個包含四個車輛特征(車底陰影,邊緣特征,對稱性和車輛尾燈)的過濾器,以實現在不同天氣和不同光照情況下前方運動車輛的檢測.文獻[12]提出了基于局部車底陰影特征和HOG相結合的車輛檢測方法.文獻[13]提出一種聚類分析的陰影檢測方法以解決陰影在復雜背景下不穩定的問題.當車輛處于建筑陰影或樹影下時,該類型方法對噪聲很敏感.

上述文獻均以單幀圖像為研究對象,忽略了車輛目標在視頻圖像序列中的空間位置連續變化關系.文獻[14]提出了一種采用多幀時空圖像(Time-spatial images,TSIs)的方法檢測靜止背景下的運動車輛,通過多幀TSIs增加檢測被遮擋車輛的可能性,同時降低背景像素亮度與車輛像素亮度之間的依賴關系以改善車輛檢測的效果.但該方法依然無法應用于運動背景下車輛檢測.

通常情況下,任何物體的形態在視頻圖像序列中隨著時間變化或多或少產生形變.剛體目標(如車輛)形變程度相對于自身幾何尺寸來說極為微小,受背景環境噪聲和光照條件變化影響較小.因此,剛體目標在某個時間段內將一直存在于視頻圖像序列中,即剛體目標在視頻圖像序列中具有空間位置連續變化的關聯性.非剛體目標(如草叢、樹木等)不具有上述空間位置連續變化的關聯性.基于單幀圖像的車輛檢測方法,由于未考慮目標的時空位置關聯性,因而易將非剛體目標(如草叢、樹木、行人等)誤檢為目標.

因此,本文提出了一種基于時空關系模型的城市道路車輛實時檢測算法.算法依據多幀視頻圖像序列的時空連續變化關系,通過構建時空關系模型(TSM),完善車底陰影特征檢測算法,并與AdaBoost算法相結合,實現運動車輛目標檢測的候選區域篩選與驗證處理,以降低車輛檢測的誤檢率,提高準確率.

1 基于TSM的車輛檢測算法流程

本文根據多幀視頻圖像序列間的時空連續變化關系,構建時空關系模型,通過車底陰影特征算法提取候選車輛區域,并采用AdaBoost算法+時空關系模型驗證和篩選是否存在車輛,以滿足車輛檢測實時性,同時降低誤檢率,提高準確率.如圖1 所示,車輛檢測算法流程圖.

2 候選車輛區域提取和驗證

2.1 候選車輛區域提取

不同類型車輛具有不同的顏色,形狀,大小等,但是車輛的底部都具有類似于矩形的陰影區域,且該區域的灰度值小于路面的灰度值[9].因此,可以根據這個顯著的特征提取候選車輛區域.當從上向下掃描圖像時,車底陰影特征下邊緣與路面相交處的灰度值一定存在從暗到亮垂直方向上的顯著變化,可將該垂直方向的邊緣定義為候選車輛區域的底邊.文獻[9]采用統計學的方法確定整幅圖像中的道路面的分割閾值,該方法一般環境下效果較好,由于在移動背景視頻中,車輛周圍的環境差異較大,該方法對光照強度和路面區域中樹影非常敏感.與文獻[9]不同的是,本文采用車輛前方局部路面區域灰度值統計的雙閾值分割方法,濾除區域中灰度值較高或較低的像素,如白色車道線,強光下高亮區域和建筑物,樹等陰影.如圖2 所示,提取的車底陰影和生成的候選車輛區域.

圖1 算法流程圖

圖2 實例圖

2.2 候選車輛區域驗證

本文采用Haar-like特征[15]構建AdaBoost分類器以驗證候選車輛區域,如圖3所示.AdaBoost分類器最初成功應用于人臉檢測[16],并且該分類器已在開源的計算機視覺庫(OpenCV)中實現.本文訓練集1500張車輛樣本(小型汽車,越野車,卡車和公交車等)來自于MIT LabelMe 數據庫,3500 張非車輛樣本(道路路面,交通標示,護欄,建筑物,廣告牌,橋梁,樹木,行人和草叢等)來自于行車記錄儀中采集的圖像中,如圖4所示.為了減少分類器的誤檢情況,把誤檢的負樣本添加到訓練集中,最終構建了20級的級聯分類器.

圖3 Haar-like 特征

圖4 訓練樣本

3 時空關系驗證篩選模型

3.1 模型描述

模型根據多幀視頻圖像序列的空間位置連續變化關系驗證篩選候選車輛區域.假設車載攝像頭光軸與地面平行,且攝像頭沿光軸方向運動,如圖5 所示.攝像頭置于運動的自身車輛前方,攝像頭,前方車輛,像平面間的空間位置關系如圖6所示.

圖5 空間場側景圖

圖6 空間位置關系

圖6中,f攝像頭焦距,L前方車輛在像平面上的尺寸,d像平面與前方車輛的相對距離,s前方車輛的實際尺寸,camera攝像頭位置.

根據三角形相似,可得出公式(1):

由于f遠小于d,則公式(1)可簡化為公式(2):

因此,前方車輛在像平面上的尺寸L為:

如圖7所示,由于前方車輛和自身車輛同時在運動且車速不同,因此兩車間的相對距離d會產生變化.由公式(3)可知L也會隨之變化.設自身車輛的運動速度前方車輛的運動速度兩車間的相對速度當時,d 逐漸減小,L 逐漸增大; 當時,d逐漸增大,L逐漸減小; 當時,d與L均不變.

圖7 前方車輛和自身車輛運動圖

同理,設L’前方車輛檢測候選區域,其包含前方車輛陰影區域和連續幀圖像間發生的空間位置偏移.根據實驗數據統計,L’滿足檢測的最小尺寸和最大尺寸分別設定為

則判定該檢測候選區域為前方車輛; 反之,則判定為背景噪聲,如圖8所示.

圖8 時空關系驗證篩選模型

圖8 (a)中,1 號區域,2 號區域,3 號區域分別代表前方車輛檢測候選區域.1號區域滿足公式(4),判定為前方車輛,而 2 號區域,3 號區域為背景噪聲.因此,可依據此時空關系篩選模型實現前方車輛檢測的驗證篩選處理.

3.2 模型應用

如圖9 所示,設定 m=3.圖9(a)中,第 374 幀的1 號,375 幀中 1 號和 2 號,均不滿足模型.因此,判定第374-376連續3幀內上述車輛檢測候選區域為背景噪聲.圖9(b)為驗證篩選處理后的結果.

圖9 第 374 幀-第 376 幀實例圖

4 實驗結果

為驗證本文提出的算法有效性和可行性,測試數據為行車記錄儀采集的城市道路復雜環境下,不同時間段,不同天氣狀況的高清視頻,幀率 30 fps,分辨率1920*1088.測試環境 Intel(R)Core(TM)i5-3450 CPU@3.10 GHZ,RAM 8 GB.圖10 為車輛檢測結果視頻圖像實例.

圖10 車輛檢測實驗結果

表1為實驗統計結果,表2為實驗結果對比.測試視頻總時長約3小時,以驗證本文提出算法的準確率,魯棒性和穩定性.統計方法采用各幀視頻圖像車輛檢測結果的簡單累加計算.圖11(a)中前方車輛數為3,檢測結果 2,漏檢 1.圖11(b)中前方車輛數為 2,檢測結果 3,誤檢 1.統計結果為:實際前方車輛數為 5,正確檢測4,誤檢1,漏檢1.準確率和誤檢率計算公式定義如下:

其中 an,ln,fn,tn,ar,fr分別表示正確檢測車輛數,漏檢車輛數,誤檢車輛數,前方車輛總數,準確率和誤檢率.

圖11 前方車輛檢測實例

表1 實驗統計結果

文獻[17]以整個道路面作為AdaBoost的驗證掃描的區域,本文僅以車底陰影提取的候選車輛區域為驗證掃描區域,從而節省了計算時間.實驗結果對比表明本文算法有效降低了誤檢率,提高了準確率和處理效率.

表2 實驗結果對比

5 結論與展望

本文根據前方車輛目標在視頻圖像序列中的空間位置關聯性,通過構建時空關系驗證篩選模型,提出了一種依據目標時空連續變化關系的車輛檢測算法.實驗結果表明,該算法不僅有效地改善了單幀圖像檢測方法中存在的誤檢率和漏檢率高的問題,而且滿足車輛檢測的實時性和魯棒性.當視頻圖像畫質較差或車底陰影區域顏色與周圍路面顏色相近時,檢測結果依然不夠理想.下一步工作,結合更多的車輛特征進一步完善,優化本文提出的車輛檢測算法.

1Sun ZH,Bebis G,Miller R.On-road vehicle detection:A review.IEEE Trans.on Pattern Analysis and Machine Intelligence,2006,28(5):694–711.[doi:10.1109/TPAMI.2006.104]

2Sivaraman S,Trivedi MM.Looking at vehicles on the road:A survey of vision-based vehicle detection,tracking,and behavior analysis.IEEE Trans.on Intelligent Transportation Systems,2013,14(4):1773–1795.[doi:10.1109/TITS.2013.2266661]

3Marola G.Using symmetry for detecting and locating objects in a picture.Computer Vision,Graphics,and Image Processing,1989,46(2):179–195.[doi:10.1016/0734-189X(89)90168-0]

4陳志猛,劉東權.基于對稱性的快速車輛檢測方法.計算機工程與設計,2012,33(3):1042–1046.

5Satzoda RK,Trivedi MM.Multipart vehicle detection using symmetry-derived analysis and active learning.IEEE Trans.on Intelligent Transportation Systems,2016,17(4):926–937.[doi:10.1109/TITS.2015.2494586]

6Buluswar SD,Draper BA.Color machine vision for autonomous vehicles.Engineering Applications of Artificial Intelligence,1998,11(2):245–256.[doi:10.1016/S0952-1976(97)00079-1]

7劉勃,周荷琴,魏銘旭.基于顏色和運動信息的夜間車輛檢測方法.中國圖象圖形學報,2005,10(2):187–191.[doi:10.11834/jig.20050236]

8Guo D,Fraichard T,Xie M,et al.Color modeling by spherical influence field in sensing driving environment.Proc.of the IEEE Intelligent Vehicles Symposium.Dearborn,MI,USA.2002,8:249–254.

9Tzomakas C,Von Seeleb W.Vehicle detection in traffic using shadows.Institution of Neuroinformatik,Ruhr University Bochum in Germany.1998.1–8.

10van Leeuwen MB,Groen FCA.Vehicle detection with a mobile camera:Spotting midrange,distant,and passing cars.IEEE Robotics & Automation Magazine,2005,12(1):37–43.

11Chan YM,Fu LC,Huang SS.Vehicle detection and tracking under various lighting conditions using a particle filter.IET Intelligent Transport Systems,2012,6(1):1–8.[doi:10.1049/iet-its.2011.0019]

12Cheon M,Lee W,Yoon C,et al.Vision-based vehicle detection system with consideration of the detecting location.IEEE Trans.Intelligent Transportation Systems,2012,13(3):1243–1252.[doi:10.1109/TITS.2012.2188630]

13任薇,任明武.面向車輛防撞的車底陰影檢測方法.計算機工程與設計,2015,36(5):1311–1316.

14Mithun NC,Rashid NU,Rahman SMM.Detection and classification of vehicles from video using multiple timespatial images.IEEE Trans.on Intelligent Transportation Systems,2012,13(3):1215–1225.[doi:10.1109/TITS.2012.2186128]

15Lienhart R,Maydt J.An extended set of haar-like features for rapid object detection.Proc.of 2002 International Conference on Image Processing.Rochester,NY,USA.2002,1:I-900–I-903.

16Viola P,Jones MJ.Robust real-time face detection.International Journal of Computer Vision,2004,57(2):137–154.[doi:10.1023/B:VISI.0000013087.49260.fb]

17Chen DY,Chen GR,Wang YW.Real-time dynamic vehicle detection on resource-limited mobile platform.IET Computer Vision,2013,7(2):81–89.[doi:10.1049/ietcvi.2012.0088]

Real-Time Urban Road Vehicle Detection Based on Time-Space Model

WANG Yuan-Kui1,QIN Bo1,LI Wei2

1(Department of Computer Science & Technology,Ocean University of China,Qingdao 266100,China)2(Zaozhuang Vocational College of Science & Technology,Zaozhuang 277599,China)

Urban road vehicle detection is an important part of modern intelligent transportation system—ITS.According to image sequence time-space relations of continuous change,the underneath shadow feature vehicle detection algorithm is further improved by constructing the time-space model of video image sequence,and is combined with the AdaBoost algorithm,filtering out false candidate region of vehicle.Experimental results demonstrate that the accuracy rate of proposed algorithm is 92.1%,with the false positive being 4.3%,the resolution of image being 1920*1088 and the time of processing being 76ms under the complex urban traffic environment.The algorithm effectively improves the high false detection rate and low effectiveness of AdaBoost and underneath shadow feature detection algorithms,and can meet the accuracy and robustness requirements of vehicle detection in the urban road environment.

ITS; vehicle detection; shadow; AdaBoost algorithm; time-space model

秦 勃,E-mail:qinbo@ouc.edu.cn

王元奎,秦勃,李偉.基于時空關系模型的城市道路車輛實時檢測.計算機系統應用,2017,26(10):207–212.http://www.c-s-a.org.cn/1003-3254/6017.html

2017-01-19; 采用時間:2017-02-23