基于車載圖像的目標車輛壓線檢測方法①

邱 康，王子磊

(中國科學技術大學 信息科學與技術學院 自動化系，合肥 230027)

1 概述

車輛壓線檢測是指對車輛運行過程中因跨越不同車道而使車輪碾壓車道線的行為進行檢測，它在智能交通系統中具有重要意義，能起到自動記錄違章行為、震懾交通違法者、優化車流量分布、駕駛輔助等作用[1-8].

已有的車輛壓線檢測研究大部分是利用監控攝像頭對特定區域內的車輛進行壓線檢測.于永彥[3]在黃線區域周邊設置側拍、尾拍、迎拍等多種監控方式，基于小波變換分割技術，采用相鄰幀對應像素對比較的方法判斷該區域有無車輛壓線行為.洪琦[4]等通過檢測若干相鄰幀中車道線幾何形狀的變化實現觀測區域內的壓線檢測.陸蔚[5]針對監控視頻中固定的黃線區域，通過計算視頻幀間平均灰度值變化的方法進行壓線檢測.趙文東等[6]將監控視頻中無車輛壓線的固定黃線區域分割出來作為模板，然后用模板和待檢測區域匹配，運用基于顏色直方圖的圖像分割匹配算法判斷該區域是否有車輛壓線行為.熊金艷等[7]通過計算幀間灰度平均差的方法來判斷黃線殘缺，通過黃線連續殘缺最大長度的閾值化判斷是否有車輛壓線.王建華等[8]提出了基于邊緣檢測和Hough 變換的黃線區域檢測方法、基于背景差分法的車輛檢測方法和基于區域重疊的壓線檢測方法.胡鵬[9]提出了基于Hough 變換的車道線檢測、基于閾值分割的車輛檢測方法和基于區域重疊的車輛壓線檢測方法.以上研究都針對固定區域的黃線進行壓線檢測，應用場景比較受限.

不同于上述固定監控視角的檢測，本文考慮利用車載攝像頭對前方目標車輛的壓線行為進行檢測，其主要優勢有：(1)車載攝像頭不固定且數量更多，可以檢測到更廣泛區域內的壓線行為(如非路口區域)；(2)車載攝像頭相對目標車輛的位置和視角可變，可以更靈活地檢測各種情況.(3)基于車載攝像頭的前方目標車輛壓線檢測可以對前方車輛壓線變道做出預警，防止本車發生追尾、碰撞等事故.然而針對這類問題的研究工作較少.胡海輝[10]提出了基于差分的車道線邊緣檢測以及基于車道線夾角變化的車輛自身變道和壓線檢測方法.文獻[11]把攝像頭固定在車輪上方，通過計算車輪外側邊緣切線和計算車道邊緣線，根據兩線是否相交來判斷車輛自身是否壓線.文獻[12]探究了基于車載視頻對前方車輛的壓線檢測，采用圖像掩蔽的局部匹配算法，從視頻中每隔20 分鐘選取1 幀無壓線行為圖像作為模板，并每隔5 幀讀取1 幀實時圖像與模板做相似度對比.但是移動車載圖像不同于固定監控圖像，其在一定時間內變化更大，模板匹配方法容易導致誤判.

實際上，基于車載攝像頭對前方目標車輛進行壓線檢測存在較大的挑戰，主要有以下兩方面：(1)基于監督學習的車輛壓線檢測方法需要大量標注數據進行訓練，但獲取與標注車輛壓線數據需要耗費大量人力物力，且一些危險行為在現實中難以采集，目前尚無相關公布的數據集；(2)車載圖像中由于視角原因，車道線和車輛遮擋非常嚴重，難以直接根據對象在圖像中的位置判斷是否壓線.針對這些問題，本文從數據和方法兩方面開展研究.(1)在數據方面，采用虛擬交通道路場景構建、數據自動采集和標注，生成大量車載圖像及其對應標注，得到壓線檢測數據集(Lane-Crossing Detection dataset，LCD 數據集).(2)在方法方面，針對視角帶來的圖像空間與物理空間難以映射的問題，采用車輛較低的前后輪下端位置估計進行壓線檢測.

綜上，本文主要有以下3 個方面的貢獻：(1)利用合成數據方法構建了車輛壓線檢測LCD 數據集，數據標注豐富準確，場景、時間、天氣等多樣化，攝像頭的視角和距離多樣；(2)結合圖像語義分割，提出了基于前后輪位置估計的壓線檢測方法，能夠有效處理低視角帶來的判別問題；(3)進行了不同設置的實驗，本文車輛壓線檢測方法在測試數據上的平均精度達到88.7%，并且分析了不同光照和天氣條件對檢測結果的影響.

2 壓線檢測(LCD)數據集

真實的壓線檢測數據需要車輛在道路上運行采集，等待各種天氣與時間條件，且需人工標注.數據獲取難度大且多樣性不易滿足.針對這些問題，一種思路是利用合成數據進行研究，如文獻[13]使用Unity3D 構建了若干可變換多種天氣和時間的場景，在其中自動采集并標注數據，以此構建了Virtual KITTI 數據集，用于目標檢測、跟蹤，場景與實例分割，驗證了深度學習算法在真實與虛擬數據中訓練有類似的效果.文獻[14]利用合成數據方法構建的SYNTHIA 數據集目前已成為交通場景語義分割的標準數據集.

本文基于Unreal Engine 4 構建多種交通場景，并利用插件Airsim[15]開發數據采集器和數據標注器，以此構建LCD 數據集.為逼近真實情況，數據集在場景、目標車輛、時間點、天氣等方面都進行多樣化設置.真實交通場景中，路口附近實線較多，所以主要考慮路口對應的場景，構造的場景包含四種不同類型的路口：非對稱路口、高架橋路口、下穿隧道路口和T 字形路口，如圖1所示.

城市道路主要運行的是小汽車，還有部分貨車和巴士，為此構造了具有代表性的目標車輛：小汽車和貨車.在光照方面，為了觀察不同光照對本任務的影響，構造了多種光照時間點：中午(noon)、傍晚(evening)和深夜(night)，如圖2所示.

在天氣方面，為了觀察不同的天氣對本任務的影響并進行對比，構造了晴天(sunny)、小雨天(lightRain)、大雨天(heavyRain)、小霧天(lightFog)、小雪天(lightSnow)等天氣，如圖3所示.

圖1 4 種場景

圖2 3 種光照

圖3 5 種天氣

小汽車在汽車總體中占比超過83%，且是汽車保有量增長的主要組成部分[16]，也是城市道路交通中的主體，故本文重點針對小汽車(含SUV 等)的壓線行為進行研究.最終構建的LCD 數據集在不同的天氣和時間點上的分布情況如表1所示，我們采集了更多的常見情況下的數據：白天的數據較多，傍晚的數據相對較少；車輛壓線的數據總是少于不壓線的數據.舉例說明，表1中天氣為sunny、時間為noon 的數據有4542 條，其中壓線數據占比29.3%；天氣為lightSnow、時間為evening 的數據有664 條，其中壓線數據占比36.9%.此外，在每種條件下，都在場景中設置2-6 條線路進行采集，每條線路以從0 開始遞增的整數routeID 標識，不同線路的數據量大致相同.舉例說明，表1中天氣為sunny、時間為noon 的數據含6 條線路，對應的routeID 范圍為0-5；天氣為sunny、時間為evening 的數據含2 條線路，對應的routeID 范圍為0-1.

每1 條數據包含3 個文件：原圖、分割圖、壓線標簽json 文件，如圖4所示.其中，分割圖是原圖的像素級標簽，標記著原圖中每一個像素所屬的類別如車輛、車道線、綠化帶等；原圖和分割圖的分辨率都是1120×700；壓線標簽json 文件包含overlap (目標車輛是否壓線)、vehiclePos2D (目標車輛中心在圖中投影的位置)、vehicleScale (目標車輛在3D 場景中的尺寸)、vehicleVelocity (車輛速度矢量)、lineScale (目標車輛碾壓的車道線在3D 場景中的尺寸)、linePos2D(目標車輛碾壓的車道線的起點在圖中投影的位置)等信息，可用于判斷目標車輛壓線與否、計算車輛壓線程度等.

表1 LCD 數據集分布

圖4 LCD 數據集樣本

3 壓線檢測方法

實際情況中，車輛壓線的判斷依據是車輪所代表的車體與車道線是否相交.從圖像角度考慮，需要找到三維空間中的車輪與車道線在車載圖像中的映射，根據其相交與否進行壓線判斷.本文方法首先利用圖像語義分割方法檢測車輛和車道線在圖像中的對應區域，然后估計前后輪在車輛區域的位置，并檢測車道線的輪廓，最后依據兩者是否相交進行壓線判斷.

3.1 總體流程

完整的車輛壓線檢測方法總體流程如圖5所示，主要分為4 個步驟：車道線檢測、車輛檢測、ROI 獲取和壓線判斷.

(1)車道線檢測和車輛檢測：在原圖中進行前方目標車輛檢測和車道線檢測，利用圖像語義分割模型獲得檢測結果，以分割圖表示.

(2)ROI 獲取：針對單一目標車輛，在分割圖中獲取車輛區域的最小水平外接矩形R’，為使ROI 包含更多的車道線區域以便檢測判別，將R’按一定比例向外擴展得到最終ROI 區域R，如圖6.(3)壓線判斷：獲取到ROI 后進行壓線判別，這是本文需要解決的一個難點.當直接用Resnet50[17]進行圖像分類時，結果顯示訓練準確率和測試準確率都在50%左右波動，說明該任務對模型來說幾乎不可學.主要原因是該任務是一個復雜的三維空間位置關系判斷，而目前的深度學習模型并不擅長解決此類問題.為此，本文提出基于前后輪位置估計的壓線檢測方法，下節具體說明.

圖5 車輛壓線檢測方法總體流程圖

圖6 ROI 獲取示意圖

3.2 壓線判斷

基于前后輪位置估計的壓線判斷方法流程如圖7所示，分為3 個步驟：車道線輪廓檢測、車輛前后輪位置估計、車輛壓線判斷.

圖7 壓線判斷流程圖

(1)車道線輪廓檢測[18]：從ROI 中分離出車道線區域，然后檢測出車道線輪廓對應的直線，如圖8所示.

(2)車輛前后輪位置估計：從ROI 中分離出車輛區域，計算目標車輛的兩個前輪和兩個后輪分別與地面接觸的線段，如圖9所示.

(3)車輛壓線判斷：將車輛前后輪位置估計結果和車道線輪廓檢測結果融合并進行壓線判斷，具體方法為：若任意一條車輪和地面接觸的線段與任意一條車道線輪廓對應的直線相交，則認為車輛壓線；否則認為車輛未壓線.

在整個壓線檢測計算中，目標車輛前后輪位置估計是難點，也決定了壓線檢測的準確度，下面重點介紹這一部分的實現方法.事實上，在車輛前后輪估計過程中，車身輪廓是最關鍵的信息，車身內部對結果幾乎沒有影響，故首先對車輛進行邊緣檢測，將將車輪搜索區域從車輛整體區域減少為車輛輪廓區域，這樣可以大幅降低前后輪的搜索時間.具體搜索過程為：首先，找到搜索區域的左下點A 和右下點B，即搜索區域內分別與ROI 圖像邊緣左下角和右下角距離最近的兩個點.將A 和B 形成的線段看作車輛兩個后輪與地面接觸的線段.然后，根據不同情況在搜索區域內移動A 和B，得到左上點C 和右上點D，C、D 形成的線段看作車輛兩個前輪與地面接觸的線段.這里移動方式是計算的關鍵，決定移動方式的核心是判斷車輛相對車載攝像頭的傾斜程度，這里用搜索區域最小水平外接矩形R’的寬高比(w為寬度，h為高度，簡記為w/h)和基于目標車輛的類型設置的閾值ω來衡量：

圖8 車道線輪廓獲取示意圖

圖9 輪胎位置獲取示意圖

(1) 當w/h＜ω時，目標車輛傾斜程度較小，直接將線段AB 沿垂線方向平移一段距離d即可得CD.如圖10(a)所示(圖中包含車道線輪廓的檢測結果)

(2) 當w/h≥ω時，目標車輛傾斜程度較大，某一個前輪很可能未被遮擋，所以直接對前輪估計位置.具體地，分別在搜索區域內部橫向的最大、最小值的αpx 近鄰范圍內(如圖10(b)綠色豎線外側的紅色車輛區域) 尋找垂直方向最下的位置，分別得到兩個點left_point和right_point(圖10(b)搜索區域內的左右兩個綠色圓圈中心點)，它們為潛在的前輪點，這兩點中垂直方向較上的即為前輪，如圖10(b)中的right_point.此時判斷車輛是向右傾斜的.找到車輛右前輪點D 后需要找到左前輪點C；反之亦然.首先確定臨時點C’：C’D 平行于AB，且兩者長度相等；然后，由于投影的關系，將C’向圖像中心收縮一定的距離，橫向βpx，縱向β/4 px.即得到最終的C 點，CD 就是兩個前輪與地面接觸的線段，如圖10(c)所示.

圖10 前輪估計

4 實驗與分析

4.1 實驗設置

目標車輛前后輪位置估計的精度主要由其中的幾個參數ω，d，α和β決定.事實上，由于目標車輛與攝像頭之間的距離和傾斜角度多變，無法對車輪進行完全精準的估計，盡可能逼近即可.下面對這幾個參數的設置方式進行說明.

ω的與目標車輛橫截面的最小水平外接矩形的寬高比相關，當車身相對車載攝像頭完全不傾斜時，其在車載圖像中的投影的最小水平外接矩形即可近似認為是車身橫截面的最小外接矩形，如圖11(a)所示；當車身相對車載攝像頭較較傾斜時，其在車載圖像中的投影的最小水平外接矩形的寬高比會更大，如圖11(b)所示；當攝像頭恰好可以觀測到前輪之時，此時的寬高比即為ω，如圖11(c)所示，對于圖中的車輛ω=1.5.實際情況中，可以對常見車輛進行寬高比采集閾值并錄入數據庫，算法運行過程中只需進行查詢即可獲得相應參數.

d與h和目標車輛長度有關，對于小汽車，可以簡化為d=0.2×h.觀察圖11，可知車身傾斜程度越大前輪與地面接觸的區域在ROI 中離車輛邊緣越遠，所以α與寬高比正相關.同時，實驗過程中ROI 的尺寸為固定的200×200，故這里簡化地將α設為 (5×w/h).同樣由于ROI 是固定大小的，可以將β簡化地設為固定值，這里設為12.

圖11 前輪車身傾斜程度與寬高比示意

4.2 實驗內容

為了驗證本文所提方法在車輛壓線檢測任務上的有效性，在LCD 數據集上進行不同條件的對比實驗，主要有以下3 個方面的目的：

(1)壓線判斷方法驗證：針對所提壓線判斷方法，利用多種條件下數據的ground truth 分割圖進行實驗，可以獲得理想分割結果下(即車輛車道線檢測完全準確)壓線檢測方法的總體效果，亦即壓線判斷方法的有效性，記為Accuracy1.

(2)天氣和光照的影響：基于視覺的方法會受到天氣、光照條件等因素的影響，本文利用DeepLab v2[19]語義分割模型進行車輛和車道線檢測.利用多種條件下的數據進行實驗，以mIoU 作為車輛和車道線檢測方法的準確率，獲得環境因素對結果的影響.

(3)壓線檢測方法整體有效性：基于語義分割模型產生的結果進行壓線判斷，可以獲得真實情況下壓線檢測方法的整體有效性，記為Accuracy2.同時分析其與Accuracy1 和mIoU 之間的關系.

此外，基于監督學習的方法需要對訓練數據和測試數據進行劃分，這里采用一個簡單的做法：每種條件下routeID=0 的數據作為測試數據，其余數據作為訓練數據，壓線檢測都在測試數據上進行.綜上，實驗設置如表2所示，共7 有個條件對應的實驗組別，每組都針對上述3 個目的進行實驗，共21 個實驗.

表2 壓線檢測方法對比實驗設置

4.3 結果分析

最終得到實驗結果如表3所示.

表3 壓線檢測方法對比實驗結果

從表3的實驗結果我們可以對上節的實驗目的分別得出以下結論：

(1)從基于ground truth 的結果來看，Accuracy1 都在92.6%以上，說明本文所提壓線判斷方法是有效的.實驗結果表明，誤判的主要因素有兩種：首先是臨界數據，即車輪與車道線恰好相交，由于圖像精度原因產生誤判；其次是車輪相對攝像頭傾斜程度過大，前輪在圖中比后輪位置還低，直接導致后輪與前輪檢測方法失效，最終導致誤判，如圖12所示.但這兩種因素在實際情況中較少.

圖12 主要的誤判情況

(2)語義分割的mIoU 整體較高，主要原因是分割目標類別較少，只有3 類：背景、目標車輛和車道線.其中實驗6 較低，因為傍晚相對中午缺少陽光，相對深夜缺少路燈光，光照條件最差；大雨和小雪天氣會使路面和車輛形成反光、遮擋等不利因素，故其mIoU 相對于晴天和小雨天較低；小霧天氣由于只會使圖像中視野遠方的區域亦即背景變得模糊，故對整體的mIoU 并無降低的影響，相反地，由于其反光效果將車輛和車道線尤其是車輛的亮度提升，并將背景模糊降低了干擾，從而提升了整體mIoU.

(3)從每組實驗組內對比可知，Accuracy2 相對于Accuracy1 都會有一定幅度的降低，主要原因是語義分割模型可能將交通道路環境中的其它個別車輛識別為目標車輛；其次是目標車輛的壓線檢測方法的應用場景主要是路口附近區域，語義分割模型將一些路面箭頭也識別為車道線，如圖13所示.

圖13 Accuracy2 降低主要原因

但是Accuracy2 依然能保持較高水平.只有極端情況如傍晚光照不良的情況下，準確率才會有大幅度的降低.圖14反應了Accuracy2、Accuracy1 和mIoU的相關性：Accuracy2 是受Accuracy1 和mIoU 的雙重影響的.具體地，實驗1、2、5、7 中Accuracy1 較高，且mIoU 也較高，故Accuracy2 也較高；實驗3、4 中雖然mIoU 較高，但是Accuracy1 本身較低，故Accuracy2也較低；實驗6 中Accuracy1 本身較低，mIoU 也較低，最終Accuracy2 相對最低.

圖14 Accuracy1 與Accuracy2 和mIoU 的關系

4.4 性能分析

本文所有實驗都在GPU 服務器完成，實驗的軟件以及硬件相關參數如表4所示.

表4 實驗的軟件以及硬件

性能取決于軟硬件環境，同時也取決于所用算法.此外，圖像尺寸也有顯著影響.較大的圖像在搜索、對比、統計等方面耗時都更多；較小的圖像雖然可以提升性能，但是過度壓縮通常會損失較多信息尤其是輪廓邊緣信息，使得檢測準確率降低.

性能相關指標如表5所示.其中，原始圖像尺寸取決于采集設備；ROI 尺寸在性能和準確率之間折衷進行選擇；主要關注指標為單張圖像壓線檢測平均耗時，即單張圖像語義分割和壓線判斷平均耗時之和.語義分割模型的訓練過程相當耗時，但是模型訓練完成后的測試過程相當迅速，這里僅記錄測試過程所耗時間，皆以毫秒為單位，如表5所示.

表5 壓線檢測方法實驗性能對比結果

可見單張圖像的目標車輛壓線檢測平均共耗時35 毫秒，基本可以滿足實時性要求，具備實際應用價值.

5 結束語

利用車載攝像頭對目標車輛進行追蹤和圖像數據采集，能有效地對其進行壓線檢測，檢測的關鍵在于車輪和車道線的相對位置.本文結合圖像語義分割方法完成車輛和車道線檢測，提出基于前后輪位置估計的壓線判斷方法，實現了一個完整的基于車載圖像的目標車輛壓線檢測方法，實驗表明，所提方法簡單有效.本文利用合成數據開展研究，后續可對做舊[20]等方面進行研究，進一步提升合成數據的真實性.