光度魯棒的違章壓線檢測系統(tǒng)

于潤潤， 朱凱贏， 蔣光好， 吳 益， 周 偉

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院， 上海 201620）

0 引 言

車輛壓線檢測是指使用攝像機(jī)采集道路視頻數(shù)據(jù)，并針對視頻中車輛壓線的行為進(jìn)行檢測。 已有的壓線檢測研究使用的大部分方法為傳統(tǒng)檢測方法，并且只能適用于固定攝像頭的靜止場景。 文獻(xiàn)［1］使用一定先驗(yàn)知識劃定感興趣區(qū)，使用邊緣檢測和Hough 變換擬合出車道線，用判斷車道線區(qū)域是否有車輛來判定是否壓線。 文獻(xiàn)［2］使用連續(xù)圖像幀間的灰度平均差計(jì)算得到黃線殘缺信息，并設(shè)置殘缺長度閾值來判斷是否有車輛違章壓線。 文獻(xiàn)［3］提出了使用黃線區(qū)域多角度拍攝，使用小波變換分割算法，對比相鄰幀圖像對應(yīng)像素的方法來辨別是否有壓線行為。 這類方法應(yīng)對不同天氣，光照等，都會(huì)出現(xiàn)較大誤差。

實(shí)際場景中經(jīng)常會(huì)出現(xiàn)光照變化的情況，比如相機(jī)與點(diǎn)光源的相對位置發(fā)生了變化，相機(jī)不斷地調(diào)整自身的曝光時(shí)間，光源本身的亮度發(fā)生變化。針對光照變化的問題，常見的解決方法有2 個(gè)方向，分別是：相機(jī)參數(shù)的標(biāo)定和調(diào)整圖像的亮度。 其中，相機(jī)參數(shù)的標(biāo)定主要針對相機(jī)曝光時(shí)間不固定的情況，需要在線標(biāo)定相機(jī)的曝光時(shí)間，這種方法常見于機(jī)器人自主定位導(dǎo)航中［4-5］。 但這種方法并不適用于基于深度學(xué)習(xí)構(gòu)建的方法，因此在本文提出的違章壓線檢測系統(tǒng)中，本文使用圖像亮度調(diào)整方法對輸入的圖像進(jìn)行預(yù)處理，保證連續(xù)圖像之間亮度始終保持相對一致。 最后，使用空間卷積模塊和像素統(tǒng)計(jì)的方法對存在遮擋下的車道線分割結(jié)果進(jìn)行補(bǔ)全，優(yōu)化了車道線分割結(jié)果。 本文創(chuàng)新點(diǎn)總結(jié)如下：

（1）在基于視覺的深度學(xué)習(xí)方法中加入圖像亮度調(diào)整方法，使前后圖像的亮度始終保持一致。

（2）使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行車道線語義分割和車輛目標(biāo)檢測，并設(shè)計(jì)了感興趣區(qū)域以及像素統(tǒng)計(jì)方法用來提高車道線分割在遮擋情況下的魯棒性。

1 圖像亮度調(diào)整

對于圖像中景物差異不大的情況，適合用直方圖匹配法對圖像進(jìn)行亮度調(diào)整。 首先計(jì)算參考圖像的像素直方圖H ＝｛h0，h1，…，hl-1｝，其中l(wèi)表示圖像的灰度值范圍，對于本文中所用的灰度圖像，l ＝255。hi表示像素值等于i的像素的數(shù)量，其中i∈［0，l -1］。 再對需要調(diào)整亮度的圖像的所有像素根據(jù)各自的像素值大小進(jìn)行排序。 最后按照參考圖像的直方圖對排好序的像素進(jìn)行分組。 為排序后的像素重新分配像素值的過程見圖1。 由圖1 可知，按從小到大排列的像素中最小的前h0個(gè)像素被分為第一組，并對這一組中所有像素分配像素值0，接著再從序列中取后h2個(gè)像素分為第二組，并對第二組中的每個(gè)像素分配像素值1。 依次類推，排好序的像素最終都會(huì)根據(jù)參考的像素直方圖被分配到相對應(yīng)所屬的組，并被重新分配像素值。

圖1 圖像像素值重分配過程Fig.1 Image pixel value redistribution process

為了對具有相同像素值的像素進(jìn)行嚴(yán)格的排序，對于這些像素值相同的像素，去計(jì)算這些像素鄰域的像素值的均值，再用相對應(yīng)的均值進(jìn)行比較。當(dāng)存在一些像素的鄰域均值也相等時(shí)，擴(kuò)大鄰域選取范圍，再次計(jì)算均值進(jìn)行比較，反復(fù)上述比較步驟，直至每個(gè)像素都被嚴(yán)格地排序。 基于直方圖的圖像亮度調(diào)整效果如圖2 所示。

圖2 基于直方圖的圖像亮度調(diào)整效果Fig.2 Image brightness adjustment effect based on histogram

2 壓線檢測模型

2.1 車輛檢測和車道線分割

常用的目標(biāo)檢測算法可分為：一階段法［6-9］和兩階段法［10-12］。 其中，一階段法讓檢測任務(wù)集成在一個(gè)模型中，模型直接估計(jì)目標(biāo)的檢測概率和位置坐標(biāo)，檢測速度更快。 本文選用一階段法中的YOLOv3［13］來進(jìn)行車輛目標(biāo)檢測。 在預(yù)測過程中不需要候選區(qū)域的選擇，模型根據(jù)提取的高維特征進(jìn)行目標(biāo)位置和類別的判定，相比兩階段法、如Faster R-CNN［12］快100 倍。 研究中使用大量車輛數(shù)據(jù)對預(yù)訓(xùn)練好的YOLOv3 模型的參數(shù)進(jìn)行微調(diào)，讓模型進(jìn)一步學(xué)習(xí)車輛數(shù)據(jù)的特征。

基于深度學(xué)習(xí)的車道線分割方法中，SCNN［14］使用一種空間卷積層模塊，通過對每個(gè)特征層上特征點(diǎn)間的信息進(jìn)行交互加強(qiáng)空間特征的提取。 該方法使用4 種卷積核分別對上、下、左、右四個(gè)方向的信息進(jìn)行提取和融合，使模型加深，但訓(xùn)練預(yù)測速度下降，并且多卷積核的累加，有概率丟失重要特征信息，導(dǎo)致車道線分割中細(xì)節(jié)部分效果差。 針對這個(gè)問題，本文設(shè)計(jì)了更輕量的空間卷積結(jié)構(gòu)，不再使用4 個(gè)方向的卷積核，而只使用向下和向左的卷積核進(jìn)行特征加強(qiáng)。 并且本文提出的方法將該輕量化的空間卷積模塊變?yōu)橐环N注意力機(jī)制，讓模型使用空間卷積模塊對提取的特征進(jìn)行自我校正。 輕量級空間卷積結(jié)構(gòu)如圖3 所示。

圖3 輕量級空間卷積結(jié)構(gòu)Fig.3 Light-weight spatial convolution structure

在空間卷積模塊中，大小為H*W*C的輸入特征圖被分割成為H個(gè)1*W*C的特征圖，使用1*w*c的卷積核對該特征進(jìn)行計(jì)算，其中則滿足w ＜W，在本次的實(shí)驗(yàn)中將w設(shè)為9。 同時(shí)也對該輸入特征從上到下以相似的方式進(jìn)行卷積運(yùn)算。 此后，將2 次卷積運(yùn)算的結(jié)果直接堆疊成一組特征圖，再進(jìn)行1*1*2C的卷積運(yùn)算，提取出結(jié)構(gòu)注意力圖。 最后將原始的特征圖和得到的結(jié)構(gòu)注意力圖進(jìn)行一一對應(yīng)地相乘，得到特征的自校正量，并將自校正量累加到原始特征上，得到具有強(qiáng)注意力機(jī)制的高維特征。 經(jīng)過結(jié)構(gòu)注意力機(jī)制的空間信息加強(qiáng)，模型中提取的特征就會(huì)具有足夠的結(jié)構(gòu)信息來幫助提高車道線檢測的結(jié)果。

2.2 車輛壓線判斷模型

得到車輛檢測圖和車道線分割圖后，進(jìn)行車輛壓線判斷。 如果車輛的特定位置出現(xiàn)在車道線分割結(jié)果上，就判斷為出現(xiàn)壓線行為［15］。 在對車輛進(jìn)行目標(biāo)檢測時(shí)，被檢測出的車輛會(huì)在圖像上有一個(gè)二維的矩形框，研究中設(shè)定該矩形框的底邊的左側(cè)區(qū)域和右側(cè)區(qū)域?yàn)? 個(gè)感興趣區(qū)域， 在檢測車輛是否壓線的同時(shí)判斷是左轉(zhuǎn)壓線、還是右轉(zhuǎn)壓線。 并且，為了適用于任何尺寸的輸入圖像，感興趣區(qū)域的大小設(shè)置成輸入圖像尺寸的20%。

3 實(shí)驗(yàn)

為了驗(yàn)證本文設(shè)計(jì)的系統(tǒng)的有效性，通過車載行車記錄儀采集車輛行駛視頻，共計(jì)12 000張圖像，用于實(shí)驗(yàn)，為保證實(shí)驗(yàn)數(shù)據(jù)的多樣性，額外加入了10 段網(wǎng)絡(luò)上違章壓線視頻來擴(kuò)充測試數(shù)據(jù)集。

對于車輛壓線檢測方法，文獻(xiàn)［15］使用圖像分割技術(shù)進(jìn)行判斷。 本文對此方法和本文所提出的方法進(jìn)行了對比實(shí)驗(yàn)。 具體結(jié)果見表1。 由于文獻(xiàn)［15］使用較深的神經(jīng)網(wǎng)絡(luò)模型來分割車道線，所以推斷時(shí)間更長；又由于在真實(shí)場景中，由于光照影響和實(shí)際照片成片中存在成像模糊的問題，導(dǎo)致在進(jìn)行車道線分割時(shí)，車道線分割的邊緣比較模糊，最終使檢測效果下降。 本文采用的圖像亮度調(diào)整、目標(biāo)檢測和語義分割技術(shù)相結(jié)合的方法，在復(fù)雜的場景下也可以保持目標(biāo)檢測和車道線分割的準(zhǔn)確性。 本文設(shè)計(jì)的方法對于車輛壓線檢測的準(zhǔn)確率達(dá)到了96%以上，滿足實(shí)際需求。 具體壓線檢測結(jié)果如圖4 所示。

表1 移動(dòng)端車輛壓線檢測對比結(jié)果Tab.1 Comparison results of vehicle lane-crossing detection at mobile end

圖4 壓線檢測結(jié)果Fig.4 Results of vehicle lane-crossing detection

4 結(jié)束語

本文提出了一種車輛壓線檢測系統(tǒng)，利用深度學(xué)習(xí)算法和傳統(tǒng)算法相結(jié)合，能夠在不同光照條件下檢測車輛壓線行為。 設(shè)計(jì)了輕量級的空間卷積模塊使得車道線分割網(wǎng)絡(luò)能夠準(zhǔn)確地提取到車道線特征。 最終的實(shí)驗(yàn)表明本文提出的方法能夠在復(fù)雜場景中準(zhǔn)確地檢測出車輛壓線行為。 然而，由于車道線檢測和車輛檢測沒有進(jìn)一步整合到一個(gè)模型中，系統(tǒng)的計(jì)算效率還沒有達(dá)到最高。 未來，希望將車輛檢測任務(wù)和車道線分割任務(wù)融合進(jìn)一個(gè)模型中，使得整個(gè)系統(tǒng)的訓(xùn)練過程更加容易，計(jì)算效率進(jìn)一步提高。