基于MSFA-Net 的車輛及車道線檢測算法

關(guān)鍵詞： 車輛檢測；交通圖像；深度學(xué)習(xí)；車道線分割；雙任務(wù)多尺度特征聚合網(wǎng)絡(luò)（MSFA-Net）

中圖分類號： TP 391.4 文獻(xiàn)標(biāo)識碼： A DOI： 10.3969/j.issn.1674-8484.2024.03.017

自動駕駛技術(shù)可以大幅度降低發(fā)生行車事故的可能，而自動駕駛的實現(xiàn)離不開傳感器感知系統(tǒng)。相對于激光雷達(dá)等傳感器直接獲得距離信息，基于計算機(jī)視覺技術(shù)的感知技術(shù)可以更全面地感知環(huán)境信息，為自動駕駛系統(tǒng)提供包括障礙物及車道線位置等信息。

傳統(tǒng)的視覺感知算法通常使用人工設(shè)置的先驗特征進(jìn)行檢測，其中車輛檢測中常見的先驗特征[1-2] 有顏色、形狀、車底陰影，車輛尾燈、車輛對稱性等，而車道線檢測[3-5] 則是根據(jù)車道線的顏色、邊緣線段、梯度變化、道路消失點等特征，通過分割或聚類的方式將車道線與背景區(qū)域進(jìn)行分離。基于傳統(tǒng)方法的車輛檢測與車道線分割算法，其精度在極大程度上取決于人工設(shè)置先驗特征的準(zhǔn)確性。由于先驗特征設(shè)計難度大、應(yīng)用范圍有限且針對復(fù)雜環(huán)境泛化能力較差，傳統(tǒng)檢測算法已逐步為基于深度學(xué)習(xí)的檢測算法所替代。

目前許多深度學(xué)習(xí)算法都可以分別處理車輛檢測或車道線分割任務(wù)。其中，車輛檢測任務(wù)可以由兩階段算法如Faster-RCNN [6] 或單階段算法如YOLO [7-9]系列完成，在實際工程任務(wù)中，單階段算法[10] 推理速度更快，應(yīng)用較多。在車道線檢測任務(wù)中，D. Neven等[11] 提出的實例分割模型LaneNet 使用具有編解碼結(jié)構(gòu)的模型作為骨架，網(wǎng)絡(luò)輸出的是每條車道線的像素集合，通過學(xué)習(xí)透視變換矩陣的H-Net 將圖像轉(zhuǎn)為鳥瞰圖，然后用三次多項式擬合出彎曲的車道線，其缺點在于車道線實例聚合耗時過大， 不適用于實時處理。S. Lee 等[12] 提出的實例分割模型VPGNet 同樣使用編解碼網(wǎng)絡(luò)結(jié)構(gòu)，通過學(xué)習(xí)預(yù)測道路消失點的方式，將車道線分割結(jié)果抑制在道路消失點以下，其彎道識別精度較低。

盡管上述方法具有出色的性能，但分別處理這些任務(wù)耗時過久。M. Teichmann 等[13] 提出MultiNet 網(wǎng)絡(luò)首次將車輛檢測與可行駛區(qū)域分割任務(wù)結(jié)合到一個網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，隨后QIAN Yeqiang 等[14] 提出DLTNet網(wǎng)絡(luò)將車道線檢測任務(wù)加入網(wǎng)絡(luò)形成了三任務(wù)網(wǎng)絡(luò)。鑒于MultiNet 和DLT-Net 精度較低且速度較慢，WUDong 等[15] 提出YOLOP 三任務(wù)網(wǎng)絡(luò)，其中1 個目標(biāo)檢測網(wǎng)絡(luò)與2 個語義分割解碼器共用1 個主干網(wǎng)絡(luò)和特征加強(qiáng)網(wǎng)絡(luò)，充分利用了其3 個檢測任務(wù)的關(guān)聯(lián)性，在提升精度的同時減少了模型的參數(shù)量。D. Vu 等[16] 提出的HybridNets 網(wǎng)絡(luò)則將2 個語義分割任務(wù)使用同一個解碼器進(jìn)行分類，但是堆疊的特征融合操作導(dǎo)致運行速度降低。

在本研究中，考慮到駕駛環(huán)境復(fù)雜多變而車載自動駕駛系統(tǒng)的計算資源有限，將車輛檢測與車道線分割作為自動駕駛視覺感知系統(tǒng)的2 個任務(wù)，由此提出了一種高效的雙任務(wù)多尺度特征聚合網(wǎng)絡(luò)（multi-scalefeature aggregation network，MSFA-Net）。使用同一特征編碼器網(wǎng)絡(luò)，針對不同任務(wù)構(gòu)建2 個獨立的解碼器網(wǎng)絡(luò)，使得車輛檢測與車道線分割任務(wù)相互關(guān)聯(lián)同時又具有獨立的學(xué)習(xí)空間。在車輛檢測分支設(shè)計增強(qiáng)卷積模塊（convolutional basic structure plus，CBS+） 加深網(wǎng)絡(luò)；在車道線檢測分支，針對車道線細(xì)長且不連續(xù)的特點，提出特征融合模塊（FeatFuse） 進(jìn)行不同尺度特征自適應(yīng)加權(quán)融合，配合空洞卷積語義感知模塊（contextdilated convolutional basic structure，CDBS） 以梯形結(jié)構(gòu)對融合特征進(jìn)行解碼；訓(xùn)練策略使用梯度累加方案配合學(xué)習(xí)率余弦退火衰減（cosine annealing） 加快模型收斂，減少梯度震蕩。

1 本文算法

本文所提的雙任務(wù)端到端網(wǎng)絡(luò)如圖1 所示，該網(wǎng)絡(luò)由3 部分組成，分別是共享主干特征網(wǎng)絡(luò)、車輛檢測網(wǎng)絡(luò)、車道線分割網(wǎng)絡(luò)。

1.1 共享主干特征網(wǎng)絡(luò)

共享主干特征網(wǎng)絡(luò)的作用是將高分辨率圖片進(jìn)行下采樣獲得多尺度低分辨率特征，低分辨率特征中每個像素點都包括原圖片中一個局部特征總和。

本文特征提取網(wǎng)絡(luò)中使用YOLOv7 [9] 的特征提取網(wǎng)絡(luò)（extended efficient layer attention network，E_ELAN） 進(jìn)行遷移學(xué)習(xí)，該網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖2 所示。特征提取網(wǎng)絡(luò)主要由多個下采樣和重采樣模塊連續(xù)堆疊組成，總共對圖像進(jìn)行了32 倍下采樣從而得到不同分辨率的特征向量。

其中基礎(chǔ)卷積模塊（convolutional basic structure，CBS） 如圖3 所示，由卷積層Conv，批歸一化層BN 及激活函數(shù)SiLu 堆疊構(gòu)成。其中卷積層Conv 在3 種不同卷積核（kernel） 和步幅（stride） 組合下實現(xiàn)了跨通道信息整合、重采樣和下采樣3 種基礎(chǔ)采樣功能。

下采樣可以在降低參數(shù)量的同時過濾作用小、信息冗余的特征，保留關(guān)鍵信息從而減少網(wǎng)絡(luò)過擬合現(xiàn)象。在池化采樣模塊（Max Pool，MP） [9] 模塊中使用卷積下采樣與池化下采樣并行處理特征，在使用卷積下采樣獲得高語義信息的同時，使用池化下采樣保留了高分辨率特征的位置信息及該區(qū)域顯著特征，同時由于池化操作計算量極低幾乎不會對推理速度造成影響。MP 模塊結(jié)構(gòu)如圖4。

在下采樣后，圖像的尺寸減少可能導(dǎo)致一些細(xì)節(jié)信息的丟失。為了彌補(bǔ)信息丟失，使用注意力模塊（efficientlayer attention network，ELAN） [9] 進(jìn)行重采樣恢復(fù)圖像的細(xì)節(jié)信息。ELAN 由多個CBS 模塊堆疊組成可以在保持圖像尺寸不變的情況下，對圖像進(jìn)行平滑處理，以減少噪聲和增強(qiáng)細(xì)節(jié)。結(jié)構(gòu)如圖5所示。

1.2 車輛檢測網(wǎng)絡(luò)

為應(yīng)對車輛檢測過程中全局語義信息的不足會導(dǎo)致如夜晚、霧天等復(fù)雜環(huán)境下車輛漏檢的問題，將多尺度特征層進(jìn)行一次自下而上的融合采樣[17]，再使用融合后的特征F3-F5 對車輛目標(biāo)進(jìn)行檢測。車輛檢測網(wǎng)絡(luò)及其模塊結(jié)構(gòu)如圖6。

為了充分解析低分辨率特征層中語義信息，將主干特征P5 傳入空間金字塔池化卷積神經(jīng)網(wǎng)絡(luò)（spatial pyramid pooling convolutional neural network，SPPCSPC） [7] 模塊，具體結(jié)構(gòu)如圖7 所示。通過多尺度池化并行采樣可以提取多個不同尺寸的特征，使得模型能夠?qū)Σ煌叨鹊奶卣鬟M(jìn)行學(xué)習(xí)，從而提高模型的泛化能力。

本文采用自下而上特征融合方式，不同尺寸特征層之間若想實現(xiàn)信息融合，須經(jīng)過上采樣，特征疊加，和特征整合3 個階段。

階段1：采用卷積上采樣模塊（convolutionalupsample，CUP） 模塊對低分辨率特征層進(jìn)行特征整合同時改變通道數(shù)并上采樣至與高分辨率特征一致，CUP 模塊結(jié)構(gòu)如圖8。

階段 2：使用拼接模塊在通道維度進(jìn)行特征疊加，此時特征層同時具有低分辨率特征中的全局信息和高分辨率特征中的局部信息。

階段 3：使用重采樣模塊對多尺度拼接特征進(jìn)行進(jìn)一步融合。本文針對復(fù)雜環(huán)境下車輛漏檢問題設(shè)計了增強(qiáng)卷積模塊（convolutional basic structure plus，CBS+） 改進(jìn)傳統(tǒng)的FPN 網(wǎng)絡(luò)，使用多卷積串聯(lián)的殘差結(jié)構(gòu)進(jìn)行特征整合，擴(kuò)大感受野并加強(qiáng)了各尺寸特征層之間關(guān)聯(lián)。CBS+ 結(jié)構(gòu)如圖9 所示。

由于樣本中車輛的尺寸不一，使用單一分辨率特征層進(jìn)行檢測會使模型學(xué)習(xí)難度加大難以收斂。對此本文引入了YOLOv4 [7] 網(wǎng)絡(luò)中的多尺度檢測邏輯，使用多尺度特征共同檢測目標(biāo)。Head 檢測模塊將預(yù)測目標(biāo)中心位置的偏移、目標(biāo)高寬的縮放，以及屬于每個類別的置信度。

1.3 車道線分割網(wǎng)絡(luò)

車道線分割網(wǎng)絡(luò)的作用是將低分辨率特征還原至原圖分辨率大小并進(jìn)行像素級分類。

高分辨率特征可以提供更多細(xì)節(jié)信息，能夠更準(zhǔn)確地定位目標(biāo)物體的邊界。低分辨率特征可以覆蓋更大的區(qū)域，具有更廣闊的感受野，能夠捕捉到更多的上下文信息，有助于理解目標(biāo)物體的整體結(jié)構(gòu)和語義關(guān)系。為充分利用不同分辨率特征中包含的不同層級語義信息，選擇主干特征網(wǎng)絡(luò)輸出P2-P5 特征層作為車道線檢測網(wǎng)絡(luò)的輸入。網(wǎng)絡(luò)分為特征融合、特征提取和上采樣3 個階段，其結(jié)構(gòu)如圖10所示。

階段1 ：為增強(qiáng)復(fù)雜環(huán)境下的車道線分割能力，設(shè)計特征融合模塊（FeatFuse）。P3—P5 特征使用CBS 模塊進(jìn)行特征整合并進(jìn)行插值上采樣處理為同一分辨率，對P2 高分辨率特征層只使用CBS 模塊進(jìn)行特征整合壓縮通道至64。其結(jié)構(gòu)如圖11所示。

經(jīng)過實驗，P2—P5全部采用自適應(yīng)權(quán)重情況下，在訓(xùn)練初期P2 層特征可以使得網(wǎng)絡(luò)快速收斂導(dǎo)致其權(quán)重迅速提升至0.7，但這也極大抑制了P3—P5 特征層的后期學(xué)習(xí)與利用。因此本文定義3 個可學(xué)習(xí)的參數(shù)w₃、w₄、w₅，使P3—P5 層特征按自適應(yīng)權(quán)重相加融合為一個大小為（W/4，H/4，64） 的特征層再與P2 特征層進(jìn)行相加。各特征層權(quán)重變化如圖12 所示。整體特征融合計算如式（1） 所示。

階段2 ：鑒于車道線具有不連續(xù)特性導(dǎo)致分割車道線成線性難度較大，使用空洞卷積語義感知模塊（context dilated convolutional basic structure，CDBS） 進(jìn)行特征提取。使用dilation（1，2，4，8） 的（k = 3，s = 1）空洞卷積對融合特征進(jìn)行特征提取。CDBS 模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖13 所示。

卷積膨脹值（dilation） 可以調(diào)整感受野，空洞卷積相對大卷積核卷積在節(jié)省算力的同時模糊了相鄰像素之間的聯(lián)系。對此本文設(shè)計了一種梯形連接結(jié)構(gòu)，使用上次采樣輸出特征與初始特征相加作為本次采樣的輸入特征。該模塊可以有效加強(qiáng)局部特征之間的聯(lián)系，保持采樣特征與原特征信息位置一致，從而保證車道線邊界分割精度。

階段3 ：相對于車輛檢測任務(wù)需要關(guān)注相鄰局部特征之間的關(guān)聯(lián)，車道線分割任務(wù)需要更大感受野以理解車道線的整體結(jié)構(gòu)信息。增強(qiáng)卷積上采樣模塊（convolutional upsample plus，CUP+） 使用3 個（ k = 3，s = 1） 卷積串聯(lián)方式獲得感受野為3，5，7 的特征并拼接，使采樣特征中包含更多全局結(jié)構(gòu)信息。CUP+ 模塊如圖14 所示。

經(jīng)過2 次上采樣模塊CUP+ 后，使用（k = 3，s = 1）的CBS 模塊將特征圖分辨率輸出為（W，H，2），它表示輸入圖像中每個像素屬于車道線和背景的概率。

3 實驗結(jié)果與分析

3.1 訓(xùn)練過程分析

本文采用遷移學(xué)習(xí)方法，基于大規(guī)模分類數(shù)據(jù)集預(yù)訓(xùn)練作為模型初始權(quán)重，學(xué)習(xí)率采用余弦退火策略，使學(xué)習(xí)率周期性增加并衰減以周期性大幅調(diào)整模型權(quán)重，超越局部最優(yōu)精度。訓(xùn)練初期模型需適應(yīng)新任務(wù)同時由于初期學(xué)習(xí)率較高，導(dǎo)致訓(xùn)練損失波動。本文算法訓(xùn)練中各指標(biāo)變化如圖15 所示。在前50 輪訓(xùn)練中，訓(xùn)練損失波動，而驗證損失不斷下降，這表明網(wǎng)絡(luò)正在學(xué)習(xí)平衡車輛檢測和車道線分割任務(wù)。隨著訓(xùn)練輪數(shù)的增加，學(xué)習(xí)率變化周期變長更接近于傳統(tǒng)的持續(xù)衰減策略。梯度累積策略增加了批訓(xùn)練樣本數(shù)，即使在第75 輪訓(xùn)練時學(xué)習(xí)率回歸到最大值，此時損失能較好地反映網(wǎng)絡(luò)整體變化趨勢，減少了樣本偏差帶來的梯度震蕩，即使損失函數(shù)值有所波動，網(wǎng)絡(luò)的精度仍然平穩(wěn)上升。

3.2 消融實驗分析

為分析本文算法提升效果，使用本文模塊及訓(xùn)練策略替代當(dāng)前先進(jìn)的實時多任務(wù)網(wǎng)絡(luò)YOLOP 中對應(yīng)內(nèi)容，其性能表現(xiàn)如表1 所示。

由實驗1、2，使用輕量級網(wǎng)絡(luò)E_ELAN 作為主干網(wǎng)絡(luò)，mAP@0.5 提升了1.9 個百分點，Recall 提升了0.4 個百分點，PA 與IoU 則未獲得太多提升。證明主干特征網(wǎng)絡(luò)具有更強(qiáng)的特征提取能力，也表明車道線檢測網(wǎng)絡(luò)解碼特征信息能力存在不足。

由實驗2、3，對車輛檢測網(wǎng)絡(luò)使用FocalLoss +SIoU 替代BCELoss + GIoU，對車道線分割網(wǎng)絡(luò)使用Focalloss + DiceLoss 替代BCELoss + IoULoss。通過損失函數(shù)的更換，mAP@0.5 提升了1.8 個百分點，PA提升了5 個百分點，但I(xiàn)oU 降低了1.2 個百分點，檢測精度整體的提升反應(yīng)了損失函數(shù)的有效性，而車道線IoU 的降低是因為車輛檢測任務(wù)DiceLoss 損失相對于IoULoss 更注重精度提升。

由實驗3、4，CBS+ 模塊旨在保持模型精度的同時降低參數(shù)量，使用CBS+ 模塊后，車道線分割PA提升了1.6 個百分點，IoU 提升了0.5 個百分點。

由實驗4、5，在車道線分割網(wǎng)絡(luò)中使用FeatFuse和CDBS 模塊對主干特征層進(jìn)行采樣，mAP@0.5 提升了0.7 個百分點，PA 提升了1.5 個百分點，IoU 提升了1.5個百分點。本文車道線分割任務(wù)特征來源于對主干特征的融合采樣，相對于YOLOP 網(wǎng)絡(luò)中直接使用車輛檢測網(wǎng)絡(luò)特征進(jìn)行上采樣，本文提出的特征融合及采樣模塊不但能有效提升車道線分割精度，還能給予車輛識別任務(wù)更多的獨立學(xué)習(xí)空間從而提升車輛識別的精度。

由實驗5、6，使用Mosaic 和Mixup 進(jìn)行圖形增強(qiáng)預(yù)處理，提升模型的泛化能力及單次學(xué)習(xí)的圖像樣本數(shù)量，mAP@0.5 提升了0.3 個百分點，Recall 提升了0.8 個百分點，PA 提升了1.1 個百分點，IoU 降低了1.2個百分點。Mosaic 和Mixup 增強(qiáng)在提升精度的同時也會使網(wǎng)絡(luò)學(xué)習(xí)到不符合實際標(biāo)簽的信息，即使在總輪次×70% 后解除增強(qiáng)，也導(dǎo)致了IoU 的降低，但對模型整體精度提升較大，是一種廉價的性能提升方案。

綜上由實驗1、6，本文采用在大型分類數(shù)據(jù)集表現(xiàn)出良好的E-ELAN 網(wǎng)絡(luò)遷移訓(xùn)練，提出多尺度特征融合模塊FeatFuse 與語義感知模塊CDBS 對車道線進(jìn)行采樣，并提出增強(qiáng)卷積模塊CBS+ 加深網(wǎng)絡(luò)增大感受野。在合適的訓(xùn)練策略幫助下，與經(jīng)典算法YOLOP相比其車輛檢測精度mAP@0.5、Recall 分別提升了4.8個百分點、0.9 個百分點，車道線分割精度PA 提升了9.6個百分點，車道線IoU 降低了0.2 個百分點。與此同時本文算法幀數(shù)相對于YOLOP-Net 提升了11.1%。

3.3 車輛檢測與車道線分割可視化對比

車輛檢測與車道線分割結(jié)果可視化如圖16，樣本從左往右分別包括白天直行、白天轉(zhuǎn)彎、夜晚及夜晚霧天行車4 種典型行車環(huán)境。其中圖16a 為驗證樣本標(biāo)注，圖16b 為YOLOP 預(yù)測結(jié)果，圖16c 為本文算法預(yù)測結(jié)果。

由第1、2 組可視化結(jié)果，在光照明亮環(huán)境下，本文算法相對YOLOP 在不連續(xù)車道線檢測精度上有較大提升，同時能更好對重疊車輛目標(biāo)進(jìn)行檢測。這主要與CDBS 模塊提供了多尺度感受野有關(guān)，感受野的提升使得特征中的全局信息得到更好關(guān)聯(lián)利用，即使樣本車道線不連續(xù)仍能獲得很好的檢測效果。由第3、4組可視化結(jié)果，在光照昏暗環(huán)境，本文算法對車輛和車道線檢測精度均有較大提升。尤其在第4 組夜晚霧天環(huán)境中，保持對車輛目標(biāo)精準(zhǔn)識別與定位，同時對近距離車道線進(jìn)行正確識別。在復(fù)雜環(huán)境下漏檢率的降低意味著更安全的駕駛體驗，而檢測幀數(shù)的增加意味著供給自動駕駛系統(tǒng)或人為決策時間的增加。

3.4 對比實驗

3.4.1 車輛檢測結(jié)果

本文車輛檢測的可視化情況如圖16 所示。針對BDD100K 數(shù)據(jù)集上的4 個類型的車輛進(jìn)行檢測，網(wǎng)絡(luò)性能對比如表2 所示，使用召回率（Recall） 和平均精度（mAP@0.5） 作為檢測精度的評價指標(biāo)。

其中MultiNet 與DLT-Net 為二階段多任務(wù)網(wǎng)絡(luò)，各任務(wù)之間關(guān)聯(lián)較少，其檢測精度較低的同時檢測速度遠(yuǎn)不及其他對比網(wǎng)絡(luò)。本文網(wǎng)絡(luò)在車輛檢測精度上相對于YOLOP 與YOLOV7 其mAP@0.5 分別提升4.8個百分點、1.2 個百分點，且其檢測速度相對于YOLOP提升了4.63幀/s。同時由可視化結(jié)果分析可知，本文算法在光線昏暗等復(fù)雜情況下仍具有較好檢測效果。

3.4.2 車道線分割結(jié)果

本文車道線分割的可視化情況如圖16 所示。性能對比如表3 所示，使用像素準(zhǔn)確率（PA） 和車道線交并比（IoU） 作為檢測精度的評價指標(biāo)。

許多在大目標(biāo)分割環(huán)境中表現(xiàn)較好的經(jīng)典單任務(wù)網(wǎng)絡(luò)，在車道線小目標(biāo)分割時邊緣模糊，像素準(zhǔn)確率（PA）低于60%。本文的模型在檢測精度上超過了YOLOP及其他經(jīng)典輕量級語義分割網(wǎng)絡(luò)，進(jìn)一步證明了車輛檢測任務(wù)與車道線分割任務(wù)的關(guān)聯(lián)性。對于同一環(huán)境的相似任務(wù)，使用多任務(wù)端對端網(wǎng)絡(luò)可以獲得更好更快的效果。

4 結(jié)論

本文提出可同時執(zhí)行車輛檢測與車道線分割任務(wù)的駕駛環(huán)境感知網(wǎng)絡(luò)MSFA-Net。雙任務(wù)感知網(wǎng)絡(luò)通過關(guān)聯(lián)車輛檢測任務(wù)與車道線分割任務(wù)特征信息，在提升檢測速度的同時任務(wù)信息之間相互促進(jìn)提升了檢測精度。針對不連續(xù)與非線性車道線難識別問題，提出了多特征層自適應(yīng)融合模塊FeatFuse 與類殘差連接多空洞值卷積模塊CDBS 用于增強(qiáng)局部位置信息與全局語義信息的關(guān)聯(lián)。同時設(shè)計了CBS+ 與CUP 模塊進(jìn)一步提升整體檢測效果。

實驗結(jié)果表明：本文網(wǎng)絡(luò)在BDD100K 數(shù)據(jù)集上其平均精度均值（mAP）、召回率（Recall）、像素準(zhǔn)確率（PA）分別達(dá)到了了81.3%、90.1% 和80.1%，檢測幀率達(dá)到了41.6 幀/s。檢測速度快，精度高，同時訓(xùn)練數(shù)據(jù)集的復(fù)雜環(huán)境包含了大部分真實行車環(huán)境，能較好適應(yīng)實際駕駛環(huán)境需求。