基于輕量化U2-Net的車道線檢測算法研究*

【摘要】針對車道線遮擋、道路陰影等多車道駕駛環境下提取的車道線特征信息缺失造成預測車道線模糊、不連續等問題，提出一種基于輕量化U2-Net的車道線檢測算法。首先，以輕量化U2-Net的殘差U形模塊（RSU）和多特征尺度融合獲得全局信息豐富的車道線特征；其次，對車道線特征進行逐像素閾值判斷，并選擇最小二乘法結合感興趣區域（ROI）中車道線簇進行車道線的擬合，實現多車道線檢測并確認自車道線區域；最后，在圖森（TuSimple）數據集上進行驗證與分析。驗證結果表明，所提出的車道線檢測算法的平均準確率達到98.4%，相比于其他車道線檢測網絡，該算法的網絡參數量較少，準確率較高。

關鍵詞：輕量化U2-Net 殘差U形模塊 多車道線檢測 自車道線

中圖分類號：U491. 6" "文獻標志碼：A" "DOI： 10.20104/j.cnki.1674-6546.20230435

Research on Lane Line Detection Algorithm Based

on Lightweight U2-Net

Deng Huan1， Wang Jian1， Wu Mengjun2， Du Ruofei1， Fei Mingzhe1， Wang Yunjing1

（1. Shandong Jiaotong University， Jinan 250357; 2. Ningbo Yinzhou DLT Technologies Co.， Ltd.， Ningbo 315100）

【Abstract】In response to the multilane lines driving environments such as lane line occlusion， road shadows， where the extractes lane line feature information is missing， resulting in blurry and discontinuous predicted lane lines， this paper proposes a lightweight U2-Net network for lane line detection algorithm. Firstly， the Residual U-blocks （RSU） module of the lightweight U2-Net network and multi feature scale fusion are used to obtain globally informative lane line features; secondly， pixel-by-pixel threshold judgment is performed on lane line features， and the least square method is selected combined with the lane line cluster of Region Of Interest （ROI） to fit lane line， to achieve multilane line detection and determine the self lane line area; finally， the proposed lane detection algorithm is validated and analyzed in the TuSimple dataset. The results show that the average accuracy of the proposed lane line detection algorithm reaches 98.4%. Compared with other lane line detection networks， this algorithm has fewer network parameters and higher accuracy.

Key words： Lightweight U2-Net， Residual U-blocks （RSU）， Multi-lane line detection， Self lane line

【引用格式】 鄧歡， 王健， 吳孟軍， 等. 基于輕量化U2-Net的車道線檢測算法研究[J]. 汽車工程師， 2024（8）： 22-28.

DENG H， WANG J， WU M J， et al. Research on Lane Line Detection Algorithm Based on Lightweight U2-Net[J]. Automotive Engineer， 2024（8）： 22-28.

1 前言

環境感知是無人駕駛技術的核心技術之一，其中，復雜環境下車道線檢測的實時性和魯棒性對車道偏離預警系統（Lane Departure Warning System，LDWS）、車道保持系統（Lane Keeping System，LKS）等駕駛輔助系統十分重要，可明顯提高智能車輛的行駛安全性。目前，車道線檢測算法分為傳統車道線檢測算法和基于深度學習的車道線檢測算法[1]。傳統車道線檢測算法在車道線標記清晰、無遮擋物的道路上檢測效果較好，但難以應用于無人駕駛場景。

相比于傳統車道線檢測算法，越來越多的研究者將深度學習算法應用于圖像處理領域，實現高精度的車道線檢測，以提升遮擋和磨損條件下的車道線檢測性能，但很多基于深度學習的車道線檢測算法仍然存在一些問題。針對惡劣天氣和夜間條件，Lee等[2]提出一個端到端的多任務網絡模型，即消失點引導網絡（Vanishing Point Guided Network，VPGNet），可提高車道檢測的實時性；Neven等[3]提出了LaneNet算法進行多車道線檢測，該算法基于實例分割的思想，但其檢測精度不高；Gansbeke等[4]提出一種端對端的車道線模型訓練方式，通過直接回歸車道參數提高車道線的檢測效果；針對語義分割網絡模型檢測效果不佳、計算量大等問題，文獻[5]基于BiSeNet V2網絡模型優化改進，提高了模型的推理速度，文獻[6]采用壓縮的VGG16網絡進行編碼，通過車道線后處理過程獲得更加精確的車道線，文獻[7]提出融合多分支結構和注意力機制的車道線檢測模型，解決了特征融合不充分、魯棒性差的問題。因此，面對復雜多變的駕駛環境，尋求一種通用、計算量低的輕量化網絡，同時改善神經網絡識別精度不高和缺失多尺度上下文特征等缺陷，是目前無人駕駛技術環境感知領域中急需解決的問題。

考慮到基于分割的檢測算法更易于實際應用，本文提出一種基于輕量化U2-Net的車道線檢測算法。首先，以輕量化U2-Net語義分割網絡分割車道線特征，使用殘差U形模塊（Residual U-blocks，RSU）提取深層特征信息，特征圖融合模塊保留全局信息，通過閾值分割進行多車道線提取。其次，提出一種簡單的后處理方式，對分割后圖像進行感興趣區域提取，由最小二乘擬合和拋物線模型完成自車道線確認。最后，在圖森（TuSimple）數據集上進行驗證，使用正確率、平均絕對誤差、F度量值等多個指標評估算法結果。

2 車道線語義分割網絡設計

針對復雜環境下車道線特征提取模型復雜、效果不佳等問題，本文借鑒圖像語義分割的思路，提出基于輕量化U2-Net的車道線特征分割模型，可以在不使用常規分類網絡主干的情況下快速地對預處理后的車道線圖像進行特征分割，將輸入圖像分割為車道線特征和背景特征兩種語義類別，繼而對分割得到的車道線特征進行車道線提取，以實現對多車道線的檢測和自車道線區域的確認。本文提出的車道線檢測算法流程如圖1所示。

2.1 輕量化U2-Net的車道線分割

輕量化U2-Net[8]是一種用于顯著對象檢測的網絡體系結構，其架構是堆疊嵌套的U型結構，包括6級編碼網絡、5級解碼網絡、解碼網絡和編碼網絡的最后一個階段的特征圖融合模塊3個部分，其網絡的結構和參數配置分別如圖2和表1所示，其中I為輸入圖像的通道（Cin）數量、M為網絡內層通道（Cmid）數量、O為輸出圖像的通道（Cout）數量。

2.1.1 編碼、解碼網絡

在車道線檢測和分割任務中，局部與整體的上下文信息都是必不可少的，既要擴大特征提取的感受野來提取深層特征，又要將淺層特征與深層特征融合。因此，輕量化U2-Net的編碼、解碼網絡中每一個階段都通過一個新的RSU模塊來捕捉階段內的多尺度特征，直接分階段提取多尺度特征，再將每個階段的車道線特征進行融合。其中，RSU模塊細分為RSU-L模塊和RSU-4F模塊。

RSU-L模塊采用U型結構，主要包括輸入卷積層、編碼-解碼網絡、殘差連接3個部分。其中特征圖的長度和高度分別為H和W，RSU網絡的層數為L，當L=7時，RSU-7模塊如圖3a所示，其中包括卷積層（Conv）、批歸一化（Batch Normalization，BN）層、修正線性單元（Rectified Linear Unit，Relu）激活層，以及下采樣（Dowbsample）、上采樣（Upsample）操作等，k為步幅，d為填充量。車道線特征圖x（H×W×I）經過輸入卷積層輸出中間特征圖F1（x）（H×W×O），以提取車道線的局部特征；將F1（x）輸入高度為L的RSU-L模塊，學習提取多尺度上下文信息U（F1（x））。在RSU-L模塊中，L越大，RSU模塊越深，池化操作越多，獲得的局部和全局特征越豐富；將獲得的局部信息和全局信息通過殘差連接，進行局部特征和多尺度特征的融合，特征融合公式為：

H（x）=F2（F1（x））+x" " " " " " （1）

式中：H（x）為輸入圖像特征x的期望映射，F2、F1為權值層。

RSU-4F模塊如圖3b所示，與RSU-L模塊的結果相比，它將池化和上采樣操作替換為擴展卷積，使得所有中間特征映射與其輸入特征映射具有相同的分辨率，避免下采樣過程的特征圖過小。

2.1.2 特征圖融合模塊

在編碼網絡下采樣和解碼網絡上采樣過程中，En_6、De_5、De_4、De_3、De_2和De_1階段通過3×3卷積層和S型函數（Sigmoid Function）輸出S（6）、S（5）、S（4）、S（3）、S（2）、S（1）等6個車道線特征圖，特征圖融合模塊就是將輸出的6個車道線特征圖分別上采樣到輸入圖像大小，采用連接操作進行特征融合，然后通過1×1卷積層和S型函數生成最后的車道線特征圖Sfuse，對每一項輸出的車道線特征圖使用二值交叉熵計算損失，故最終的損失函數包括S（6）、S（5）、S（4）、S（3）、S（2）、S（1）的損失和特征融合輸出車道線特征圖Sfuse的損失，具體計算公式為：

[L=n=1Nw（n）sl（n）s+wfuselfuse] （2）

式中：N=6為輸出的車道線特征圖數量，ls（n）為車道線特征圖S（n）的二值交叉熵損失，lfuse為Sfuse的二值交叉熵損失，ws（n）為ls（n）的權重系數，wfuse為lfuse的權重系數。

2.2 多車道線檢測

本文將車道線檢測任務視為圖像語義分割問題，經輕量化U2-Net語義分割網絡提取的車道線特征圖Sfuse包括豐富的局部和全局特征信息，可以將模糊、不連續的車道線特征彌補擬合為完整的車道線形狀，直接進行多車道線檢測。

首先通過多次驗證測試，分析不同閾值（Tthreshold）下的車道線檢測效果，如圖4所示，當Tthreshold=0.3時獲得的車道線檢測效果較好，檢測到的車道線基本與特征圖中的車道線像素點穩合；其次，通過對Sfuse內的車道線像素值T進行逐像素判斷，當T≥Tthreshold時可以提取到完整的車道線簇的坐標集合F（x，y）；最后，將F（x，y）映射至輸入圖像，實現多條車道線的檢測，解決對遠端的車道線和彎道預測效果差以及車道線預測不連續的問題。

2.3 自車道確認

LDWS、LKS等駕駛輔助系統一般在近視野區域做出相應的駕駛策略，因此，在實現多車道線檢測的基礎上，本文提出以輸入圖像中線為中心，以近視野區域作為車道線圖片的感興趣區域（Region Of Interest，ROI），遍歷ROI內的車道線簇，將與ROI中線距離最近的左、右兩條連續車道線作為車輛當前行駛車道的左、右邊界，并將上述兩條車道線所包圍的區域標記為車輛當前行駛的車道區域，以實現對行車車道的確認，為汽車的LDWS、LKS等駕駛輔助系統的決策提供依據，使車輛能夠更加安全高效地行駛。

在前期的多車道線檢測階段已經提取到單獨的車道線簇，故車道線擬合階段不存在強噪聲的干擾，為了提取完整的自車道線區域，選擇最小二乘法結合ROI中車道線簇進行車道線的擬合，具體步驟如下：

a. 以輸入圖像中線為中心，獲取ROI，進行逆透視變換；

b. 以ROI的質心為中心，取坐標距離最近的兩條車道線分別為當前行駛車道的左、右邊界，對兩條車道線進行采樣，獲得左、右車道線的采樣坐標集合，分別為L、R；

c. 使用最小二乘擬合確定擬合參數，使用拋物線模型進行車道線擬合，并通過擬合的車道線坐標繪制自車道區域，變換至原圖。拋物線模型和誤差平方和的計算公式為：

y=ax2+bx+c （3）

[e2=i=1n[yi-（ax2i+bxi+c）]2] （4）

式中：a、b、c為拋物線模型參數，y為擬合的車道線模型，yi為真實的車道線模型，xi為車道線簇的橫坐標集，n為當前車道線簇的坐標數量。

3 驗證準備

3.1 數據集處理

本文對復雜多變駕駛場景下的車道線進行檢測，選取的TuSimple數據集包括含不同天氣狀況下多車道線的車道場景，其分辨率為1 280×720，分為訓練集、測試集和驗證集，部分輸入圖像如圖5a所示。其中，TuSimple數據集的圖像的標注文件為json格式，其提供了許多離散的軸坐標對應的車道線的軸坐標值。

本文所提出的車道線檢測網絡的輸入圖像大小固定，且對應的標簽應為二值分割圖像，故數據集預處理部分包括對json格式的轉換和輸入圖像的裁剪。首先，將其標簽轉換為png格式的二值分割圖像，處理后的部分二值分割標簽（Ground-Truth）如圖5b所示；其次，將所有數據集中每個圖像調整大小為512×512，作為網絡的輸入圖像；最后，為防止訓練過程出現過擬合現象，對數據集進行隨機垂直翻轉并裁剪為480×480，以增大數據集，提高訓練模型的精度。

3.2 測試參數

測試所使用的平臺為Windows 10，圖形處理器（Graphics Processing Unit，GPU）為NVIDIA Quadro P4000。在算法實現方面，基于PyTorch深度學習框架進行神經網絡模型搭建。在網絡訓練前，設置批處理大小（Batch Size）、迭代次數（Epoch）、學習率、優化器、損失函數等訓練參數，如表2所示。

3.3 評價標準

輕量化U2-Net的輸出是與輸入車道線圖像具有相同空間分辨率的預測車道線圖，為了驗證輕量化U2-Net對車道線特征提取的有效性，本文在TuSimple數據集上對其進行驗證，并選取正確率（Accuracy，ACC）、平均絕對誤差（Mean Absolute Error，MAE）、F度量值（F1?measure）指標來評估算法結果。

給定一個預測的車道線特征圖，Mmea表示預測的車道線與二值分割標簽之間的平均每像素差，Aacc表示預測的車道線中預測正確的概率，F1?measure是通過加權調和參數β2對精確率（Pprecison）和召回率（Precall）的加權調和。其中，召回率Precall、精確率Pprecison、Mmea、F1?measure、Aacc的表達式為：

Precall=NTP/（NTP+NFN）" " " " " " （5）

Pprecison=NTP/（NTP+NFP）" " " " " "（6）

[Mmea= r=1Hc=1WPr，c-G（r，c）H×W]" " " " （7）

F1-measure=（1+β2）PprecisonPrecall/（β2Pprecison+Precall） （8）

Aacc=（NTP+NTN）/（NTP+NTN+NFP+NFN）" " "（9）

式中：NTP為預測正確的車道線數量，NFP為預測錯誤的車道線數量，NFN為未檢測到的車道線數量，NTN為未預測正確的背景數量，P（r，c）為預測的車道線特征圖，G（r，c）為真實的二值分割標簽，（r，c）為像素的坐標，β2設為0.3。

4 驗證結果與分析

4.1 訓練與優化

在模型的訓練與優化過程中，每兩次迭代進行模型驗證，計算一次迭代中Mmea和F1?measure的值，與前一次迭代的參數進行對比，以獲得最優化的權重參數，訓練過程中損失（Train Loss）、學習率與優化過程中的Mmea和F1?measure隨迭代次數變化的曲線如圖6所示，由圖6a可知，該網絡模型的收斂速度快，由圖6b可知，在迭代30次的訓練后，預測的車道線效果基本穩定。

4.2 可視化分析

本文所提出的車道線檢測算法在TuSimple數據集的測試集上進行驗證，得到不同環境下車道線檢測結果如圖7所示。由圖7a和圖7b可知，本文所提出的基于輕量化U2-Net的車道線檢測算法可以實現多車道線的檢測；由圖7c和圖7d可知，在車道線不連續、車道線遮擋以及路面陰影條件下，本文算法將斷開的車道線彌補擬合為連續的車道線。由上述結果可以看出，本文算法解決了預測車道線出現模糊、不連續等問題，特別是對遠端的車道線和彎道預測效果較好，但該算法對近端的車道線特征提取效果不明顯，需要進一步的后處理操作。

4.3 結果對比

將本文提出的車道線檢測算法模型的大小及其在TuSimple數據集上的車道線檢測準確率與空間卷積神經網絡（Spatial Convolutional Neural Network，SCNN）[9]、SqueezeNet[10]、GoogLeNet_v2[10]、LaneNet[3]進行對比分析，驗證模型檢測效果。在不采用模型量化和深度學習推理優化器加速的情況下，本文所選取的輕量化網絡在測試階段的準確率達到了98.4%，其推理速度為14.3 幀/s，基本滿足車道線檢測的實時性要求。由圖8可知，相比于其他網絡，本文所提出的車道線檢測算法模型的參數量較少，相比于參數量更高的LaneNet和SCNN分別提高了2.02%、1.87%，在保證檢測速度的情況下，其準確率明顯提高。

5 結束語

本文提出了一種基于輕量化U2-Net的車道線檢測算法：首先，搭建了輕量化U2-Net，通過RSU模塊和多特征尺度融合提取全局信息和局部信息豐富的車道線特征，解決了遠端區域、不連續的車道線預測效果較差的問題；其次，通過逐像素閾值比較，實現多車道線檢測；最后，在車道線后處理過程，針對分割后圖像沒有強干擾點的特點，由最小二乘擬合和拋物線模型確認自車道線區域，為車輛高級輔助駕駛系統提供判斷信息。在TuSimple數據集上的驗證結果表明，本文的車道線檢測算法平均準確率達到98.4%，推理速度為14.3 幀/s，在車道線遮擋、道路陰影等多車道線的駕駛環境下具有良好的檢測效果，可對遠處的車道線和彎道進行檢測。

參考文獻

[1]" "時小虎， 吳佳琦， 吳春國， 等. 基于殘差網絡的彎道增強車道線檢測方法[J]. 吉林大學學報（工學版）， 2023， 53（2）： 584-592.

SHI X H， WU J Q， WU C G， et al. Enhanced Lane Detection Method for Curves Based on Residual Networks[J]. Journal of Jilin University （Engineering Edition）， 2023， 53（2）： 584-592.

[2]" LEE S， KIM J， SHIN YOON J， et al. VPGNet： Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice， Italy： IEEE， 2017： 1947-1955.

[3]" "NEVEN D， DE BRABANDERE B， GEORGOULIS S， et al. Towards End-to-End Lane Detection： An Instance Segmentation Approach[C]// IEEE Intelligent Vehicles Symposium（IV）. Changshu， China： IEEE， 2018： 286-291．

[4]" "VAN GANSBEKE W， DE BRABANDERE B， NEVEN D， et al. End-to-End Lane Detection through Differentiable Least-Squares Fitting[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. Seoul， Korea： IEEE， 2019.

[5]" "王碧瑤， 韓毅， 崔航濱， 等. 基于圖像的道路語義分割檢測方法[J]. 山東大學學報（工學版）， 2023， 53（5）： 37-47.

WANG B Y， HAN Y， CUI H B， et al. Image Based Road Semantic Segmentation Detection Method[J]. Journal of Shandong University （Engineering Edition）， 2023， 53（5）： 37-47.

[6]" "鄧天民， 蒲龍忠， 萬橋. 改進FCN的車道線實例分割檢測方法[J]. 計算機工程與設計， 2022， 43（10）： 2935-2943.

DENG T M， PU L Z， WAN Q. Improved Lane Line Instance Segmentation Detection Method for FCN[J]. Computer Engineering and Design， 2022， 43（10）： 2935-2943.

[7]" "蒯曉， 丁飛， 張登銀. 多分支融合注意力機制的車道線檢測模型[J]. 電子測量與儀器學報， 2023， 37（4）： 35-43.

KUAI X， DING F， ZHANG D Y. A Lane Line Detection Model Based on Multi Branch Fusion Attention Mechanism[J]. Journal of Electronic Measurement and Instrumentation， 2023， 37（4）： 35-43.

[8]" "QIN X B， ZHANG Z C， HUANG C Y， et al. U2-Net： Going Deeper with Nested U-Structure for Salient Object Detection[J]. Pattern Recognition， 2020， 106.

[9]" "PAN X G， SHI J P， LUO P， et al. Spatial as Deep： Spatial CNN for Traffic Scene Understanding[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New Orleans， Louisiana， USA： AAAI， 2018.

[10] CHEN Z P， LIU Q F， LIAN C F. PointLaneNet： Efficient End-to-End CNNs for Accurate Real-Time Lane Detection[C]// 2019 IEEE Intelligent Vehicles Symposium （IV）. Paris， France： IEEE， 2019： 2563-2568.

（責任編輯 斛 畔）

修改稿收到日期為2023年10月21日。