基于改進YOLOv3 算法的公路車道線檢測方法

崔文靚 王玉靜 康守強 謝金寶 王慶巖 MIKULOVICH Vladimir Ivanovich

車道線檢測是智能駕駛領域的關鍵技術之一,廣泛應用于汽車輔助駕駛系統、車道偏離預警系統以及車輛防碰撞系統中.隨著計算機科學、人工智能和目標檢測技術的飛速發展,研究端到端的智能化車道線檢測方法是自動駕駛領域的一條全新途徑[1-6].因此,研究基于深度學習的公路車道線檢測方法對于提高公路交通安全具有重要意義.

對于車道線檢測問題,國內外學者已開展了相關研究,取得了一定的研究成果[7-9].基于傳統方法的車道線檢測實質是通過圖像特征和車載傳感器來感知車輛當前環境并進行建模[10].存在檢測速度慢、檢測精度差、抗環境干擾能力差等問題.文獻[11]在常見的直線模型、多項式曲線模型、雙曲線模型和樣條曲線模型等二維模型的基礎上,提出了基于車道線特征的檢測方法.文獻[12]在霍夫變換的基礎上使用道路擬合算法精確標出道路俯視圖中的車道線位置,該方法可有效改善圖像中其他車輛位置對檢測效果的影響.文獻[13]提出了基于立體視覺的路緣邊線檢測方法,該方法在真實路況條件下具有較強的穩定性.文獻[14]提出了基于車道線顏色和方向的幾何特征結構化檢測方法,綜合顏色和方向兩個方面的信息對車道線進行擬合,實現了車道線的檢測.文獻[15]提出了基于視覺更具有魯棒性的檢測方法,通過并行約束和多路模型擬合的方法提高了車道線檢測的準確性.

近年來,卷積神經網絡(Convolutional neural network,CNN)在圖像分類、目標檢測、圖像語意分割等領域取得了一系列突破性的研究成果.基于深度學習方法的車道線檢測常通過卷積神經網絡對圖像特征進行學習、分類和檢測[16-17].文獻[18-20]先后提出了區域卷積神經網絡、快速區域卷積神經網絡和超快區域卷積神經網絡,將網絡應用到目標檢測問題中,并在檢測速度和準確率方面不斷提高.文獻[21]將改進的CNN 應用在公路車道線檢測方面,測試效果較霍夫變換和隨機抽樣一致算法大幅提升.為了進一步提高目標檢測的速度,文獻[22]又提出了一種端到端的目標檢測算法YOLO (You only look once),將目標檢測問題轉化為回歸問題,進而將目標和背景進行更好的區分.文獻[23]提出的YOLOv2 算法在簡化網絡結構的同時提高了目標檢測的準確率.文獻[24]將YOLOv2 算法應用在無人機航拍定位領域并得到理想效果,在一定程度上驗證了算法的普適性.文獻[25]提出了一種端到端的可訓練網絡VPGNet (Vanishing point guide network),通過對大量圖片的訓練得到圖像中的車道線位置,為車道線檢測問題提供了一種全新的解決思路.文獻[26]提出的YOLOv3 算法借鑒了殘差神經網絡的思想,成為目標檢測算法中集檢測速度和準確率于一身的優秀方法,但其較YOLOv2算法相比,網絡結構更為復雜,卷積層數目大幅增加,加大了小目標在深層卷積過程中特征消失的風險.

為提高算法在車道線檢測方面的適用性和準確性,本文在YOLOv3 算法的基礎上進行改進,采用隨機性更小的K-means++算法替代K-means 算法對車道線標簽進行聚類分析,確定最優的聚類數目和相應的寬高值,并據此修改YOLOv3 算法中的Anchor 參數.針對車道線檢測實時性和檢測目標較小的特點,改進YOLOv3 算法卷積層結構,在保證檢測準確率的同時,提高算法的檢測速度,從而實現對公路車道線的檢測.

1 YOLOv3 算法

1.1 YOLOv3 算法原理

YOLOv3 算法將原輸入圖像劃分為S×S的網格,分別在每個網格中預測B個邊界框,以對C類目標進行檢測,輸出每類目標的邊界框且分別計算每個邊界框的置信度.置信度由每個網格中包含檢測目標的概率和輸出邊界框的準確度共同確定,其中輸出邊界框的準確度定義為預測邊界框與真實邊界框的交并比(Intersection over union,IOU),其計算式為

式中,conf為邊界框的置信度,Pr(obj)為網格中含有某類目標的概率.

每個網格預測的類別置信度為

式中,i=1,2,···,I,I為檢測類別數.

通過設定閾值,將類別置信度低于閾值的邊界框剔除,并對類別置信度高于閾值的邊界框進行非極大抑制后得到最終的邊界框.預測得到的邊界框包含x,y,w和h四個參數,為了加快網絡學習速度、減少奇異樣本數據的影響,對以上四個參數進行歸一化處理.如圖1 所示,設S=7,將整幅圖像劃分為7×7 的網格,虛線區域為邊界框位置,點(x0,y0)為邊界框中心點坐標,中心點所在網格坐標為(row,col)、widthimg和heightimg分別為整幅圖像的寬度和高度,widthbox和heightbox分別為邊界框的寬度和高度.歸一化過程如下.

圖1 邊界框參數歸一化處理Fig.1 The normalization of boundary box parameters

1)邊界框寬高歸一化處理

2)中心點坐標歸一化處理

歸一化處理后,由于在每個網格中可得到x,y,w,h,conf五個預測量和C個類別中的一類,因此網絡的輸出大小為S×S×(5×B+C).

1.2 YOLOv3 算法損失函數的計算

損失函數用來表征模型的預測值與真實值間的不一致程度,是決定網絡效果的重要參數之一.YOLOv3算法的損失函數的設計主要從邊界框坐標預測誤差、邊界框的置信度誤差、分類預測誤差這三個方面進行考慮.損失值越小說明模型的魯棒性越好.YOLOv3損失函數計算式為

式中,S為圖像的劃分系數,B為每個網格中所預測的邊界框個數,C為總分類數,p為類別概率,c=0,1,···C為類別序號,i=0,1,···S2為網格序號,j=0,1,···B為邊框序號,xi為第i個網格中的邊界框中心點橫坐標,yi為第i個網格中的邊界框中心點縱坐標,ωi為第i個網格中的邊界框的寬度,hi為第i個網格中的邊界框的高度,λcoord為權重系數,λnoobj為懲罰權重系數.

2 YOLOv3 算法網絡改進

2.1 Darknet-53 特征提取網絡結構

YOLOv3 算法在Darknet-19 和ResNet 網絡結構的基礎上提出了新的特征提取網絡Darknet-53.該特征提取網絡由52 個卷積層和1 個全連接層組成,交替使用3×3 和1×1 大小的卷積核進行卷積,其網絡結構如圖2 所示.

圖2 Darknet-53 網絡結構Fig.2 The network structure of Darknet-53

Darknet -53 網絡與 Darknet -19、ResNet-101、ResNet-152 網絡相比,在Top-1 準確率、Top-5 準確率和每秒鐘浮點運算次數三個方面均具有明顯優勢[26].

2.2 YOLOv3 算法網絡結構改進

YOLOv3 算法采用Darknet-53 特征提取網絡,較Darknet-19 網絡相比,通過加深網絡層數提高了特征提取能力.然而,隨著網絡層數的加深,在提高目標檢測的準確性和召回率的同時也會帶來如特征消失等問題,兩者存在著一定的相互制衡關系.為得到更適合車道線目標的深度學習網絡,降低車道線小目標在復雜背景下的漏檢風險,精簡YOLOv3網絡結構,分別去掉三個yolo 層前的兩組卷積層.改進后的YOLOv3 算法共101 層,由69 層卷積層、23 層殘差層、4 層特征層、2 層上采樣層和3 層yolo 層構成,其網絡結構如圖3 所示.

圖3 改進YOLOv3 算法的網絡結構Fig.3 The network structure of the improved YOLOv3 algorithm

首先,將圖像縮放為3 通道長寬均為416 的統一形式,作為整個網絡的輸入.其次,通過Darknet-53 網絡進行特征提取,交替使用3×3 和1×1 大小的卷積核進行卷積運算,為避免隨著卷積深度的加深導致的退化問題,在原始YOLOv3 網絡的基礎上適當減少卷積層數,并在卷積過程中引入殘差網絡進行恒等映射.分別將在77、84 和94 層得到13×13×512 維、26×26×768 維和52×52×384 維的輸出量作為三個特征,降維后送入yolo 層,通過三個尺度的訓練得到最終的權重模型.最后,將標記出車道線的測試圖像進行輸出.

2.3 YOLOv3 算法網絡參數優化

YOLOv3 算法中引入了Anchor 參數,Anchor是一組寬高值固定的先驗框.在目標檢測過程中,先驗框大小直接影響到檢測的速度和準確度,因此在對公路車道線數據進行訓練時,根據車道線標簽固有特點設定網絡參數就顯得尤為重要.為適應公路車道線標簽的固有特點,達到最優的訓練效果,使用K-means++聚類算法代替K-means 聚類算法對車道線標簽進行維度聚類分析,并進行比較.上述兩種算法均為典型的聚類算法,由于考慮到Kmeans 算法在初始聚類中心的選擇上存在較大的隨機性,這種隨機性會對聚類結果產生一定的影響.因此,使用隨機性更小的K-means++算法可以有效降低K-means 算法由于隨機選擇初始聚類中心所帶來的聚類結果偏差.

在使用K-means 和K-means++兩種聚類算法確定Anchor 參數的過程中,為減少由于先驗框自身大小所帶來的歐氏距離誤差,以車道線標簽樣本框與先驗框間的交并比代替原始算法中的歐氏距離作為目標函數,目標函數大小表示各個樣本與聚類中心間的偏差,目標函數值越小表示聚類效果越好.目標函數D的計算式為

式中,box為樣本標簽的目標框,cen為聚類中心,n為樣本數,k為類別數.

3 公路車道線檢測方法

公路車道線檢測方法以YOLOv3 算法網絡結構為基礎,為精簡網絡結構、減少在小目標檢測時由于卷積層深度過深而導致的特征消失問題,分別去掉三個yolo 層前的兩組卷積層,使用改進后的網絡結構進行訓練和測試,圖4 為公路車道線檢測框圖,其檢測具體流程如下.

圖4 公路車道線檢測框圖Fig.4 The flow chart of road lane line detection

1)對訓練集中的車道線數據進行圖像預處理,將處理后統一形式的圖像作為整個訓練網絡的輸入;

2)將處理后的圖像送入Darknet-53 網絡進行車道線特征提取;

3)提取第77 層輸出量作為第1 個特征,并對該特征進行一層卷積和一次上采樣;

4)將第83 層輸出量與第61 層輸出量進行特征拼接得到第2 個特征,并對該特征進行一層卷積和一次上采樣;

5)將第93 層輸出量與第36 層輸出量進行特征拼接得到第3 個特征;

6)分別將3 個特征送入yolo 層進行訓練,達到訓練次數后停止迭代,并生成最終的權重模型;

7)將測試集圖像輸入同一網絡,調用訓練得到的權重模型對測試集中圖像進行車道線檢測,并輸出檢測結果.

4 實驗與分析

4.1 公路車道線數據集標簽制作

在目標檢測問題中,訓練數據集的選擇和原始圖像的標簽制作是兩個至關重要的步驟,原始圖像標簽的準確性直接影響訓練效果和測試的準確性.實驗中使用美國加利福尼亞理工大學車道線檢測數據庫作為數據集,庫內共包含1 225 幅公路圖片,分別在科爾多瓦和華盛頓兩個地區對兩組不同場景進行拍攝采集.首先將數據庫中的圖像按照VOC2007數據集格式進行整理,按比例將數據集中的圖像隨機分為訓練集和測試集兩類.其次使用labelImg 工具對訓練集中的圖像進行逐一標記,并生成與之對應的xml 格式的目標框位置信息文件.最后編寫python 程序將xml 格式的目標框位置信息進行歸一化處理并轉化為txt 格式,作為公路車道線數據集標簽.

4.2 公路車道線數據集標簽聚類分析

由于VOC 數據集中并不含有與公路車道線相關的數據,使用YOLOv3 原始參數進行訓練會對訓練時間和訓練準確度造成一定影響.因此需要對公路車道線標簽重新進行聚類分析,從而得到針對車道線檢測更具有代表性的Anchor 參數.

分別使用K-means 算法和K-means++算法對車道線標簽進行維度聚類分析,隨著k的不同取值,目標函數D 變化曲線如圖5 所示,K-means++算法聚類后得到的先驗框寬高如表1 所示.

圖5 不同 k 值對應的目標函數Fig.5 The objective function corresponding to different k values

由圖5 可以看出,隨著k值的增大,K-means算法和K-means++算法目標函數值均逐漸減小,聚類效果逐漸提高.然而,在目標函數下降過程中,K-means++算法較K-means 算法曲線更為平滑,趨勢更為穩定,在一定程度上減小了聚類偏差.同時由表1 結果可以看出在k值超過9 時會出現大小較為相近的聚類結果,產生冗余,由此取k=9 時的聚類結果作為改進后的參數.該參數與YOLOv3算法原始參數(10,13),(16,30),(33,23),(30,61),(62,45),(59,119),(116,90),(156,98)和(373,326)相比,聚類結果較為集中,且寬高明顯小于原始參數,因此使用K-means++算法聚類得到Anchor 參數替代原始參數進行訓練和測試.

表1 不同 k 值對應的先驗框寬高Table 1 The width and height of priori boxes corresponding to different k values

4.3 實驗環境配置與模型訓練結果

使用Intel(R)-CPU-E5-2620-V4 處理器,在Ubuntu 16.04 操作系統下進行實驗.為了提高計算速度、減少訓練時間,使用Nvidia GeForce GTX 1080 Ti 顯卡、CUDA8.0 和cuDNN6.0 調用GPU進行加速.訓練過程中,對算法的各項指標進行動態記錄,隨著迭代次數的不斷增加,平均損失函數的變化趨勢如圖6 所示,平均交并比變化趨勢如圖7所示.

圖6 平均損失變化曲線Fig.6 The change curve of average loss

由圖6 可以看出,訓練開始時的損失函數值約為1.7,隨著訓練迭代次數的增加,損失值逐漸減小,趨勢逐漸平穩.迭代至50 000 次時的損失值在0.1上下浮動,即達到理想效果.

由圖7 可以看出,訓練開始時的平均交并比為0.58,隨著訓練迭代次數的增加,平均交并比逐漸增大,說明模型的檢測準確率在不斷提高,迭代至10 000次后,平均交并比可保持在90%以上.調用訓練生成的權重文件對測試集圖片進行測試,測試后可自動對測試圖片中的同向白色實線車道進行標記,并給出相應標簽和置信度,測試效果如圖8 所示.

圖7 平均交并比變化曲線Fig.7 The change curve of average IOU

圖8 車道線測試效果Fig.8 The result of lane line test

4.4 YOLO 算法測試性能對比

對數據集中250 幅城市路面圖像進行分組,剔除部分不包含車道線目標的圖像后,學習樣本和測試樣本共計225 幅,采用5 倍交叉驗證法,即學習樣本180 幅,測試樣本45 幅,進行實驗.在確定訓練權重模型的過程中,為加快網絡的訓練速度,有效防止過擬合,根據經驗設定網絡中的權值衰減系數為0.005,初始學習率為0.001,閾值為0.25,迭代次數為50 200,類別數為1,Anchor 參數為表1 中使用K-means++算法聚類分析后得到的寬高結果.

對相同車道線訓練集分別使用K-means 聚類算法優化Anchor 參數的YOLOv3 網絡(YOLOv3-107)、K-means 聚類算法優化Anchor 參數并改進網絡層數(YOLOv3-101)、K-means++聚類算法優化Anchor 參數(YOLOv3-K-107)、K-means++聚類算法優化Anchor 參數并改進網絡結構(YOLOv3-K-101)等四種網絡進行4 輪實驗.

分別使用每輪訓練最終生成的權重文件對測試集中45 幅公路圖像的車道線進行檢測,平均測試時間、平均漏檢率和平均準確率 (Mean average precision,mAP)統計結果如表2 所示.對單幅圖像在4 組不同網絡中得到的測試準確率對比結果如圖9 所示.

表2 不同網絡結構測試性能對比Table 2 The test performance comparison of different network structures

圖9 測試集圖像在不同網絡結構中的檢測準確率Fig.9 The detection accuracy of test images in different network structures

由表2 和圖9 可見,改進網絡結構的YOLOv3-101 網絡相比未改進的YOLOv3-107 網絡,檢測的平均測試時間縮短了2 ms,mAP 提高了5.4%,且有效避免了車道線漏檢情況;使用K-means++算法進行聚類的YOLOv3-K-107 網絡,相比使用Kmeans 算法進行聚類的YOLOv3-107 網絡,平均漏檢概率降低了6.7%且mAP 值提高了7%;使用K-means++算法進行聚類且精簡網絡結構的YOLOv3-K-101 網絡效果最優,其mAP 值為95.3%,測試速度達50 幀/s 且有效避免了漏檢.

5 結束語

本文提出了一種改進YOLOv3 算法的公路車道線檢測方法.首先使用K-means++算法對Anchor 參數進行優化,其次利用Darknet-53 網絡進行特征提取,最后通過改進的YOLOv3-K-101 網絡實現特征拼接進而實現公路車道線檢測,得到以下結論:

1)提出了基于深度學習YOLOv3 算法的公路車道線檢測方法,將深度學習方法與車道線檢測問題相結合,實現了對公路車道線的端到端檢測.

2)根據公路車道線目標自身特點,使用隨機性更小的K-means++聚類算法替代K-means 算法,對YOLOv3 算法中的Anchor 參數進行優化.實驗表明,優化后的YOLOv3-K-107 網絡比未優化的網絡mAP 值提高了7%,在一定程度上提高了車道線檢測的準確性.

3)針對公路車道線檢測中漏檢率高的問題,精簡YOLOv3 網絡結構,改進后的YOLOv3-101 網絡較未改進前,有效避免了車道線漏檢情況,同時mAP 值提高了5.4%,平均測試時間縮短2 ms.

4)結合2)和3),優化網絡參數且改進網絡結構的YOLOv3-K-101 網絡,mAP 值達95%,較改進前提高了11%,檢測速度達50 幀/s,同時也有效避免了車道線漏檢現象.

由于所提方法在對傾斜的車道線檢測方面存在局限性,下一步將采用對豎直目標框進行圖像變換的方法或結合語義分割的思路進一步深入研究.