基于改進(jìn)YOLOv3的復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)

馬露茜，吳欽木

（貴州大學(xué)電氣工程學(xué)院，貴陽(yáng)550025）

1 引言

交通標(biāo)志檢測(cè)與識(shí)別是無人駕駛領(lǐng)域的研究熱點(diǎn)之一。獲得準(zhǔn)確的交通標(biāo)志信息是行車安全的基本前提，實(shí)現(xiàn)安全的無人駕駛更是如此。而交通標(biāo)志檢測(cè)與識(shí)別的特點(diǎn)之一是環(huán)境多變，需要在無法預(yù)知的復(fù)雜天氣、環(huán)境下進(jìn)行檢測(cè)，檢測(cè)速度和精度往往會(huì)受到較大影響[1]。除了檢測(cè)過程中面臨的環(huán)境多變之外，小目標(biāo)檢測(cè)也是一個(gè)難以解決的問題。對(duì)此已有眾多研究成果被提出。董天天[2]等采用改進(jìn)后的YOLOv3對(duì)雨雪天氣下的交通標(biāo)志進(jìn)行檢測(cè)與識(shí)別，該方法的mAP達(dá)到了0.9123，超過了SSD和Fast-RCNN方法。趙坤[3]等采用YOLOv3模型對(duì)弱光條件下的交通標(biāo)志進(jìn)行檢測(cè)與識(shí)別，同時(shí)對(duì)YOLOv3的損失函數(shù)做出了改進(jìn)，使訓(xùn)練模型更具有魯棒性。

以上方法均沒有構(gòu)建復(fù)雜環(huán)境下的中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集，在此首先對(duì)這一部分研究空白做了填補(bǔ)，并提出一種基于改進(jìn)YOLOv3的交通標(biāo)志檢測(cè)網(wǎng)絡(luò)，增加特征尺度提取較淺層次細(xì)節(jié),使網(wǎng)絡(luò)可以收集獲得更豐富的圖像信息。通過遷移學(xué)習(xí)訓(xùn)練測(cè)試網(wǎng)絡(luò)的識(shí)別效果，與改進(jìn)前的算法展開對(duì)比。

2 數(shù)據(jù)集構(gòu)建

對(duì)于YOLOv3在復(fù)雜環(huán)境下的交通標(biāo)志檢測(cè)必須具備復(fù)雜環(huán)境下的中國(guó)交通標(biāo)志數(shù)據(jù)集[4]。在此使用的數(shù)據(jù)集場(chǎng)景包含復(fù)雜自然場(chǎng)景下不同的天氣狀況，例如大霧、大雨天、陰天等天氣狀況下拍攝的圖片，如圖1所示。

圖1 數(shù)據(jù)集中的典型圖片

數(shù)據(jù)集的構(gòu)建過程主要為數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注與數(shù)據(jù)劃分三步，詳細(xì)如下：

數(shù)據(jù)采集：樣本主要來源有兩種，第一部分來源于CCTSDB[5]（中國(guó)交通系統(tǒng)的一個(gè)數(shù)據(jù)集）；第二部分為在大霧大雨等情況下通過拍照實(shí)地采集。具體的數(shù)據(jù)分布情況如圖2。

圖2 交通標(biāo)志數(shù)據(jù)分布

數(shù)據(jù)標(biāo)注：采用LableImg軟件標(biāo)注每幅圖像，標(biāo)注信息以xml格式保存，以備訓(xùn)練時(shí)使用。數(shù)據(jù)劃分為3個(gè)類別:指示標(biāo)志、禁止標(biāo)志、警告標(biāo)志。詳細(xì)圖標(biāo)如圖3所示。

圖3 交通標(biāo)志示例

數(shù)據(jù)劃分：將圖像按照7:3的比例劃分訓(xùn)練集和測(cè)試集，共計(jì)圖像3415張，包含訓(xùn)練集2390張，測(cè)試集1025張。為了豐富數(shù)據(jù)量，訓(xùn)練時(shí)通過圖像旋轉(zhuǎn)、翻轉(zhuǎn)等方式對(duì)原始圖片進(jìn)行數(shù)據(jù)增強(qiáng)。

3 YOLOv3算法改進(jìn)

3.1 YOLOv3檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

特征金字塔網(wǎng)絡(luò)（FPN）的上采樣（up-sample）和融合法在網(wǎng)絡(luò)中具有選擇優(yōu)勢(shì)，其表達(dá)效果通常由網(wǎng)絡(luò)層次決定，效果隨網(wǎng)絡(luò)層次的加深而變好。例如在進(jìn)行16倍降采樣檢測(cè)時(shí)，如果直接采用第4次下采樣特征進(jìn)行目標(biāo)檢測(cè)，則只有淺層特征得到使用，檢測(cè)結(jié)果通常不好。在此基礎(chǔ)上使用32倍降采樣后的特征，會(huì)有深層次下采樣大小太小的問題，因此YOLO v3使用上采樣（步長(zhǎng)約為2），把32倍降采樣后所得到的特征圖的大小增加一倍，以此實(shí)現(xiàn)和16倍降采樣后相同的維度。

YOLO v3通過 上采樣方法提取到一個(gè)深層的特征，它的維度應(yīng)該是與即將融合到的特征層維度相同（通道數(shù)不同）。采用多尺度方法來對(duì)不同規(guī)模和大小的目標(biāo)物件進(jìn)行檢查，grid cell設(shè)置越精細(xì)，可檢目標(biāo)就越豐富[6]。

3.2 YOLOv3網(wǎng)絡(luò)優(yōu)化

在所構(gòu)建的交通標(biāo)志數(shù)據(jù)集中，大部分都為霧雨天環(huán)境下的小目標(biāo)，目標(biāo)小且不清晰。YOLOv3只利用三個(gè)尺度的特征，對(duì)淺層信息的利用并不充分，富含詳細(xì)信息的低層特征因此浪費(fèi)掉了，導(dǎo)致大部分小目標(biāo)的位置信息消失，無法完成小目標(biāo)檢測(cè)。

針對(duì)復(fù)雜環(huán)境影響和小目標(biāo)消失等問題，在此設(shè)計(jì)提出一種改進(jìn)YOLOv3深度神經(jīng)網(wǎng)絡(luò)，它增加了第4個(gè)特征尺度：104×104。通過對(duì)4個(gè)尺度檢測(cè)的特征層采取融合處理，不僅留存了深層次的圖像語(yǔ)義信息，也能取得更豐富的淺層圖像信息，因此能夠兼容不同尺度的目標(biāo)[7]。

具體做法為：YOLOv3網(wǎng)絡(luò)中將檢測(cè)尺度為13×13的特征層在經(jīng)過2倍上采樣后，原來特征尺度52×52就可提高至104×104，若要充分使用深層特征和淺層特征，應(yīng)當(dāng)將第109層與特征提取網(wǎng)絡(luò)的第11層特征通過route層進(jìn)行特征融合[8]。剩余的特征融合為2倍上采樣后輸出的第85層和第97層。分別將第85層與第61層，第97層與第36層的特征圖通過route層進(jìn)行特征融合。

各個(gè)特征圖層具體情況如表1所示。四個(gè)特征尺度分別為：13×13、26×26、52×52、104×104。改進(jìn)后的多尺度預(yù)測(cè)結(jié)構(gòu)如圖4所示。在圖4中的虛線部分，為提高算法對(duì)小目標(biāo)檢測(cè)的精度，YOLOv3對(duì)輸入圖片做5次降采樣，在最后3次降采樣中對(duì)目標(biāo)預(yù)測(cè)，以此輸出3個(gè)不同尺度的特征，分別為預(yù)測(cè)輸出1、輸出2、輸出3，邊長(zhǎng)規(guī)律為13:26:52，深度為255。粗線箭頭部分則為一種經(jīng)過改進(jìn)的多尺度網(wǎng)絡(luò)結(jié)構(gòu)。與原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)相比，所設(shè)計(jì)的4個(gè)檢測(cè)模型尺寸可以同時(shí)使用深層交通特征的高語(yǔ)義信息和低層交通特征的精確性高分辨率，網(wǎng)絡(luò)的復(fù)雜程度沒有明顯的增加。改進(jìn)的YOLOv3網(wǎng)絡(luò)架構(gòu)更適應(yīng)復(fù)雜環(huán)境交通標(biāo)志的檢測(cè)與識(shí)別。

圖4 改進(jìn)的多尺度預(yù)測(cè)結(jié)構(gòu)

4 訓(xùn)練結(jié)果評(píng)估

4.1 實(shí)驗(yàn)環(huán)境及評(píng)測(cè)指標(biāo)

實(shí)驗(yàn)環(huán)境配置情況如表2所示。配置文件中要用到的五個(gè)參數(shù)的實(shí)際設(shè)置情況如表3。

表2 實(shí)驗(yàn)環(huán)境配置

表3 配置文件參數(shù)

為評(píng)估交通標(biāo)志檢測(cè)效果，所使用的指標(biāo)為平均準(zhǔn)確率mAP（mean Average Precision）和每張圖片所需的時(shí)間t=1/N。mAP的計(jì)算分為兩步，第一步為計(jì)算每個(gè)類別的平均精度AP（Average Precision），第二步為對(duì)平均精度取均值。AP近似等于Precision-Recall（PR）曲線下的面積，定義為：

式中，m表示類別數(shù)量。mAP值和檢測(cè)效果成正比，檢測(cè)時(shí)間和檢測(cè)速度成反比。

4.2 實(shí)驗(yàn)結(jié)果分析

為比較改進(jìn)網(wǎng)絡(luò)的檢測(cè)效果，用所采集的中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集分別對(duì)改進(jìn)前后的YOLOv3網(wǎng)絡(luò)模型以及SSD模型進(jìn)行訓(xùn)練和測(cè)試。三種類別的PR曲線如圖5所示，對(duì)應(yīng)具體數(shù)值如表4所示。通過對(duì)比可以看出改進(jìn)網(wǎng)絡(luò)的精確率和召回率都優(yōu)于YOLOv3、SSD模型。

圖5 不同標(biāo)志類別PR曲線對(duì)比圖

表4 具體AP值對(duì)比單位：%

在實(shí)時(shí)性上，標(biāo)準(zhǔn)YOLOv3和改進(jìn)YOLOv3方法檢測(cè)圖片時(shí)間分別為31.4ms和34.2ms，達(dá)到了實(shí)時(shí)檢測(cè)的需求。具體實(shí)驗(yàn)數(shù)據(jù)如表5所示。

表5 mAP和運(yùn)行時(shí)間分析

對(duì)雨天、霧天檢測(cè)的實(shí)際效果如圖6、圖7所示。設(shè)定的檢測(cè)閾值為0.5。通過對(duì)比可以直觀地看到改進(jìn)后的YOLOv3檢測(cè)算法檢測(cè)效果最好。

圖6 雨天檢測(cè)結(jié)果展示

圖7 霧天檢測(cè)結(jié)果展示

5 結(jié)束語(yǔ)

通過構(gòu)建復(fù)雜環(huán)境下的交通標(biāo)志數(shù)據(jù)集，將增加了特征尺度的改進(jìn)YOLOv3應(yīng)用到交通標(biāo)志的檢測(cè)與識(shí)別當(dāng)中，取得良好的效果。通過對(duì)比實(shí)驗(yàn)橫向?qū)Ρ雀倪M(jìn)后YOLOv3算法與標(biāo)準(zhǔn)YOLOv3、SSD算法的性能差異，證明所提出的改進(jìn)算法具有更高的召回率、準(zhǔn)確率及檢測(cè)精度。研究達(dá)到了增強(qiáng)圖像檢測(cè)準(zhǔn)確度的目的，但其速度提升有限，因此在后續(xù)工作中，需要對(duì)圖像樣本做出合理調(diào)整，進(jìn)一步提高并完善復(fù)雜環(huán)境下交通標(biāo)志檢測(cè)識(shí)別性能。