基于多尺度特征融合網(wǎng)絡(luò)的交通標(biāo)志檢測(cè)

劉 勝 馬社祥* 孟 鑫 李 嘯

1(天津理工大學(xué)電氣電子工程學(xué)院 天津 300384)2(天津理工大學(xué)海運(yùn)學(xué)院 天津 300384)3(天津理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 天津 300384)

0 引 言

交通標(biāo)志識(shí)別在高級(jí)輔助駕駛系統(tǒng)和自動(dòng)駕駛中扮演重要角色，對(duì)提高駕駛員的安全性起著至關(guān)重要的作用。交通標(biāo)志識(shí)別任務(wù)可詳細(xì)分為兩部分：交通標(biāo)志檢測(cè)和交通標(biāo)志識(shí)別。交通標(biāo)志檢測(cè)主要任務(wù)是解決交通標(biāo)志的定位問題，即在一幅圖像或一段視頻中用矩形框標(biāo)記出交通標(biāo)志；交通標(biāo)志識(shí)別則是在檢測(cè)的基礎(chǔ)上進(jìn)一步區(qū)分矩形框中目標(biāo)的詳細(xì)類別[1]。因交通標(biāo)志有目標(biāo)小、背景復(fù)雜、易受環(huán)境因素影響等特點(diǎn)，所以與一般目標(biāo)相比更難檢測(cè)。針對(duì)這一問題，一些傳統(tǒng)檢測(cè)算法在檢測(cè)精度上已取得很好的效果。如文獻(xiàn)[2-4]在GTSDB數(shù)據(jù)集上的檢測(cè)準(zhǔn)確率約為100%，但運(yùn)行時(shí)間卻無(wú)法滿足快速檢測(cè)的要求。而對(duì)高級(jí)輔助駕駛系統(tǒng)或自動(dòng)駕駛而言，檢測(cè)時(shí)間是非常重要的一項(xiàng)技術(shù)指標(biāo)，只有快速檢測(cè)才能對(duì)駕駛員起到及時(shí)提醒的作用，以保證駕駛員的安全。

近年來(lái)，由于計(jì)算機(jī)性能的發(fā)展使得深度學(xué)習(xí)取得了實(shí)質(zhì)性的進(jìn)展。深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語(yǔ)言處理等領(lǐng)域都有良好表現(xiàn)。在計(jì)算機(jī)視覺領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)在目標(biāo)檢測(cè)、分類和分割等任務(wù)上都有很好的表現(xiàn)。基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)器大致可分為兩類：二階段檢測(cè)器和一階段檢測(cè)器。二階段檢測(cè)器如Faster R-CNN[5]和R-FCN[6]等，相比一階段檢測(cè)器有更高的檢測(cè)精度；而一階段檢測(cè)器運(yùn)行速度更快，如YOLOv3[7]、SSD[8]和RetinaNet[9]等。近年來(lái)基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法也逐漸應(yīng)用于交通標(biāo)志檢測(cè)中，文獻(xiàn)[10]提出使用全卷積網(wǎng)絡(luò)提取感興趣區(qū)域，并利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)分類。Aghdam等[11]提出一種利用擴(kuò)張卷積在CNN中實(shí)現(xiàn)多尺度滑動(dòng)窗的方法，該方法在GTSDB數(shù)據(jù)集上得到優(yōu)異的檢測(cè)結(jié)果。Zhu等[12]提出一種端到端的多任務(wù)CNN網(wǎng)絡(luò)，可以同時(shí)實(shí)現(xiàn)目標(biāo)的檢測(cè)和分類任務(wù)。

本文針對(duì)傳統(tǒng)檢測(cè)方法檢測(cè)速度慢以及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)精度偏低的問題，提出一種基于YOLOv3的端到端交通標(biāo)志檢測(cè)網(wǎng)絡(luò)。首先，特征提取網(wǎng)絡(luò)的最后兩個(gè)尺度輸出通道數(shù)量被改為1 024，以便提取更多的全局特征信息。通過采用減少頂層兩個(gè)尺度殘差塊的數(shù)量和插入1×1卷積層的方法來(lái)降低計(jì)算量。然后，融合除第一個(gè)尺度外的所有尺度特征信息，并將更大尺度特征圖作為輸出端之一，以便得到更多的局部特征信息。最后，本文應(yīng)用K-means[7]聚類算法生成適合交通標(biāo)志數(shù)據(jù)集的錨點(diǎn)框[7]。在TT100K (Tsinghua-Tencent 100K)[12]和GTSDB (German Traffic Sign Detection Benchmark)[13]數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，改進(jìn)網(wǎng)絡(luò)對(duì)小尺寸交通標(biāo)志檢測(cè)效果有明顯提升，且檢測(cè)速度也優(yōu)于大多數(shù)檢測(cè)方法。

1 YOLOv3網(wǎng)絡(luò)

YOLOv3檢測(cè)網(wǎng)絡(luò)通常應(yīng)用于普通的目標(biāo)檢測(cè)任務(wù)，屬于一階段檢測(cè)器。該網(wǎng)絡(luò)采用Darknet-53作為特征提取網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)圖像的多尺度特征提取。表1為Darknet-53的具體參數(shù)配置。Darknet-53包含23個(gè)殘差塊，每個(gè)殘差塊包含一個(gè)1×1卷積層和一個(gè)3×3卷積層，共52個(gè)卷積層。該網(wǎng)絡(luò)實(shí)現(xiàn)5次下采樣，能夠提取不同尺度的特征。特征提取后，網(wǎng)絡(luò)輸出8×8、16×16和32×32三個(gè)尺度的特征圖。檢測(cè)網(wǎng)絡(luò)對(duì)每個(gè)尺度預(yù)測(cè)3個(gè)邊界框，每個(gè)邊界框包括4個(gè)坐標(biāo)參數(shù)，1個(gè)目標(biāo)分?jǐn)?shù)和C個(gè)類別。因此，輸出張量為N×N×[3×(4+1+C)][7]，其中N×N為輸出特征圖的尺寸。然后將三個(gè)輸出張量分別經(jīng)過預(yù)測(cè)模塊、非極大值抑制(Non Maximum Suppression，NMS)和分?jǐn)?shù)閾值過濾處理后得到相應(yīng)的預(yù)測(cè)值。

表1 Darknet-53參數(shù)配置

式中：TP、FP、FN分別表示正確識(shí)別的正樣本、錯(cuò)誤識(shí)別的正樣本和錯(cuò)誤識(shí)別的負(fù)樣本。

bx=σ(tx)+cxby=σ(ty)+cybw=pwexptwbh=phexpth

(1)

式中：(cx,cy)是單元格相對(duì)于圖像左上角的偏移量；pw和ph表示相應(yīng)錨點(diǎn)框的寬度和高度；σ是Sigmoid函數(shù)；bx、by、bw、bh表示相對(duì)于整幅圖像的4個(gè)坐標(biāo)預(yù)測(cè)。邏輯回歸用于預(yù)測(cè)邊界框的中心坐標(biāo)，指數(shù)函數(shù)用于預(yù)測(cè)邊界框的寬度和高度。

本節(jié)對(duì)提出的基于YOLOv3的端到端卷積網(wǎng)絡(luò)詳細(xì)說明。根據(jù)交通標(biāo)志尺寸小的特點(diǎn)對(duì)YOLOv3進(jìn)行如下改進(jìn)：(1) 通過增加特征提取網(wǎng)絡(luò)頂層兩個(gè)尺度的輸出特征圖數(shù)量來(lái)提升網(wǎng)絡(luò)對(duì)大尺寸交通標(biāo)志檢測(cè)效果。(2) 利用多尺度特征融合的方法解決小尺寸目標(biāo)檢測(cè)困難和目標(biāo)尺度變化問題。(3) 利用K-means聚類算法生成更適合交通標(biāo)志的錨點(diǎn)框。

(2)

水上安全“鐵三角”初步建成，安全形勢(shì)更加穩(wěn)定；今年1-11月份西江肇慶段 “零事故零傷亡零污染”；肇慶市所有涉水部門積極參與，首次由市政府牽頭舉辦的大型水上應(yīng)急演習(xí)圓滿舉辦……

(3)

式中：bo代表目標(biāo)分?jǐn)?shù)；Pr(Classi|Object)表示類別條件概率；Pr(Classi)表示預(yù)測(cè)的類別概率；i為類別索引值。

每個(gè)網(wǎng)格單元預(yù)測(cè)C個(gè)類別概率。預(yù)測(cè)方式如下：

Pr(Classi)=σ(tc)

(4)

式中：σ為Sigmoid函數(shù)；tc表示通過檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)的類別概率。

2 多尺度特征融合網(wǎng)絡(luò)

北京燕禹水務(wù)科技有限公司………………………… （1、3、5、7、9、11、13、15、17、19、21、23）

2.1 特征提取

（1）生產(chǎn)參數(shù)。為提高工程施工質(zhì)量，上面層采用改性瀝青混合料，生產(chǎn)時(shí)必須嚴(yán)格把控拌和溫度和時(shí)間參數(shù)，通過試拌法以瀝青混合料無(wú)明顯離析、結(jié)團(tuán)成塊為標(biāo)準(zhǔn)[3]，最終確定AC—16瀝青混合料的生產(chǎn)參數(shù)為：礦料加熱溫度180～190℃，改性瀝青加熱溫度150～160℃，混合料出料溫度155～165℃，拌和時(shí)間60～70s。

表2 改進(jìn)后特征提取網(wǎng)絡(luò)參數(shù)配置

圖1 改進(jìn)后檢測(cè)網(wǎng)絡(luò)整體結(jié)構(gòu)

首先將Scale2的輸出特征圖數(shù)量由512改為1 024，以便提取更多的交通標(biāo)志全局特征。為了降低計(jì)算量和網(wǎng)絡(luò)參數(shù)，在殘差塊之間插入1×1卷積層，并且將Darknet-53中Scale1和Scale2的殘差塊數(shù)量由原4個(gè)和8個(gè)分別減少至2個(gè)和6個(gè)。然后，對(duì)殘差塊結(jié)構(gòu)進(jìn)行調(diào)整。如圖2所示，每個(gè)殘差塊包含一個(gè)1×1卷積層和一個(gè)3×3卷積層，每個(gè)卷積層后采用批歸一化層(Batch Normalization,BN)[14]處理特征。激活層采用LeakyReLU[15]，并將最后的激活層移至相加層后，與傳統(tǒng)的殘差塊結(jié)構(gòu)相似。

圖2 殘差塊結(jié)構(gòu)

2.2 特征融合

特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks，F(xiàn)PN)[16]在目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)優(yōu)異，大多檢測(cè)網(wǎng)絡(luò)在特征提取后都應(yīng)用FPN來(lái)融合多尺度特征。YOLOv3中也應(yīng)用類似FPN的網(wǎng)絡(luò)結(jié)構(gòu)，通過上采樣和級(jí)聯(lián)的方式融合頂層三個(gè)尺度的特征，最終得到三個(gè)尺度的輸出。而提出的多尺度特征融合網(wǎng)絡(luò)在FPN的基礎(chǔ)上針對(duì)交通標(biāo)志尺寸小和尺度變化的問題加以改進(jìn)，如圖1所示。由于第一個(gè)卷積層存在過多冗余信息，因此該方法融合除第一個(gè)卷積層外的所有尺度特征。首先，將原Scale3輸出端調(diào)整為Scale4，以便提取更多的細(xì)粒度信息。其次，將Scale3特征通過最大值池化(Maxpooling)處理后分別與Scale1和Scale2兩個(gè)尺度特征相加。然后，將Scale5特征通過最大值池化(Maxpooling)處理后與Scale4特征相加，并將Scale1特征上采樣后與Scale2特征相加。將融合后的Scale2特征經(jīng)過上采樣后與Scale4相加。最終把融合后的Scale1、Scale2、Scale4三個(gè)尺度特征輸入卷積模塊處理。

AP近似等于precision/recall曲線下面積，定義如下：

d(box,centroid)=1-IOU(box,centroid)

(5)

式中：IOU(box,centroid)是真實(shí)邊界框和計(jì)算所得的錨點(diǎn)框的交并比(Intersection Over Union，IOU)。將TT100K數(shù)據(jù)集的錨點(diǎn)框設(shè)置為(17,19)、(24,26)、(30,33)、(38,40)、(47,52)、(60,64)、(75,79)、(96,102)、(141,147)。將GTSDB數(shù)據(jù)集的錨點(diǎn)框設(shè)置為(22,22)、(27,27)、(33,33)、(38,37)、(42,41)、(48,48)、(58,58)、(76,73)、(108,106)。

3 實(shí) 驗(yàn)

對(duì)于目標(biāo)分?jǐn)?shù)預(yù)測(cè)，每個(gè)網(wǎng)格單元首先預(yù)測(cè)3個(gè)邊界框的置信度。置信度體現(xiàn)了預(yù)測(cè)邊界框的準(zhǔn)確度，等于預(yù)測(cè)邊界框和真實(shí)邊界框之間的IOU。定義為：

實(shí)驗(yàn)中采用Keras深度學(xué)習(xí)框架搭建模型。在訓(xùn)練圖像輸入模型前，首先將圖像尺寸都縮放為416×416，然后對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，如圖像翻轉(zhuǎn)、扭曲、旋轉(zhuǎn)等。在訓(xùn)練時(shí)，應(yīng)用遷移學(xué)習(xí)的方法來(lái)加速訓(xùn)練，將在Imagenet數(shù)據(jù)集中訓(xùn)練好的Darknet-53的前35層卷積層權(quán)重導(dǎo)入模型。首先凍結(jié)前35層，訓(xùn)練35層之后的網(wǎng)絡(luò)。在迭代50次之后解除凍結(jié)，并微調(diào)模型中所有層。最終訓(xùn)練至損失收斂則停止訓(xùn)練。表3為訓(xùn)練中超參數(shù)的詳細(xì)配置。

表3 超參數(shù)配置

3.1 準(zhǔn)確度評(píng)價(jià)指標(biāo)

平均精度均值(mAP)是目前目標(biāo)檢測(cè)領(lǐng)域中評(píng)估檢測(cè)準(zhǔn)確度最常用的指標(biāo)之一。本文采用mAP來(lái)評(píng)估檢測(cè)網(wǎng)絡(luò)的檢測(cè)精度。首先，計(jì)算精確率(precision)和召回率(recall)：

(6)

特征提取網(wǎng)絡(luò)是檢測(cè)網(wǎng)絡(luò)中必不可少的一部分，它對(duì)目標(biāo)檢測(cè)效果起至關(guān)重要的作用。在YOLOv3中，作者提出了特征提取網(wǎng)絡(luò)Darknet-53，且測(cè)試結(jié)果優(yōu)于ResNet101。本文針對(duì)交通標(biāo)志尺寸小的特點(diǎn)改進(jìn)Darknet-53網(wǎng)絡(luò)。改進(jìn)后共19個(gè)殘差塊，46層卷積層，具體參數(shù)如表2所示。與 Darknet-53相比，前35層卷積層相同，以便在訓(xùn)練過程中應(yīng)用遷移學(xué)習(xí)。因此本文對(duì)35層之后的網(wǎng)絡(luò)加以改進(jìn)，如圖1所示。圖中Scale1-Scale5分別代表尺度為13×13、26×26、52×52、104×104和208×208的輸出特征圖。

特征融合后，采用YOLOv3的預(yù)測(cè)方法預(yù)測(cè)相應(yīng)的邊界框、目標(biāo)分?jǐn)?shù)和類別。對(duì)于邊界框的預(yù)測(cè)，首先要為每個(gè)尺度設(shè)置3個(gè)錨點(diǎn)框，共9個(gè)錨點(diǎn)框。不同于一般的檢測(cè)目標(biāo)，交通標(biāo)志的真實(shí)邊界框的橫縱比約為1∶1。因此，本文采用K-means聚類算法生成更適合交通標(biāo)志的錨點(diǎn)框。距離度量定義為：

(7)

實(shí)驗(yàn)平臺(tái)配備雙路TITAN Xp GPU，Intel(R) Core(TM) i7-7800X CPU，3.5 GHz×12，32 GB內(nèi)存，Ubuntu16.04操作系統(tǒng)。選用兩個(gè)交通標(biāo)志數(shù)據(jù)集基準(zhǔn)作為訓(xùn)練和測(cè)試數(shù)據(jù)，分別為TT100K和GTSDB。TT100K是中國(guó)交通標(biāo)志數(shù)據(jù)集基準(zhǔn)，該數(shù)據(jù)集包含大量中國(guó)交通標(biāo)志圖像，每幅圖像的分辨率為2 048×2 048，且涵蓋了多種不同光照條件下的交通標(biāo)志。與其他交通數(shù)據(jù)集相比，該數(shù)據(jù)集數(shù)據(jù)豐富，且包含更小的交通標(biāo)志，因此檢測(cè)難度更大。TT100K的訓(xùn)練集包含6 105幅圖像，測(cè)試集包含3 071幅圖像。根據(jù)交通標(biāo)志的含義將數(shù)據(jù)標(biāo)注為3類：Prohibitory、Mandatory和Danger。GTSDB交通標(biāo)志數(shù)據(jù)集是德國(guó)現(xiàn)實(shí)交通標(biāo)志數(shù)據(jù)集，該數(shù)據(jù)集包含600幅訓(xùn)練圖像和300幅測(cè)試圖像，每幅圖像的分辨率為1 360×800，且覆蓋了不同光照條件下的交通標(biāo)志。本文將該數(shù)據(jù)集標(biāo)注為與TT100K相同的三類。

(8)

mAP等于所有類別AP的均值，定義如下：

(9)

式中：m為類別數(shù)量。

式中：area(Bgt)、area(Bp)和area(Bgt∩Bp)分別表示真實(shí)邊界框的面積、預(yù)測(cè)邊界框的面積和真實(shí)邊界框與預(yù)測(cè)邊界框相交的面積。

(10)

通過計(jì)算預(yù)測(cè)邊界框(Bp)和真實(shí)邊界框(Bgt)之間的交并比來(lái)驗(yàn)證預(yù)測(cè)的準(zhǔn)確度。IOU定義如下：

與傳統(tǒng)檢測(cè)算法比較曲線下面積(Area Under Curve，AUC)來(lái)分析改進(jìn)網(wǎng)絡(luò)的檢測(cè)精度。AUC可通過數(shù)值積分直接計(jì)算ROC曲線下面積得到。AUC數(shù)值越大，檢測(cè)網(wǎng)絡(luò)性能越好，相反則性能越差。

3.2 實(shí)驗(yàn)結(jié)果分析

(1) TT100K實(shí)驗(yàn)結(jié)果分析。由于TT100K交通標(biāo)志數(shù)據(jù)集與其他數(shù)據(jù)集相比目標(biāo)尺寸更小，圖像分辨率更高，因此本節(jié)選用TT100K來(lái)評(píng)估改進(jìn)網(wǎng)絡(luò)對(duì)小尺寸交通標(biāo)志的檢測(cè)能力。通過對(duì)YOLOv3應(yīng)用消融實(shí)驗(yàn)來(lái)驗(yàn)證改進(jìn)方法的有效性。采用不同方法改進(jìn)YOLOv3后的檢測(cè)mAP如表4所示。由實(shí)驗(yàn)結(jié)果可知，改進(jìn)的三部分都能實(shí)現(xiàn)對(duì)檢測(cè)網(wǎng)絡(luò)的性能提升，其中多尺度特征融合網(wǎng)絡(luò)對(duì)檢測(cè)準(zhǔn)確度的影響最大，mAP約提升5個(gè)百分點(diǎn)。YOLOv3在應(yīng)用全部改進(jìn)方法后實(shí)現(xiàn)了最佳檢測(cè)性能。后文實(shí)驗(yàn)中的改進(jìn)網(wǎng)絡(luò)即為應(yīng)用全部改進(jìn)方案的檢測(cè)網(wǎng)絡(luò)。

表4 改進(jìn)部分有效性分析

為了比較改進(jìn)網(wǎng)絡(luò)的檢測(cè)效果，本文分別對(duì)改進(jìn)網(wǎng)絡(luò)、YOLOv3、Faster R-CNN Resnet50、RetinaNet Resnet50四種模型訓(xùn)練和測(cè)試。四種模型的分?jǐn)?shù)閾值設(shè)置為0.3，IOU閾值為0.5。圖3為三種類別的precision/recall曲線圖。改進(jìn)網(wǎng)絡(luò)的精確率和召回率都優(yōu)于其他三個(gè)模型。其中：RetinaNet Resnet50的召回率最低，而Faster R-CNN Resnet50的準(zhǔn)確率較差。改進(jìn)網(wǎng)絡(luò)的三種類別的平均精度分別為81.73%、80.56%和85.88%，都高于YOLOv3的檢測(cè)結(jié)果。所以，對(duì)于小尺寸的交通標(biāo)志，改進(jìn)網(wǎng)絡(luò)的檢測(cè)效果更佳。

圖3 四種檢測(cè)網(wǎng)絡(luò)的precision/recall曲線分析

運(yùn)行時(shí)間對(duì)于交通標(biāo)志檢測(cè)是非常重要的因素。在運(yùn)行時(shí)間上，四個(gè)網(wǎng)絡(luò)使用相同設(shè)備測(cè)試評(píng)估。圖4為運(yùn)行時(shí)間與mAP關(guān)系。運(yùn)行速度最快的為YOLOv3，每幅圖像運(yùn)行時(shí)間約為31.4 ms，mAP為76.59%。改進(jìn)網(wǎng)絡(luò)的運(yùn)行時(shí)間約為37.2 ms，mAP為82.73%。Faster R-CNN Resnet50和RetinaNet Resnet50檢測(cè)準(zhǔn)確度偏低，且運(yùn)行速度較慢。總體來(lái)說，改進(jìn)網(wǎng)絡(luò)的整體性能更好。

圖4 基于TT100K的運(yùn)行時(shí)間與mAP分析

最后，測(cè)試了不同IOU下四種模型的mAP，結(jié)果如圖5所示，IOU取值范圍為[0.1,1.0]。在IOU∈[0.4,0.6]時(shí)四種模型的mAP均已達(dá)到最大值。結(jié)合目前目標(biāo)檢測(cè)任務(wù)中IOU閾值大多取值范圍在[0.4,0.6]，最終設(shè)置四個(gè)網(wǎng)絡(luò)的IOU閾值為0.5，并且其他實(shí)驗(yàn)的IOU閾值均設(shè)置為0.5。

圖5 最佳IOU閾值分析

(2) GTSDB實(shí)驗(yàn)結(jié)果分析。GTSDB是目前交通標(biāo)志檢測(cè)任務(wù)中應(yīng)用最廣泛的數(shù)據(jù)集，應(yīng)用該數(shù)據(jù)集原因在于一些優(yōu)秀的交通標(biāo)志檢測(cè)算法或深度網(wǎng)絡(luò)大多都針對(duì)GTSDB數(shù)據(jù)集訓(xùn)練和測(cè)試。在訓(xùn)練中，使用遷移學(xué)習(xí)的方法，微調(diào)由TT100K數(shù)據(jù)集訓(xùn)練好的網(wǎng)絡(luò)。該方法得到的檢測(cè)結(jié)果要遠(yuǎn)優(yōu)于微調(diào)Imagenet預(yù)訓(xùn)練模型。實(shí)驗(yàn)中設(shè)置分?jǐn)?shù)閾值為0.3，IOU閾值為0.5。表5為深度網(wǎng)絡(luò)的對(duì)比結(jié)果。可以看出改進(jìn)網(wǎng)絡(luò)對(duì)三種類別的召回率和平均精度均達(dá)到最佳。因此，與其他深度網(wǎng)絡(luò)相比，改進(jìn)網(wǎng)絡(luò)在檢測(cè)精度上表現(xiàn)更好。

表5 四種網(wǎng)絡(luò)準(zhǔn)確率對(duì)比分析 %

如圖6所示，在運(yùn)行時(shí)間上，改進(jìn)網(wǎng)絡(luò)運(yùn)行時(shí)間約為32.8 ms，mAP約為92.66%。一階段檢測(cè)器的表現(xiàn)優(yōu)于二階段檢測(cè)器，其中表現(xiàn)最好的是SSD Inception V2模型，但其檢測(cè)效果最差。對(duì)于綜合運(yùn)行時(shí)間和mAP，改進(jìn)網(wǎng)絡(luò)的性能優(yōu)于其他深度網(wǎng)絡(luò)。

圖6 基于GTSDB的運(yùn)行時(shí)間與mAP分析

最后，將改進(jìn)網(wǎng)絡(luò)與傳統(tǒng)檢測(cè)方法對(duì)比分析。傳統(tǒng)檢測(cè)方法中對(duì)于GTSDB數(shù)據(jù)集的個(gè)別類別的檢測(cè)準(zhǔn)確度已經(jīng)達(dá)到100%[2]，但這些方法的運(yùn)行時(shí)間不能達(dá)到現(xiàn)實(shí)應(yīng)用的要求。表6為不同檢測(cè)方法對(duì)三種類別的檢測(cè)AUC和運(yùn)行時(shí)間。文獻(xiàn)[2]在Prohibitory類的AUC達(dá)到100%，Danger類也已達(dá)到98.85%，但運(yùn)行時(shí)間較慢。文獻(xiàn)[19]中的方法在運(yùn)行時(shí)間上有所提升，基本達(dá)到實(shí)時(shí)檢測(cè)的要求，檢測(cè)AUC也表現(xiàn)良好。改進(jìn)網(wǎng)絡(luò)的檢測(cè)精度可達(dá)到與文獻(xiàn)[19]相當(dāng)?shù)臋z測(cè)水平，但運(yùn)行時(shí)間約為文獻(xiàn)[19]的1/5。因此，與傳統(tǒng)檢測(cè)方法相比，改進(jìn)網(wǎng)絡(luò)在保證檢測(cè)精度的同時(shí)能夠?qū)崿F(xiàn)快速檢測(cè)。

表6 不同檢測(cè)方法的AUC及運(yùn)行時(shí)間對(duì)比

4 結(jié) 語(yǔ)

交通標(biāo)志檢測(cè)是計(jì)算機(jī)視覺中的一個(gè)重要研究方向，對(duì)自動(dòng)駕駛和高級(jí)輔助駕駛系統(tǒng)的研究也有重要意義。交通標(biāo)志因目標(biāo)尺寸小、背景復(fù)雜、容易受環(huán)境因素的影響等特點(diǎn)，與傳統(tǒng)的目標(biāo)相比更難檢測(cè)。本文針對(duì)傳統(tǒng)檢測(cè)方法檢測(cè)慢和深度網(wǎng)絡(luò)檢測(cè)精度偏低的問題，提出一個(gè)基于YOLOv3的端到端檢測(cè)網(wǎng)絡(luò)。通過對(duì)YOLOv3中特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)加以改進(jìn)，使得檢測(cè)網(wǎng)絡(luò)對(duì)小尺寸目標(biāo)檢測(cè)效果更佳。采用TT100K和GTSDB兩個(gè)數(shù)據(jù)集來(lái)評(píng)估改進(jìn)網(wǎng)絡(luò)的檢測(cè)性能。通過與不同檢測(cè)方法的檢測(cè)精度和運(yùn)行時(shí)間的對(duì)比，驗(yàn)證了改進(jìn)網(wǎng)絡(luò)的有效性。

從實(shí)驗(yàn)數(shù)據(jù)可以看出檢測(cè)網(wǎng)絡(luò)對(duì)Mandatory類檢測(cè)效果較差，主要原因是GTSDB訓(xùn)練集的類別不平衡。未來(lái)將主要針對(duì)檢測(cè)網(wǎng)絡(luò)召回率偏低和數(shù)據(jù)集類別不平衡的問題加以改進(jìn)，將交通標(biāo)志分為更詳細(xì)的類別，從而實(shí)現(xiàn)交通標(biāo)志識(shí)別系統(tǒng)的實(shí)時(shí)檢測(cè)和識(shí)別。