基于改進(jìn)YOLO v3模型的多類交通標(biāo)識(shí)檢測(cè)

張志佳，范瑩瑩，邵一鳴，趙永茂

(1.沈陽(yáng)工業(yè)大學(xué) 人工智能學(xué)院，沈陽(yáng) 110870；2.沈陽(yáng)市信息感知與邊緣計(jì)算重點(diǎn)實(shí)驗(yàn)室，沈陽(yáng) 110870；3.沈陽(yáng)美行科技有限公司，沈陽(yáng) 110169)

自動(dòng)駕駛汽車與輔助駕駛可以減輕駕駛員的精神負(fù)擔(dān)，協(xié)助預(yù)防交通事故，將人從大量的駕車時(shí)間中解放出來(lái).準(zhǔn)確地從復(fù)雜的交通場(chǎng)景中檢測(cè)交通標(biāo)志、交通信號(hào)燈以及停止線對(duì)于實(shí)現(xiàn)自動(dòng)駕駛及輔助駕駛的研發(fā)具有重要意義.

交通標(biāo)識(shí)檢測(cè)模型主要可分為基于顏色、形狀等特征的傳統(tǒng)目標(biāo)檢測(cè)模型和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)目標(biāo)檢測(cè)模型.傳統(tǒng)目標(biāo)檢測(cè)模型[1-3]往往需要人工設(shè)計(jì)不同的特征來(lái)檢測(cè)交通標(biāo)識(shí)，雖然結(jié)合了顏色、亮度、形狀等信息，但在復(fù)雜的背景環(huán)境中干擾物眾多，檢測(cè)速度慢，魯棒性差.近年來(lái)隨著智能計(jì)算的不斷發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型也逐漸開(kāi)始應(yīng)用于交通標(biāo)識(shí)檢測(cè)研究[4-7].基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型主要分為兩個(gè)研究方向：二階段目標(biāo)檢測(cè)和一階段目標(biāo)檢測(cè).

二階段目標(biāo)檢測(cè)模型將目標(biāo)檢測(cè)任務(wù)分兩步來(lái)完成.第一步對(duì)輸入圖像截取一定數(shù)量的候選區(qū)域送入卷積層提取特征；第二步根據(jù)候選區(qū)域提取出的特征進(jìn)行細(xì)分類與位置回歸，得到最終的檢測(cè)結(jié)果.二階段目標(biāo)檢測(cè)模型主要代表網(wǎng)絡(luò)有R-CNN系列模型、SPP-net等.一階段目標(biāo)檢測(cè)模型將提取候選區(qū)域的步驟融合到特征提取中，僅對(duì)輸入圖像進(jìn)行一次所有像素點(diǎn)的特征提取即可完成位置回歸和分類任務(wù).一階段預(yù)測(cè)推理過(guò)程相對(duì)簡(jiǎn)單，實(shí)現(xiàn)了提速的目的，但也增加了檢測(cè)難度，降低了檢測(cè)精度.典型一階段檢測(cè)模型有單發(fā)多框檢測(cè)器(SSD)及其改進(jìn)模型、YOLO系列[8-10]檢測(cè)模型等.Zhu等[11]提出了TT100K交通標(biāo)志數(shù)據(jù)集，并利用二階段目標(biāo)檢測(cè)模型實(shí)現(xiàn)了多類交通標(biāo)識(shí)牌的檢測(cè).Meng等[12]采用改進(jìn)的一階段檢測(cè)模型，結(jié)合圖像金字塔模型實(shí)現(xiàn)對(duì)不同尺寸交通標(biāo)識(shí)的檢測(cè).張淑芳等[13]針對(duì)現(xiàn)有目標(biāo)檢測(cè)方法僅適用于大尺寸、特定種類交通標(biāo)志的檢測(cè)，且對(duì)復(fù)雜交通場(chǎng)景圖像檢測(cè)效果不佳的問(wèn)題，以抗退化性能較強(qiáng)的ResNet101為基礎(chǔ)網(wǎng)絡(luò)，增加若干卷積層構(gòu)建殘差單發(fā)多框檢測(cè)器模型，對(duì)高分辨率交通圖像實(shí)現(xiàn)了多尺度分塊檢測(cè).

為了提高復(fù)雜交通場(chǎng)景中多類交通標(biāo)識(shí)的檢測(cè)精度，本文提出了基于YOLO v3目標(biāo)檢測(cè)模型的改進(jìn)T-YOLO模型，在分析多類交通標(biāo)識(shí)真實(shí)標(biāo)注框的基礎(chǔ)上，重新設(shè)計(jì)符合多類交通標(biāo)識(shí)檢測(cè)的先驗(yàn)框個(gè)數(shù)與尺寸比例，提升了多類交通標(biāo)識(shí)等小目標(biāo)檢測(cè)的召回率.

1 T-YOLO檢測(cè)模型

T-YOLO模型采用Darknet-53作為特征提取結(jié)構(gòu)，并且在該特征提取結(jié)構(gòu)的末端加入數(shù)個(gè)卷積層和3個(gè)上采樣層，進(jìn)一步提取多類交通標(biāo)識(shí)的特征.模型檢測(cè)部分使用4種不同尺度的特征圖進(jìn)行待測(cè)交通標(biāo)識(shí)定位任務(wù)，同時(shí)在檢測(cè)層中，每個(gè)網(wǎng)格設(shè)有5種不同尺度的先驗(yàn)框來(lái)擬合待測(cè)交通標(biāo)識(shí).

1.1 YOLO v3模型

YOLO v3檢測(cè)模型的結(jié)構(gòu)如圖1所示，其中第1列為模型層操作類型，第2、3列為卷積核尺寸，第4列為輸出尺寸.輸入圖像經(jīng)過(guò)帶有跳躍連接層的Darknet-53卷積層提取特征后，分別在3種不同尺度特征圖上進(jìn)行邊界框預(yù)測(cè).在整個(gè)預(yù)測(cè)過(guò)程中，YOLO v3模型中首先將原圖像分成一定數(shù)量的柵格；其次，每個(gè)柵格預(yù)設(shè)3種不同比例的先驗(yàn)框，若待測(cè)目標(biāo)的中心落入該柵格，則由該柵格的先驗(yàn)框負(fù)責(zé)預(yù)測(cè)目標(biāo)位置及分類信息；最后，通過(guò)非極大值抑制模型對(duì)上一步生成的大量預(yù)測(cè)框進(jìn)行篩選，選取出最逼近待測(cè)目標(biāo)真實(shí)位置的預(yù)測(cè)框，完成最后的邊界框回歸和分類任務(wù).

圖1 YOLO v3模型結(jié)構(gòu)圖

1.2 多尺度檢測(cè)

在公開(kāi)交通標(biāo)識(shí)數(shù)據(jù)集中，圖像尺度不盡相同，為使卷積網(wǎng)絡(luò)更好地學(xué)習(xí)圖像特征，在輸入模型前都需要對(duì)圖像進(jìn)行預(yù)處理，將輸入圖像縮放到某個(gè)固定尺寸，本文采用608×608像元.而其中的交通標(biāo)志、交通信號(hào)燈在原圖像中已分屬小目標(biāo)，經(jīng)過(guò)尺度調(diào)整后所占像元數(shù)更少.

在使用YOLO v3模型對(duì)交通標(biāo)志檢測(cè)時(shí)發(fā)現(xiàn)，使用32倍下采樣獲取的13×13像元特征圖進(jìn)行交通標(biāo)識(shí)檢測(cè)時(shí)，基本檢測(cè)不到交通標(biāo)識(shí).這是由于下采樣倍數(shù)高，特征圖的感受野比較大，因此容易丟失信息，不適合檢測(cè)圖像中尺寸比較小的對(duì)象.

為解決上述問(wèn)題，獲得更多的細(xì)節(jié)信息用于檢測(cè)多類交通標(biāo)識(shí)，在原YOLO v3模型基礎(chǔ)上增設(shè)第4種尺度的檢測(cè)層.通過(guò)該方法將預(yù)先統(tǒng)計(jì)的先驗(yàn)知識(shí)加入到模型訓(xùn)練中，可使深度神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練學(xué)習(xí)過(guò)程中大大增強(qiáng)擬合性能，有助于提高模型的收斂速度.

在本文中，待檢測(cè)的多類交通標(biāo)識(shí)無(wú)論是按照像素?cái)?shù)量還是所占全圖的比例，均屬于小目標(biāo)檢測(cè).YOLO v3模型中先驗(yàn)框是基于COCO集分析獲得的，該數(shù)據(jù)集圖像待測(cè)目標(biāo)有80余種，大中小目標(biāo)繁雜.為更好地檢測(cè)多類交通標(biāo)識(shí)，本文對(duì)交通標(biāo)識(shí)的真實(shí)框進(jìn)行重新聚類與分析，設(shè)置交通標(biāo)志的背景框長(zhǎng)寬比為1，交通信號(hào)燈的背景框長(zhǎng)寬比為0.3，停止線的背景框長(zhǎng)寬比大于10.

除先驗(yàn)框形狀與尺度外，預(yù)設(shè)的先驗(yàn)框個(gè)數(shù)對(duì)多類交通檢測(cè)效果也存在較大影響.如圖2所示，隨著各檢測(cè)層預(yù)設(shè)先驗(yàn)框的增加，TT100K與SUTDB數(shù)據(jù)集中背景框與預(yù)設(shè)框的平均交并比(Avg IOU)有明顯提高.但是當(dāng)檢測(cè)層預(yù)設(shè)的先驗(yàn)框個(gè)數(shù)大于10時(shí)，Avg IOU漲勢(shì)減緩.

圖2 TT100K與SUTDB數(shù)據(jù)集平均交并比與預(yù)設(shè)框數(shù)量關(guān)系

2 T-YOLO模型實(shí)驗(yàn)數(shù)據(jù)

由于含有交通標(biāo)識(shí)的清晰圖像獲取困難且標(biāo)注過(guò)程需要耗費(fèi)大量時(shí)間，導(dǎo)致目前交通標(biāo)識(shí)公共數(shù)據(jù)集匱乏，故T-YOLO模型對(duì)多類交通標(biāo)識(shí)檢測(cè)實(shí)驗(yàn)在自制多類交通標(biāo)識(shí)檢測(cè)數(shù)據(jù)集SUTDB上完成.為證明該網(wǎng)絡(luò)的泛化性和魯棒性，也將在交通標(biāo)志數(shù)據(jù)集TT100K、交通信號(hào)燈數(shù)據(jù)集LaRA上進(jìn)行對(duì)比實(shí)驗(yàn).

2.1 交通標(biāo)志數(shù)據(jù)集

清華大學(xué)與騰訊共同推出的TT100K數(shù)據(jù)集，是清華學(xué)者基于10萬(wàn)個(gè)騰訊街景全景圖創(chuàng)建的一個(gè)大型交通標(biāo)志數(shù)據(jù)集，涵蓋了不同角度和自然交通環(huán)境中的200多類交通標(biāo)志.德國(guó)公開(kāi)的交通標(biāo)志檢測(cè)數(shù)據(jù)集GTSDB涵蓋了城市、高速公路與郊區(qū)，晴天與陰天，白天與傍晚等多種真實(shí)路況，是交通標(biāo)識(shí)檢測(cè)常用的公認(rèn)數(shù)據(jù)集.本文采用TT100K數(shù)據(jù)集中6 105張圖像作為訓(xùn)練集，3 071張圖像作為測(cè)試集；GTSDB數(shù)據(jù)集中600張圖像作為訓(xùn)練集，300張圖像作為測(cè)試集.

2.2 交通信號(hào)燈數(shù)據(jù)集

由于國(guó)內(nèi)暫無(wú)公開(kāi)交通信號(hào)燈數(shù)據(jù)集，所以本文采用LaRA數(shù)據(jù)集作為交通信號(hào)燈數(shù)據(jù)集.LaRA為巴黎交通信號(hào)燈數(shù)據(jù)集，由車載相機(jī)在自然場(chǎng)景下采集，是交通信號(hào)燈數(shù)常用公開(kāi)數(shù)據(jù)集.本文選取3 487張圖像作為訓(xùn)練集，1 246張圖像作為測(cè)試集.

2.3 停止線數(shù)據(jù)集

不同于交通標(biāo)志與交通信號(hào)燈等公開(kāi)數(shù)據(jù)集，國(guó)內(nèi)外有關(guān)于停止線的數(shù)據(jù)集較少，本文整理自制了停止線數(shù)據(jù)集.停止線數(shù)據(jù)集中圖像主要來(lái)自于其他數(shù)據(jù)庫(kù)，其中在TT100K數(shù)據(jù)集中挑選455幅帶有停止線的圖像，在GTSDB數(shù)據(jù)集中挑選358幅帶有停止線的圖像，自主采集326幅帶有停止線的圖像，共計(jì)生成1 139幅圖像.其中訓(xùn)練集911張，測(cè)試集228張.

2.4 多類交通標(biāo)識(shí)數(shù)據(jù)集

本文自主采集、標(biāo)注制作了13 000幅的多類交通標(biāo)識(shí)檢測(cè)數(shù)據(jù)集.采集圖像所用相機(jī)為維視圖像MV-EM系列的彩色攝像機(jī)，搭配5百萬(wàn)像素工業(yè)鏡頭，將攝像機(jī)安裝于支架上，并置于車頂，于遼寧省沈陽(yáng)市市區(qū)與周邊干道進(jìn)行不同天氣情況與不同時(shí)間的采集.將獲得的圖像使用LabelImg圖像標(biāo)注工具進(jìn)行標(biāo)注，標(biāo)注類別為交通標(biāo)志、交通信號(hào)燈以及停止線3類，其中訓(xùn)練集圖像9 100張，測(cè)試集圖像3 900張.

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證T-YOLO模型檢測(cè)性能，首先對(duì)交通標(biāo)志、交通信號(hào)燈以及停止線在各自數(shù)據(jù)集中分別進(jìn)行單項(xiàng)實(shí)驗(yàn)，然后在SUTDB數(shù)據(jù)集上進(jìn)行多類交通標(biāo)識(shí)檢測(cè)的綜合實(shí)驗(yàn).軟件環(huán)境：操作系統(tǒng)為Ubuntu16.04，深度學(xué)習(xí)框架Darknet；硬件環(huán)境：CPU為Intel(R)Core(R)i7 8700，GPU為NVIDIA(R)GTX(R)2080TI，硬盤為2 TB.

3.1 交通標(biāo)志實(shí)驗(yàn)

在交通標(biāo)志數(shù)據(jù)集TT100K、GTSDB中對(duì)比了YOLO v3與T-YOLO模型的檢測(cè)性能，結(jié)果如表1所示.由表1可知，利用兩個(gè)數(shù)據(jù)集進(jìn)行測(cè)試后，T-YOLO模型的召回率(R)和平均準(zhǔn)確率(AP)均高于原始YOLO v3模型.將T-YOLO與其他應(yīng)用于TT100K數(shù)據(jù)集的基于卷積神將網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示.與其他模型相比，T-YOLO模型對(duì)TT100K數(shù)據(jù)集檢測(cè)的準(zhǔn)確率與召回率更高.

表1 T-YOLO與YOLO v3模型的性能對(duì)比

表2 T-YOLO模型在TT100K數(shù)據(jù)集上的橫向?qū)Ρ?/p>

3.2 交通信號(hào)燈實(shí)驗(yàn)

為驗(yàn)證T-YOLO模型對(duì)交通信號(hào)燈的檢測(cè)能力，使用T-YOLO模型與YOLO v3模型在LaRA數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果如表3所示.使用T-YOLO檢測(cè)交通信號(hào)燈召回率高達(dá)99%，平均精度為98%，均高于原始YOLO v3模型.

表3 交通信號(hào)燈檢測(cè)性能對(duì)比

3.3 停止線實(shí)驗(yàn)

為驗(yàn)證T-YOLO模型檢測(cè)停止線的能力，使用T-YOLO模型與YOLO v3模型在自制停止線數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果如表4所示.T-YOLO模型的召回率和平均準(zhǔn)確率較YOLO v3模型分別高出了11%和14%.

表4 T-YOLO與YOLO v3模型檢測(cè)停止線的性能對(duì)比

3.4 多類交通標(biāo)識(shí)檢測(cè)實(shí)驗(yàn)

使用T-YOLO與YOLO v3模型檢測(cè)多類交通標(biāo)識(shí)，檢測(cè)結(jié)果如表5所示.T-YOLO檢測(cè)效果圖如圖3所示.

圖3 T-YOLO模型檢測(cè)結(jié)果圖

表5 T-YOLO與YOLO v3模型綜合性能對(duì)比

提出的T-YOLO模型對(duì)于交通標(biāo)志、交通信號(hào)燈以及停止線的召回率均有明顯提升.本文提出的T-YOLO模型檢測(cè)速率每秒可達(dá)31幀，高于圖像模型檢測(cè)交通標(biāo)識(shí)的幀率要求.對(duì)模型檢測(cè)結(jié)果分析發(fā)現(xiàn)，當(dāng)交通信號(hào)燈及交通標(biāo)志牌目標(biāo)處在圖像中的位置較遠(yuǎn)時(shí)，模型容易發(fā)生漏檢情況，分析其原因是待測(cè)目標(biāo)在當(dāng)前圖像中所占像素比例過(guò)小，最終導(dǎo)致的漏檢.當(dāng)出現(xiàn)地面停止線磨損不清晰、前車遮擋的情況時(shí)，由于待檢測(cè)目標(biāo)不夠完整，導(dǎo)致停止線的檢測(cè)效果也相對(duì)較差.綜上分析，本檢測(cè)模型在對(duì)常規(guī)多類交通標(biāo)識(shí)檢測(cè)效果良好，而對(duì)于像素比例占比較低或不完整的目標(biāo)進(jìn)行檢測(cè)時(shí)，模型檢測(cè)性能還有待提高.

4 結(jié) 論

針對(duì)YOLO v3模型檢測(cè)多類交通標(biāo)識(shí)召回率與平均精度低的問(wèn)題，本文提出了一種適用于多類交通標(biāo)識(shí)檢測(cè)模型T-YOLO.該模型重新設(shè)計(jì)先驗(yàn)框的比例及數(shù)目，加入更大尺度的特征圖進(jìn)行邊界框回歸預(yù)測(cè).在交通標(biāo)志、交通信號(hào)燈、停止線與多類交通標(biāo)識(shí)檢測(cè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，本文設(shè)計(jì)的T-YOLO模型在復(fù)雜交通場(chǎng)景下，檢測(cè)平均精度可達(dá)93%，具有一定工程實(shí)用性.