融合SPP和改進(jìn)FPN的YOLOv3交通標(biāo)志檢測

劉紫燕，袁 磊，朱明成，馬珊珊，陳霖周廷

1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025

2.貴州理工學(xué)院 航空航天工程學(xué)院，貴陽 550003

目標(biāo)檢測（object detection）作為計算機視覺領(lǐng)域基本的視覺識別問題之一，被廣泛應(yīng)用于自動駕駛、視頻監(jiān)控、人機交互、人臉檢測等領(lǐng)域，受到學(xué)界與工業(yè)界的密切關(guān)注，是計算機視覺領(lǐng)域的研究熱點。目標(biāo)檢測的目的是定位并識別圖像中單個或多個目標(biāo)，返回目標(biāo)空間位置的同時對其所屬類別進(jìn)行正確分類[1]；其包含目標(biāo)定位（Location）和目標(biāo)識別（Classification）[2]。在真實場景下的交通標(biāo)志檢測任務(wù)中，由于需要盡早識別出交通標(biāo)志，則交通標(biāo)志在圖像中只占據(jù)較小的像素，可視為小目標(biāo)[3]。Bell 等[4]將小目標(biāo)定義為COCO 數(shù)據(jù)庫中尺寸小于等于32×32 像素的目標(biāo)，由于目標(biāo)尺寸較小、分辨率低、特征不明顯，在進(jìn)行目標(biāo)檢測時需要專門的數(shù)據(jù)和精度更高的算法[5]。

近年來，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，它被廣泛應(yīng)用于各種目標(biāo)檢測算法，在行人檢測、車輛檢測、障礙物檢測等領(lǐng)域有著不錯的效果，但對小目標(biāo)的檢測效果不夠理想。因此，小目標(biāo)檢測在計算機視覺中仍是一項具有挑戰(zhàn)性的任務(wù)[6]，F(xiàn)aster-RCNN[7]、DCNv2[8]、M2Det[9]等為代表的兩階段檢測算法由于其需要在檢測前生成候選區(qū)域，導(dǎo)致其檢測速度遠(yuǎn)不能滿足實時需求。單階段目標(biāo)檢測算法雖然具有較快的檢測速度，但是對小目標(biāo)的檢測效果較差。SSD[10]、DSSD[11]、FCOS[12]等算法對小目標(biāo)的檢測精度有一定提升，但運行速度卻較大幅度下降，Redmon等[13]提出的YOLOv3對YOLO9000[14]進(jìn)行了改進(jìn)，增加多尺度預(yù)測方法，小目標(biāo)的檢測效果比YOLO9000有所提升。

本文以YOLOv3目標(biāo)檢測網(wǎng)絡(luò)為主網(wǎng)絡(luò)，提出一種改進(jìn)的YOLOv3網(wǎng)絡(luò)實現(xiàn)交通標(biāo)志的檢測。首先，將原網(wǎng)絡(luò)中的第3 個尺度的特征融合圖進(jìn)行上采樣，與Darknet-53 中的2 次下采樣特征圖進(jìn)行融合，輸入檢測層，進(jìn)行尺度為108×108 的預(yù)測，同時保留原網(wǎng)絡(luò)中尺度為52×52 的預(yù)測，進(jìn)行兩個尺度的預(yù)測。然后，參考空間金字塔池化（SPP）[15]的方法，在檢測層之前使用固定分塊大小為5、9、13 的池化操作，對不同尺寸的輸入實現(xiàn)相同大小的輸出。最后，分別對不同改進(jìn)方法的網(wǎng)絡(luò)進(jìn)行對比實驗，分別使用416、608 和1 024 尺寸的圖片對3 種改進(jìn)后的YOLOv3 網(wǎng)絡(luò)與原網(wǎng)絡(luò)進(jìn)行對比實驗。

1 YOLOv3算法

YOLOv3 是一種目標(biāo)檢測器，其骨干網(wǎng)絡(luò)采用Darknet-53 代替Darknet-19，共有53 個卷積層，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。Darknet-53 借鑒了ResNet 的殘差思想，形成殘差結(jié)構(gòu)，可以很好的控制梯度的傳播，避免出現(xiàn)梯度消失或者爆炸等不利于訓(xùn)練的情形，使得訓(xùn)練深層網(wǎng)絡(luò)難度大大減小。該網(wǎng)絡(luò)的主體部分由5 個殘差塊組成，每個殘差塊中包含多個殘差單元，每個殘差單元由兩個DBL 模塊和一個快捷鏈路組成，如圖2 所示。Darknet-53 的最小組件DBL 模塊則包括卷積、批標(biāo)準(zhǔn)化及帶泄露修正線性單元（Leaky ReLU）激活函數(shù)組成。

YOLOv3將預(yù)測分為13×13、26×26、52×52的3個尺度，這3 種尺度分別輸出3 種不同尺度的特征圖到檢測層中，其中低層特征圖感受野較小，負(fù)責(zé)檢測小目標(biāo)，深層特征圖感受野大，容易檢測出大目標(biāo)。因此，YOLOv3在檢測大目標(biāo)和小目標(biāo)上都有不錯的表現(xiàn)。

圖1 YOLOv3網(wǎng)絡(luò)模型

圖2 DBL模塊

由于YOLOv3網(wǎng)絡(luò)具有訓(xùn)練效率高，對不同尺度目標(biāo)的適應(yīng)性強、適合于復(fù)雜交通場景等優(yōu)勢，因此本文改進(jìn)YOLOv3 網(wǎng)絡(luò)，使用交通標(biāo)志數(shù)據(jù)集TT100K[16]進(jìn)行訓(xùn)練和檢測。

2 改進(jìn)YOLOv3檢測算法

如前文所述，真實場景下的交通標(biāo)志檢測是小目標(biāo)檢測，而YOLOv3模型針對COCO數(shù)據(jù)集預(yù)設(shè)的初始候選框及其網(wǎng)絡(luò)結(jié)構(gòu)并不適合小目標(biāo)檢測。因此，本文使用K-means聚類對交通標(biāo)志數(shù)據(jù)集進(jìn)行聚類分析，重新定義初始候選框大小，然后改進(jìn)YOLOv3模型以實現(xiàn)交通標(biāo)志檢測。

2.1 K-means聚類分析

YOLOv3 網(wǎng)絡(luò)所設(shè)置的初始候選框?qū)捀邽楣潭ㄖ担瑫绊懩繕?biāo)檢測的精度和速度。因此，本文使用Kmeans聚類算法對TT100K交通標(biāo)志數(shù)據(jù)集進(jìn)行聚類分析，采用平均重疊度（AvgIOU）作為目標(biāo)聚類分析的量度，聚類的AvgIOU目標(biāo)函數(shù)f可表示為：

式中，B表示樣本，即ground truth中的目標(biāo)；C表示簇的中心；nk表示第k個聚類中心中樣本的個數(shù)；n表示樣本的總個數(shù)；k表示簇的個數(shù)；IIOU(B,C) 表示簇的中心框和聚類框的交并比；i表示樣本序號；j表示聚類中心中樣本的序號。

由于K-means 聚類算法對初始聚類中心的選取較為敏感，不同的初始聚類中心會導(dǎo)致不用的聚類結(jié)果，因此，本文首先采取隨機方式生成初始聚類中心，結(jié)果表明，同樣的k值下也會產(chǎn)生不同的聚類結(jié)果，甚至有的結(jié)果之間差別很大，會導(dǎo)致最后選取的k值和聚類框不夠準(zhǔn)確。為了得到更好、更準(zhǔn)確的k值和聚類框，本文以數(shù)據(jù)的平均值作為第一個聚類中心，以此選擇數(shù)據(jù)中與第一個聚類中心距離最遠(yuǎn)的k?1個點作為剩下的初始聚類中心，以該方法設(shè)置初始聚類中心后得到的聚類結(jié)果相對穩(wěn)定，得到的AvgIOU值以及聚類框大小相對穩(wěn)定。因此，本文以最遠(yuǎn)距離的方式生成初始聚類中心，便于對比k值以獲得更好的聚類框。

取k＝1～9，分別對TT100K交通標(biāo)志數(shù)據(jù)集中樣本進(jìn)行聚類分析，得到k值與AvgIOU 之間的關(guān)系如圖3所示。

圖3 K-means聚類分析結(jié)果

隨著k值的增大，目標(biāo)函數(shù)變化越來越平穩(wěn)，變化的拐點可以認(rèn)為是最佳的初始候選框的個數(shù)。當(dāng)k值大于6 時，曲線開始變得平穩(wěn)，故選取初始候選框的數(shù)量為6，既可以加快損失函數(shù)的收斂，又可以消除候選框帶來的誤差。

該6 個初始候選框?qū)?yīng)數(shù)據(jù)集中的輸入圖片尺寸為416×416，608×608，1 024×1 024時分別設(shè)置寬和高為[4×4，5×6，8×8，11×11，15×16，22×24]，[5×6，7×8，10×11，13×14，19×20，30×32]，[9×11，14×15，19×21，16×19，36×40，56×59]。

2.2 交通標(biāo)志的數(shù)據(jù)增強

為了實現(xiàn)交通標(biāo)志的數(shù)據(jù)增強，本文使用基于交通標(biāo)志紅、黃、藍(lán)三色的顏色增強方案以增強圖像中交通標(biāo)志的特征，反之弱化圖像中其他特征，使網(wǎng)絡(luò)在訓(xùn)練時能學(xué)習(xí)到更多關(guān)于交通標(biāo)志的特征。通過篩選圖像中每個像素點的R、G、B值，削弱除交通標(biāo)志之外區(qū)域的R、G、B像素值，從而增強圖像中的交通標(biāo)志，如圖4 所示。作為圖像輸入網(wǎng)絡(luò)之前的預(yù)處理過程，采用顏色增強能夠增強圖像中交通標(biāo)志的特征，同時由于僅使用顏色增強方案，因此不會增加太多的額外計算量，不會影響檢測的速度。經(jīng)過實驗發(fā)現(xiàn)，在增強交通標(biāo)志的同時，圖像中包含與交通標(biāo)志顏色相近的物體也相應(yīng)增強；但是這些顏色相近的物體與交通標(biāo)志的形狀相似度很低，如圖4（a3）、（b3）所示。因此，實現(xiàn)基于交通標(biāo)志的顏色增強，網(wǎng)絡(luò)的檢測效果有一定的提升。

2.3 改進(jìn)YOLOv3網(wǎng)絡(luò)模型

為了充分利用網(wǎng)絡(luò)中淺層特征所包含的小目標(biāo)的更多信息，使用Darknet-53 中的2 次下采樣特征圖，將YOLOv3 網(wǎng)絡(luò)中第3 個尺度的特征融合圖實現(xiàn)上采樣，然后與Darknet-53 中的2 次下采樣特征圖融合，將其輸入檢測層實現(xiàn)尺度為108×108的預(yù)測。

圖4 基于RGB值的數(shù)據(jù)增強

由于YOLOv3網(wǎng)絡(luò)中的中、小尺度的預(yù)測輸出尺度為26×26 和13×13 的特征圖，以TT100K 數(shù)據(jù)集中的尺寸為2 048×2 048的圖片舉例，當(dāng)圖像被下采樣至26×26或13×13 時，圖像中尺寸小于76×76 或158×158 的目標(biāo)被壓縮至小于一個像素，而圖像中的交通標(biāo)志小目標(biāo)小于76×76，因此，YOLOv3中的中小尺度預(yù)測對小目標(biāo)檢測意義不大。為了提高小目標(biāo)檢測的精確度、減少計算量，故刪除原網(wǎng)絡(luò)中尺度為13×13 和26×26 的預(yù)測層。因此，改進(jìn)后的YOLOv3網(wǎng)絡(luò)的尺度分別為108×108和52×52 的兩個預(yù)測層。以608 圖片輸入尺寸為例，在TT100K數(shù)據(jù)集中尺度52×52對應(yīng)的初始候選框為[13×14，19×20，30×32]，尺度108×108 對應(yīng)的初始候選框框為[5×6，7×8，10×11]，改進(jìn)后的網(wǎng)絡(luò)如圖5 所示。相對于原YOLOv3 算法在3 個尺度上進(jìn)行預(yù)測，改進(jìn)后的YOLOv3算法僅需預(yù)測兩個尺度，可以更快地檢測圖像中的目標(biāo)。

由于高分辨率的交通標(biāo)志圖像在預(yù)處理和多尺度預(yù)測時可能會造成信息的丟失或尺度的不統(tǒng)一，從而影響檢測效果。而空間金字塔池化通過對一張圖片進(jìn)行不同的分塊池化，每個塊中提取出一個特征作為一個維度，確保最后得到特征的維度一致，從而解決信息丟失和尺度不統(tǒng)一的問題。故參考空間金字塔池化的方法，在檢測層前使用固定分塊大小的池化操作，為了實現(xiàn)局部特征和全局特征的特征圖級別的融合，空間金字塔池化結(jié)構(gòu)的最大的池化核要盡可能接近等于需要池化的特征圖的大小（13×13），因此將最大池化核設(shè)置為13，其余兩個核依次減4，設(shè)置為9和5。通過此方式提取每一張圖片多方面的特征，提高交通標(biāo)志的檢測精度，如圖6所示。采用3個不同分塊的空間金字塔池化雖然增加了一定的模型復(fù)雜度，影響模型速度，但是實驗表明，模型速度下降較少，精度提升較多，因此加入空間金字塔池化是值得的。

圖5 改進(jìn)YOLOv3網(wǎng)絡(luò)模型

圖6 空間金字塔池化模塊

3 實驗及結(jié)果分析

為了驗證本文提出的改進(jìn)YOLOv3 的交通標(biāo)志檢測算法的正確性和有效性，本文進(jìn)行兩個實驗，分別是將不同改進(jìn)方法的YOLOv3 算法進(jìn)行對比實驗和使用3 個圖片輸入尺寸（416×416，608×608，1 024×1 024），從平均檢測精確度（mAP）、每秒檢測幀數(shù)（FPS）和準(zhǔn)確率-召回率（P-R）曲線等方面對兩個實驗進(jìn)行驗證。

3.1 標(biāo)準(zhǔn)數(shù)據(jù)集及實驗平臺

本文使用交通標(biāo)志數(shù)據(jù)集TT100K，該數(shù)據(jù)集提供100 000 張2 048×2 048 的圖像，其中30 000 個交通標(biāo)志實例為小目標(biāo)。

數(shù)據(jù)集中共有45 類對象，分別代表相應(yīng)的交通標(biāo)志，分別為：i2，i4，i5，il100，il60，il80，io，ip，p10，p11，p12，p19，p23，p26，p27，p3，p5，p6，pg，ph4，ph4.5，ph5，pl100，pl120，pl20，pl30，pl40，pl5，pl50，pl60，pl70，pl80，pm20，pm30，pm55，pn，pne，po，pr40，w13，w32，w55，w57，w59，wo。

刪除數(shù)據(jù)集中無標(biāo)注文件的圖片，將6 105 張圖片用于訓(xùn)練，3 070張圖片用于測試。

實驗平臺：操作系統(tǒng)Ubuntu16.04，深度學(xué)習(xí)框架pytorch1.4，CPU 為AMD-R2700，內(nèi)存為32 GB，GPU 為NVIDIA GeForce 1080ti*2，顯存為22 GB。

3.2 模型訓(xùn)練及評價指標(biāo)

分別訓(xùn)練YOLOv3網(wǎng)絡(luò)和改進(jìn)YOLOv3網(wǎng)絡(luò)，使用YOLOv3內(nèi)置的參數(shù)進(jìn)化方法調(diào)整參數(shù)，設(shè)置初始學(xué)習(xí)率為0.001，最大迭代次數(shù)為300 個epoch，設(shè)置學(xué)習(xí)率分 別在迭代次數(shù)為75 個epoch，150 個epoch 和250 個epoch時衰減10倍。采用翻轉(zhuǎn)、平移變換等方法對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強。同時，采用多尺度訓(xùn)練，使尺度在設(shè)定范圍上下浮動，以取得更好的訓(xùn)練效果。

首先測試訓(xùn)練后的兩個模型，計算其精確度（Precision）和召回率（Recall），計算精確度和召回率的公式分別為：

式中，TP為將正類預(yù)測為正類數(shù)，F(xiàn)P為將負(fù)類預(yù)測為正類數(shù)誤報，F(xiàn)N為將正類預(yù)測為負(fù)類數(shù)。

通過設(shè)定固定閾值，按照置信度分?jǐn)?shù)對檢測器預(yù)測結(jié)果進(jìn)行降序排列，逐個將樣本作為正例輸出進(jìn)行預(yù)測，就可計算其P、R值并繪制P-R曲線。

3.3 實驗結(jié)果與分析

3.3.1 改進(jìn)YOLOv3對比實驗

分別對原YOLOv3網(wǎng)絡(luò)增強基于交通標(biāo)志（命名為YOLOv3-A）、改進(jìn)YOLOv3 網(wǎng)絡(luò)檢測層和FPN 結(jié)構(gòu)（YOLOv3-B）、添加空間金字塔模塊（YOLOv3-C）以及加入以上3個改進(jìn)的YOLOv3-D網(wǎng)絡(luò)，在輸入圖片尺寸為608×608下對4種模型在TT100K數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試，并與原YOLOv3網(wǎng)絡(luò)進(jìn)行對比實驗。實驗結(jié)果如表1所示。

表1 改進(jìn)的YOLOv3和YOLOv3檢測結(jié)果

從表1可以看出，改進(jìn)YOLOv3在交通標(biāo)志TT100K數(shù)據(jù)集上的檢測效果均比原YOLOv3 網(wǎng)絡(luò)模型有所提高。其中，YOLOv3-A 的檢測精度提高了1.6% mAP，表明基于交通標(biāo)志的數(shù)據(jù)增強能夠使交通標(biāo)志的特征更加明顯，使網(wǎng)絡(luò)能更好地檢測圖像中的交通標(biāo)志；YOLOv3-B 的檢測精度提升了4.5%mAP，同時檢測速度也有一定的提升，這表明大尺度的預(yù)測可以更好的利用圖像中小目標(biāo)的信息，能更好的檢測出交通標(biāo)志小目標(biāo)，同時由于檢測層由原來的3個尺度變?yōu)閮蓚€尺度，減少了網(wǎng)絡(luò)計算量，因此網(wǎng)絡(luò)的FPS得以提升。YOLOv3-C模型由于增加了空間金字塔池化層，導(dǎo)致網(wǎng)絡(luò)的計算量增加，F(xiàn)PS下降3.5，mAP提升0.8%，提升不明顯，這可能是由于數(shù)據(jù)集中圖片尺寸皆為2 048×2 048，但真實情況下的交通標(biāo)志圖像會有不同的尺寸，因此，本文認(rèn)為加入空間金字塔模塊有著必要的實際意義。融合了3種改進(jìn)的YOLOv3-D模型的mAP達(dá)到了75.2%，效果在4 個網(wǎng)絡(luò)中最好，雖然其FPS 下降到了31.3 f/s，但是仍然能滿足實時檢測的要求。

3.3.2 不同圖片尺寸的改進(jìn)YOLOv3實驗

為了進(jìn)一步驗證改進(jìn)算法的有效性，在圖像輸入尺寸分別為416、608 和1 024 的情況下，對改進(jìn)后的YOLOv3 網(wǎng)絡(luò)（YOLOv3-D）及原YOLOv3 網(wǎng)絡(luò)進(jìn)行對比實驗。

在輸入尺寸分別為416、608和1 024情況下，YOLOv3網(wǎng)絡(luò)和改進(jìn)YOLOV3 網(wǎng)絡(luò)模型的P-R 曲線對比圖如圖7（a）、（b）、（c）所示，改進(jìn)后YOLOv3網(wǎng)絡(luò)模型其準(zhǔn)確率和召回率均比YOLOv3網(wǎng)絡(luò)有一定程度的提升。

圖7 不同圖片尺寸的P-R曲線

測試集中共有3 070張圖片和7 700個目標(biāo)，分別測試兩種網(wǎng)絡(luò)模型，其mAP和FPS如表2所示。

表2 不同圖片尺寸的檢測結(jié)果

在輸入尺寸分別為416×416、608×608 和1 024×1 024 時，改進(jìn)YOLOv3 網(wǎng)絡(luò)模型的mAP 分別提高約8.3%、6.1%、4.3%，同時FPS 并未明顯降低；在尺寸為416×416和608×608時，具有很好的實時性，可以滿足交通標(biāo)志檢測的要求。

3.3.3 改進(jìn)算法與其他算法對比

為了進(jìn)一步驗證改進(jìn)算法的效果，輸入圖片尺寸為608×608，對改進(jìn)的YOLOv3 算法與RetinaNet、FCOS、CornerNet 等先進(jìn)小目標(biāo)檢測算法進(jìn)行對比實驗，實驗結(jié)果如表3所示。

表3 不同算法檢測結(jié)果對比

從表3 可以看出，在精度上僅有FCOS 算法高于改進(jìn)后的YOLOv3 算法，但其FPS 遠(yuǎn)遠(yuǎn)低于改進(jìn)后的YOLOv3 算法；CornerNet 算法達(dá)到了和改進(jìn)后的YOLOv3 算法相近的檢測速度，但其mAP 比改進(jìn)后的YOLOv3 算法低了2.7%。實驗證明，本文所述改進(jìn)的YOLOv3算法有更好的檢測效果。

3.3.4 圖片檢測結(jié)果

為了進(jìn)一步證明改進(jìn)YOLOv3網(wǎng)絡(luò)的檢測效果，隨機抽取數(shù)據(jù)中四張圖片進(jìn)行測試，結(jié)果如圖8所示。

從圖8 可以看出，圖（a1）只檢測出了尺寸比較大的2 個交通標(biāo)志而忽略了其余3 個尺寸比較小的交通標(biāo)志；圖（b1）檢測出尺寸比較小的交通標(biāo)志；圖（a2）漏檢3個交通標(biāo)志；圖（b2）則可以檢測出圖片中所有的交通標(biāo)志；圖（a3）中漏檢了一個交通標(biāo)志，同時將公告牌誤檢為交通標(biāo)志；而圖（b3）則可以正確地檢測出所有交通標(biāo)志；圖（a4）中也出現(xiàn)了錯檢和漏檢；而圖（b4）中的所有交通標(biāo)志都被正確地檢測出。因此，改進(jìn)YOLOv3 目標(biāo)檢測算法可以有效地降低交通標(biāo)志檢測的漏檢率和錯檢率。

4 結(jié)束語

本文提出一種改進(jìn)YOLOv3的目標(biāo)檢測算法，在速度變化不大的情況下，對交通標(biāo)志的平均檢測精度、召回率和準(zhǔn)確率均有明顯的提高。在檢測速度較快的情況下提升網(wǎng)絡(luò)檢測精確度，將是下一步的研究方向。

圖8 改進(jìn)的YOLOv3對交通標(biāo)志的檢測結(jié)果