基于多尺度特征提取與特征融合的交通標志檢測

張永亮，陸陽，2，3，朱蕪強，衛星，3，4，魏臻，2，3

（1.合肥工業大學計算機與信息學院，合肥 230009；2.礦山物聯網與安全監控技術安徽省重點實驗室，合肥 230088；3.安全關鍵工業測控技術教育部工程研究中心，合肥 230009；4.合肥工業大學 智能制造研究院，合肥 230009）

0 概述

隨著智能交通系統以及自動駕駛技術的興起，道路交通問題日益嚴峻，交通標志檢測作為其主要的組成部分，其可靠性至關重要。傳統卷積神經網絡的交通標志檢測方法主要是利用交通標志的顏色和幾何特征對其進行檢測，這類方法花費大量的時間為不同的交通標志進行人工制作的特征［1-2］，受到天氣變化和遮擋等外部因素的影響非常大。在將傳統方法加入機器學習的研究［3-4］中，通常將檢測分成兩個步驟，首先利用傳統方法定位圖片中交通標志的區域，隨后使用支持向量機（Support Vector Machines，SVM）分類器［5］對這些區域中的交通標志進行分類。SVM 分類器能夠有效緩解外部因素帶來的影響，但是這種方法仍然存在需要為不同的交通標志進行人工制作的特征。隨著卷積神經網絡（Convolutional Neural Networks，CNN）在圖像識別領域的應用，CNN 強大的學習能力使其迅速在計算機視覺研究領域占據了主導地位。計算機視覺領域主要研究計算機獲得對場景理解的能力，這種能力包括對場景中不同的對象進行準確的定位和分類，目標檢測正是對這一重要任務的一種概括。通過CNN 不斷地改進網絡結構，目標檢測領域產生了RCNN［6］、Fast R-CNN［7］、Faster R-CNN［8］、SSD［9］、YOLO［10］等許多優秀的算法。交通標志檢測的目的是讓計算機能夠定位并識別出場景內的所有交通標志，屬于目標檢測任務的一部分。因此，基于CNN的研究方法同樣適用于交通標志檢測領域。基于CNN 的方法無需像傳統交通標志檢測方法那樣手工制作的特征，而且對于因光線和天氣變化等外部因素造成背景不同的交通標志的檢測具有魯棒性。

為了使CNN 在目標檢測領域取得的成就遷移到交通標志檢測領域，許多研究［11-13］試圖直接使用目標檢測領域內優秀的算法來檢測交通標志，但未能取得理想的效果。目標檢測領域的算法在訓練和測試時使用PASCAL VOC［14］和COCO［15］數據集，這些數據集提供的圖像中目標對象的尺寸較大，導致算法檢測小尺寸目標的能力較弱，但是在交通場景的圖像中，交通標志的尺寸并不以大尺寸為主，也存在許多小尺寸的交通標志，因此，目標檢測領域的算法在交通標志檢測領域不能發揮出應有的性能。還有一些研究［16-18］則是針對圖像中的交通標志使用VGGNet［19］、GoogLeNet［20］和ResNet［21］作為基礎網絡，并且借鑒目標檢測領域相關算法的結構構建出檢測交通標志的算法，但這些算法在面對真實的交通場景圖像時不能同時解決定位和分類這兩個任務，主要原因是這些算法沒有給出有效的方法來檢測具有復雜背景和目標對象尺寸差異較大的交通場景圖像，并且這些算法所使用的數據集不能滿足現實交通場景中遇到的情況。交通標志檢測的難點一方面在于交通場景圖像背景的復雜性，現實交通場景圖像中不僅有很多交通標志，也有很多在形狀和顏色上與交通標志相似的標志，這種現象會在檢測時干擾算法；另一方面圖像中交通標志的尺寸差異很大，并且以小尺寸的交通標志居多，通常小尺寸的目標要比大尺寸的目標更難檢測。因此，若要解決交通標志檢測中存在的問題，就必須設計一個在復雜的交通場景下既可以檢測出大尺寸交通標志，也可以檢測出小尺寸交通標志的算法。

目前有關交通標志檢測的研究普遍使用的數據集是GTSRB［22］和GTSDB［23］。其中，GTSDB 提供的數據可用于研究交通標志的定位和分類，但其只提供三大類常見交通標志的圖像和標簽信息，遠遠少于現實中所遇見的交通標志的種類。在GTSRB 提供的43 類交通標志中，交通標志在圖像中占據了很大的比例，以至于有些圖像中只有一類交通標志，這些圖像只能用于研究交通標志的分類而不能同時用于定位和分類。GTSRB、GTSDB 數據集中的交通標志和圖像是針對德國的道路交通場景，而國內的交通場景相對較為復雜，并且交通標志的種類要遠多于上述數據集中的類別。因此，許多通過GTSRB 和GTSDB 數據集訓練出來的檢測算法在對國內的交通場景進行檢測時不能獲得良好的檢測結果。

本文針對中國道路交通場景建立一個新的數據集，包含77 類國內常見的交通標志，并對每張圖像中交通標志的類別和位置進行標注。在YOLOv4 算法的基礎上，設計多尺寸特征提取模塊（Multi-size Feature Extraction Module，MsFEM）和增強特征融合模塊（Enhanced Feature Fusion Module，EFFM），其中MsFEM 可使特征提取網絡提取來自上層特征圖中的特征語義信息，EFFM 能夠在多尺度預測中有效地保留和增強小尺寸目標的特征語義信息，提高算法對小目標的檢測能力。

1 相關研究

由上節內容可知，基于CNN 的算法已經成為交通標志檢測研究領域的主流方法，上述算法的研究與目標檢測領域方法的思路一致。目標檢測實質上是定位和分類兩個任務，這些目標檢測方法可以分為2 種：第1 種稱為兩階段，它將檢測分成兩個步驟，首先定位出圖像中存在目標對象的區域，接著對區域中目標對象的類別進行分類；第2 種稱為一階段，它將檢測作為一個步驟，直接定位和分類出圖像中不同目標對象的位置與類別。

R-CNN 算法最先使用兩階段方法，首先采用selective search［24］生成候選區域，接著對包含目標對象的候選區域進行分類，生成的每個候選區域都要經過分類網絡的處理，導致R-CNN 算法的效率較低。隨后，GIRSHICK 提出了Fast R-CNN 算法，在網絡的最后層使用softmax 層替代R-CNN 算法中的SVM 分類器，但依然沒有解決效率低的問題。為此，REN 提出了Faster R-CNN 算法，該算法使用了區域候選網絡（Region Proposal Network，RPN），即有效定位包含目標對象區域的網絡結構。RPN 基于VGG16 或者ResNet101 提取到的特征圖生成候選區域，通過softmax 層判斷這些候選區域是屬于含有目標對象的區域還是不含有目標對象的區域，對含有目標對象的候選區域進行邊界回歸得到精確的位置信息，完成對目標區域的有效定位，隨后將這些候選區域送入到分類網絡中進行分類，并再一次通過邊界回歸獲得最終的精確位置。Faster R-CNN 中所有候選區域的生成和判別均在RPN 上進行，這種操作加快了網絡的檢測速度，但依然達不到實時性的要求。

為進一步加快 網絡的檢測速 度，YOLOv3［25］和SSD 等采用一階段方法的算法相繼被提出，這些算法在設計上借鑒了FCN［26］的全卷積和FPN［27］的多尺度預測的思想。多尺度預測是利用特征提取網絡得到的不同尺寸的特征圖在進行高低層間的特征融合后分別獨立地進行預測操作。全卷積與傳統的CNN 網絡使用全連接層進行分類的方式不同，它在網絡的最后使用1×1 的卷積核代替全連接層，輸出的是與前一層輸入大小相同的特征圖，該特征圖上的每一個點就是網絡對原始輸入圖像的某一塊區域進行的預測；全卷積的目的在于對圖像進行像素級的定位與分類，最后逐個像素地計算位置和類別的損失，相當于每一個像素對應一個訓練樣本；通過全卷積操作，網絡可以減少計算量，從而加快檢測速度，并且只需要將圖像輸入到網絡中就能直接預測結果，實現了單階段檢測。SSD 和YOLOv3 的檢測速度要快于Faster R-CNN，但檢測精度沒有顯著提高。為了提高算法的檢測精度以及對小尺寸目標檢測的能力，YOLOv4［28］使用CSPDarknet53 作為基礎特征提取網絡并且在多尺度預測方面使用PANet［29］，這些方法在PASCAL VOC 和COCO數據集上被證明是有效的。

目標檢測算法在訓練和測試時使用的圖像中的目標對象尺寸與交通場景圖像中的目標對象尺寸之間存在差異，并且交通場景圖像的背景十分復雜，這些原因導致目標檢測算法在直接檢測交通場景圖像中的交通標志時不能發揮出應有的性能，但隨著網絡的不斷改進，這些算法能夠提供較為先進的研究思路。因此，本文結合交通場景圖像中交通標志的分布特點，對YOLOv4 進行改進，提出一個有效檢測交通標志的算法。

2 交通標志數據集

2.1 數據來源

本文建立的數據集中的圖像是基于中國城市道路交通場景所拍攝的，其中40%的圖像是由ZHU［30］和ZHANG［31］及其他們的團隊所提供的，其余的是由本文通過相機拍攝大量有關城市道路交通場景的圖像并將這些照片經過篩選和裁剪后所得。為了保持圖像中真實的道路場景和交通標志，本文將這些圖像尺寸統一成800×800 像素，部分圖像如圖1 所示。這些圖像在不同路況的場景下拍攝，圖像的背景和照片中交通標志的尺寸都與現實中遇到的真實情況一致。

圖1 交通場景圖像Fig.1 Traffic scene images

2.2 數據標注

如圖2 所示，數據集中包含77 種常見的交通標志，圖中每種顏色的框代表一個大的類別，從左到右依次為指示類、禁止類、警告類和交通信號燈，每種交通標志下的字符代表其獨特的標簽（彩圖效果見《計算機工程》官網HTML 版）。在對圖像中的交通標志進行標注時，本文以矩形框的形式標出圖像中交通標志的位置并且給每個交通標志加上特定的類別標簽。這些標注信息以XML 文件格式進行保存并在訓練和測試時提供所需要的標簽信息。

圖2 交通標志類別Fig.2 Traffic sign category

2.3 數據統計

通過對120 000 張交通圖像進行揀選和裁剪，數據集最終由包含15 000 個交通標志實例的11 000 張圖像構成。數據集中交通標志的尺寸（以像素為單位）分布情況如圖3 所示。數據集中有些帶數字的具有相同屬性的交通標志（如pl50 和pl60、il50 和il60 等）在訓練和檢測時將按照各自的屬性分成一類（pl 代表限速標志，il 代表最低速度標志），每種交通標志的實例數量如圖4 所示。

圖3 交通標志尺寸分布Fig.3 Traffic sign size distribution

圖4 交通標志類別分布Fig.4 Traffic sign category distribution

3 本文方法

YOLOv4 算法在對具有復雜背景和目標對象尺寸差異較大的交通場景圖片進行檢測時沒有表現出良好的效果。為此，本文算法以交通標志檢測中所存在的問題為背景，對YOLOv4 算法進行改進，改進算法稱為ME-YOLOv4。下文將分別介紹YOLOv4和ME-YOLOv4 的結構。

3.1 YOLOv4 結構

YOLOv4 結構由以下4 個部分組成：CSPDarknet53作為基礎網絡；SPP［32］作為頸部的附加模塊；PANet 作為頸部的特征融合模塊；YOLOv3的Head作為頭部結構。

YOLOv4 具體結構如圖5 所示。作為YOLOv4中的基礎網絡，CSPDarknet53 是在Darknet53 的每個大殘差塊上加上CSP［33］，最終由一個卷積模塊加上5 個BLOCK 組成；卷積模塊是由Conv2D 層、BN 層和Mish 激活函數組成；每個BLOCK 包含若干個Resblock 和卷積模塊。作為頸部中的附加模塊，SPP模塊對CSPDarknet53 提取到的特征圖進行不同尺寸的最大池化（MaxPooling）操作，其目的是增加網絡的感受野。作為頸部的特征融合模塊，PANet 在FPN 的上采樣（UpSampling）操作后又進行了下采樣（DownSampling）操作，增加來自低層的位置語義信息。YOLOv4 的頭部繼續沿用YOLOv3 的頭部結構，在該結構中，首先使用卷積模塊對下采樣得到的特征圖進行特征提取，然后對特征提取過的特征圖進行全卷積操作得到最終的預測結果。頸部和頭部結構中的卷積模塊是由Conv2D 層、BN 層和Leaky ReLU 激活函數組成。

圖5 YOLOv4 結構Fig.5 YOLOv4 structure

在圖5 中，concat 表示拼接兩個輸入，add 表示將兩個輸入相加，Resblock 表示殘差結構，UpSampling表示上采樣，DownSampling 表示下采樣，Head 表示YOLOv3 的頭部結構，Predict 表示預測值，BLOCK表示具有多個殘差結構的塊，Resblock×n中n代表特定BLOCK 塊中Resblock 結構的數量。

3.2 ME-YOLOv4 結構

ME-YOLOv4 是在YOLOv4 的基礎上進行的改進，具體如下：

1）由于拍攝角度的不同，交通場景圖像中不同交通標志的尺寸存在較大的差異。在構建特征提取網絡時，如果網絡對每層的特征提取僅使用一個尺寸的卷積核，那么提取到的特征圖不能全面有效地包含上層圖像中不同尺寸交通標志的特征語義信息。受到Inception［34］網絡的啟發，本文設計了多尺寸特征提取模塊（Multi-size Feature Extraction Module，MsFEM），并將其應用在特征提取網絡中。MsFEM 的具體結構如圖6 所示，首先使用2 個不同尺寸（s，m）的卷積核對上層的圖像進行特征提取，然后將提取到的兩個特征圖拼接在一起。MsFEM采用不同尺寸的卷積核意味著對圖像使用不同大小的感受野，這有利于提取不同尺寸交通標志的特征語義信息。為了將圖像中不同尺寸交通標志的特征語義信息向特征提取網絡的深層進行傳遞，MsFEM 將提取到的特征圖拼接在一起。

圖6 MsFEM 結構Fig.6 MsFEM structure

2）交通場景圖像背景復雜，除交通標志外，還存在許多在顏色或者形狀上與交通標志相似的其他標志。特征提取網絡在提取特征時也會提取這些標志的特征語義信息，這些錯誤的特征語義信息會在訓練時干擾網絡。如果在網絡提取特征時能夠有效地去除這些標志，那么提取到的特征圖更加具有代表性，這將會使網絡獲得更好的訓練效果。本文中的交通標志可分為警告類、禁止類、指示類、交通信號燈。警告類大多是帶有黑色邊界的黃色三角形；禁止類大多是帶有紅色邊界的白色圓形；指示類大多是藍色背景的圓形或者矩形；交通信號燈是帶有不同顏色圓圈或箭頭的矩形框。根據CNN 特征提取不變性的特點，特征提取網絡在對交通場景圖像進行特征提取時，交通標志的以上特征被完整地提取出來。因此，適當地對提取到的特征圖進行一系列過濾器尺寸不同且步長為1 的MaxPooling 操作，可使得該特征圖中除交通標志以外的其他標志的特征語義信息被削減。因此，本文采用上述方式來去除交通場景圖像中存在的干擾因素。特征提取網絡中特征圖的尺寸會隨著下采樣的過程減小，尺寸越小的特征圖代表著越大的感受野。為了適應這種變化，本文對不同尺寸的特征圖使用不同尺寸過濾器的MaxPooling 操作，每個MaxPooling 操作發生在一次下采樣的過程中。具體過程如圖7 所示，其中MsFEM、MaxPooling（sizen×sizen，s1）和EFFM 模塊是本文的改進之處。

圖7 ME-YOLOv4 結構Fig.7 ME-YOLOv4 structure

3）在FPN 中通過上采樣的方式將高層的特征語義信息與低層的特征語義信息進行融合，目的在于使高層的特征語義信息去彌補低層中未提取到的特征語義信息。這種方式雖能夠豐富各尺寸特征圖的特征語義信息，但是也存在局限性。特征提取網絡在下采樣的過程中會按照比例縮小特征圖的尺寸，導致特征圖中一個像素點相當于一個感受野，這個感受野映射原圖中的一塊區域并且該區域的大小由下采樣的倍數決定。當圖像中被檢測目標的尺寸小于當前下采樣倍數時，這個被檢測目標的特征語義信息就會隨著下采樣的過程而被遺失。在這種情況下，UpSampling 操作就不能對圖像中那些因尺寸小而被遺失的目標實現高低層之間的特征語義信息融合。這種情況導致的結果是網絡對小目標檢測能力較差。本文提出的數據集中存在一定數量的小尺寸的交通標志，為解決以上問題并提高網絡對數據集中交通標志整體的檢測能力，本文設計了增強特征融合模塊（EFFM），具體結構如圖8 所示，其中，3 和1 分別表示卷積核的尺寸。首先在高層特征圖與低層特征圖進行特征融合之前，EFFM 使用卷積模塊對低層特征圖進行特征提取，這樣做的目的是為了進一步提取該層特征圖中有效的特征語義信息尤其是對于尺寸較小目標的特征語義信息。接著EFFM 將低層中經過卷積模塊提取得到的特征圖與來自高層的特征圖進行特征融合，對特征融合后的特征圖使用一個卷積模塊進行特征壓縮。最后為了保持低層特征圖中的位置語義信息，EFFM 將低層中未經過卷積模塊的特征圖通過殘差方式與特征壓縮后的特征圖拼接在一起。通過EFFM 結構，低層最終得到的特征圖既豐富了原有的特征語義信息，又能夠得到來自高層的特征語義信息。

圖8 EFFM 結構Fig.8 EFFM structure

4 實驗

4.1 訓練集

本文所有實驗均在新建立的數據集上進行并對數據集按照8∶2 的比例劃分出訓練集和測試集。此外，本文使用mosaic［28］方法對數據集中樣本數少的類別進行數據增強，以此來保證每個類別在一次迭代訓練中都能夠被訓練一定的次數。

為驗證改進方法的有效性，本文從目標檢測領域典型的算法中分別選取SSD、YOLOv3、YOLOv4和Faster R-CNN，將選取的這些算法和ME-YOLOv4設置了一組對照實驗；另外，還對ME-YOLOv4 中的MsFEM1、MsFEM2 和MaxPooling（sizen×sizen）模塊設置了幾組不同的參數進行實驗，目的是確定一組在數據集上表現較好的參數，這些參數是為適應新建立的數據集中交通標志的尺寸來設定，具體每組的參數設置如表1 所示。在訓練時，每組算法使用相同的超參數設置：初始學習率設為0.001，使用Adam 優化器，衰減系數為0.000 5，動量為0.9，IoU閾值設置為0.5，并且從訓練集中按照7∶3 的比例劃分出驗證集來監視整個訓練過程。所有實驗在1 臺配 備Intel Xeon?Silver 4210 CPU、128 GB 內存和2 個NVIDIA TITAN RTX GPUs 的Linux 服務器上運行，并且使用Tensorflow 深度學習框架。

表1 參數設置Table 1 Parameter setting

4.2 實驗結果與分析

本文運用上述各組算法的訓練權重對測試集進行檢測，并使用PASCAL VOC 測試的評價指標來評估每組算法在測試集上取得的結果。每組算法在數據集上取得的平均精度均值（mean Average Precision，mAP）如表2 所示，其中加粗字體為最優值。

表2 各組算法的mAP值Table 2 mAP value of each group algorithms %

從表2可以看出，在數據集上，ME-YOLOv4 I～MEYOLOv4 IV 四組算法取得的mAP 值分別為82.55%、82.90%、83.63%、83.48%，SSD、YOLOv3、YOLOv4 和Faster R-CNN 取得的mAP 值分別為76.22%、75.72%、80.37%和77.13%。本文改進的算法取得的最好的mAP 值比SSD、YOLOv3、YOLOv4 和Faster R-CNN取得的mAP 值分別高出7.41、7.91、3.26、6.5 個百分點。實驗結果表明，本文改進方法提高了YOLOv4算法同時定位和分類交通標志的能力，也表明了MEYOLOv4 III 算法對交通標志檢測的能力優于其他的算法。該算法也可被用于檢測現實交通場景圖片中的交通標志。

在數據集中每個類別上取得的平均精度（Average Precision，AP）值如表3 所示，其中加粗字體為最優值。從表3 可以看出，在所有類別上ME-YOLOv4 I～ME-YOLOv4 IV四組算法取得的最小AP值分別是0.34、0.36、0.40、0.40，SSD、YOLOv3、YOLOv4 和Faster RCNN 取得的最小AP 值分別是0.23、0.29、0.35 和0.26。此外，在每個類別上，ME-YOLOv4 I～ME-YOLOv4 IV四組算法取得AP 值大于0.7 的類別數占總類別數的比例分別是82%、83%、85%、90%，SSD、YOLOv3、YOLOv4和Faster R-CNN 取得AP 值大于0.7 的類別數占總類別數的比例分別是73%、74%、77%、73%。

表3 各組算法在每個類別上的AP值Table 3 AP value of each group of algorithms on each category

5 結束語

針對交通標志檢測領域存在的問題，本文建立一個新的交通標志數據集，并基于YOLOv4 算法設計多尺寸特征提取模塊和增強特征融合模塊最終對改進算法中不同的模塊設置多組不同的參數，進行對比實驗。實驗結果表明，改進算法能夠有效地提高YOLOv4 算法同時定位和分類交通標志的能力。下一步將繼續擴大數據集中交通標志的種類和數量，提高算法在背景復雜的交通圖像中檢測與識別尺寸差異較大的交通標志的能力。