基于多尺度融合和特征對齊的實時高精度交通標志檢測與識別

萬昊，任永國

（1.百度在線網絡技術有限公司，北京 100085；2.北京郵電大學，北京 100876）

1 引言

安全自動駕駛和智能交通需要對海量信息進行實時高精度處理，包括道路檢測、車輛檢測、行人檢測、交通標志檢測和識別等測量、分析和執行[1]。

交通標志是智能交通系統中不可或缺的組成部分。作為一種重要的交通管理工具，它可以幫助人們明確道路規則和行車指導，減少事故發生的概率，提高道路交通的安全性。隨著智能交通系統的發展，交通標志檢測成為了一項必不可少的研究內容。實時準確的交通標志檢測和識別對安全的自動駕駛和智能交通至關重要[2]。它主要涉及車輛碰撞的引導和警告、限速和轉彎通知。另一方面，由于類內的可變性、類間的相似性和不良的標準化，它又很具有挑戰性[3]。此外，惡劣的天氣、不斷變化的照明、運動模糊、背景變化和物體遮擋都給交通標志的檢測、識別和理解帶來了困難。

為了解決這一具有挑戰性的任務，研究者們已提出了許多算法。在以往的研究中，該任務一般分為交通標志定位、分割和分類幾個連續的部分[2,3]。大多數技術使用顏色和形狀作為重要線索。然而，在惡劣條件下和背景變化的情況下，這些線索就不可靠了。具體來說，圖像處理的整個過程對圖像閾值分割、邊緣檢測、梯度分析和特征提取都很敏感，因此，容易造成高誤報[3]。

卷積神經網絡（Convolutional Neural Networks，CNN）仍然是交通標志檢測和識別的核心，因為它可以將檢測和識別納入到一個端到端的優化過程中[1]。Yang 等[4]開發了一種具有雙多尺度模塊的全卷積網絡（Fully Convolutional Network，FCN），可以抑制誤報。Zhu 等[5]將FCN 引導的交通標志提案與基于CNN 的交通標志分類相結合。Li 等[6]將兩個CNN 整合成一個具有不對稱核的新結構，并使用顏色和形狀來細化定位和分類。Natarajan等[7]設計了一種新的訓練方法，對多個CNN 進行加權以提高性能。Tabernik等[8]使用在線硬例挖掘、樣本加權和數據增強來適應Mask RCNN。Cao 等[9]使用顏色進行空間分割，使用形狀特征進行符號定位，并使用Gabor 核初始化顯示CNN 進行分類。Yuan 等[10]利用多尺度特征融合網絡，并使用垂直空間序列關注模塊獲取上下文信息以獲得更好的性能。Tian 等[11]將鄰近層的相關上下文合并到檢測架構中，并開發了一種基于循環注意力的新方法用于多尺度分析。Liu 等[12]設計了一個基于多尺度區域的CNN，它連接了深層和淺層特征層，并利用多尺度上下文區域來利用周圍信息進行符號識別。Sun等[13]構建了一個密集連接相關的傳輸連接塊來結合高、低層特征，并提出了一種錨點設計方法，為檢測小型交通標志提供合適的錨點。Liu 等[14]開發了一種目標網格預測FCN，可以從粗定位到精定位檢測靈活的潛在目標區域。基于交通標志的統計特征，Tang等[15]引入了一種輕量級操作來提高推理速度，即集成用于解決樣本不平衡問題的柵格運算，以及針對大小差異增強特征表示的特征聚合結構。Liu 等[16]學習尺度感知和上下文豐富的特征來識別小的和閉塞的交通標志，并使用用于多尺度自注意力學習的注意力驅動的雙邊特征金字塔網絡和用于利用上下文豐富表示的自適應感受野融合塊來更新網絡。Lin 等[17]應用多尺度特征融合網絡來提高識別精度和泛化能力。

深度網絡YOLO[18]在交通標志檢測和識別中很受歡迎。文獻[19]采用不同感興趣區域的并行預處理來加快推理速度。文獻[20]將網絡與數據增強和多尺度空間金字塔池相結合，以提高性能。在文獻[21]中，為了獲得更好的結果，YOLO 采用不同核大小的混合深度卷積和同層到跨層的注意力特征融合進行更新。文獻[22]則使用自適應注意力和特征增強對網絡進行升級，以減少信息損失以增強特征表示。

本文從特征提取和特征增強兩個方面對骨干網絡YOLOⅤ4進行了升級，設計了一種新的注意力機制模塊，降低了復雜度。主要貢獻概括如下。

對特征提取，設計了一個多尺度融合模塊，以在殘差塊內構建分層連接，以增加感受野，并修改了注意力機制模塊，以納入上下文信息，以豐富精細細節。

對特征增強，將特征選擇模塊和特征對齊模塊相結合，以很好地處理冗余特征圖以及補丁上采樣和下采樣之間的像素移位，以匹配高級別和低級別的語義特征圖。

特征提取和特征增強有助于提高交通標志檢測和識別性能，與TT100k 數據集上的骨干網絡YOLOⅤ4相比，本文提出的網絡取得了更好的效果。

2 網絡架構

如圖1 所示，本文提出的網絡架構是基于骨干網絡YOLOⅤ4的特征提取（FEx）和特征增強（FEh）進行升級的。前者集成了多尺度融合模塊（Multi-Scale Fusion Module，MFM）和注意力機制模塊（Attention Mechanism Module，AMM），后者集成了特征選擇模塊（Feature Selection Module，FSM）和特征對齊模塊（Feature Alignment Module，FAM）。

圖1 升級后的YOLOV4架構

2.1 多尺度融合模塊（MFM）

現實環境中，需在不同的背景和燈光照明下，在不同的范圍內獲取交通標志。多尺度特征融合對圖像表示非常重要。由于實際場景中交通標志尺寸較小，在圖像中整體像素占比不超過1%，若在特征提取階段頻繁使用卷積進行下采樣，將會導致在深層特征圖中小目標的特征難以被定位甚至導致消失。因此通常使用淺層特征層檢測小目標，因為淺層的圖像分辨率大、包含的細節信息更多。而深層特征層通常被用來預測大、中尺寸目標，因為深層特征包含更豐富的語義信息。實際自動駕駛場景下的交通標志檢測任務，一幅圖像中通常包含各種尺寸不一的目標實例。現有網絡更傾向于使用不同分辨率的數據輸入來改進特征表達。在本研究中，相同的3 × 3卷積核被替換為單個殘差塊內的分層多尺度結構，因此，每個實例都可以在更細粒度的級別上表達，從而增加了每個網絡層的感受野大小，提高了網絡對不同尺寸目標的特征表達能力。MFM 的結構如圖2所示。

圖2 多尺度融合模塊（MFM）結構

具體來說，MFM 對輸入特征進行1 × 1 卷積，其輸出被傳送到X1,X2,…,Xs的不同通道。除X1外，其他通道將前一組特征映射的輸出相加。過程可以用公式（1）表示，其中Xi表示均衡化后的小塊，s為平均分組的個數（s= 4），ki表示對特征圖i進行卷積核為3 ×3的卷積運算，y表示卷積后的輸出。最后，s個輸出通道通過了用于特征圖聚合的1 × 1卷積。

MFM 在瓶頸殘差塊中采用了3 × 3 卷積的塊復用，在不增加網絡參數的情況下進行多尺度通道融合，使得網絡提取出來的特征表達能力更強。

2.2 自注意力機制模塊（AMM）

由于交通標志檢測任務對圖像分辨率的要求較高，若直接使用傳統的自注意力機制處理長序列文本或高分辨率圖像，將會導致極大的計算開銷。因此對自注意力機制計算相似度矩陣的方式進行優化，提出了一種輕量化的自注意力機制模塊（AMM）。受非局部機制的啟發[23]，通過使用Key 和Query 的互協方差矩陣，并將原始自注意力機制在空間維度上的點積操作轉變為在通道維度上的點積操作。其保持了全局表示，能夠更加高效地處理高分辨率圖像，對小型交通標志的檢測能力有所提高。同時，計算復雜度從O（n2）大幅降低到O（n），極大地降低了計算開銷。

AMM 結構如圖3 所示。首先，該模塊同樣使用三個1 × 1 卷積對輸入特征圖進行線性變換，得到三個向量分支（Q、K 和Ⅴ）。然后，通過乘法計算Q 和K之間的相似矩陣，并通過Softmax 函數將值歸一化。不同于自注意力機制直接在空間維度上進行點積操作得到相似度系數矩陣，該模塊是在通道維度上進行點積運算。接下來，通過矩陣乘法將歸一化的相似系數疊加到Ⅴ上。最后，通過卷積運算將疊加的特征維數恢復到與原始特征圖相同的維數，并通過與原始特征圖X相加來補充上下文信息。

圖3 注意機制模塊（AMM）的結構

2.3 特征選擇模塊（FSM）

卷積神經網絡的最新發展在交通標志檢測領域取得了顯著飛躍，交通標志檢測領域的研究者們經常會用到特征增強網絡去融合不同語義的特征。而當下大多數現有的方法為了設計簡單而忽略了特征對齊問題，上采樣之后的特征和局部特征之間直接進行像素相加會導致未對齊的上下文信息，進而導致預測過程中的錯誤分類。

在對特征通道進行降維之前，強調包含豐富空間細節信息的特征圖是非常重要的，這將便于資源的精準分配，同時抑制冗余的特征。因此本節使用特征選擇模塊（FSM）來對特征圖每個通道的重要性進行顯式建模，并相應地對它們進行重新校準。

FSM 的目的是保持具有豐富空間細節的特征圖，同時降低特征維數。FSM的結構如圖4所示。本節所使用的特征選擇模塊首先會將每個輸入特征圖通過全局平均池化層以提取其全局信息，然后通過特征重要性建模函數學習使用全局信息對通道的重要性進行建模，再將重要性向量作用于原始的輸入特征圖上并將其進行縮放，再將縮放之后的特征圖與原始特征圖進行相加，得到重縮放特征圖。最后，在重新縮放的特征圖上引入特征選擇層，用于選擇性地保留重要通道信息并丟棄掉無用的特征信息以進行通道降維。

圖4 特征選擇模塊（FSM）的結構

公式（2）定義了映射通道的特征選擇過程。給定一個輸入地圖Ci，特征重要性函數fm學習使用全局信息z對地圖通道進行建模。同時，形成重要性向量μ。最后，引入特征選擇層s對組合映射Ci+μ*Ci縮放，以突出重要的通道信息并抑制相對冗余的特征。

本節所使用的特征選擇模塊的設計靈感是來自于通道注意力機制SENet 的，主要區別在于該模塊在輸入特征圖和縮放特征圖之間引入了額外的跳躍連接，可以避免任何特定的通道相應被過度放大或者過度抑制。

2.4 特征對齊模塊（FAM）

由于在特征提取過程中重復地使用下采樣操作，會使得上采樣之后的特征圖和其相應的局部特征之間存在可見的像素錯位，因此直接使用像素相加或者通道拼接的融合方式會損害圖像邊界的目標檢測。所以在特征融合之前，把上采樣之后的高級語義特征和其對應的局部空間特征對齊是非常重要的，因此本節使用一個特征對齊模塊（FAM）來根據局部特征圖所提供的空間位置關系來調整其所對應的上采樣之后的特征圖。

遞歸下采樣和上采樣導致可見的空間錯位。直接添加或通道拼接會破壞物體邊界的預測，因此，對齊相應地圖的低級和高級語義特征成為必要步驟。根據相應的局部特征圖提供的空間位置信息，使用FAM 對上采樣后的特征圖進行調整。FAM 的結構如圖5所示。

圖5 特征對齊模塊（FAM）的結構

如上圖5 所示，特征對齊模塊首先會將上采樣之后的特征圖與其所對應的局部特征圖進行拼接，然后通過一個普通的3 × 3 卷積函數去學習這兩層特征圖之間的像素偏移量，可以得到一幅通道維度為2N的偏移量圖，前N維代表每個像素點在水平方向上的偏移，后N維代表每個像素點在垂直方向上的偏移，接著將學習到的偏移量用于上采樣之后的特征圖，最后在該特征圖上使用一個3 × 3可變形卷積函數進行對齊。

公式（3）為特征對齊過程。其中，Piu表示上采樣后的特征圖，Ci-1表示其所對應的局部特征圖，Pou表示經過對齊之后的輸出特征圖。使用一個普通的3 ×3 卷積函數fo來學習這兩層特征圖之間的像素偏移，得到一個維數為2n的偏移量圖。前n維表示每個像素的水平偏移量，最后n維表示每個像素在垂直方向上的偏移量。最后，將學習到的偏移量Δi應用于上采樣之后的特征圖，與文獻[24]一樣，可變形卷積函數fɑ用于像素級特征圖對齊。

3 實驗及結果分析

3.1 實驗設計

3.1.1 數據集

大規模中國交通標志數據集TT100K 數據集[5]非常具有挑戰性，其由清華大學和騰訊實驗室聯合收集和整理而成。該數據集包含近100,000 張圖像，其中包含30,000 個交通標志實例，涵蓋了光照和天氣等各種條件變化，這些圖像是由6 個像素非常高的廣角單反相機在中國的300 多個城市拍攝的騰訊街景全景圖。圖像樣本包含了遠景拍攝、近景拍攝等場景，且存在復雜自動駕駛道路背景、以及各種遮擋等現象，該數據集相比于之前的中國交通標志數據集，在標注類別和圖像清晰度等方面具有更大優勢，也更適合國內交通標志檢測的研究。TT100K 數據集在中國交通標志標注方面非常全面，即使是很小的目標也能被精準標注，其中尺寸在20 × 20 以下的目標占據了很大的比例。正是由于小尺寸交通標志數量眾多，使得模型的檢測過程變得更加具有挑戰性，因此該數據集更能檢測一個交通標志檢測模型的性能和效果。其包含有詳細注釋的交通標志，涵蓋了不同的現實環境。在數據集中，不同類別的交通標志的實例數量是不均勻的。

由于TT100K中國交通標志數據集中標記了大量的交通標志類別，但某些類別的實例數量卻相對較少，這就導致了不平衡的數據分布，這種情況與實際自動駕駛場景的情況符合。在本研究中，選取數據量超過100 張圖像的45 類交通標志進行后續實驗。具體來說，訓練集包含6107張圖像，測試集包含3073張圖像。

3.1.2 性能指標

本研究對比了Faster RCNN[25]、RetinaNet[26]、YOLOv3、YOLOX[27]、基線YOLOⅤ4[18]以及本文提出的網絡，利用每秒浮點運算數（FLOPs）、不同交點的平均精度（mAP）和每秒幀數（FPS）作為評價指標進行量化結果分析。

3.1.3 參數及環境設置

初始學習率為0.01，采用余弦退火策略降低學習率。epoch數和batch size分別固定為300和64。其他參數設置為默認值。

深度神經網絡由Python（3.8 版本）和Pytorch（1.7版本）實現。代碼部署在Win10 工作站（64 位操作系統，8 核CPU，16GB RAM，NⅤIDIA GeForce RTX3070，16GB 內存）上。

3.2 實驗結果

表1 給出了六種深度網絡在TT100K 數據集上交通標志檢測與識別的對比結果。每個指標的最佳表現以黑體字表示。

表1 TT100K數據集上的性能比較

可以看出，本文提出的網絡在mAP@0.5 和mAP@0.5:0.95 指標上達到最高，其次是YOLOX 和YOLOⅤ4。同時，6 個網絡中有4 個滿足實時性要求（≥20FPS）。此外，發現基于CSPDarknet 骨干網構建的網絡比使用ResNet 的網絡具有更好的性能。最重要的是，與基線YOLOⅤ4 相比，提出的網絡在mAP@0.5 上高出7%，在mAP@0.5:0.95 上高出4%。另一方面，由于集成了四個不同的模塊，所提出的網絡導致FLOPs增加，FPS略有下降。

測試結果表明，本文提出的網絡提高了交通標志檢測和識別性能，滿足實時圖像處理。

3.3 消融實驗

進行消融實驗以量化升級單元（FEx和FEh）對性能改進的有效性，表2顯示了結果。

表2 消融實驗和其他最先進網絡的比較

可以觀察到，FEx 和FEh 都對改進有積極的貢獻，FEx 在精度、召回率、mAP@0.5 和mAP@0.5:0.95上分別提高了3.3%，0.6%，2.9%和1.1%。值得注意的是，同時使用FEx 和FEh 結果明顯提高（精度，7.9%↑；召回率，3.7%↑；mAP@0.5，7.0%↑；mAP@0.5:0.95，3.9%↑），這表明升級基線網絡有助于提高檢測和識別性能。

與五個最先進研究的比較也顯示在表2中。結果表明，本文提出的網絡達到了最高的準確率和第三高的召回率和mAP@0.5，并且循環注意力[11]、周圍情境[12]和遷移學習[20]可能有利于檢測和分類。另一方面，需要注意的是文獻[11]將交通標志分為三類，文獻[12]采用了不同的數據分割策略，文獻[20]需要統一大小的輸入圖像。

3.4 實例分析

圖6 展示了四個交通標志檢測和識別結果的實例，在每個實例中用矩形定位，并將與置信度評分配對的交通標志進行了放大。

圖6 交通標志檢測和識別的對比示例

從圖中可以看出，Faster RCNN、YOLOⅤ4 和所提出的網絡對所有的交通標志進行了定位和識別，而RetinaNet 和YOLOⅤ3 則錯過了一些實例（第一行和第四行）。此外，所提出的網絡產生了更高的置信度分數，因此可正確識別實例。

通過使用FEx和FEh對YOLOⅤ4進行升級，可以顯著提高交通標志檢測和識別的性能，主要原因包括：（1）骨干網絡YOLOⅤ4 相較于其他網絡（如RetinaNet 和Faster RCNN）具有更優越的性能，這可以從表1 和圖6 中觀察到；（2）FEx 包含了交通標志的多尺度融合和自注意力機制以及豐富的層次表達，提高了檢測和識別性能（見表2）。基于多尺度融合的自注意力學習也被設計用于拓寬接受域和增強上下文豐富表征[16]；（3）FEh 可以校正像素偏移并對齊高低特征圖，從而更好地進行語義識別（見表2）。

4 結論

實時高精度交通標志檢測和識別在自動駕駛和智能交通領域具有挑戰性。本研究通過多尺度融合和特征對齊對YOLOⅤ4 骨干進行升級，提高識別性能，并在注意力機制模塊上設計了一種新的轉置操作，大大降低了時間復雜度。在TT100K數據集上，升級后的網絡達到了目前最先進的性能，滿足了實時性要求。未來，將考慮進一步改進數據增強、循環注意力、遷移學習和高級架構。