融合注意力機制和上下文信息的實時交通標志檢測算法

馮愛棋，吳小俊，徐天陽

江南大學 人工智能與計算機學院 江蘇省模式識別與計算智能工程實驗室，江蘇 無錫 214122

交通標志檢測任務是自動駕駛系統的重要組成部分。提前檢測出前方的交通標志可以給駕駛系統和駕駛者提供極其關鍵的道路交通信息，如限速80 km/h、注意人行橫道、禁止鳴笛等信息。由于交通標志尺寸小、遮擋變形、褪色老化和外界光線變化等因素，該任務充滿了挑戰。

在早期工作中，許多研究人員通常利用交通標志獨特的顏色和形狀特征來定位和識別交通標志[1-3]。他們通過方向梯度直方圖（histogram of oriented gradients，HOG）[4]和尺度不變特征變換（scale-invariant feature transform，SIFT）[5]等方法，使用手工設計的局部特征來搜索可能包含交通標志的區域，再用分類器預測類別。盡管上述方法獲得廣泛的關注，但是人工設計的特征常獨立于訓練過程，因此這些方法在實際應用中常獲得次優的性能，并且在上述提及的具有挑戰性的場景中很難保持良好的泛化能力。

為了解決基于人工設計特征方法存在的問題，出現了許多基于卷積神經網絡（convolutional neural network，CNN）的目標檢測算法，該類方法可以在訓練過程中學習更深層次的語義特征，相較于手工設計的特征具有更好的魯棒性和泛化性。基于CNN的目標檢測算法根據檢測階段劃分可以歸納為兩類：兩階段目標檢測算法和一階段目標檢測算法。兩階段目標檢測算法主要是基于R-CNN（region with convolutional neural network features）[6]的一系列算法，代表算法如Faster R-CNN[7]、Cascade R-CNN[8]和Mask R-CNN[9]等。該類方法首先利用區域提議網絡（region proposal network，RPN）選擇可能包含物體的感興趣的區域（region of interests，RoI），然后對RoI進行分類和定位。而一階段檢測器則將目標檢測視為回歸任務，直接在圖像上預測邊界框和類別，包括SSD（single shot multibox detector）系列算法[10-11]和YOLO（you only look once）系列算法[12-15]等。這些通用的檢測算法對于分辨率高、外觀清晰的中大型物體檢測效果很好，但對于像交通標志這類小目標表現不佳。MS COCO 數據集中將分辨率小于32×32 像素的目標定義為小目標。由于小目標在圖像中占據很少的像素區域，CNN 在沒有足夠表觀信息支撐的情況下很難學習到豐富的、有判別性的特征表示。為了提高小尺度交通標志的檢測精度，可對RoI進行超分以保留更多的特征，例如Li等人[16]提出感知生成對抗網絡（generative adversarial network，GAN），通過對RoI 的特征圖進行超分操作以保留更多的小目標的特征，但是由于缺乏直接的高分辨率的特征圖作為監督信號，經超分得到的高分辨率特征圖的質量受到限制。

近年來，注意力機制在神經網絡中得到廣泛研究和應用[17-22]，通過模擬人類感知系統中的信息處理方式，神經網絡有選擇地更加關注某些區域，聚焦更有價值的信息。SENet（squeeze-and-excitation networks）通過探索特征圖中不同通道的重要程度，加強有用的特征并抑制不相關的特征，優化了通道結構，提高了網絡的表征能力。Zhang 等人[20]通過將Faster R-CNN與通道注意力機制相結合來優化RoI 的特征來改善小尺度交通標志的檢測精度。Wang等人[21]在特征金字塔網絡（feature pyramid network，FPN）[23]的基礎上利用自適應注意力模塊和特征增強模塊來減少特征圖生成過程中的信息丟失，進而增強特征金字塔的表示能力，提高模型對小中大尺度交通標志的檢測性能。郭璠等人[22]在YOLOv3 的基礎上引入通道注意力和基于語義分割引導的空間注意力機制，使網絡聚焦并增強有效特征，但該算法引入大量參數，不能滿足檢測實時性要求。

除了突出目標本身的表觀信息，利用與待檢測物體相關的物體或環境等上下文信息也有助于檢測小目標[24]。以此概念為基礎，為了能檢測出小尺度人臉，Hu 等人[25]同時提取RoI 及其周圍區域信息，利用周圍區域中的人體信息提高對小尺度人臉的檢測精度。為了充分利用上下文信息幫助檢測小尺度交通標志，馬宇等人[26]通過級聯多個擴張卷積擴大感受野，從而補充物體周圍的上下文信息。Chen 等人[27]提出交叉感受野模塊增加模型的感受野，構建重要的上下文特征。區別于擴大感受野，Yuan 等人[28]提出的垂直空間序列注意力模塊從垂直方向補充小尺度交通標志的上下文信息，改善算法對小尺度交通標志的感知能力。

盡管以上方法有效提高了交通標志的檢測精度，但由于交通標志在圖像中占比小以及背景干擾，在實際場景中仍存在較多漏檢情況，并且已有方法不能很好地滿足實時性要求。針對上述問題，本文基于YOLOv5 提出融合注意力機制和上下文信息的實時交通標志檢測算法。由于交通標志通常出現在圖像的固定區域，首先在主干網絡中嵌入空間注意力模塊，強化重要的空間位置特征，抑制干擾信息，提高主干網絡的特征提取能力；另外在主干網絡末端引入窗口自注意力機制，捕獲全局上下文信息，挖掘與交通標志相關的周圍信息來提高小尺度交通標志的檢測精度。其次，利用Ghost 模塊構建輕量的特征融合網絡，對不同尺度的特征圖進行融合，減少計算量的同時確保有效的特征融合；在后處理階段，提出高斯加權融合方法對預測框進行修正，進一步提高檢測框的定位精度。在TT100K 和DFG 交通標志檢測數據集上的實驗表明，本文算法具有較高的準確性，有效地改善了小尺度交通標志的漏檢情況，同時檢測速度可達80 FPS，可以滿足實際場景中交通標志檢測任務的高準確性和高實時性需求。

1 理論基礎

1.1 YOLOv5目標檢測算法

YOLOv5 檢測算法廣泛使用在學術研究和工業應用，根據網絡深度和網絡寬度的不同可分為YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x，模型計算復雜度逐漸增多，檢測精度逐漸提升。YOLOv5主要由特征提取主干網BackBone、特征融合Neck和檢測頭Head三部分構成，如圖1所示。

圖1 YOLOv5模型結構圖Fig.1 Model structure of YOLOv5

BackBone 作為主干網絡用于提取特征，主要由Conv、CSP（cross stage partial）和SPPF（spatial pyramid pooling fast）等模塊組成，如圖2 所示。Conv 模塊是由卷積、批標準化（batch normalization，BN）和Sigmoid 線性單元（Sigmoid linear unit，SiLU）組成的基本卷積單元。SPPF 模塊首先通過1×1 卷積壓縮通道，然后相繼經過3個不同尺寸（5、9和13）的最大池化，最后用1×1 卷積調制通道數與輸入通道數相同。多尺度的池化操作豐富了感受野，同時有助于解決anchor和特征圖的對齊問題。相較于SPP，SPPF在保持精度的同時減少參數量和計算量，加快推斷速度。CSP模塊是YOLOv5中最重要的特征提取模塊，左右分支分別采用1×1 卷積將通道數縮減一半，然后左分支輸進一個殘差塊，最后將兩個分支的特征進行拼接并用1×1 卷積優化拼接后的特征。CSP模塊通過將部分特征進行更深的特征提取，減少冗余特征且補充原始的特征，獲得語義豐富的特征圖。

Neck部分是路徑聚合網絡（path aggregation network，PANet）[29]，PANet 在FPN 的基礎上增加了自下而上的分支，將FPN中淺層的位置信息，通過該分支逐步傳遞到深層中，增強深層中的位置信息。通過自上而下、自下而上兩個分支和單邊連接，增強了各個輸出層級的位置信息和語義信息，優化了各個輸出層級的特征表示。

Head部分的核心是預測，對于Neck中輸出的三種不同尺度的特征圖，Detect模塊采用1個1×1 卷積將通道調制為B×(5+C)維的預測向量，其中，B為每個網格點的預測框數，5+C對應目標的4 個回歸參數、置信度和C個類別概率，最后通過非極大值抑制（non-maximum suppression，NMS）剔除冗余的檢測框保留剩余的預測框。

1.2 多頭自注意力

在過去的兩年中，Transformer 在許多計算機視覺任務中展現了出色的性能[30-31]。Transformer 將圖像劃分為一系列圖像塊，通過多頭自注意力（multihead self-attention，MHSA）從全局學習圖像序列之間的復雜依賴關系，捕獲全局信息和豐富的上下文信息。多頭自注意力有助于學習物體之間及物體與周圍環境的關系，對小物體和被遮擋物體表現良好。給定一個圖像輸入序列X∈RN×d，多頭自注意力包含h個頭，對于自注意力頭i，SAi執行如下運算：

2 融合注意力機制和上下文信息的實時交通標志檢測算法

針對現有的交通標志檢測算法常無法滿足檢測實時性要求且在小尺度交通標志檢測時存在較多漏檢的問題，本文以YOLOv5 中最小的檢測模型YOLOv5s作為基準模型，提出融合注意力機制和上下文信息的實時交通標志檢測算法。首先，在主干網絡中嵌入設計的跨階段局部空間注意力（cross stage partial spatial attention，CSP-SA）模塊以強化關鍵位置特征，提高主干網絡的特征提取能力；其次，在主干網絡末端引入窗口自注意力機制，設計跨階段局部窗口Transformer（cross stage partial window transformer，CSP-WT）模塊用于學習不同位置信息的關聯性，捕獲物體周圍的上下文信息；再次，利用Ghost 模塊構建Ghost 路徑聚合網絡（ghost path aggregation network，Ghost PAN）對不同尺度的特征圖進行高效融合；最后，采用高斯加權融合方法修正預測框，進一步提高預測框的定位精度。本文算法的總體結構圖如圖3所示。

圖3 本文算法的總體結構圖Fig.3 Overall framework of proposed method

2.1 跨階段局部空間注意力模塊

首先，針對交通標志檢測這一特定目標檢測任務，圖4 統計了交通標志在TT100K 數據集上的位置分布情況，可以發現，交通標志一般處在圖像的中部區域，聚焦于該區域的特征提取可以提高交通標志的定位精度。

圖4 TT100K數據集上交通標志位置分布圖Fig.4 Location distribution of traffic signs on TT100K dataset

同時，交通標志一般都設置在警示牌或交通桿上，聚焦這些關鍵區域有助于提高檢測精度。基于該發現，本文在主干網絡的CSP模塊中嵌入空間注意力機制，設計CSP-SA（cross stage partial spatial attention）模塊，如圖5 所示。CSP-SA 模塊加強了感興趣的空間區域，抑制不相關的區域，進一步強化主干網絡的特征學習能力。對于輸入特征圖F∈RC×H×W，H、W、C分別表示特征圖的高、寬和通道數，首先輸入上下兩個分支并分別采用1×1 卷積將通道數縮減一半，上分支得到特征圖，將下分支得到的特征圖從通道維度上分別選擇最大值和平均值，并將得到特征圖拼接得到特征圖，F′的具體實現公式為：

圖5 CSP-SA模塊Fig.5 CSP-SA module

式中，GAP(?)表示全局平均池化，GMP(?)表示全局最大池化，Concat(?)表示通道拼接。F′包含了每個位置點的平均值和最大值信息，然后通過1×1 卷積從F′中學習每個位置點的權重，接著采用Sigmoid激活函數獲得0到1之間歸一化的空間權重圖，最后將空間權重圖與Fd進行逐位相乘操作，即將注意力權重圖逐像素點加權到Fd的每個特征點上，得到經過空間注意力增強的特征圖，Fs的具體實現公式為：

CSP-SA 模塊通過在CSP 模塊中引入空間注意力機制，學習空間注意力權重圖實現對原始特征圖的空間位置進行不同程度的加強和抑制，使得最終的特征圖更關注含有交通標志的空間位置。相較于直接使用空間注意力模塊，CSP-SA模塊減少了冗余特征，具有較少的計算量，同時補充了原始特征，獲得了語義更加豐富的特征圖。

2.2 跨階段局部窗口Transformer模塊

已有的交通標志方法通過擴張、疊加感受野獲得上下文信息，缺少對全局上下文信息的利用，而本文利用Transformer 學習不同像素點之間的關系，與CSP 相結合設計了輕量有效的跨階段窗口Transformer模塊，從全局和局部捕捉交通標志周圍有價值的信息，改善交通標志的漏檢情況。多頭自注意力可以學習圖像像素點之間的依賴關系，捕獲圖像中目標與場景或目標與目標之間的關聯信息，利用小目標周圍的上下文信息，進而幫助檢測小目標。但是，在高分辨率特征圖上做全局自注意力的計算復雜度和內存消耗是巨大的。為了提高計算效率并且減少內存消耗，本文結合窗口Transformer 和CSP 設計CSP-WT（cross stage partial window Transformer）模塊，有效地減少了計算量和內存消耗，同時可以捕獲物體周圍的上下文信息，改善物體的漏檢情況。如圖6 所示，窗口Transformer 包含兩層：第一層是窗口多頭自注意力（window multi-head self-attention，W-MHSA），通過將特征圖平均劃分為多個子窗口，然后在局部窗口中計算自注意力；第二層是一個多層感知機（multilayer perceptron，MLP）。其中，每一層都包含層歸一化（layer norm，LN）和殘差連接。對于特征圖F∈RC×H×W，局部窗口大小為K×K，全局的MHSA和基于窗口的W-MHSA的計算復雜度如下：

圖6 Window Transformer和CSP-WT模塊結構圖Fig.6 Structures of Window Transformer and CSP-WT modules

對于高分辨率特征圖，基于窗口的自注意力計算復雜度大大降低。為了進一步減少計算量同時保留CNN 和Transformer 的特征，設計CSP-WT 模塊，將窗口Transformer 嵌入到CSP 模塊中，如圖6 右圖所示，左側分支利用1×1 卷積減少通道數進而減少Transformer 的計算量和內存消耗，右側分支的1×1卷積保留CNN 提取的特征，最后進行通道拼接獲得豐富且有判別性的特征表示。

2.3 輕量的特征融合網絡

Han 等人[32]指出卷積神經網絡中的特征圖存在大量相似的特征圖，這些相似的特征圖可以通過廉價的操作獲得并提出Ghost 模塊，如圖7 所示。對于輸入特征圖F，首先通過1×1 卷積將通道數減半獲得本征特征圖FI，再采用線性操作如分組卷積對其進行變換獲得Ghost 特征圖FG，最后拼接本征特征圖和Ghost特征圖。

圖7 Ghost模塊Fig.7 Ghost module

對于輸入的特征圖F∈RC×H×W，第一層1×1卷積的參數量為1×1×C×C′，第二層k×k分組卷積的參數量為，其中，k和g分別表示分組卷積的卷積核大小和分組數。在本文中，C′和g都為C的一半，Ghost模塊的參數量為。常規的k×k卷積的參數量為k×k×C×C，記作P2。參數量壓縮比rc計算如下：

常規卷積的參數量約為Ghost 模塊的2k2倍，表明Ghost 模塊可以極大地減少參數量。本文利用Ghost 模塊構建輕量的特征融合網絡Ghost PAN，如圖3所示，可以在節省參數量和計算量的同時保持特征融合效果。

2.4 高斯加權融合方法

對于檢測頭產生的大量的預測框，YOLOv5中采用NMS篩選預測框。首先選擇置信度得分最高的預測框，然后剔除與其交并比（intersection over union，IoU）值大于等于閾值的框，保留小于閾值的框。由于NMS 直接將與其IoU 值大于等于閾值的框去除，如果得分最高的框的定位不一定精準，而被剔除的框中包含有定位更精準的框，則會導致定位精確的框被剔除，如圖8（b）所示，經NMS 處理后保留的預測框的定位精度并不高。為了進一步提高定位精度，本文提出高斯加權融合（Gaussian weighted fusion，GWF）方法。首先，將得分最高的預測框作為基準框，將與其IoU 值大于等于閾值的框視作候選框，將這些候選框按置信度得分從大到小排序選擇N個框，計算N+1 個框的均值框bmean。區別于Li等人[33]直接采用IoU作為權重系數的邊界框加權融合策略，為了更好地保留高IoU的預測框，本文對于保留的預測框采用高斯權重系數加權融合，得到最終的預測框bmerge。在消融實驗中，驗證了高斯加權相較于線性加權具有更好的定位精度。

圖8 NMS和高斯加權融合方法對比Fig.8 Comparison of NMS and Gaussian weighted fusion method

如圖8（c）所示，該方法有效地修正了預測框，更貼近真實框。具體公式如下：

其中，bi表示第i個候選框，bmean表示均值框，IoUi表示bi和bmean的交并比，wi表示經過高斯函數處理后的權重系數，bmerge表示最終融合的預測框。

2.5 損失函數

總損失函數由置信度損失、分類損失和定位損失三部分組成。

2.5.1 置信度損失

采用二元交叉熵損失計算目標置信度損失。每個預測層有S2個網格點，每個網格點負責預測B個預測框。表示第i個網格點的第j個預測框是否包含物體，如果有物體，=1，否則為0。表示第i個網格點的第j個預測框對應的預測值。置信度損失函數定義為：

2.5.2 分類損失

分類損失是根據類別預測向量計算預測類別與真實標簽的交叉熵損失。表示第i個網格點的第j個基準框是否負責這個目標，如果負責，，此時需要對這個基準框回歸的預測框計算分類誤差，否則不計入分類損失。和分別表示第i個網格點的第j個預測框對應的某個類別的真實值和預測概率值。分類損失函數定義為：

2.5.3 定位損失

IoU是衡量預測框和真實框的重合程度，直接使用IoU作為損失函數會存在一個問題，如果兩個框不相交則IoU 為0，無法反映兩個框的位置關系。本文的定位損失采用CIoU（complete IoU）損失函數，CIoU進一步考慮了預測框與真實框的中心點距離和寬高比一致性，可以解決IoU 損失存在的問題，并能加快網絡收斂，定義為：

其中，B表示預測框(x,y,w,h)，Bgt表示真實框(xgt,ygt,wgt,hgt)，bgt、wgt和hgt分別表示真實框的中心點、寬和高，b、w和h分別表示預測框的中心點、寬和高。ρ(?)用于計算兩點的歐幾里德距離，c表示包圍真實框和預測框的最小矩形框的對角線長度。αv用于控制預測框的寬高盡可能與真實框的寬高接近，其中，，α為權衡參數，v用來衡量長寬比的一致性。總損失函數定義為：

其中，λobj、λcls和λbox分別表示置信度損失、類別損失和定位損失的權衡因子。

3 實驗及結果分析

3.1 TT100K交通標志檢測數據集

TT100K[34]交通標志檢測數據集包含9 176 張標注圖像，其中，6 105 張訓練圖像，3 071 張測試圖像。所有圖像采集于現實生活場景，分辨率為2 048×2 048像素。和Zhu 等人一樣[16,34-36]，選擇交通標志數超過100的45個類別進行實驗評估，如圖9所示。對于一些很少見的交通標志，原數據集將其標注為大類別，如“io”表示與指示相關的交通標志，“po”代表與禁止相關的交通標志，“wo”表示與警示相關的交通標志。

圖9 TT100K數據集上參與評估的45個類別Fig.9 45 categories for evaluation on TT100K dataset

3.2 DFG交通標志檢測數據集

DFG[37]交通標志檢測數據集采集現實場景中遮擋、陰影和陽光直射等環境下的圖像，交通標志具有不同的大小、長寬比，且包含文本和符號。該數據集由200 個類別共6 957 張圖片組成，大多數的圖像分辨率為1 920×1 280 像素，包含大量外觀相似的交通標志。訓練集有5 254 張圖片包含14 208個標注，測試集有1 703 張圖片包含4 393 個標注。DFG 數據集上包含許多方向相反的交通標志，如圖10 所示，因此訓練時不適合使用水平翻轉數據增強策略。

3.3 評估指標

在檢測準確性評價指標方面，采用目標檢測任務中常用的平均精度均值（mean average precision，mAP）。真正例（true positive，TP）表示檢測到的交通標志是正確的，假正例（false positive，FP）表示檢測到的交通標志是錯誤的，假負例（false negative，FN)表示漏檢的交通標志。當IoU大于或等于閾值時，預測框被視為真正例，否則為假正例。精確率（precision，P)主要衡量模型的錯檢程度，召回率（recall，R）主要衡量模型的漏檢程度，F1得分綜合考慮了精確率和召回率，計算方式如下：

平均精度（average precision，AP）表示精確率-召回率（precision-recall，P-R）曲線與坐標軸包圍的面積，是結合了精確率和召回率的綜合指標，可全面評估目標檢測模型。mAP 是所有類別的AP 的均值，mAP 值越大表明檢測效果越好。AP 和mAP 的計算方式如下：

其中，N表示類別數量，APi表示第i個類別的平均精度。

此外，還比較了不同IoU下和不同尺度下的mAP，AP50和AP75用于評估IoU 閾值為0.50 和0.75 下mAP，APS、APM和APL分別用于評估檢測小、中、大尺度目標的mAP。為了進一步衡量模型大小和速度，還評估了模型參數量（Params）、每秒浮點運算次數（FLOPs）和每秒處理圖片數（FPS）。

3.4 實驗設置

本文實驗的主要環境為：Ubuntu 16.04 操作系統，Intel Core i9-10980XE CPU 和兩塊NVIDIA GeForce RTX 2080Ti GPU，Pytorch1.7.1框架，訓練和測試圖像大小為1 024×1 024 像素。Faster R-CNN[7]、Cascade R-CNN[8]和Sparse R-CNN[38]都是基于MMDetection[39]目標檢測框架實現，Backbone 為ResNet-50，Swin-T+Cascade R-CNN 的Backbone 為Swin-T[31]，采 用FPN多尺度檢測結構，訓練12 個周期，用兩塊GPU 進行訓練，每塊GPU 訓練兩張圖片。YOLOv3-tiny[13]、YOLOv5s[14]、YOLOX-s[40]、YOLOv6s[15]和本文算法采用一塊GPU訓練，批訓練大小為16，訓練周期為300。所有模型都采用COCO預訓練權重作為初始化權重。本文基于YOLOv5的實驗皆為6.0版本[14]。

3.5 TT100K數據集實驗結果分析

將本文方法在TT100K 測試集上的檢測結果與其他方法進行綜合比較，如表1所示，可以看出，與兩階段目標檢測算法Faster R-CNN、Cascade R-CNN相比，本文方法在mAP上都有較大提升。與基準模型YOLOv5s 相比，mAP和AP50分別提高1.4 個百分點和1.3 個百分點。和YOLOX-s 相比，本文方法在mAP上提高2.7個百分點，在小尺度交通標志上mAP提高1.0 個百分點。與最新的YOLO 系列算法YOLOv6s 相比，mAP和AP50分別高出0.4 個百分點、0.3 個百分點，同時本文方法的參數量只有5.7×106，相較于YOLOv6s的1.72×107的參數量，模型更小，速度更快，更適合車載設備。本文方法FPS達到80，可以滿足真實駕駛場景中的實時性要求。

表2 對比了其他先進的交通標志檢測算法[15,34-36]在IoU 閾值為0.5 下小、中和大尺度的P、R和F1 結果。和Zhu等人[34]的方法相比，在小尺度、中尺度和大尺度上，本文方法在精確率上分別提高3.4個百分點、4.6個百分點和1.7 個百分點，召回率分別提高4.1 個百分點、2.4個百分點和5.3個百分點。在所有對比方法中，本文方法在小尺度上取得了最高的F1 得分88.2%，與Deng 等人[36]提出的方法相比，在小尺度上召回率提高1.5個百分點，F1提升1.1個百分點，這也表明了該方法在精確定位和分類小尺度目標上具有更好的性能。

表2 不同交通標志尺寸下TT100K數據集上檢測結果對比Table 2 Comparison of detection results on TT100K dataset with different sizes of traffic signs 單位：%

圖11 展示了本文方法和YOLOv5s 在TT100K數據集上的可視化檢測結果。上欄是YOLOv5s，下欄是本文方法，為了便于觀察，放大包含交通標志的區域并置于圖像下方。從第一列圖像可以看出，YOLOv5s 和本文方法都能準確地檢測交通標志，但本文方法檢測出的交通標志得分更高、定位更準，表明本文提出的高斯加權融合方法對交通標志檢測框定位更準確。在第二列圖像中，原YOLOv5s 漏檢了位于桿上的小尺度交通標志，而本文方法成功檢測出較小的pl30 和w55 兩個交通標志。在第三列圖像中，對于遠處的限高桿上的p26 和ph4.5 兩個小尺度交通標志，本文方法仍然可以準確檢測到，這得益于本文引入的注意力機制和上下文信息，通過利用交通標志周邊的相關信息改善小尺度交通標志的漏檢情況，提高檢測精度。可視化結果表明本文方法有效地改善小尺度交通標志的漏檢情況，可以更準確地檢測出小尺度交通標志。

圖11 YOLOv5s和本文方法在TT100K數據集上可視化對比Fig.11 Visual comparison of YOLOv5s and proposed method on TT100K dataset

3.6 DFG數據集實驗結果分析

為了進一步驗證本文方法的泛化性，在DFG 數據集上進行實驗，DFG數據集包含200個類別且存在大量的小尺度交通標志。表3 顯示了本文方法和其他先進的檢測算法在DFG 數據集的性能對比。和Faster R-CNN、Cascade R-CNN 和Sparse R-CNN 相比，本文方法在mAP上分別提高5.0個百分點、2.6個百分點、7.3 個百分點。相較于基準模型YOLOv5s，本文方法mAP提高1.5個百分點，AP50提高2.5個百分點。和最新的YOLO 系列算法YOLOv6s 相比，AP50提高1.1個百分點，YOLOv6s的參數量為1.73×107，計算量為113.7 GFLOPs，而本文方法的參數量只有6.1×106，同時計算量更少，FPS 提高27。在所有方法中，本文方法取得了最高的AP75，達到83.4%，這表明本文方法的檢測框更精確。在DFG數據集上的可視化檢測結果如圖12所示：在第一列圖像中，本文方法準確檢測出位于遠處的III-6交通標志；在第三列圖像中，原YOLOv5s漏檢了位于道路上的II-47.1標志，本文方法則成功地檢測到該小尺度交通標志，YOLOv5s將II-22標志誤檢為II-33，將I-14標志誤檢為II-30-40標志，而本文方法對圖像中3個標志均正確定位與識別。從DFG 數據集上的可視化可以看出，本文方法相較于YOLOv5s 檢測得分更高，且能檢測出小尺度交通標志，有效地緩解了小尺度交通標志的漏檢情況，同時也證明了本文方法具有良好的泛化性。

表3 不同方法在DFG數據集上檢測結果對比Table 3 Comparison of detection results of different methods on DFG dataset

圖12 YOLOv5s和本文方法在DFG數據集上可視化對比Fig.12 Visual comparison of YOLOv5s and proposed method on DFG dataset

參照Tabernik 等人[37]的實驗條件，表4 對比不同交通標志尺寸下DFG數據集上的結果，表中“min 30 px”表示交通標志的最小尺度為30 像素進行訓練和測試。從表中可以看出，本文方法在不同交通標志尺寸都取得最高的mAP50，且在“min 30 px”條件下相較于Tabernik 等人方法提升0.8 個百分點，進一步表明本文方法在檢測小尺度交通標志上的優越性。

表4 不同交通標志尺寸下DFG數據集上檢測結果對比Table 4 Comparison of detection results on DFG dataset with different sizes of traffic signs

3.7 消融實驗

為了驗證本文方法的有效性，在TT100K交通標志檢測數據集上進行消融實驗，如表5所示。本文方法的基線為YOLOv5s。CSP-SA 表示在主干網絡中嵌入的跨階段局部空間注意力模塊，引入CSP-SA后，mAP和AP50分別提高0.3 個百分點和0.5 個百分點。CSP-WT 表示本文設計的跨階段局部窗口Transformer模塊，引入該模塊后mAP提高0.8個百分點，AP50提高0.7個百分點，AP75提高0.5 個百分點，表明該模塊可以通過捕獲交通標志周圍的上下文信息改善檢測精度。本文提出的CSP-SA 模塊和CSPWT 模塊對于檢測精度的提升較高，表明本文融合注意力機制和上下文信息的合理性。本文利用Ghost 模塊構建的輕量的特征融合網絡Ghost PAN有效地減少了模型的參數量和計算復雜度，同時還能保持檢測精度。GWF 表示在后處理階段采用高斯加權融合方法對預測框進行修正，GWF 進一步提高了預測框的定位精度。消融實驗驗證了本文方法的有效性。

表5 本文方法在TT100K數據集上的消融實驗Table 5 Ablation experiments of proposed algorithm on TT100K dataset

為了驗證本文提出的高斯加權融合方法中采用高斯系數的有效性，對比了線性系數和高斯系數，線性系數是直接采用IoU作為權重系數，高斯系數是經過高斯函數處理后的，為，結果如表6 所示。從表中可以看出，采用高斯系數作為權重系數相較于線性系數具有更高的mAP 和AP50。當IoU 較高時，采用高斯系數作為權重相較于線性系數具有較高的值，可以給高IoU分配高的權重；同時，隨著IoU降低，高斯系數下降平緩，有利于給高IoU 的預測框分配高的權重。

表6 不同權重系數在TT100K數據集上的消融實驗Table 6 Ablation experiments with different weighted coefficients on TT100K 單位：%

4 結束語

本文提出融合注意力機制和上下文信息的實時交通標志檢測算法，在主干網絡中嵌入空間注意力機制用于強化包含交通標志的空間位置特征，另外采用窗口Transformer 學習不同位置信息的關聯性，捕獲物體周圍的上下文信息。在特征融合階段，構建輕量的特征融合網絡，在減少參數量的同時確保有效的特征融合。最后，在預測框后處理階段提出高斯加權邊界框融合方法，進一步提高檢測框的定位精度。實驗表明，本文算法有效地提高了小尺度交通標志的檢測精度，且滿足檢測實時性要求。在后續研究中，計劃結合去雨去霧算法和檢測算法改善雨霧環境下的交通標志檢測效果。