改進YOLOv8算法的交通標志小目標檢測

摘" 要： 針對傳統網絡模型在交通標志檢測方面存在的小目標識別不準確的問題，提出一種改進的Ghost?YOLOv8交通標志檢測模型。首先，使用GhostConv代替了全部Conv，并設計全新的GhostC2f模塊來替代全部的C2f，使模型輕量化；其次，將上采樣算法替換為CARAFE，以更好地保留圖像的細節信息；然后，在Neck部分引入了GAM注意力機制模塊，以增強特征中的語義信息和位置信息；最后，為了解決檢測小目標時尺度不一致導致的語義信息丟失問題，添加了小目標檢測層，以增強深層和淺層語義信息的融合。實驗結果證明，該模型在中國交通標志檢測數據集TT100K中的召回率、mAP@0.5、mAP@0.5：0.95指標分別提高了6.8%、4.0%、3.6%，并且模型的參數量及模型大小分別降低了1.069×106、1.9 MB。綜合說明，所提出的模型在精準度不變的前提下，減少了模型的參數量及大小，并能更好地檢測到原模型檢測不到的小目標；同時，比對比算法具有更好的性能表現，并且適用于邊緣計算設備，具有實際應用價值。

關鍵詞： YOLOv8； 交通標志； 小目標檢測； GhostNet； CARAFE； GhostC2f； GAM注意力機制

中圖分類號： TN911.23?34； TP3" " " " " " " " " " 文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）20?0141?07

Traffic sign small target detection based on improved YOLOv8 algorithm

ZHAO Huipeng， CAO Jingsheng， PAN Dijing， LI Gang

（College of Automobile and Traffic Engineering， Liaoning University of Technology， Jinzhou 121011， China）

Abstract： In allusion to the problem of inaccurate small target recognition in traditional network models for traffic sign detection， an improved Ghost?YOLOv8 traffic sign detection model is proposed. GhostConv is used to replace all Conv， and a novel GhostC2f module is used to replace all C2f， so as to make the model lightweight. The upsampling method is substituted with CARAFE to better retain the intricate details in the image. The GAM attention mechanism module is introduced in the Neck section to enhance the semantic information and location information in the features. In order address the issue of losing semantic information caused by scale inconsistency during the detection of small targets， a small target detection layer is incorporated to enhance the fusion of deep and shallow semantic information. The experimental results show that the model can enhance the Recall， mAP@0.5， and mAP@0.5：0.95 measures in the Chinese traffic sign identification dataset TT100K by 6.8%， 4.0%， and 3.6% respectively. It decreases the number of model parameters and the model size by 1.069×106 and 1.9 MB respectively. It is shown that the proposed model can reduce the number and size of parameters and can better detect small targets that cannot be detected by the original model under the premise of constant accuracy. In comparison with the comparison algorithm， it has better performance and is suitable for edge computing devices， and has practical application value.

Keywords： YOLOv8; traffic sign; small target detection; GhostNet; CARAFE; GhostC2f; GAM attention mechanism

0" 引" 言

在自動駕駛和智能輔助駕駛迅速發展的過程中，提高自動駕駛的使用體驗和確保乘車人安全成為了整個無人駕駛系統的重要關注點，其中，精確地識別道路交通標志和控制模型的大小成為了緊迫的需求。

傳統目標檢測是基于傳統的計算機視覺方法，主要依賴于手工設計的特征提取器和機器學習算法。傳統目標檢測方法的主要優點是算法輕巧、計算量較小、模型可解釋性強，并且在小樣本數據上表現出良好的結果。然而，傳統方法在復雜場景和目標變化較大的情況下表現較差，這是因為它們過于依賴人工設計的方案。基于深度學習的目標檢測方法則是利用深度神經網絡從原始圖像中自動學習特征表示和目標分類器。常見的基于深度學習的目標檢測方法包括R?CNN[1]、Fast R?CNN[2]、Faster R?CNN[3]和YOLO[4?6]、SSD[7?9]和OverFeat[10]等。相較于傳統方法，基于深度學習的目標檢測方法具有以下優勢：能夠處理復雜的場景和目標變化較大的情況；準確度高，特別是在大規模數據集上表現優秀；具備端到端的訓練和推理能力，簡化了模型構建的過程。

近年來，在交通標志目標檢測領域，田智慧等人通過在原有SSD特征層基礎上引入低層特征圖，并與鄰近特征圖融合，實現了多元信息的分類預測和位置回歸。同時，通過對SSD默認框大小進行K?means聚類分析，改變默認框的比例，以提高模型的收斂速度[11]。結果表明，改進后的SSD模型在小目標檢測方面具有更高的精度和效率。然而，該算法的網絡設計復雜，參數數量較大，不適合部署在移動端。另一方面，郎斌柯等人提出了一種協調注意力?雙向特征金字塔網絡（CA?BIFPN）交通標志檢測模型。結合YOLOv5模型和協調注意力機制[12]，通過引入雙向特征金字塔網絡和跳躍連接的特征融合，有效提高了模型對多尺度語義特征的利用效率，從而提高了小目標物體和交通標志的檢測效率。與SSD模型和YOLOv5模型相比，該模型的準確率分別提高了4.5%和1.3%。該模型提高了檢測精度，但運行速率相對較慢。此外，薄景文等人提出一種改進方法YOLO?Ore，該方法采用輕量級網絡MobileNetv2作為主干特征提取網絡，并引入了深度可分離卷積、逆殘差結構、金字塔池化模塊PPM和注意力機制CBAM等技術[13]。通過簡化YOLOv3的FPN結構和數據增廣技術構建礦石雜物數據集，YOLO?Ore能快速檢測礦石輸送帶上的雜物。然而，所采用的CBAM注意力機制在通道和空間上獨立應用，未考慮它們之間的相互作用，導致跨維度信息有所損失。此外，使用自建數據集也存在一定的局限性。

為了實現模型輕量化和更好地檢測小目標，本文提出了一種基于Ghost?YOLOv8的交通標志檢測模型。該模型的主要貢獻如下。

1） 在YOLOv8網絡結構中使用Ghost卷積來減少模型的參數量。Ghost卷積通過將輸入通道分為兩部分，并在每個分組中使用較少的卷積核，實現了參數的有效共享。這種方式大大減少了模型的參數量，使得模型更加輕量化。

2） 引入模塊GhostC2f。這是專為輕量化網絡設計的模塊，將其作為網絡的一部分進行訓練和推理，從而實現更加高效和輕量化的模型設計。

3） 替換上采樣模塊為CARAFE[14]。該模塊可以根據輸入特征圖的內容動態生成卷積核，能夠更好地適應不同的圖像內容，并且在保留細節信息方面表現出色。

4） 為了增強網絡的特征提取和特征融合能力，將自適應調整權重的融合注意力模塊GAM[15]融合到特征融合網絡（Neck）中。

5） 添加一個小目標檢測層，可以使網絡在不同尺度上獲得更豐富的語義信息。深層特征和淺層特征的結合可以充分利用網絡的多層次表示能力，并且通過對小目標進行特定尺度的處理，增強網絡對小目標的感知能力。

1" YOLOv8n網絡結構介紹

在對象檢測、圖像分類和實例分割任務中，YOLOv8n是一種最新的模型。為了進行對象檢測任務，YOLOv8n這一小且精的網絡更為適合。

YOLOv8n的網絡結構由Input、Backbone、Neck和Head組成，如圖1所示。

Input部分是網絡的輸入層，用于接收和處理輸入圖像。Backbone部分使用EfficientNet[16]作為主干網絡，它通過使用復合縮放方法，在不同的網絡深度和寬度之間實現了有效的特征提取，以此來增強網絡的表達能力。Neck使用FPN[17]作為特征融合模塊，通過跨層連接和上采樣操作融合淺層和深層特征圖，使網絡能夠同時捕捉到細微的細節和更高級的語義信息。Head部分是網絡的輸出層，根據特征圖來預測目標的位置、類別和置信度，使用Anchor?Free機制減少錨框預測的數量，加速非最大抑制[18]（NMS）。

總體來看，YOLOv8n是一種輕量級且高精度的對象檢測模型。本文選擇這個網絡，并在此基礎上進一步優化和改進。

2" YOLOv8n算法改進

本文提出了一種基于Ghost?YOLOv8的交通標志檢測模型，該模型旨在解決傳統網絡在交通標志檢測中準確性不高、參數量過大和模型大小過大等問題。如圖2所示，該模型包含以下的改進部分，以優化性能。

2.1" GhostNet模塊

GhostNet[19]是一種輕量級網絡，結構如圖3所示。GhostNet通過引入一種稱為GhostConv（Ghost Module）的新式卷積模塊來實現這一目標。

GhostConv是一種替代普通卷積的卷積模塊，在保證輸出特征圖尺寸和通道大小的同時，能夠顯著減少計算量和參數量。具體而言，GhostConv模塊采用了一種稱為Cheap operation的簡單而成本低的運算方式。該模塊首先生成特征圖的主要部分，然后使用卷積核和廉價的低成本計算獲得另一部分，最后合并起來。

Ghost Bottleneck在第一個GhostConv生成兩個特征圖，然后是采用BN操作和SiLU激活函數，隨后再在第二個GhostConv進行卷積，最后通過ADD操作得到輸出特征圖。

GhostC2f模塊全部用Ghost Bottleneck模塊來改進網絡結構，如圖4所示，以此來提高學習效率。通過引入GhostConv和GhostC2f模塊，網絡能夠減少常見的3×3卷積操作。這一優化使得網絡可以在移動設備上高效部署，實現所需的目標。

2.2" 上采樣算法CARAFE

CARAFE是輕量且高效的一種特征上采樣算法。在每個位置上，CARAFE都可以利用底層內容信息來預測重組內核并重新組裝預定義附近區域內的特征。因此，CARAFE可以在不同方位使用自適應和優化的重組內核，獲得比主流上采樣算子更好的功效。

如圖5所示，CARAFE算法的全部流程可以分為以下環節。

1） 輸入一個特征圖以及上采樣比例σ。

2） 特征重組。將特征圖X上采樣到目標尺寸，得到上采樣特征圖Fl，大小為C×（σH）×（σW）；將上采樣特征圖Fl和原始特征圖X進行拼接操作，形成一個新的特征張量。

3） 在特征提取階段，使用1×1卷積核對拼接后的特征張量進行卷積操作，得到更具表達能力的特征張量Fe。

4） 通道重組。對特征張量Fe分別使用3×3卷積核進行逐通道卷積與逐像素卷積操作，得到新的特征張量Fc與Fp。其中，Fp用于產生注意力權重圖，在逐通道卷積操作中與特征張量Fc相乘，以實現通道間的自適應加權。

5） 特征重放。通過對通道重組后的特征張量Fc和上采樣特征圖Fl進行點乘操作，得到最終的重組特征圖Fr，并將其作為輸出結果。

2.3" GAM注意力機制

GAM注意力模塊的結構如圖6所示，它是一種通過全局觀察和建模來提取圖像特征中重要信息的機制，并增強不同通道和空間之間交互作用的方法。給定輸入特征圖F1、中間狀態特征圖F2和輸出特征圖F3，具體而言，F1會與通道注意力圖Mc進行逐通道乘法運算，以突出重要通道的特征；然后，得到的特征會與空間注意力圖Ms進行逐元素乘法運算。

如圖7所示，通道注意力子模塊采用3D置換方法在三個維度上存儲信息；之后，使用一個兩層的多層感知機（MLP）來增強通道與空間的聯系。

如圖8所示，空間注意力子模塊采用兩個7×7的Conv對輸入圖的空間信息進行融合。為了確保與通道注意力子模塊的一致性，兩個模塊使用相同的縮小比率。

2.4" 小目標檢測層

由于小目標的樣本尺寸較小以及子采樣系數較大，導致YOLOv8難以通過更深的特征圖學習小目標的特征。原始模型的輸入圖像大小為640×640，最小檢測尺度為80×80，每個網格的檢測圖像中目標的高度和寬度都小于8×8，原始模型將無法檢測到這些小目標。

因此，本文添加一個小目標檢測層，如圖2中黑虛線框所示，該小目標檢測層尺寸為160×160，包含一個額外的融合特征和一個額外的檢測頭。具體地，首先將Backbone網絡中的第5層與Neck網絡的上采樣層進行堆疊；然后經過GhostC2f和上采樣后，得到包含小目標特征信息的特征層；接著，將此特征層與Backbone網絡的第3層進行堆疊；最后，特征層通過一個新增的解耦頭層進行處理。隨著Head的增加，來自較小目標的特征信息將被傳遞到其他3個尺度特征層中。通過此改進，網絡提高了檢測的精度并擴大了范圍。

3" 實驗設計與結果分析

3.1" TT100K數據集

TT100K[20]圖標是由清華與騰訊的聯合實驗室整理并公布的，提供的100 000張圖像中包含30 000個交通標。本實驗從其中選取45類交通標志，訓練集與驗證集的比例為7∶3。

3.2" 實驗準備階段

操作系統為Windows 10；硬件為GPU為NVIDIA RTX 3080，內存為40 GB；環境配置為Python 3.8、 PyTorch 2.0.0、CUDA v11.8和CUDNN v8.9.5。訓練參數設置如表1所示。

3.3" 評價指標

本文使用精準率（Precision）、召回率（Recall）、平均精度均值（mAP@0.5）、平均精度均值（mAP@0.5：0.95）對模型進行評價。精準率公式為：

[Precision=TPTP+FP] （1）

召回率公式為：

[Recall=TPTP+FN] （2）

mAP@0.5指IoU閾值為0.5時，對每個種別的樣本計算精準率，然后取這些精準率的平均值。mAP@0.5：0.95表示在不同IoU閾值范圍（0.5～0.95，步長為0.05），計算的是平均mAP值。對于每個IoU閾值，本文計算每個種別的精準率?召回率曲線，并計算該曲線下的平均精度均值；然后將所有IoU閾值下的平均精度均值取平均得到mAP@0.5：0.95的值，具體公式如下：

[AP@0.5=1ni=1nPi=1nP1+1nP2+…+1nPn] （3）

[mAP@0.5=1ck=1cAP@0.5k] （4）

[mAP@0.5：0.95=110mAP@0.5+" " " " 110mAP@0.55+…+110mAP@0.95] （5）

3.4" 對比實驗

為驗證本文模型與當下其他模型的優越性，以精準率、召回率、平均精度均值、參數量（Parameters）、模型大小（Model size）作為評價指標，在相同環境下對比YOLOv5s、YOLOv8n、文獻[20]、文獻[21]、文獻[1]?GAM、文獻[2]?GAM，結果如表2所示。根據表2顯示：YOLOv5s的參數和模型大小實在太大，不易于移動設備的部署；本文算法的FPS比原始YOLOv8n稍低一些，但具有更小的參數和規模大小，同時在精度基本不變的前提下其他指標都優于原始YOLOv8n算法；與近期文獻（如文獻[20]、文獻[21]）和兩個優化文獻（文獻[1]?GAM、文獻[2]?GAM）算法相比，本文提出的算法在大部分指標上都表現更出色。

3.5" 消融實驗

為驗證本文算法改進模塊是否合理，以原始模型開始，逐步增加模塊來進行消融實驗，結果如表3所示。

添加了輕量化模型GhostNet之后，精準率 （Precision）提高了5.3%，召回率（Recall）提高了1.3%；添加了自行設計的GhostC2f模塊之后，參數量和模型大小明顯下降；添加CARAFE算法之后，精準率（Precision）、召回率（Recall）、平均精度均值（mAP@0.5）、平均精度均值（mAP@0.5：0.95）分別提高了2.6%、0.8%、1.9%、1.6%；添加GAM注意力機制與小目標檢測層之后，精準率（Precision）、召回率（Recall）、mAP@0.5、mAP@0.5：0.95分別提高了1.8%、10.5%、10.5%、9.6%。由此說明，本文算法具有更小的參數（下降1.069×106）和規模大小（下降1.9 MB），同時在精度基本不變的前提下，其他指標都優于原始YOLOv8n算法，召回率（Recall）、mAP@0.5、mAP@0.5：0.95分別提高了6.8%、4.0%、3.6%，進一步說明了本文改進模塊的合理性。

3.6" 驗證階段

YOLOv8n和本文算法的檢測結果對比如圖9所示，根據上下兩行的圖像對比可以看出：本文算法在識別精度與YOLOv8n模型基本相同的前提下，還可以檢測到YOLOv8n模型檢測不到的小目標，證明本文算法可以解決交通標志小目標檢測不完全的問題。

4" 結" 論

本文提出了一種高效、輕量化的Ghost?YOLOv8網絡模型，用于檢測和識別交通標志。該模型引入了GhostConv模塊和GhostC2f模塊，著重減少參數量和模型大小，使算法能夠更好地適應移動設備的部署。同時，為了更好地保留圖像細節，替換了CARAFE算法。另外，為了提高特征融合能力和對小目標的興趣，引入了GAM模塊，并在頭部新增了一個小目標檢測層。該算法在召回率（Recall）、平均精度均值mAP@0.5、平均精度均值mAP@0.5：0.95方面分別提高了6.8%、4.0%和3.6%。相對于YOLOv8n，參數量和模型大小分別減少了1.069×106和1.9 MB。

本文將致力于優化網絡結構、改進算法，并探索新的模型設計思路，目標是在保持高精度的同時，實現實時的交通標志檢測和識別。后續會密切關注技術的前沿發展，并將其應用于相關的研究中，期望為交通標志領域的實際應用帶來更多的可能性和解決方案；同時將其與其他領域的需求結合起來，為交通標志檢測和識別領域提供更優異的模型。

注：本文通訊作者為曹景勝。

參考文獻

[1] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2014： 580?587.

[2] GIRSHICK R. Fast R?CNN [C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 1440?1448.

[3] REN S Q， HE K M， GIRSHICK R， et al. Faster R?CNN： towards real?time object detection with region proposal networks [J]. Advances in neural information processing systems， 2015， 39（6）： 1137?1149.

[4] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real?time object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2016： 779?788.

[5] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. Yolov4： optimal speed and accuracy of object detection [EB/OL]. [2023?04?12]. https：//doi.org/10.48550/arXiv.2004.10934.

[6] MORE B， BHOSALE S. A comprehensive survey on object detection using deep learning [J]. Revue d'intelligence artificielle， 2023， 37（2）： 407?414.

[7] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector [C]// Computer Vision?ECCV 2016： 14th European Conference. Amsterdam： Springer， 2016： 21?37.

[8] FU C Y， LIU W， RANGA A， et al. DSSD： deconvolutional single shot detector [EB/OL]. [2023?04?08]. https：//arxiv.org/pdf/1701.06659.

[9] LI Z， YANG L， ZHOU F. FSSD： feature fusion single shot multibox detector [EB/OL]. [2023?07?18]. https：//arxiv.org/pdf/1712.00960.

[10] SERMANET P， EIGEN D， ZHANG X， et al. Overfeat： integrated recognition， localization and detection using convolutional networks [EB/OL]. [2023?08?07]. https：//arxiv.org/pdf/1312.6229.

[11] 田智慧，孫鹽鹽，魏海濤.基于SSD模型的交通標志檢測算法[J].計算機應用與軟件，2021，38（12）：201?206.

[12] 郎斌柯，呂斌，吳建清，等.基于CA?BIFPN的交通標志檢測模型[J].深圳大學學報（理工版），2023，40（3）：335?343.

[13] 薄景文，張春堂，樊春玲，等.改進YOLOv3的礦石輸送帶雜物檢測方法[J].計算機工程與應用，2021，57（21）：248?255.

[14] WANG J Q， CHEN K， XU R， et al. CARAFE： content?aware reassembly of features [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul， South Korea： IEEE， 2019： 3007?3016.

[15] LIU Y C， SHAO Z R， HOFFMANN N. Global attention mechanism： retain information to enhance channel?spatial interactions [EB/OL]. [2023?12?12]. https：//doi.org/10.48550/arXiv.2112.05561.

[16] TAN M， LE Q. Efficientnet： rethinking model scaling for convolutional neural networks [C]// International Conference on Machine Learning. [S.l.]： PMLR， 2019： 6105?6114.

[17] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2017： 2117?2125.

[18] BODLA N， SINGH B， CHELLAPPA R， et al. Soft?NMS?improving object detection with one line of code [C]// Proceedings of the IEEE International Conference on Computer Vision. Venice， Italy： IEEE， 2017： 5561?5569.

[19] HAN K， WANG Y H， TIAN Q， et al. Ghostnet： more features from cheap operations [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle， WA， USA： IEEE， 2020： 1580?1589.

[20] ZHU Z， LIANG D， ZHANG S H， et al. Traffic?sign detection and classification in the wild [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA： IEEE， 2016： 2110?2118.

[21] TANG Y， HAN K， GUO J Y， et al. GhostNetv2： enhance cheap operation with long?range attention [J]. Advances in neural information processing systems， 2022， 35： 9969?9982.

作者簡介：趙會鵬（1998—），男，天津人，碩士研究生，研究方向為環境感知與汽車智能駕駛。

曹景勝（1984—），男，山東陽谷人，碩士研究生，副教授，碩士生導師，研究方向為智能汽車關鍵技術、新能源汽車驅動與控制。

DOI：10.16652/j.issn.1004?373x.2024.20.022

引用格式：趙會鵬，曹景勝，潘迪敬，等.改進YOLOv8算法的交通標志小目標檢測[J].現代電子技術，2024，47（20）：141?147.

收稿日期：2024?04?09" " " " " "修回日期：2024?05?13

基金項目：國家自然科學基金項目（51675257）；國家自然科學基金青年基金項目（51305190）；遼寧省教育廳基本科研項目（面上項目）

（LJKMZ20220976）；遼寧省自然科學基金指導計劃項目（20180550020）