Rep?YOLOv8車輛行人檢測分割算法

摘" 要： 車輛行人檢測分割在自動駕駛、智能交通管理等場景廣泛應用，但如何提高車輛行人識別精度以及處理分割不均勻等問題一直是項挑戰。針對上述問題，文中提出一種YOLOv8的改進算法，該算法采用RepECA作為骨干網絡，此骨干網絡使用RepVGG模塊代替原骨干網絡的卷積層，并融合ECA注意力機制對圖像進行特征提取，其中RepVGG模塊在檢測時轉變多分支結構為單路徑結構，不損失訓練精度的同時提升執行效率，ECA注意力機制針對通道維度的注意力加權機制，通過學習通道之間的相關性，自適應地調整通道的權重，增加少量模型參數卻帶來大的性能提升；在C2f模塊中，改進算法加入了eSE自注意力模塊，避免因為通道數減少造成的通道信息損失，進一步提高模型精度。實驗結果表明，使用Cityscapes數據集訓練，Rep?YOLOv8算法在檢測與分割任務的mAP@0.5指標分別達到85.4%和75.5%，與原YOLOv8相比分別提升了13.4%和16%，推理速度從65 f/s提升至83 f/s。

關鍵詞： YOLOv8； RepVGG； ECA； eSE； 目標檢測； 語義分割

中圖分類號： TN911.73?34"""""""""""""""""""""" 文獻標識碼： Anbsp;""""""""""""""""""""""" 文章編號： 1004?373X（2024）09?0143?07

0" 引" 言

計算機視覺作為計算機的眼睛，為智能駕駛[1]、行人追蹤等任務帶來了更多的可能性。目標檢測[2?3]和語義分割[4]方法是計算機視覺領域的重要研究方向，目標檢測可以對輸入的圖像進行物體檢測，標出圖像中物體位置和物體相應的類別，應用在智能駕駛中可以實時檢測出行人、車輛和建筑物，有助于自動駕駛[5]車輛及時避開障礙物，完成路線規劃等，也可以在行人追蹤時執行監測任務；語義分割是對輸入圖像中物體生成逐像素的分割掩碼，可以提供路面上自由空間的信息，為自動駕駛車輛路線的規劃和決策提供幫助。

近些年來，人們在檢測分割算法方面進行了大量的研究實驗，誕生了許多優秀的算法，諸如兩階段方法Mask R?CNN[6]、PANet[7]，還有單階段的YOLO系列方法。YOLO系列[8?11]算法兼具速度和準確性，能在各種應用中進行實時物體檢測分割，YOLOv8身為最新一代YOLO模型，更是其中的集大成者。本文Rep?YOLOv8算法沿用YOLOv8的框架結構，通過不斷堆疊RepVGG[12]模塊并融合ECA[13]（Efficient Channel Attention）注意力機制代替YOLOv8原有的骨干網絡，在提升網絡模型對物體特征學習能力的同時提升執行效率；Rep?YOLOv8還在C2f模塊中添加了eSE[14]（Effective Squeeze?Excitation）模塊，避免因為通道數減少造成的通道信息損失，進一步提高了改進模型檢測與分割的精度。

1" YOLOv8網絡模型

YOLOv8是Ultralytics開發出的最新YOLO系列模型，在YOLOv5的基礎上引入了新的結構，進一步提升了性能和擴展性。YOLOv8設計快速、準確且易于使用，令它成為各種物體檢測與跟蹤、實例分割、圖像分類和姿態估計任務的絕佳選擇。

YOLOv8整體結構大致分為三個部分，即骨干網絡、頸部網絡、預測頭網絡三部分。

YOLOv8的整體結構如圖1所示，YOLOv8輸入端使用自適應圖片縮放，將輸入圖片調整至合適的尺寸，再將處理后的圖片傳至骨干網絡。YOLOv8的骨干網絡由CBS模塊、C2f模塊和SPPF模塊組成，整體仍然沿用YOLOv5的CSP思想，不過為了滿足更輕量化的需求，用C2f模塊替換C3模塊。CBS模塊即卷積、批歸一化和SiLU激活函數，這樣組合能提高模型的穩定性，加快收斂速度，防止梯度消失。C2f模塊相較于C3模塊增加跳躍連接和額外的Split操作，使模型的梯度流更豐富。在SPPF模塊中，通過池化和卷積操作進行特征融合，自適應地融合各種尺度的特征信息，從而增強模型的特征提取能力。在YOLOv8的頸部網絡中，頸部網絡對從骨干網絡提取到的特征進行處理，使用PAN和FPN[15]網絡結構通過自上向下與自下向上的跨層連接使特征更充分融合。在最后的預測頭網絡，使用目前主流的解耦頭結構，將分類和檢測頭分離，根據分類和回歸的分數加權得到的分數來確定正負樣本，有效提升模型性能，也拋棄了Anchor?Based，使用更靈活、準確的Anchor?Free適應不同尺寸和形狀的目標。從YOLOv8的改進部分不難看出，設計者在模型輕量化和性能提升方面做出了很多的努力。

2" Rep?YOLOv8及其改進方法

2.1" Rep?YOLOv8整體架構

為了降低模型的復雜度，而又不會因此影響檢測分割的結果，Rep?YOLOv8的骨干網絡將RepVGG模塊融合ECA注意力機制，使之能夠自適應地調整通道特征的權重，并在訓練后的檢測任務中通過結構重參數化將多分支結構轉變為單路徑結構，簡化網絡結構，避免多分支結構在算力上的浪費；在Rep?YOLOv8模型的C2f模塊中加入了eSE自注意力模塊，避免因為通道數減少造成的通道信息損失，進一步提升模型在精度上的表現。

2.2" RepVGG模塊

2.2.1" RepVGG模塊原理

RepVGG網絡是一種結構簡單高效的網絡結構，它通過不斷堆疊RepVGG模塊從而構建整個網絡，相比于其他網絡為了提升精度不斷增加網絡深度導致模型過于復雜推理速度慢，RepVGG在速度和精度上的均衡表現良好，提升模型精度的同時提升檢測速度、降低模型的參數量。在核心思想上，RepVGG網絡使用了結構重參數化將訓練模型和推理模型分割而來，如圖2所示，它在對模型訓練時會采用一個類似于Resnet的多分支結構，該結構包含兩個卷積操作：BN層和ReLU激活函數，它在推理時可轉化為類似于VGG的單路徑結構。多分支結構在訓練過程中能夠讓網絡保持一個很好的性能表現，而單路徑的串行結構在推理階段又能顯著地提高推理速度。

Rep?YOLOv8模型的骨干網絡在RepVGG網絡原理的基礎上進行了改進，用RepVGG模塊替換原YOLOv8骨干網絡中的卷積模塊，圖3是RepVGG模塊結構，可以看到訓練時RepVGG模塊并行了3個分支：一個卷積核大小為3×3的主分支，一個卷積核大小為1×1的分支以及一個只連BN層的單位分支。在訓練時要將3個分支的輸出相加得到最終輸出結果。在執行檢測任務時，利用結構重參數化的方法合并分支，成為簡單的串行結構，避免算力浪費。

2.2.2" 結構重參數化

在訓練深度神經網絡過程中，BN層的加入帶來諸多優勢，能夠緩解梯度消失和梯度爆炸，能加速網絡的收斂速度，也不可避免地帶來了許多運算上的繁雜。在RepVGG中大量使用了卷積和BN層的結構，若將卷積和BN層合并，變成一個單路徑的結構，便可節約部分計算資源，提高模型的性能，增加網絡的前向推理速度，這就是結構重參數化的思想基礎。下面是結構重參數化中卷積和BN層合并的推導過程。

首先進行卷積，卷積層計算公式如式（1）所示：

[Conv（x）=w（x）+b] （1）

式中：[w（x）]為權重函數；[b]為偏置。

對于特征圖第[i]個通道，BN層的計算公式如式（2）所示：

[BNConv（x）=γix-μiσ2+ε+βi] （2）

式中：[μi]是均值；[σ2]是方差；[γ]是尺度縮放因子；[β]是平移因子；[ε]是常量。

將式（1）代入式（2）可得計算公式如式（3）所示：

[BN（x）=γw（x）+b-μσ2+ε+β] （3）

合并后新卷積層對應的權重如式（4）所示：

[Wfused=γ?w（x）σ2+ε] （4）

對應卷積核新的偏置如式（5）所示：

[Bfused=γb-μσ2+ε+β] （5）

將式（4）代入式（5）可得：

[BN（x）=Wfused+Bfused] （6）

根據推導可知：BN層直接合并到了卷積層的運算，卷積核縮放了一定的倍數，對偏置進行了改變，減少了原有BN層的參數量。結構重參數化原理如圖4所示。

由圖4左圖可以看出：將3×3卷積和BN層融合成為了一個3×3卷積；將1×1的卷積填充為3×3的卷積再與BN層融合為3×3卷積；對于只有BN的分支來說，由于沒有卷積層，所以做恒等映射，故BN層可以轉換成3×3卷積，最后進行多分支融合，得到融合的3×3卷積網絡層。圖4右圖是參數量變化的過程，可以看出經過結構重參數化，從一個3×3卷積、一個1×1卷積和3個BN層降低參數為一個3×3卷積網絡層，既減少了模型的參數量，又加快了模型的推理速度。

2.3" 注意力機制

注意力機制在計算機視覺的圖像識別、目標檢測、語義分割等任務中發揮著重要的作用，它可以在處理輸入的數據時進行加權處理，在執行深度卷積神經網絡任務時，加強重要信息關注并忽略不必要的信息。Rep?YOLOv8在骨干網絡的RepVGG模塊中加入ECA注意力機制，通過調整對輸入數據的關注度，以提高模型的準確率和性能。

2.3.1" ECA通道注意力機制

通道注意力機制在提高神經網絡性能方面有著巨大潛力，但是大多被設計成復雜的結構用以實現更好的性能，這無疑增加了模型的復雜度。ECA注意力模塊結構簡單卻能帶來明顯的增益效果，它通過剖析SE通道注意力模塊，發現其同時獲取所有通道之間的相關性是低效的，因此ECA模塊在SE模塊基礎上進行改進。SE[16]模塊使用FC（Fully Connected）層學習通道注意信息，ECA模塊改為使用1×1卷積學習通道注意信息，通過快速一維卷積完成跨通道信息間的交互，減少了模型的參數量，在每次卷積任務中僅有部分通道起作用，更好地完成跨通道信息的交互。卷積核大小根據通道維度映射自適應調整大小，使通道數較大的層進行更多的跨通道交互，大幅提高通道學習效率。

ECA注意力模塊如圖5所示，首先模塊對輸入的特征圖進行空間特征壓縮，通過全局平均池化得到1×1×[C]的特征圖；然后根據公式計算得到自適應的一維卷積核大小，通過一維卷積學習通道之間的相關性，輸出1×1×[C]的通道注意力信息，并將其與原始輸入特征圖融合，得到最終具有通道注意力信息的特征圖。其中，自適應計算卷積核大小的公式為：

[k=Φ（C）=log2 C+bγodd] （7）

式中：[k]表示卷積核的大小；[C]表示通道數；[γ]和[b]為自適應計算調整的參數；[?odd]表示[k]取奇數。

2.3.2" eSE注意力機制

SE注意力模塊是通過自適應地調整每個通道的權重，以提高網絡性能。SE模塊為了避免較高模型復雜度，第一個FC層使用縮減參數[r]將輸入特征通道數[C]減小到[Cr]，第二個FC層將被縮減的通道擴展到原始通道尺寸[C]，在這一過程中，通道降維導致了通道信息的丟失。eSE模塊在此基礎上進行了改進，僅僅使用一個通道數為[C]的FC層代替了兩個FC層，從而保留通道信息，提升模型的性能。

在Rep?YOLOv8的C2f模塊中，首先將輸入經過第一層卷積層進行拆分，分成兩部分：一部分直接經過[n]個Bottleneck，另一部分經過每個操作層后都會再進行一次拆分，分出一個跳躍連接，所有分支的多元化特征圖匯集于eSE模塊。如圖6所示，特征圖在eSE模塊經過全局平均池化、全連接后，學習并輸出通道注意力信息，經過特征映射以元素方式融合到特征圖中。

3" 實驗結果與分析

3.1" 實驗數據集

實驗中所使用的Cityscapes數據集為公開數據集，是一個大規模城市景觀數據集，它采集自德國及附近的50個城市，包括春夏秋三個季節的街區場景，且使用雙目相機獲取了立體視覺視頻序列，可用于行人和汽車使用的實例分割。在使用中選擇左目成像的5 000張精細標注圖片，這5 000張圖片被劃分為2 975張訓練集、500張驗證集以及1 525張測試集。

3.2" 實驗環境與參數配置

實驗環境：Ubuntu 1804操作系統，顯卡雙卡NVIDIA TITAN Xp，訓練平臺Python 3.8，深度學習框架PyTorch，模型基型為YOLOv8s。模型訓練參數設置：Epoch大小為200，批大小batch_size為32，其余參數為默認值。

3.3" 評價指標

本文主要使用下面的幾種評價指標對算法的結果進行評估。

精確度（[P]）和召回率（[R]）的計算公式如式（8）和式（9）所示：

[P=TTPTTP+FFP] （8）

[R=TTPTTP+FFN] （9）

式中：[TTP]（True Positive）表示正確識別圖像中的待檢測目標且IoU大于閾值；[FFP]（False Positive）表示沒有正確識別圖像中的待檢測目標且IoU小于閾值；[FFN]（False Negative）表示沒有檢測到圖像中的目標。

平均精度mAP的計算公式如式（10）所示：

[m=1Nn=0N01Pn（r）dr] （10）

式中：[N]代表檢測目標的類別個數；[Pn]表示某一類別的AP值。

mAP@0.5是將IoU設為0.5，然后計算每一類圖片的AP，最后將所有類別作平均，即mAP。

幀速（FPS）表示模型每秒能處理圖片的數量，通常用于衡量模型的實時性，輔以參數量和計算量（GFLOPs）綜合判別模型性能。

3.4" 實驗結果

為了更好地展現改進后模型的性能提升，使用Cityscapes數據集在相同訓練環境下對Rep?YOLOv8算法和原YOLOv8算法實驗結果進行對比，如圖7和圖8所示。其中圖7a）是Rep?YOLOv8算法車輛行人檢測結果，圖7b）是車輛行人分割的結果；圖8a）為原YOLOv8算法車輛行人檢測結果，圖8b）是車輛行人分割的結果。在圖中展示了改進前后模型每個類的mAP@0.5值以及總的mAP值和[P?R]曲線。

不難看出，Rep?YOLOv8檢測和分割結果的[P?R]曲線下面積大于原YOLOv8模型，原YOLOv8檢測與分割任務的mAP@0.5指標分別為71.8%和59.5%，Rep?YOLOv8算法在檢測與分割任務的mAP@0.5指標分別達到了85.4%和75%，同比分別提升了13.6%和15.5%，并且Rep?YOLOv8推理速度從65 f/s提升至83 f/s，模型參數量由11.2M降低至10.9M，改進后的模型不僅更加輕量化，并且在性能的表現上更加優異。

使用多個先進的語義分割模型與Rep?YOLOv8作比較。在Cityscapes數據集上的表現如表1所示，使用mAP@0.5值作為評估指標，Rep?YOLOv8與SegNet、CCNet、DANet、UperNet、OCRNet、DeepLabv3+相比，在精度上分別提升了8.3%、3.6%、1.1%、2.5%、1.6%、0.8%，其中與Segformer以及SETR?MLA相比雖然精度略微下降了0.9%、1.1%，但是在模型的參數量上Rep?YOLOv8明顯小于這兩者，模型更輕巧簡單、更適合移動設備輕量化的需求，Rep?YOLOv8與這些先進的模型相比，在模型整體性能的平衡上做得更好。

為更好地展現Rep?YOLOv8的檢測效果，在圖9中可視化對比原YOLOv8模型、采用RepECA為骨干結構的YOLOv8模型以及Rep?YOLOv8模型在車輛行人檢測中的檢測效果。

從圖9中第一排圖片可以看出，Rep?YOLOv8在面對多尺度的目標時，檢測分割上的表現仍然很好，但是采用RepECA為骨干結構的YOLOv8模型以及Rep?YOLOv8模型卻在圖片遠景的車輛小目標檢測時出現了不同程度的目標缺失；在第二排圖片中，出現了多個物體檢測目標，包括車輛和行人兩大類別，與Rep?YOLOv8相比，采用RepECA為骨干結構的YOLOv8將遠景的路牌誤判為人，原YOLOv8模型在檢測時丟失了圖片右側的人體目標；在第三排圖片中，有著密集的車輛人群、復雜的光影變化以及大量周圍物體遮擋，采用RepECA為骨干結構的YOLOv8在車輛的分割效果上明顯不如Rep?YOLOv8，在目標識別上，由于遮擋和光影變化的影響，將電瓶車和樹木錯誤識別為人體，YOLOv8在右側出現的誤判現象則更為明顯。

4" 結" 語

Rep?YOLOv8算法在YOLOv8原理的基礎上進行改進，使用RepECA作為模型的骨干網絡，并在C2f模塊中插入eSE模塊。物體遮擋、光影變化、目標擁擠等復雜環境中進行車輛行人的檢測分割任務，改進算法在推理速度、檢測分割精度的表現上都有明顯的提升，與其他先進模型對比更輕量化，推理速度更快，模型整體性能更均衡，適合應用于移動設備。

注：本文通訊作者為華杭波。

參考文獻

[1] 彭湃，耿可可，王子威，等.智能汽車環境感知方法綜述[J].機械工程學報，2023，59（20）：281?303.

[2] 劉子洋，徐慧英，朱信忠，等.Bi?YOLO：一種基于YOLOv8改進的輕量化目標檢測算法[J/OL].計算機工程與科學：1?15[2023?11?08].http：//kns.cnki.net/kcms/detail/43.1258.TP.20231107. 1657.002.html.

[3] 劉彥清.基于YOLO系列的目標檢測改進算法[D].長春：吉林大學，2022.

[4] 黃濤，李華，周桂，等.實例分割方法研究綜述[J].計算機科學與探索，2023，17（4）：810?825.

[5] 張利豐，田瑩.改進YOLOv8的多尺度輕量型車輛目標檢測算法[J].計算機工程與應用，2024，60（3）：129?137.

[6] HE K， GKIOXARI G， DOLLAR P， et al. Mask R?CNN [J]. IEEE transactions on pattern analysis and machine intelligence， 2020， 42（2）： 386?397.

[7] LIU S， QI L， QIN H F， et al. Path aggregation network for instance segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 8759?8768.

[8] REDMON J， FARHADI A. YOLOv3： An incremental improvement [EB/OL]. （2018?04?08） [2022?11?20]. https：// arxiv.org/abs/1804.02767.

[9] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection [EB/OL]. （2020?04?23） [2022?11?25]. https：//arxiv.org/abs/2004.10934.

[10] ZHAO Y， SHI Y， WANG Z. The improved YOLOV5 algorithm and its application in small target detection [C]// International Conference on Intelligent Robotics and Applications. Heidelberg： Springer， 2022： 679? 688.

[11] WANG C Y， BOCHKOVSKIY A， LIAO H. YOLOv7： Trainable bag?of?freebies sets new state?of?the?art for real?time object detectors [C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 7464?7475.

[12] DING X， ZHANG X， MA N， et al. RepVGG： Making VGG?style ConvNets great again [C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 13733?13742.

[13] WANG Q， WU B， ZHU P， et al. ECA?Net： Efficient channel attention for deep convolutional neural networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 11531?11539.

[14] LEE Y， PARK J. CenterMask： Real?time anchor?free instance segmentation [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 13903?13912.

[15] KIRILLOV A， GIRSHICK R， HE K， et al. Panoptic feature pyramid networks [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 6399?6408.

[16] HU J， SHEN L， SUN G. Squeeze?and?excitation networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 7132?7141.

Rep?YOLOv8 vehicle and pedestrian detection segmentation algorithm

WANG Yisong， HUA Hangbo， KONG Ming， LIANG Xiaoyu

（School of Metrology and Measurement Engineering， China Jiliang University， Hangzhou 310018， China）

Abstract： Vehicle and pedestrian detection and segmentation are widely applied in scenarios such as autonomous driving and intelligent traffic management. However， improving the accuracy of vehicle and pedestrian recognition and addressing issues like uneven segmentation has been remaining a challenge. In view of this， an improved algorithm based on YOLOv8 is proposed. In the algorithm， RepECA is taken as the backbone network， which replaces the convolutional layers of the original backbone network with RepVGG modules， and integrates the efficient channel attention （ECA） mechanism for image feature extraction. The RepVGG module transforms the multi?branch structure into single?path structure during detection， enhancing execution efficiency without sacrificing training accuracy. In view of the attention weighting mechanism of channel?wise， ECA mechanism adaptively adjusts the weight of channels by learning the inter?channel correlations， which adds a few model parameters， but brings great performance improvement. In the C2f module， an eSE （effective squeeze?excitation） self?attention module is incorporated into the improved algorithm to avoid channel information loss caused by a reduction in the number of channels and further enhance the model accuracy. Experimental results， based on the training with the Cityscapes dataset， show that the Rep?YOLOv8 algorithm achieves mAP@0.5 of 85.4% and 75.5% for detection tasks and segmentation tasks， respectively， which represents 13.4% and 16% improvement in comparison with the original YOLOv8. In addition， its inference speed is increased from 65 f/s to 83 f/s.

Keywords： YOLOv8; RepVGG; ECA; eSE; object detection; semantic segmentation

DOI：10.16652/j.issn.1004?373x.2024.09.026

引用格式：王譯崧，華杭波，孔明，等.Rep?YOLOv8車輛行人檢測分割算法[J].現代電子技術，2024，47（9）：143?149.

收稿日期：2024?02?23"""""""""" 修回日期：2024?03?29

基金項目：國家市場監督管理總局技術保障專項（2022YJ21）；浙江省市場監督管理局科技計劃（全額自籌）項目（ZC2023057）

王譯崧，等：Rep?YOLOv8車輛行人檢測分割算法

王譯崧，等：Rep?YOLOv8車輛行人檢測分割算法

作者簡介：王譯崧（1996—），男，山東平度人，碩士研究生，研究方向為深度學習。

華杭波（1990—），男，浙江杭州人，博士，講師，研究方向為大氣遙感、激光全息、增強現實。

王譯崧，等：Rep?YOLOv8車輛行人檢測分割算法