基于YOLOv8改進的霧天環(huán)境下車輛檢測

關鍵詞：YOLOv8;車輛檢測;霧天環(huán)境;注意力機制

0 引言（Introduction）

車輛檢測是先進駕駛員輔助系統(tǒng)和自動駕駛汽車的關鍵技術之一，然而在霧天條件下，視覺圖像的質量會受到嚴重影響，表現為圖像模糊泛白、缺乏細節(jié)信息，車輛信息顯著大幅度降低，直接導致了交通車輛檢測質量的下降[1]。

目前，越來越多基于卷積神經網絡的圖像處理算法被提出[2]，例如目標檢測[3]。解宇虹等[4]探討了有霧場景下目標檢測數據集的構建和目標檢測的解決方案。汪昱東等[5]在檢測網絡Faster R-CNN（Faster Region based Convolutional NeuralNetwork）中加入霧濃度判別模塊和注意力機制，并且引入可變形卷積。劉志濤等[6]使用單尺度的Retinex去霧算法結合改進的YOLO-SSR。陳瓊紅等[7]提出結合AOD-Net（All-in-OneDehazing Network）去霧算法和SSD（Single Shot MultiBoxDetector）目標檢測算法。院老虎等[8]通過暗通道先驗算法檢測圖像進行霧氣生成，再基于Faster R-CNN對數據集進行目標識別。王啟明等[9]提出了基于改進YOLOv3的霧天行人車輛檢測方法。

分析上述文獻可知，針對霧天車輛檢測目前主要采用以下方法：①采用圖像模擬，收集足夠的樣本數量;②改進算法，提高算法在霧天環(huán)境下的魯棒性。基于以上研究，本文提出了一種改進YOLOv8 的霧天環(huán)境下車輛檢測算法，即CSMYOLOv8。

1 YOLOv8算法（YOLOv8 algorithm）

YOLOv8算法與YOLOv3算法和YOLOv5算法一樣，都是由Glenn Jocher提出的。相較于其前身，YOLOv8算法在網絡主干結構和特征提取方式上進行了改進，具有較高的檢測精度和較低的時間復雜度，其網絡結構圖如圖1所示。

1.1Input

從YOLOv4 開始，YOLO 算法加入了馬賽克增強（Mosaic）、混合增強（Mixup）、空間擾動（randomperspective）以及顏色擾動（HSV augment）等技術，旨在增加目標個數，豐富圖像背景。

1.2Backbone網絡

在Backbone部分，YOLOv8和YOLOv5秉持了一定的相似性，但YOLOv8將原有的C3模塊替換成C2f模塊。C2f模塊參考了C3模塊和YOLOv7的ELAN模塊，其結構圖如圖2所示。

C2f模塊主要由殘差塊Bottleneck和Conv模塊構成。從圖1中可以看出，C2f模塊使用了2個卷積塊，并加入了更多的分支，其目的是在保證輕量化的同時，獲得更加豐富的梯度流信息;而Bottleneck通過使用更小的卷積核代替大卷積核，以此加深網絡深度和減少網絡的參數量。

1.3 Neck結構

在Neck部分，YOLOv8采用與YOLOv5相同的結構，同時使用性能更優(yōu)越的C2f模塊替換了原有的C3模塊。同時，修改了FPN+PAN模塊的結構，刪除了PAN-FPN中執(zhí)行上采樣操作前的卷積模塊，將不同階段的特征圖直接輸入上采樣，進一步提高了網絡的特征提取能力。

1.4 Head網絡

在Head網絡中，與YOLOv5相比，YOLOv8有兩處明顯的修改。一處修改是采用解耦頭的結構，即兩條并行的分支分別提取類別特征和位置特征，然后各用一層1×1卷積完成分類和定位任務。另一處修改則是從有錨框變更為無錨框。YOLOv5是采用基于錨框方法提供先驗信息，對目標物體進行位置回歸預測。這種方法需要先確定長寬比等參數，影響了檢測的效率。因此，YOLOv8變更為無錨框預測，減少了預測所產生的邊界數量，簡化了模型的結構。

2 方法（Method）

為了解決網絡模型的精度較低的問題，對YOLOv8的Backbone層進行重新設計，引入了輕量級的注意力機制模塊———SEAttention。該模塊憑借其高效的計算速度和極低的計算開銷，容易集成到現代網絡架構。此外，為了使模型可以從不同角度學習語義信息，在SPPF（Spatial Pyramid Pooling-Fast）前增加了MHSA模塊，以提高目標的特征提取能力，使模型能獲得更多的車輛特征信息。在此基礎上，修改了C2f模塊，引入SA-Net（Shuffle Attention）模塊，按照通道分組，針對不同位置設計了專門的注意力掩碼。CSM-YOLOv8的網絡結構圖如圖3所示。

2.1SA-Net

引入高效的注意力機制ShuffleAttention[10]可以解決模型訓練速度過慢的問題。SA-Net模塊將輸入劃分為多個通道組，對每組子特征使用Shuffle Unit構建通道注意力和空間注意力。每個注意力模塊設計了位置特定的注意力掩碼，用來抑制噪聲，增強有效語義信息，在不增加計算成本的情況下提升模型的性能。SA-Net由4個部分構成，其結構圖如圖4所示。

2.1.1 特征分組

首先給定特征圖X ∈RC×W ×H ，其中C 代表通道數，H 和W 分別代表高度和寬度。其次按通道維度分組為g 組X =[X1，X2，X3，…，Xg]，Xk=R（C/G）×W ×H 。最后將Xk 沿著通道維度分割為兩個部分，每個部分的通道數就是原通道數的一半，即C/2G。一個分支基于通道間關系生成通道注意力圖，另一個分支通過空間關系生成空間注意力圖。

2.1.2 通道注意力

首先對這一分支進行自適應平均池化，將每個通道上的特征圖大小降為1×1，獲得通道統(tǒng)計信息。其次對平均池化后的特征進行線性變換，增強特征表示。最后將經過線性變換后的特征圖與通過Sigmoid激活函數處理后的權重相乘，實現通道注意力的加權，從而獲得包含通道注意力權重X'k1 的類別表示，其計算公式如下：

2.1.3 空間注意力

首先對這一分支進行組歸一化，以此獲得空間統(tǒng)計信息，對歸一化后的特征進行線性變換。其次將經過線性變換后的特征圖與通過Sigmoid激活函數處理后的權重相乘嵌入全局信息，獲得空間注意力權重X'k2，實現空間注意力的加權，其計算公式如下：

其中：W2 和b2 是通過訓練得到的，W2，b2∈R（C/2G）×1×1;GN表示組歸一化函數。

2.1.4 聚合

首先將通道注意力和空間注意力加權后的特征X'k1、X'k2沿著通道維度進行拼接，聚合所有子特征。其次對拼接后的特征進行通道混洗操作，使不同分組的特征在通道維度上交錯排列，保證各個子特征的信息交互。將C2f模塊的第一個卷積替換為SA-Net模塊，修改后的C2f模塊重命名為C2f_S結構，其結構圖如圖5所示。

通過上述方法，可以使模型更加關注圖像的空間信息，增強特征圖中的重要區(qū)域，從而提升模型對目標的識別能力，特別是在霧天環(huán)境下，模型對車輛信息的提取更準確、高效。

2.2SEAttention注意力機制

HU等[11]提出了通道注意力模塊SEAttention，通過對不同通道賦予不同的權重獲取每個特征通道的重要程度。SE注意力機制主要由壓縮、激勵和縮放3個部分組成，其工作機制如下。

2.2.1 壓縮

采用全局平均池化的操作，將特征圖為H ×W ×C 的通道維度降為1，即得到一個尺寸為1×1×C 的全局特征。

其中：H 、W 分別為輸入特征圖的高和寬;Zc 為平均池化層的輸出特征;Fsq（·）為壓縮操作;uc 為輸入特征圖;i 和j 均為特征圖尺寸變量。

2.2.2 激勵

通過兩層全連接網絡將壓縮后的特征張量進行非線性變換，捕捉通道的內部依賴程度參數，以此得到特征通道的裁剪系數。第一層全連接網絡的作用是降低維度，使用ReLU函數進行激活;第二層全連接網絡使降維后的維度恢復到初始的維度。通過Sigmoid激活函數預測每個通道的重要性。實質上，通過全局特征進行激勵操作有利于學習各通道之間的關系。將得到的權重乘以每個通道，以此增強網絡對重要通道的學習能力，進而提高識別率。

s=Fex（z，W ）=σ（g（z，W ））=σ（W2δ（W1z）） （4）其中：s 代表每個通道對應的權重，z 是經過squeeze操作后獲得的全局特征描述符向量，σ 代指ReLU函數，δ 是Sigmoid函數，Fex（·）是激勵函數，W1 代表第一層全連接層參數，W2 代表第二層全連接層參數。

2.2.3 縮放

將激勵階段輸出的每一通道的權重與原始輸入特征張量進行通道維度上的加權，這樣可以增強模型對重要通道的關注度，減少不重要通道的干擾。

其中：x～c 為特征映射和標量之間對應通道乘積;Fscale（·）為特征映射和標量之間對應通道乘積;sc 為壓縮操作后的權重系數，即Fex（·，W ）。特征壓縮與激發(fā)模塊結構如圖6所示。

圖6中，Ftr 表示傳統(tǒng)卷積操作;X 表示輸入;U 表示輸出;C 表示圖像通道數;W 和H 分別表示圖像的寬度和高度;C'、H'、W'則分別是卷積操作Ftr 之前的圖像的通道數、高度和寬度。Fsq（）代表對U 進行全局平均池化，得到1×1×C。將輸出數據經過Fex（）操作，也就是兩級全連接;使用Sigmoid歸一化，將結果固定為0～1;將得到的值作為權重乘每個通道，作為下一級的輸入數據。

SEAttention模塊是一種輕量級的注意力機制模塊，能集成到各種網絡模型中，僅增加少量的模型復雜度和計算開銷。在檢測任務中，隨著網絡的不斷加深，模型容易忽略某些目標特征，進而造成目標的漏檢。因此，通過在網絡中的適當位置嵌入SE注意力模塊，給予重要的目標特征更多的關注，從而使得提取的特征指向性更強且特征利用更充分。

2.3 MHSA

SRINIVAS等[12]提出了一種新的BoTNet（Bottleneck TransformerNetwork）網絡，將卷積操作替換為多頭自注意力機制，即MHSA。該模塊的核心是多頭自注意力機制，它首先對輸入張量進行查詢、鍵和值的轉換，其次計算注意力權重并將值向量與之相乘。如果選擇了位置編碼，模塊會在計算注意力權重時考慮位置信息。MHSA模塊結果如圖7所示。

首先，獲取輸入張量的批量大小、通道數、寬度和高度;創(chuàng)建3個1×1的卷積層，用于轉換輸入張量為查詢向量、鍵向量和值向量;對輸入張量進行查詢向量轉換，并重塑形狀以匹配多頭注意力的要求。其次，計算查詢向量和鍵向量之間的點積，得到代表輸入序列的特征向量，即內容矩陣;考慮到圖像和位置編碼都是二維的信息，利用h 和w 代表垂直和水平方向上的相對信息，將兩者相加得到相對位置編碼矩陣;將q 和相對位置編碼矩陣相乘得到位置矩陣，表示各個位置之間的相對的位置信息。最后，使用softmax函數計算注意力權重，將值向量與注意力權重進行加權求和，得到最終的輸出結果。

自注意機制可以引導模型從不同角度學習不同的語義信息，并且優(yōu)化器中隨著模型訓練同步更新，從而學習到更合適的相對位置編碼信息。

3 實驗（Experiment）

3.1 數據集

在霧天場景下，由于環(huán)境干擾導致圖像質量差，給目標檢測的任務帶來了較大的挑戰(zhàn)。常見的車輛檢測數據集包括UADETRAC（UA Detection and Tracking Dataset）車輛檢測數據集和BIT-Vehicle（Beijing Institute of Technology Vehicle Dataset數據集。UA-DETRAC車輛檢測數據集包含4類車輛類別，即小汽車（car）、公共汽車（bus）、貨車（van）和其他（others）。BITVehicle數據集是一個專注于車輛檢測的高質量中國本土數據集，涵蓋了9 850張車輛圖像。這些圖像展現了多樣化的場景，包括不同的照明條件、車輛比例、表面顏色以及拍攝視點。

由于針對霧天場景的數據集圖片較少，無法滿足深度學習模型訓練需求，因此本文結合UA-DETRAC車輛檢測數據集與BIT-Vehicle數據集，從中挑選4 500張作為訓練集，另外700張作為驗證集。為細化檢測粒度，研究人員將車輛類別劃分為3 類，分別是小汽車（car）、公共汽車（bus）和其他（others）。為了提升YOLOv8在霧天環(huán)境下的車輛檢測性能，采用了一種基于大氣散射模型的數據擴充策略。該策略通過模擬霧天的視覺效果，能增強模型的泛化能力，具體方法是在圖像上覆蓋一層透明度逐漸增加的白色圖層，模擬霧從地面升起的自然現象。通過調整參數，研究人員能夠模擬不同程度的霧天效果。

通過這種方法，生成一批模擬霧天環(huán)境下車輛的圖像，并將其加入YOLOv8模型的訓練集中。這一舉措不僅極大地豐富了訓練數據的多樣性，還增強了模型在霧天環(huán)境下的魯棒性和準確性。經過霧天視覺模擬訓練，YOLOv8模型在識別和定位霧中車輛方面的能力得到顯著提升，進一步拓寬了其在自動駕駛和智能交通系統(tǒng)等領域的應用前景。

3.2 訓練環(huán)境

實驗在配備NVIDIA A10的服務器上進行，實驗環(huán)境包括Python 3.9、Pytorch 1.11.0。學習率初始化設置為0.01，學習率動量設置為0.937，權重衰減設置為0.000 5，訓練時間設置為200輪。實驗圖像的分辨率設置為640×640，批次大小設置為16。為了確保研究的可重復性和清晰度，實驗軟硬件環(huán)境如表1所示。

3.3 評價標準

為了驗證所提出模型的性能，本文使用實驗中的評價指標主要為精度P、召回率R、平均精度AP、平均精度均值mAP和FPS。精度是正確分類的檢測到的陽性樣本的比例，而召回率是檢測到的陽性樣本的比例。精度和召回率定義如下：

其中：n 表示類別的總數，在本研究中，數據集只包含一個類別的車，因此n=1。檢測速度用FPS（每秒幀數）衡量，FPS 定義為幀速率，表示每秒可檢測的圖像數量，其定義如下：

其中：δ 表示圖像預處理時間，β 表示推理速度，NMS 表示后處理時間。

3.4 實驗結果分析

本文設計了兩組實驗，即不同改進部分的消融實驗和與不同版本算法的對比實驗。

3.4.1 消融實驗

為了更好地驗證本研究所提出的改進方法的有效性，對所提出的改進方法進行一系列的消融實驗，在實驗中使用相同的數據集進行測試，實驗結果如表2所示。其中，C-YOLO是修改YOLOv8中C2f模塊的第一個卷積為SA-Net模塊。SYOLO是在YOLOv8的骨干網絡中插入了可以增強模型對重要特征關注程度的SEAttention注意力機制。M-YOLO模型加入了MHSA模塊。CSM-YOLOv8是本文提出的算法，包含SA-Net、SEAttention和MHSA。模型經修改后，其網絡平均精度會有一定程度的提升，表2中的數據表明，本研究提出的改進方法有效。

3.4.2 對比分析

為進一步評估本文提出的改進網絡CSM-YOLOv8的有效性和先進性，在相同條件下與各種先進算法進行了對比研究。所有實驗模型是在沒有預訓練權重的情況下進行訓練的模型的批次大小設置為16，epochs為200。改進后的CSMYOLOv8得到的mAP 值高于其他版本，以此驗證本研究提出的改進方法的有效性，對比實驗結果如表3所示。

將本文網絡與YOLOv8原始網絡在自制數據下進行可視化檢測，結果如圖8（a）至圖8（f）所示。圖8（a）、圖8（c）和圖8（e）是原始YOLOv8檢測的結果。圖8（b）、圖8（d）和圖8（f）是改進后的模型檢測的結果。在圖8（a）和圖8（b）中，在對霧天環(huán)境下近距離車輛的檢測過程中，YOLOv8出現了漏檢的情況。在圖8（c）和圖8（d）中可以看到，原始的YOLOv8網絡檢測遠距離的小目標車輛時，會出現檢測精度低及漏檢的現象。在圖8（e）和圖8（f）中，當出現多個目標車輛時，易發(fā)生漏檢或者錯檢現象。改進后的模型在對霧天遠距離多目標車輛進行檢測時，出現的漏檢個數小于原始的YOLOv8網絡。同時，本文提出的網絡對霧氣濃重環(huán)境下展現出較好的車輛檢測魯棒性，能夠有效應對由于車輛的特征不明顯而產生漏檢和錯檢的問題。總而言之，本研究基于YOLOv8改進的網絡在霧天車輛檢測任務中，特別是對于遠處小目標車輛的識別，展現出了顯著優(yōu)勢。與原始網絡相比，該改進網絡有效降低了漏檢率，大幅提升了檢測效果，充分驗證了其在復雜氣象條件下的優(yōu)越性能和實用性。

4 結論（Conclusion）

為應對霧天環(huán)境下車輛檢測精度下降的問題，本文提出了一種基于YOLOv8的改進算法，即CSM-YOLOv8。在所提方法中，將選擇性核網絡SA-Net與YOLOv8模型的C2f模塊相結合作為基本框架。這一設計通過通道分組策略，并構建通道注意力和空間注意力，有效增強了有效的語義信息的提取能力，從而提高了目標識別的效率和有效性。引入了通道注意力模塊SEAttention和自注意力機制MHSA。其中，SEAttention通過對不同通道賦予不同的權重，獲取每個特征通道的重要程度，進而提高重要特征的權重;自注意力機制MHSA能引導模型從不同角度學習不同的語義信息，使其更適合霧天場景下的車輛檢測。實驗結果表明，CSM-YOLOv8具有更高的檢測精度與準確性，展現了其在霧天車輛檢測領域的優(yōu)越性能。未來，將繼續(xù)增加行人的數據集圖片數量，并引入更多樣化的霧天場景，以進一步提升CSM-YOLOv8在復雜道路條件和惡劣天氣條件下的目標檢測能力，為實現更廣泛、更可靠的道路目標檢測奠定堅實的基礎。