改進YOLOv5的影響駕乘舒適性目標檢測

李澍祺，劉堂友

（東華大學 信息科學與技術學院，上海 201620）

0 引言

目前，自動駕駛領域目標檢測算法的主要檢測對象為行人、機動車、非機動車等，汽車在檢測到潛在的碰撞可能性后通過前向碰撞預警系統(tǒng)（Forward Collision Warning，F(xiàn)CW）、行人碰撞預警系統(tǒng)（Pedestrian Collision Warning，PCW）等發(fā)出預警以告知駕駛員前方出現(xiàn)影響行車安全的目標需要避讓，或者通過自動緊急剎（Autonomous Emergency Braking，AEB）等功能緊急制動以避免碰撞發(fā)生。此外，對車道線的檢測可以通過車道保持系統(tǒng)（Lane Keeping Assist Systems，LKAS）使車輛不偏離行駛車道，對交通標志、信號燈等目標的檢測同樣是為了駕駛安全性?？偠灾繕藱z測在自動駕駛領域的應用主要是為了保證駕乘安全性。隨著自動駕駛技術的逐漸成熟，舒適性成為這項技術中不可忽視的一個重要因素，而當前對于行駛過程中影響駕乘舒適性的目標檢測研究尚較少。自動駕駛的核心目標是提高駕駛的安全性及效率，但如果這些過程中駕駛員與乘客無法感受到足夠的舒適性，這項技術就很難得到廣泛應用。

行駛過程中影響駕乘舒適性的目標主要有路面修繕不及時的坑洼、隆起的減速帶、路面上的石塊等，車輛若以較高速度駛過此類目標會造成較大顛簸，突然的變道也可能使駕乘人員感到不適甚至導致事故發(fā)生。Dhiman 等［1］提出一種基于深度學習和立體視覺的坑洼檢測方法，取得不錯的效果。針對路面減速帶的檢測，Chen 等［2］提出一種通過放置于車輛前方的攝像裝置獲得的圖像檢測減速帶從而避免顛簸的方法，對此類影響駕乘舒適性的目標進行檢測，可以方便汽車通過提前避讓、減緩行車速度等方法提升駕乘舒適性，具有一定的工程應用價值。

自動駕駛領域目標檢測所使用的傳感器主要有相機、超聲波雷達、激光雷達、毫米波雷達等。純視覺算法相較于其他傳感器實現(xiàn)目標檢測功能成本更低且更接近人類駕駛，自動駕駛領域使用純視覺算法的汽車企業(yè)主要有特斯拉、百度、極氪等。

在深度學習應用于目標檢測領域之前，屬于傳統(tǒng)的目標檢測時期。傳統(tǒng)目標檢測算法使用滑動窗口對待檢測圖像進行遍歷，產生一定數(shù)量的候選區(qū)域，并對候選區(qū)域進行特征提??；之后，所提取到的特征由Adaboost 或支持向量機（Support Vector Ma-chine，SVM）等方法進行分類進而得到最終檢測結果。該時期主要檢測方法有：Viola Jones 檢測器［3］、方向梯度直方圖（Histogram of Oriented Gradient，HOG）［4］、基于形變部件模型（Deformable Part Model，DPM）［5］等。實際場景下，傳統(tǒng)目標檢測算法通常由于目標相對體積較小及光照、遮擋等問題而無法提取有效特征，經常出現(xiàn)漏檢等情況，并且計算量大、速度慢、魯棒性不強。

2012 年，ImageNet 競賽中應用卷積神經網絡的AlexNet［6］的表現(xiàn)超越了一眾傳統(tǒng)目標檢測方法，卷積神經網絡的廣泛應用使得基于深度學習方法的目標檢測算法迅速發(fā)展。深度學習時期，主流的目標檢測算法有兩類：①基于候選框推薦的雙階段（Two-stage）目標檢測算法，代表作有R-CNN［7］、Faster R-CNN［8］、FPN［9］等；②基于回歸的單階段（One-stage）目標檢測算法，如YOLO 系列［10］、SSD［11］系列等。雙階段目標檢測算法先對待檢測圖像進行候選框提取，再對得到的候選框進行二次檢測從而得到檢測結果。雙階段目標檢測算法檢測精度高，但由于網絡結構導致檢測速度較慢，且由于檢測思路導致其對于全局的學習能力較差。單階段目標檢測算法沒有候選框推薦階段，訓練過程相較于雙階段算法更加簡單，可以端到端地確定目標位置與類別，該類算法檢測速度快，但檢測精度比雙階段算法低。

對實際駕駛場景進行分析，影響駕乘舒適性的目標檢測任務具有如下特點：①路面坑洼、磚塊等目標體積較小，檢測難度較大；②路面坑洼與路面背景非常相似，這也會給檢測準確性帶來影響；③由于外部環(huán)境影響，如天氣變化、光照變化、場景遮擋等這些因素也會使得對此類目標檢測的難度變大。為提高對此類目標的檢測精度，本文提出了一種改進的YOLOv5 目標檢測方法，在提升對此類目標檢測精度的同時，保證了檢測實時性［12］。

1 YOLOv5結構

YOLOv5 是一種單階段目標檢測算法，已廣泛應用于學術界和工業(yè)界，其在車輛檢測［13］、自動駕駛環(huán)境感知［14］領域的應用相對較多。YOLOv5 在YOLOv4［15］基礎上作了許多改進，使得檢測精度與速度得到了很大提升。其結構由輸入端、Backbone、Neck、Head 4部分組成，如圖1所示。

Fig.1 Construction of YOLOv5圖1 YOLOv5結構

YOLOv5 在輸入端增加了Mosaic 數(shù)據(jù)增強、自適應錨框、自適應圖片縮放等操作。Mosaic 數(shù)據(jù)增強操作提高了小目標的檢測效果并且提升了模型泛化性；自適應錨框有利于提升檢測速度并縮短訓練所需時間；自適應圖片縮放可以使網絡接受不同尺寸的圖像并減少了圖片信息丟失。

YOLOv5 新版本將Backbone 中的CSP 模塊替換為C3模塊，其結構如圖2 所示。C3 相較于CSP 模塊的不同之處是移除殘差輸出后的Conv 模塊，Concat 操作后的標準卷積模塊中的激活函數(shù)也由LeakyRelu 激活函數(shù)替換為SiLU 激活函數(shù)。相比于CSP 模塊，C3 模塊可以得到相似的表現(xiàn)卻更加簡單、輕量和快速。

Fig.2 Construction of C3 module圖2 C3模塊結構

Neck 中增加了FPN+PAN 結構，如圖3 所示。引入此結構后，模型可以在融合不同尺度下目標語義特征的同時融合定位特征，從而提高了對目標的檢測精度。

Fig.3 Construction of FPN+PAN圖3 FPN+PAN結構

Head 部分對3 種不同尺度的特征圖進行處理，針對得到的各尺度特征圖在待檢測圖像上生成預測框，之后對預測框進行非極大值抑（Non-Maximum Suppression，NMS）處理，去除重復預測框，從而實現(xiàn)對小、中、大不同尺度目標的檢測。

2 改進YOLOv5算法

2.1 C3模塊改進

注意力機制如今廣泛應用于目標檢測任務中，通過模仿人類的感知特性，加入注意力機制的模型會有選擇性地更加關注某些信息。坐標注意力（Coordinate Attention，CA）機制是一種綜合考慮空間與通道維度的輕量化注意力機制［16］，可以輕松融合到不同的網絡中，同時也保持了模型輕量化。CA 注意力結構如圖4 所示，相較于同樣綜合考慮了通道維度和空間維度的卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）［17］，CA 注意力機制解決了缺乏長距離關系提取能力的問題。

Fig.4 Construction of coordinate attention mechanism圖4 CA注意力機制結構

CA 注意力機制主要包括以下兩個步驟：

（1）信息嵌入操作。對于輸入特征圖，分別對特征圖水平方向和垂直方向進行全局平均池化池化操作，得到兩個嵌入后的信息特征圖，此過程如圖5所示。

Fig.5 Information embedding operation圖5 信息嵌入操作

使用H×1 的池化核沿著水平方向即X 方向進行全局平均池化操作，H×W×C 的輸入特征圖經此得到H×1×C 的信息特征圖，計算方式如式（1）所示。

使用1×W 的池化核沿著垂直方向即Y 方向進行全局平均池化操作，H×W×C 的輸入特征圖經此得到1×W×C 的信息特征圖，計算方式如式（2）所示。

上述操作分別沿兩個空間方向聚合特征，得到一對方向感知征圖，允許注意力模塊捕捉到沿著一個空間方向的長期依賴關系，并保存沿著另一個空間方向的精確位置信息，有助于網絡更準確地定位感興趣的目標。

（2）注意力生成操作。將上一步得到的兩個方向特征圖與沿空間維度拼接后進行卷積操作，再經過BatchNorm 和激活函數(shù)，隨后沿空間維度進行分片后得到兩個特征圖，之后分別對兩個特征圖進行卷積操作和使用激活函數(shù)，得到兩個注意力向量gh和gw，如式（3）所示。

其中，f為包含橫向和縱向空間信息的中間特征，r 為縮減因子。其中：

將得到兩個注意力向量gh與gw進行廣播變換為C×H×W 維度，之后與經過殘差操作的輸入特征圖Xc進行對應位置相乘操作后即可得到最后的注意力特征yc，如式（8）所示。

本文將CA 注意力機制引入C3 模塊的BottleNeck 部分中得到C3CA 模塊，BottleNeck 與修改后的CA-BottleNeck如圖6 所示。修改后的模型在3×3 卷積后增加了CA 注意力模塊。注意力機制的引入可以提升模型對重點信息的關注度。

Fig.6 Comparison of BottleNeck before and after modification圖 6 BottleNeck修改前后對比

2.2 損失函數(shù)改進

YOLOv5 所使用的LossCIoU損失函數(shù)綜合考慮了真實框與預測框之間重疊面積的IoU 損失、預測框與真實框中心位置之間歸一化后的距離損失、預測框與真實框之間的寬高縱橫比損失。LossCIoU計算如式（9）所示。

其中，b表示預測框，bgt表示真實框，ρ2(b，bgt)表示預測框與真實框中心點的歐氏距離，c表示能夠同時包圍預測框與真實框的最小閉包區(qū)域的對角線距離，β為平衡比例參數(shù)，其計算如式（10）所示，v表示預測框與真實框的寬與高之間的比例是否接近，其計算如式（11）所示。

LossCIoU在邊界框損失函數(shù)中加入了作為懲罰項的寬高比，加速了預測框的回歸收斂過程?？梢钥闯?，LossCIoU所使用的是真實框和預測框的高與寬的相對比例，并不是高和寬的值，根據(jù)v的定義，若預測框的寬與高和真實框的寬與高比例滿足 {(w=kwgt，h=khgt)|k∈R+}時，LossCIoU中的相對比例懲罰項目無法起作用。預測框的寬與高相對于v偏導的計算如式（12）所示。

為了緩解上述問題，引入Lossα-IoU［18］加以改進。Lossα-IoU保留了原本LossCIoU損失函數(shù)的特性，同時可以幫助模型更加關注高IoU 目標。Lossα-CIoU在原有的LossCIoU基礎上每一項增加了一個α指數(shù)，當α＞1 時，α增加了絕對損失量，提高了對不同層次目標的優(yōu)化空間。改進后的Lossα-CIoU計算公式如式（13）所示。

2.3 卷積模塊改進

Conv 模塊作為YOLOv5 最基礎的組件，由卷積、Batchnormalization、激活函數(shù)組成，具體結構如圖7所示。

Fig.7 Construction of Conv module圖7 Conv模塊結構

其中，卷積操作用于提取特征；，Batchnormalization 操作用于調整數(shù)據(jù)使其重新分布，防止大量數(shù)據(jù)分布在飽和區(qū)造成梯度消失問題；激活函數(shù)用于引入非線性因素，提高模型擬合能力。

為了減少運算量并保留特征信息，本文提出了一種新的卷積模塊，其結構如圖8 所示，并將Neck 部分的Conv 模塊替換為新的卷積模塊。新的卷積模塊包括以下步驟：

Fig.8 Construction of new conv module圖8 新卷積模塊結構

Step 1：用1×1 大小的卷積核對輸入為W×H×C 的特征圖進行通道壓縮，獲得大小為W×H×C/2 的特征圖，這一步操作主要在減少通道數(shù)的基礎上保留原有的特征信息。

Step2：用3×3 大小的卷積核對Step1 獲得的降維后的特征圖進行遍歷，保持卷積操作后特征圖的尺寸不變，獲得大小為W×H×C/2 的特征圖。這一步驟旨在保證提取通道數(shù)減半后保留原有信息特征圖的更深層次特征。

Step3：將通道數(shù)壓縮后的W×H×C/2 特征圖與其經過卷積特征提取后的W×H×C/2 特征圖沿著通道維度進項Contact 操作，獲得大小為W×H×C 的特征圖。此特征圖既保留了卷積前特征圖的信息，也獲得了更深層的信息。由于使用降維后通道數(shù)減半的特征圖參與了3×3 的卷積操作進行特征提取，故相比于直接使用3×3 卷積對原特征圖進行特征提取，參數(shù)量和GFLOPS 都有了一定減少。

Step4：經由BN 層和SiLu 激活函數(shù)加入非線性特征后傳遞至下一層。

改進后的YOLOv5 算法結構如圖9 所示，其中改進后的C3 模塊稱為C3CA 模塊，新的卷積模塊稱為N-Conv 模塊，將Backbone 部分的所有C3 模塊替換為C3CA 模塊，將Neck 部分中的Conv模塊替換為N-Con 模塊。

Fig.9 Comparison of YOLOv5 before and after modification圖9 改進后的YOLOv5結構

3 實驗結果分析

3.1 數(shù)據(jù)集獲取與處理

本文實驗所用數(shù)據(jù)集來源之一為Stellenbosch University 搜集并公開的路面坑洼數(shù)據(jù)集［19］，該數(shù)據(jù)集共有1 784張圖片，包含可以影響到駕駛舒適性的路面坑洼目標。高速或低速行駛過減速帶時也會給車輛帶來較大顛簸，故本文采用的另一數(shù)據(jù)集為發(fā)表在Mendeley Data 的減速帶數(shù)據(jù)集［20］，包括有標記的減速帶和無標記的減速帶共543 張圖片。行駛過程中體積較大的石塊、磚塊等也會對駕駛舒適性帶來影響，現(xiàn)有公開數(shù)據(jù)集暫無此類圖片，因此在校園道路中使用Allied Vision 工業(yè)攝像機置于車頂模擬拍攝，共拍攝到含有磚塊、石塊等目標的圖片共544 張。此外，拍攝不含有任何識別目標的負樣本300 張，用于提高模型對目標與背景的分辨能力。通過工業(yè)相機獲得的圖片為單通道Bayer格式，經過插值算法獲得RGB 彩色圖像。

將圖片進行匯總得到3 171 張圖片，按照8∶1∶1 的比例分為數(shù)據(jù)集、驗證集和測試集。使用Labelimg 標注工具進行標注，將有標記的減速帶和無標記的減速帶歸為一類，統(tǒng)一標注為Speedbump，將路面石塊與磚塊歸為一類，統(tǒng)一標注為Block、將路面坑洼標注為Pothole。部分數(shù)據(jù)集如圖10所示。

Fig.10 Part of the dataset images圖10 部分數(shù)據(jù)集圖片

3.2 實驗平臺

本文實驗的操作系統(tǒng)為Ubuntu 20.04.4 LTS，CPU 型號為Intel? Xeon? Platinum 8255C CPU @ 2.50 GHz，內存大小為43 GB。GPU 型號為NVIDIA RTX 3080，顯存大小為10 GB。Pytorch 版本為1.11.0，使 用CUDA11.3 配 合CUDNN8.2.0 版本的神經網絡加速庫，訓練時參數(shù)設置如表1所示。

Table 1 Training parameter settings表1 訓練參數(shù)設置

3.3 實驗結果

為了驗證本文所提出的改進策略的有效性，對各改進策略進行評估，在數(shù)據(jù)集開展消融實驗，以判斷各改進部分是否有效。YOLOv5_1、YOLOv5_2、YOLOv5_3 依次在YOLOv5s 模型的基礎上分別替換了引入注意力機制的C3模塊、Lossα-CIoU、改進的卷積模塊，“√”表示應用該策略，“-”表示未使用該策略。訓練過程使用同一參數(shù)配置，各模型在測試集上的檢測結果如表2 所示，各模型參數(shù)量、GFLOPs、檢測速度如表3所示，訓練過程如圖11所示。

Table 2 Improved YOLOv5 ablation test表2 改進的YOLOv5消融實驗

Table 3 Comparison of the parameters，calculation amount，and frame number of each model表3 各模型參數(shù)量、計算量、幀數(shù)比較

Fig.11 Comparison of mAP@0.5 value between YOLOv5 and improved model圖11 YOLOv5與改進模型mAP@0.5值比較

可以看出，改進后的模型相比于原有模型在數(shù)據(jù)集上獲得了更好的精度，在替換引入CA 注意力機制的C3 模塊后mAP 提高了1.4 個百分點，相比于使用LossCIoU的YOLOv5_1 模型，替換為Lossα-CIoU的YOLOv5_2 模型mAP 提升了0.2 個百分點，在使用新的卷積模塊后mAP 提高了0.5個百分點。分析認為，C3 模塊在引入CA 注意力機制后增強了對障礙目標顯著特征的提取能力，提高了對重點信息的關注度，表現(xiàn)在檢測精度提升較為明顯，損失函數(shù)的改進增加了對不同層次目標的優(yōu)化空間，提高了回歸精度，使得mAP 小幅提升，新的卷積模塊的加入使得在保留原有特征信息的同時融合了深層抽象信息，使得mAP 有了一定程度的提升。從表3 可以看出，相比于原始的YOLOv5 算法或引入了CA 注意力和Lossα-CIoU的改進算法，使用了新的卷積模塊后參數(shù)量和GFLOPs 都產生了下降。所提出的改進算法每秒可以處理70 張圖片，保證了檢測實時性，具有一定的工程價值。

部分實驗結果如圖12 所示，從第一幅待檢測圖片可以看出，相較于原始YOLOv5 算法，改進后的算法檢測到了距離更遠的坑洼，有利于駕駛員或自動駕駛系統(tǒng)更早作出避讓動作以避免顛簸發(fā)生；第二行待檢測圖片可以看出，改進后的算法檢測到了原始算法未能檢測到的減速帶，并且檢測到的物體擁有更高的置信度；改進算法在第三幅待檢測圖像中檢測出了更多坑洼；從第四幅圖待檢測圖片可以看出，改進后的算法檢測到距離更遠和左下角與背景相似的坑洼，原始YOLOv5 算法卻沒有檢測出?？梢钥闯?，改進后的YOLOv5 算法對此類影響駕乘舒適性的目標具有更好的檢測效果。

Fig.12 Comparison of improved test results圖12 改進試驗結果比較

為了進一步評價改進后算法的檢測性能，將本文的改進算法與YOLOv5 對比的同時，與現(xiàn)今常用深度學習目標檢測算法SSD、YOLOv3、YOLOv4 進行比較，結果如表4 所示，可以看出，本文提出的改進方法保證了實時性的同時，檢測精度獲得了更加優(yōu)異的表現(xiàn)。

Table 4 Comparison of detection results of different models表4 不同模型檢測效果比較

4 結語

本文針對影響駕乘舒適性的目標檢測難度大的問題，結合CA 注意力機制、Lossα-CIoU、新的卷積模塊，提出了一種改進YOLOv5模型的目標檢測算法。相較于其他主流的目標檢測算法，該方法擁有更好的檢測精度和更快的檢測速度，且最終獲得的模型參數(shù)量更小，更加有助于未來在嵌入式端進行算法的移植部署。在后續(xù)研究中，將更多地考慮影響駕乘舒適性體驗的目標類型，在目標類別更加多樣化的同時保證模型檢測精度和識別速度。