基于M-YOLO的自動駕駛下目標識別算法

牛洪超，胡曉兵，羅耀俊

(1.四川大學 機械工程學院，四川 成都 610065； 2.四川大學 宜賓產業技術研究院，四川 宜賓 644000)

0 引 言

隨著計算機視覺領域的快速發展，促進了智能醫療、智能安檢、智能機器人和自動駕駛等領域的快速飛躍，尤其是在自動駕駛領域，如何研究出精準高效的目標檢算法是一項具有重大意義與充滿挑戰的研究工作。自動駕駛檢測的目標主要分為靜態與動態目標，靜態目標如交通標志、障礙物等；動態目標如車輛、行人等，目前所存在的難點主要有：①待檢測的目標存在遮擋且密集的情況；②遠處的目標在圖像中存在模糊且所占據的像素點少的情況；③外界天氣環境的干擾；④檢測速度與精度的要求。如何解決上述問題，是自動駕駛領域目標檢測算法設計的基準。

由于傳統的特征提取都是人工設計，存在較大的局限性，并且在檢測的時候易受外部環境的干擾，其整體檢測精度較差，無法應用于自動駕駛這種復雜的場景中。近年來，隨著深度學習技術的快速發展，深度卷積神經網絡具有能夠自主完成對目標特征提取的能力。基于目前自動駕駛領域所存在問題，同時考慮到自動駕駛對算法性能與效率的要求，本文選擇對一階段算法YOLOv5進行探索改進，將其應用于自動駕駛領域，同時為了比較算法在自動駕駛上性能的提升，使用公開的自動駕駛數據集BDD100K進行分析驗證。

1 YOLOv5模型結構

1.1 網絡結構分析

現階段的目標檢測算法可以分為兩種，一種是分為兩步來完成的，如Cascade R-CNN[1]、Faster R-CNN[2]等，這類算法首先利用網絡提取可能存在目標的候選區域，再利用后續的卷積神經網絡完成分類與邊界框預測。這類算法的精度一般比較高，但檢測時間較長。另一種是單階段算法，如SSD[3]、YOLO[4]等。這類算法利用目標回歸的思想，直接得出預測的邊界框與類別的信息。這類算法的運行速度往往較快，滿足實時性需求，因SSD算法對圖片分辨率敏感，且檢測效果不如YOLO系列，目前YOLO系列已發展至YOLOv5系列，其性能有了巨大的提升。因此本文選擇通過改進YOLOv5[5]模型來進行實驗。

YOLO系列算法首先將輸入圖片進行劃分單元格，在每個單元格里進行候選框的判斷，若目標的中心落在這個單元格中，則這個單元格就負責預測這個目標，正是這種基于單元格的檢測方式，使得YOLO系列算法的檢測速度較為快速。目前YOLO系列算法已更新至YOLOv5，其中YOLOv5s為其系列中最小的模型，因此本文從YOLOv5s模型入手，探究更好的YOLO模型，其結構如圖1所示。

圖1 YOLOv5網絡結構

相比于YOLOv3[6]，YOLOv5更加復雜。從上圖可知，YOLOv5s網絡可以分為3個模塊，第一個是主干網絡，其組成部分為Focus模塊、BottlenCSP1模塊和SPP模塊組成。BottlenCSP1模塊是在殘差網絡基礎上加入CSPNet[7]結構，將梯度的變化集成到特征圖上，只需要將輸入的特征分為兩部分，一部分進行卷積，另一部分與上一次的結果進行拼接融合，BottlenCSP1結構不僅可以減少整體的計算量，同時也有效增強卷積神經網絡的學習能力。SPP模塊是通過空間金字塔池化操作來增加網絡整體的感受野。第二個為頸部(Neck)網絡，所采用的模塊是PANet[8]結構。第三個為頭部(Head)網絡，用于輸出不同大小物體的檢測結果。

1.2 YOLOv5的不足之處

雖然YOLOv5具有良好的檢測能力，但是它是以COCO數據集為基礎，如果應用于自動駕駛領域，存在著對小目標的檢測能力不足，尤其是在目標存在模糊、密集以及遮擋等情況下。同時，YOLOv5中的特征增強模塊PANet側重于深度特征圖的融合，削弱了對小目標的檢測能力，且上采樣操作間接增加干擾噪聲，而在自動駕駛領域中，及時發現小目標或者遠處的目標，對于其安全性有著重大的作用。因此，本文通過對模型進行改進，進一步提高模型在自動駕駛領域的檢測能力。

2 模型改進

根據上述YOLOv5的不足之處，分別從主干網絡、特征增強網絡以及后處理上對YOLOv5進行改進，改進后的M-YOLO網絡模型如圖2所示。

2.1 主干網絡(Backbone)的改進

目前基于深度學習的目標檢測模型無不依賴于CNN分類網絡作為特征提取器，如SSD采用卷積神經網絡VGGNet，YOLOv3采用殘差ResNet網絡等。殘差網絡ResNet是目標檢測領域最常用的主干網絡，但是殘差網絡提取的特征不具有細粒度，提取特征的能力不夠強。DenseNet[9]是通過密集連接的方式將具有不同感受野的中間特征進行融合。ResNet和DenseNet的主要區別是在于它們聚合特征的方式不同，Resnet通過求和的方式來聚合，而DenseNet通過密集連接的方式，原始的特征信息在相加的時候會被覆蓋掉，而利用連接的方式可以將原始的信息持續傳下去。一些研究表明，具有多個感受野的抽象特征可以捕獲不同尺度的視覺信息，正是因為這樣，DenseNet保留和積累了更多不同感受野的特征，比ResNet具有更好、更多樣化的特征表達能力。因此在提取特征能力上比ResNet更強，而且參數與計算量更少，但是由于DenseNet中密集連接所導致高內存訪問成本與能量消耗，使得其預測速度較慢。針對上述問題，最近提出的網絡模型VOVNet[10]在DenseNet基礎上，刪除密集連接，只在最后一層聚合前面所有層的信息，這不僅繼承了DenseNet的優點，同時有效解決了內存訪問問題和充分利用了GPU的并行計算能力，其性能表現也超越DenseNet與ResNet。其中VOVNet網絡中的OSA(one-shot aggregation)模塊如圖3(a)所示。

本文使用改進的OSA模塊替代YOLOv5網絡中的BottlenCSP1結構，其結構如圖3(b)所示。改進的OSA模塊是在OSA模塊基礎上添加殘差連接與改進的注意力機制，增加殘差連接，可以訓練出性能更加強大的網絡。另外，在最后的特征層上加上esenet模塊來進一步增強特征，原始的注意力機制包含兩個全連接層，其中中間的全連接層主要是為了降維，這在一定程度上會造成信息的損失，因此在esenet模塊中去掉這個中間層，其結構如圖3(c)所示。

圖2 M-YOLO結構

圖3 改進的VOVNet網絡

2.2 特征增強模塊(Neck)的改進

針對于自動駕駛場景中行人、汽車、交通燈等目標數量多和尺度差異大的特點，首先將YOLOv5s中原有的3個尺度檢測擴展至4個尺度檢測結構，再進行特征增強模塊的改進。本文所設定的4個檢測尺度分別為160×160，80×80，40×40和20×20，其中160×160的尺度用來檢測小目標，如遠處的目標或者交通燈等；80×80與40×40的尺度用來檢測中等目標，20×20的尺度用來檢測大目標，通過設計4個尺度來滿足不同大小的物體檢測，顯著提升模型的整體性能表現。

頸部網絡(Neck)主要負責特征增強。目前，特征金字塔網絡(FPN)在特征增強模塊中是應用最廣泛的深度神經網絡之一，如FSSD、YOLOv3和DSSD等均使用FPN結構，其結構如圖4(a)所示。FPN結構可以在深度卷積神經網絡的不同卷積層中提取不同尺度的特征圖，從而實現多尺度目標的檢測，且這種自頂向下的結構，將深層語義信息傳送到淺層網絡層中，有效提高了對小目標的檢測能力；但是FPN結構對大中型目標的檢測不夠重視，而且為了調整不同特征圖的尺度，需要對小尺度特征圖進行上采樣，對大尺度特征圖進行下采樣。前者增加了噪聲，而后者導致詳細信息的丟失，從而限制了模型性能的進一步提升。針對此問題，YOLOv5采用的方法是PANet結構，其結構如圖4(b)所示，此結構可以有效提升大中型目標的檢測能力。但是由于該方法側重于深度特征圖的增強，削弱了對小目標的檢測強度，且小尺度上采樣與大尺度卷積所帶來的信息損失并沒有得到緩解。為解決上述的缺點，本文提出一種用于目標檢測的新穎特征增強模型，其結構如圖5所示。

圖4 常用的特征增強模塊

圖5 改進后的PANet結構

從圖5可以看出：改進后的PANet網絡，是通過兩個串聯的特征金字塔網絡和兩條跨層連接結構組成，以此來實現更豐富的多尺度上下文特征融合。我們把左邊的第一個特征金字塔網絡稱為F金字塔，第二個特征金字塔網絡稱為S金字塔。整個網絡結構包括4個上下卷積階段，本文用 {C2,C3,C4,C5} 表示主干網絡第2、3、4、5階段生成的特征圖，分別對應于對輸入圖像下采樣4、8、16和32倍； {B2,B3,B4,B5} 分別表示F金字塔對應的輸出特征圖。S金字塔也包括兩部分：自下而上的結構和自上而下的結構。自下而上的結構產生 {P2,P3,P4,P5}， 分別對應于F金字塔中的 {B2,B3,B4,B5}； 自上而下的結構產生 {Q2,Q3,Q4,Q5}， 對應于4個檢測頭，用于最終的目標檢測。除了雙金字塔結構外，改進后的PANet網絡還包含兩條獨立的自底向上的跨層結構，稱為A1和A2模塊。

圖6 金字塔網絡結構

自頂而下的結構：如圖6(a)所示，每次融合操作都包含個輸入映射，一個來自于經過上采樣操作的低分辨率特征，另一個來自于對應的特征映射，再利用BottlenCSP2結構對融合后的特征進行卷積處理，生成新的特征層。

自下而上的結構：如圖6(b)所示，每次融合操作都包含個輸入映射，一個來自于經過卷積操作的高分辨率特征，另一個來自于對應的特征映射，再利用BottlenCSP2結構對融合后的特征進行卷積處理，生成新的特征層。

如上所述：原來的FPN結構可以很好處理小目標，而PANet結構可以很好地用于大目標和中等目標的檢測。為了在不同尺度的目標檢測上取得良好的整體性能，我們提出改進的PANet結構，由雙金字塔網絡與A1A2模塊組成。第一個F特征金字塔與FPN結構一致，通過頂層的上采樣操作將深層的語義信息與淺層的信息逐步融合，得到 {B2，B3，B4，B5}。 S金字塔網絡相比于PANet網絡多了一條自頂而下的結構，首先第一條自下而上的結構，通過底層的卷積降采樣操作將底層豐富的位置信息分步傳送至深層，增強深層的特征表達能力，得到 {P2，P3，P4，P5}； 為了保證對小目標的檢測能力，通過引入一條自頂而下的結構，將豐富的深層信息進一步傳送至底層，增強底層的信息表達能力，得到用于預測的特征 {Q2，Q3，Q4，Q5}。 為緩解上采樣與降采樣所造成的信息損失，引入兩條跨層結構，將主干網絡中的輸出 {C3，C4} 作為輸入，送入到最后一層 {Q3，Q4} 中，用來指導特征的生成，融合更多尺度的特征。改進后的PANet網絡在保留PANet網絡的優點之上，進一步增強對小目標的檢測能力，豐富每一層的特征以及減少信息的損失，使得特征增強模塊具有更強的增強作用，便于后面檢測頭的預測處理。

2.3 非極大值抑制算法的改進

圖7 重疊目標

非極大值抑制(non-maximum suppression，NMS)算法是通過直接判斷交并比(intersection over union，IOU)是否大于設定閾值，來對重疊的預測候選框進行篩選，用于目標檢測的后處理過程。但是當面對密集、遮擋等目標時，這種算法刪除了被遮擋目標的預測框，不利于自動駕駛目標的檢測，如圖7所示，自動駕駛在實際的場景往往存在汽車相互遮擋的情況，圖中右側虛線框與實線框的IOU值若是大于設定的閾值，使用傳統的NMS算法來處理多余的候選框，將保留得分更高的置信度，并將設置其余的候選框的置信度為0，導致重疊目標只能檢測出一個。

本文嘗試使用soft-nms[11]算法來解決傳統NMS算法不能準確檢測遮擋密集型目標的問題。如果是傳統的NMS算法，先計算交叉比IOU(M,bi)， 若是IOU(M,bi) 值大于設定的閾值，則將這個候選框刪除；而對于soft-nms算法，則是將IOU(M,bi) 值送入下面的函數Si中，再將函數的輸出值與其候選框的置信度相乘，作為最終這個候選框的置信度得分，最后再經過最低閾值進行刪除置信度得分較低的候選框。此算法所采用的函數如下

(1)

式中：Si為高斯平滑后的置信度得分，i為類別標簽，M為置信度得分較大的預測框，bi為預測對象的預測框，IOU(M,bi) 為M與bi的交集比，IOU(M,bi) 越大，函數Si的得分就越低。

優化后的NMS算法處理流程如圖8所示。首先，對回歸產生的N個預測框，根據置信度分值大小進行排序，選擇置信度分值最大的預測框，計算與其它預測框的IOU值；然后將IOU值作為輸入送到式(1)，重新計算置信度得分，將計算后的置信度放入存儲單元中，對剩余的預測框繼續執行上述步驟，直至處理完所有的預測框；最后，刪除儲存單元中置信度得分小于閾值的預測框，顯示置信度得分大于閾值的預測框，這就是最終檢測結果。作為一種尋找局部最優解的方法，NMS算法通過簡單的閾值比較對預測框進行過濾，本文通過利用IOU值對置信度進行高斯平滑衰減，在一定程度上避免了遮擋目標預測框的錯誤刪除。

圖8 NMS算法的優化

3 實驗分析

3.1 數據處理

本文所使用的數據集是伯克利大學發布的BDD100K[12]自動駕駛數據集，包含10萬段高清視頻、10萬張關鍵圖片(每個視頻的第10 s關鍵幀)以及對應的標注信息。本文的道路目標共分為13個類別，分別為：person，rider，car，bus，truck，bike，motor，Traffic light green，Traffic light red，Traffic light yellow，Traffic light none，Traffic sign，train，總共約有184萬個標定框。針對目標邊界框標注，10萬張圖像數據分為7萬張訓練集、2萬張測試集和1萬張驗證集。

為提高模型的泛化性和魯棒性，針對訓練數據集使用了如下的數據增強技術：

(1)Mosaic數據增強[13]

將訓練集中2張或者4張圖片進行隨機裁剪，然后再拼接到一張圖片上作為訓練數據，增加了訓練過程中batch的數量和樣本多樣性，減少訓練過程中batch_size的大小，降低對硬件的要求，同時增加了很多的困難樣本用于提高模型的檢測能力。

(2)數據歸一化處理

因數據的平均亮度與像素值的分布范圍有較大的差異，為減少這些差異，使數據具有相似的分布，加快訓練模型的收斂速度，提高其模型檢測精度，需要對數據進行歸一化處理。本文選擇使用Z-Score標準化方法，即通過計算數據的均值和方差來對數據進行歸一化處理，經過處理的圖像數據符合標準正態分布，即均值為0，方差為1，其計算公式為

(2)

其中，u為所有樣本數據的均值，σ為所有樣本標簽的方差。在訓練過程中，通過數據加載器對訓練集進行加載，采用上述增強技術進行處理。

3.2 實驗環境與評價指標

本文實驗的硬件環境為CPU Core(TM) 1.80 GHz，GPU NVIDIA GeForce RTX 2080Ti，內存11 G，軟件環境為python 3.7，Torch 1.6.0。整個訓練過程使用隨機梯度下降法(SGD)來學習和更新網絡參數。初始學習率為0.01，學習率下降參數為0.0001，動量(momentum)為0.937，權重衰減系數為0.0005，訓練的批處理大小batch為8，訓練集中全部樣本的訓練次數(epoch)為200次，圖像輸入尺寸為640×640，通過調整飽和度、曝光量以及色調來增加訓練樣本。

本文用召回率(recall)、查準率(precision)、平均準確率均值(mAP)以及各個類別的平均準確率(AP)來對實驗結果進行評估，其中召回率與查準率的計算公式如下

(3)

(4)

其中，TP(true positives)為正樣本數據集中被正確識別出的數量，FN(false negatives)為正樣本數據集中被錯誤識別的數量。AP與mAP計算公式如下

(5)

(6)

3.3 實驗分析

3.3.1 M-YOLO與YOLOv5s的對比實驗

本文的實驗結果如下表所示，其中表1列出YOLOv5s與M-YOLO兩個模型的查準率、召回率、mAP以及推理時間的對比值。表2列出了兩種模型對13類目標的平均準確率的對比值。

表1 兩種模型的性能對比

從表1可以看出，本文的改進M-YOLO模型的平均準確率均值mAP達到了56.84%，其檢測時間為0.012 s；比起原YOLOv5s，M-YOLO的查準率提升了2.64%，召回率提升了10.65%，平均準確率均值mAP提升了8.51%，雖然檢測時間比YOLOv5s有所增加，但依然滿足實時性能的要求。從表2可以看出本文方法對每類目標的AP值都得到了提升，尤其是car類提升6%，Traffic light green提升10%，M-YOLO與YOLOv5s模型的檢測對比如圖9所示。

從圖9可以看出：當設置置信度閾值為0.6時，原YOLOv5s網絡均有大量的漏檢現象出現，且置信度低于

表2 目標的平均準確率比較

圖9 YOLOv5s與M-YOLOv5檢測對比

M-YOLO，尤其是遠處的小目標，比如在第一組圖中，交通燈與遠處的車輛均未正確檢測出來；第二組圖中遠處的車輛未檢測出來；第三組圖與第四組圖中存在較多的小目標以及遮擋目標均未檢測出來。可知：改進后的YOLOv5s(M-YOLO)在實際檢測上均有大幅度的提升，不僅正確檢測出目標，且置信度也高于原YOLOv5s。

3.3.2 M-YOLO與其它模型的對比

本文對比其它模型在BDD100K數據集的實驗，其結果見表3。

表3 M-YOLO與其它模型的對比實驗

從表3可以看出：相比于Faster R-CNN與SSD，M-YOLO分別提升了25%與34.7%；相比于FCOS、ATSS與Cascade R-CNN，M-YOLO分別提升2.9%，0.6%與1%；可見：M-YOLO相比于這些模型都有著較為顯著的優勢，且滿足自動駕駛實時檢測的需求。

4 結束語

本文提出的M-YOLO網絡通過在原YOLOv5s的主干網絡中融入具有不同感受野的VOVNet模塊，以此來增強模型的細粒度表現，提取出更豐富的信息；在特征增強模塊使用改進的PANet模塊，使得融合后的特征更具有代表性，同時減少上采樣和降采樣所造成的信息損失；最后通過soft-nms算法進行后處理，有效緩解密集遮擋型目標的檢測問題。經過上述改進后，M-YOLO的檢測性能整體得到提升。但是，不管M-YOLO，還是其它模型，對BDD100K的平均準確率都比較低，因此后續需要對其開展進一步的研究；同時，本次實驗只對YOLOv5s進行改進，后續將研究如何將這些改進更好應用到YOLOv5的其它系列，進一步提升網絡的檢測能力。