TidyYOLOv4-SPP3實時精細無人駕駛目標檢測算法研究

劉新潮，嚴英，甘海云

(1.天津職業技術師范大學 汽車與交通學院，天津 300222；2.智能車路協同與安全技術國家地方聯合工程研究中心，天津 300084)

無人駕駛融合多項檢測技術是一種新興的高科技創新，其中視覺檢測是保證實時性和準確性的基礎，視覺不僅具有較高的穩定性還可以保障行駛交通環境中的物體進行準確實時的檢測.但隨著城市地區車輛的飽和形成了更多復雜的交通場景，如交通擁堵、違規停車與違規超車等.在這些復雜動態環境下無人駕駛的視覺檢測策略則需要更有效、更準確地分析場景的動態與靜態區域.一般來說，障礙物的目標檢測主要是尋找目標的位置，分析目標的特征，在密集的動態障礙物中準確進行識別.檢測設備一般是固定在無人駕駛車輛上，根據拍攝距離的遠近獲取不同尺寸的特征和視角，這對于復雜的交通而言，障礙物越多識別距離越遠越難捕捉到有效的特征信息.隨著計算硬件和視覺算法的進步，無人駕駛視覺在城市交通環境物體的檢測效果有了很大改善，但僅限于障礙物相對稀疏的場景或行駛速度要求較低的城市路徑.

為了提高無人駕駛在城市交通環境的目標檢測精度，宋艷艷等人[1]利用殘差結構的思想，將深層結構的特征與淺層結構的特征進行上采樣融合，并利用K-means算法聚類獲取合適的檢測框從而提高目標的檢測精度.崔艷鵬等人[2]提出了一種超分辨率進行的重建來增強特征細節的提取，然后使用維度聚類重新生成預選框，減緩了檢測速度.本文選取檢測精度與速度比較平衡的YOLOv4[3]目標檢測算法，通過在其檢測頭前增加空間金字塔模塊來提高特征提取效果，由于特征提取效果的提升會降低檢測速度，本文提出一種深度模型剪枝的策略，通過修剪冗余的網絡結構來提升檢測效率.為驗證優化策略的有效性選擇了開源數據集VOC2012進行驗證.

1 相關工作

機器視覺對圖像的解析主要分為三類：分類、檢測與分割，與分類不同的是目標檢測除了解析類別信息外，還要檢測目標的位置信息，因此處理過程更加繁瑣.傳統的目標檢測算法大多是基于滑動窗口的思想來處理目標信息，具有處理過程復雜與適用性差的缺點.隨著硬件的升級，在深度學習的基礎上已發展出結構簡單、運行高效的目標檢測算法.其中包括R-CNN[4]、Faster R-CNN[5]、SPP-Net[6]、RetinaNet[7]、SSD[8]、YOLO[9]、YOLOv2[10]、YOLOv3[11]、YOLOv4[1]等目標檢測器.

這些深層目標檢測算法主要分為兩類：一類是由候選區域、手工特征提取與分類器組成的兩級目標檢測算法，兩階段的目標檢測算法學習一種目標檢測器需要CNN提取選擇性搜索產生的特征建議.使用該方法的檢測器一般使用卷積神經網絡來調用這些區域，而R-CNN系列可能是兩級目標檢測器中最有效的系列之一.雖然檢測精度先進，但與一級檢測方法相比兩級目標檢測器的實時性較差.YOLO家族的出現使單級目標檢測器的精度開始接近兩級目標檢測器的精度，同時依然擁有很高的實時性，經過一系列的發展提出了YOLOv2、YOLOv3甚至是YOLOv4，進一步提高了模型的性能.YOLOv4通過shortcut connections、upsampling和concatenation可以獲取三種不同尺度的特征圖.YOLOv4使用了很多先進的思想來提高準確性，在檢測小物體方面也有了很高的提升.因此本文選用YOLOv4目標檢測算法作為本優化策略的基礎網絡模型，經過優化后結合剪枝策略學習一個更“精細”的目標檢測模型，即TidyYOLOv4-SPP3，來實現無人駕駛目標檢測算法在復雜城市交通中對前方目標的實時精準檢測.

2 網絡

2.1 網絡優化

本文在YOLOv4算法的基礎上添加空間金字塔模塊[6](SPP)來加強深層特征的提取.現實樣本中往往會存在很多不同的特征尺度，為了保證具有固定大小的樣本，通常有兩種處理方式：第一種，對原圖像進行裁剪，裁剪后必然會有相關的特征被修剪掉，特征提取在一定程度上也會受到影響.第二種，將原始圖像進行縮放，得到的圖像變得畸形失真，在一定程度上也會影響特征的提取.而SPP可以讓網絡模型輸入任意尺寸的圖片，而且還可以保證輸出固定大小圖片.SPP網絡層分別使用了(4×4)、(2×2)、(1×1)三種大小不同的空間金字塔池化層來提取特征.將一張特征圖輸到不同的空間金字塔池化層中進行最大池化處理.輸入一張任意尺寸的圖片轉換成一個固定尺寸的21維特征圖，輸出的特征圖為(16+4+1)×256的大小，因此就解決了輸入圖像大小不一致的問題.在YOLOv4上借鑒這一思想，在其Neck上加入空間金字塔網絡結構，如圖1所示的4個maxpool層，其內核大小分別為(1×1)、(5×5)、(9×9)、(13×13)，進一步為多尺度檢測做鋪墊，增加網絡結構的魯棒性，減少過擬合，提高模型的性能.

圖1 空間金字塔池化結構圖

YOLOv4在針對檢測精度與實時性上對YOLO算法做出不斷的優化.首先YOLOv4在Darknet-53[11]的基礎上添加Mish[12]函數和借鑒CSP-Net[13]的思想構建一種新的主干網，即CSPDarknet53，除此之外在Neck部分還增添了SPP[6]和PAN[14]優化特征的提取.在檢測頭部分依然遵循YOLOv3的思想，以三種不同比例的預測包圍盒，通過建立不同比例的要素地圖來探測不同尺寸的物體.檢測頭的每一個網格都會分配到三個不同的錨盒來預測三個檢測，其中包含4個邊界框的偏移、1個置信度和C類的預測.檢測頭由公式N×N×(3×(4+1+C))得出張量的形狀，其中的N×N表示為卷積層輸出特征圖的大小.

因此，經過一系列的優化，YOLOv4比YOLO系列的其他網絡檢測效果更好.為了更進一步優化網絡特征的提取能力，在YOLOv4三個檢測頭前的第5與第6個卷積層之間融入SPP模塊來加強特征提取，組合成YOLOv4-SPP3.如圖2所示.

圖2 YOLOv4-SPP3架構簡圖

2.2 網絡剪枝

由于網絡在訓練過程中不能保證每一部分的權重都可以起到重要的作用，為了獲得更緊湊和有效的檢測模型，實驗制定剪枝策略修剪目標檢測模型的冗余架構來減少運行資源消耗，提升檢測效率.在YOLO v4-SPP3優化網絡的基礎上進行模型精簡，通過圖3網絡修剪的迭代過程來獲取高效網絡的檢測模型TidyYOLOv4-SPP3.

圖3 TidyYOLOv4-SPP3的迭代過程

深層模型的信道稀疏訓練方便后期剪枝策略對通道和網絡層的修剪，實驗向每一個channel加入一個比例因子，用其絕對值辨別修剪通道中不重要的部分.主要是依賴卷積層后一層的BN層(不包含檢測頭)來加強泛化能力和提升收斂速度.BN層用小批量統計來歸一化深層特征，如式(1).

(1)

為了在試驗中有效識別channel的重要性，借助BN層的比例因子γ來權衡channel的有效性.訓練權重與比例因子進行聯合訓練，之后對γ因子進行L1 正則化[15-16]. 最 后 channel稀疏訓練

辨別channel的重要性.如式(2)所示.

(2)

式中：η是用來調節Tloss(網絡中訓練參數的損失)和Χ(·)(比例因子的懲罰)，Χ(γ)=|γ|為L1正則化，然后借用次梯度法[17]來優化非光滑L1懲罰項.

微調：剪枝策略對模型進行修剪之后，通常進行微調操作來提升模型性能的暫時衰減，深層模型的修剪對檢測精度有很大的影響.因此，微調對恢復模型檢測性能有著至關重要的作用.微調的具體方法是對相同條件下的該網絡重新進行訓練.

檢測性能的評估：網絡模型執行完剪枝策略后得到新的檢測模型，需要對其檢測性能進行評估，判斷是否達到了所需要的實驗要求或者是達到了最佳的檢測狀態.

3 實驗

在YOLOv4的基礎上經過一系列優化，優化出符合檢測城市道路中物體的目標檢測算法TidyYOLOv4-SPP3.經過以下實驗來驗證算法的有效性.

3.1 實驗環境

實驗過程中需要配置深度學習框架來滿足TidyYOLOv4-SPP3的運行.

運行環境：中央處理器/GHz(Inter Xeon E5-2603)，內存/GB(16)，GPU(Tesla P4，8GB)，GPU加速庫(CUDA10.0，CUDNN7.0)，深度學習框架(PyTorch)，操作系統(Ubuntu 16.04).

3.2 數據集

為了驗證優化算法的有效性，選用VOC2012作為本次實驗的數據集，VOC2012是從現實的場景中獲取的20個類別的數據集，分別為人、鳥、貓、牛、狗、羊、飛機、自行車、船、公交車、小轎車、摩托車、火車、杯子、椅子、餐桌、沙發、電視包，該數據集中總共包含17 125張圖片,其中大多數的類別符合城市道路上出現的類別，因此選用此數據集來驗證算法的有效性.本文的所有算法模型都是在該數據集上學習的，并在驗證集上進行評估.其中訓練集包 含13 700 張 圖 片、 驗 證 集包含1 713張圖片、 測 試 集 包 含1 712張圖片.

3.3 模型訓練

基礎訓練：優化后的YOLOv4-SPP3模型首先需要進行100個迭代，初始學習率為0.001，在訓練總數為70%和90%時，分別除以10.權重衰減設置為0.000 5，動量參數為0.9.

稀疏訓練：基礎模型訓練完成100個迭代之后，為了促進網絡剪枝的進行，又完成了300個迭代的稀疏訓練.學習率不同選擇不同的懲罰因子，本實驗設置的學習率為0.01，因此懲罰因子選擇了比較適宜的0.000 1進行訓練，其他設置保持與基礎訓練相同的參數.

3.4 性能指標

用以下指標來分析優化模型的性能：①mAP(平均精度)；②Total BFLOPS(浮點數)；③Inference time(推理每張圖片所消耗的時間)；④Parameters(模型參數)；⑤Volume(權重空間).

4 實驗結果分析

由表1實驗結果分析基礎模型，采用不同優化策略學習模型的實驗結果，來選取最優的目標檢測模型(YOLOv4-SPP3-X,SPP3表示在YOLOv4的基礎上添加了3個空間金字塔池化，X表示修剪X%).

表1 實驗結果

從表1中可以看出，網絡設置輸入尺寸為864×864的YOLOv4與設置尺寸為416×416的YOLOv4-SPP3檢測精度相當.當YOLOv4-SPP3也設置864×864的參數時，在mAP上比YOLOv4高出約5.5%，這說明在YOLOv4上添加SPP模塊來優化模型是有效的.因此選用網絡設置輸入圖片尺寸為864×864的YOLOv4-SPP3網絡模型進行不同剪枝率的精簡.

實驗中對YOLOv4-SPP3進行不同程度的修剪，表2記錄了YOLOv4-SPP3檢測模型的壓縮結果.從圖4(a)中可以看出模型YOLOv4-SPP3的mAP隨著剪枝率的提高呈加速降低的趨勢.由圖4(b)中可以看出模型參數都處于較小的空間，并且參數大小沒有明顯的區別.對比圖4(c)中YOLOv4-SPP3-94、YOLOv4-SPP3-95、YOLOv4-SPP3-96的評價指標可知Total BFLOPS、Inference time(ms)、Volume(MB)隨著剪枝率的升高成均勻下降的趨勢，綜合圖4(a)與圖4(b)的評價指標選擇YOLOv4-SPP3-95作為本次實驗得出的最終優化算法，即TidyYOLOv4-SPP3.

表2 模型壓縮結果

(a)mAP

(b)Parameters

(c)Total BFLOPS、Inference time、Volume的性能指標圖4 YOLOv4-SPP3修剪得出的評價指標對比

模型檢測分析:如表1所示，YOLOv4-SPP3的檢測指標最佳，但需要消耗更多的運行資源.因此優化出“精細”的TidyYOLOv4-SPP3檢測模型來減少運行資源的消耗.YOLOv4-SPP3與TidyYOLOv4-SPP3相比其mAP沒有明顯的區別， 但是Total BFLOPS縮小約了293.82，Inference time減少了80.77 ms，Parameters減少了62.79 M，Volume減少了242.07 MB.為了證明TidyYOLOv4-SPP3模型的有效性進行了可視化檢測如圖5和圖6，兩個檢測器都可以在該幀圖片上精確的檢測出感興趣區域的對象.

圖5 YOLOv4-SPP3檢測效果

圖6 TidyYOLOv4-SPP3檢測效果

5 結論

本文提出了一種復雜城市交通道路中的視覺目標檢測算法TidyYOLOv4-SPP3.實驗在YOLOv4的三個檢測頭前添加SPP來提高網絡的特征提取.結合層與通道的剪枝策略來修剪YOLOv4-SPP3，消除學習模型的冗余，精簡更加有效的模型.通過L1稀疏正則化來施加通道比例因子，自動識別需要剪枝的部分，再進行修剪.根據這種方式在原模型YOLOv4的基礎上優化出TidyYOLOv4-SPP模型.TidyYOLOv4-SPP3與YOLOv4相比，檢測速度提高了76.38%，檢測精度沒有明顯變化，優化模型的空間體積縮小了93.35%.由此判定TidyYOLOv4-SPP3比YOLOv4更適合應用在無人駕駛對復雜城市交通中障礙物的視覺檢測.