基于改進YOLOv4的輕量化目標檢測算法

鐘志峰，夏一帆，周冬平，晏陽天

基于改進YOLOv4的輕量化目標檢測算法

鐘志峰，夏一帆*，周冬平，晏陽天

（湖北大學 計算機與信息工程學院，武漢 430062）（ ? 通信作者電子郵箱1479099354@qq.com）

針對當前YOLOv4目標檢測網絡結構復雜、參數多、訓練所需的配置高以及實時檢測每秒傳輸幀數（FPS）低的問題，提出一種基于YOLOv4的輕量化目標檢測算法ML-YOLO。首先，用MobileNetv3結構替換YOLOv4的主干特征提取網絡，從而通過MobileNetv3中的深度可分離卷積大幅減少主干網絡的參數量；然后，用簡化的加權雙向特征金字塔網絡（Bi-FPN）結構替換YOLOv4的特征融合網絡，從而用Bi-FPN中的注意力機制提高目標檢測精度；最后，通過YOLOv4的解碼算法來生成最終的預測框，并實現目標檢測。在VOC2007數據集上的實驗結果表明，ML-YOLO算法的平均準確率均值（mAP）達到80.22%，與YOLOv4算法相比降低了3.42個百分點，與YOLOv5m算法相比提升了2.82個百分點；而ML-YOLO算法的模型大小僅為44.75 MB，與YOLOv4算法相比減小了199.54 MB，與YOLOv5m算法相比，只高了2.85 MB。實驗結果表明，所提的ML-YOLO模型，一方面較YOLOv4模型大幅減小了模型大小，另一方面保持了較高的檢測精度，表明該算法可以滿足移動端或者嵌入式設備進行目標檢測的輕量化和準確性需求。

目標檢測；輕量化網絡；YOLOv4；MobileNetv3；加權雙向特征金字塔網絡

0 引言

目標檢測主要分為以YOLO（You Only Look Once）系列算法［1-4］為代表的一階段目標檢測和以R-CNN（Region-Convolutional Neural Network）系列算法［5-7］為代表的二階段目標檢測［8］。二階段的目標檢測第一階段先得到存在物品的候選區域，第二階段再對候選區域中生成的候選框進行框大小和位置的回歸預測生成預測框；而一階段目標檢測直接在整張圖片中生成若干候選框，再對這些候選框進行類別、框大小以及位置的回歸預測生成預測框。一階段目標檢測比二階段目標檢測速度更快但準確率較低，對于需要進行快速目標檢測的場景，目前通常使用一階段目標檢測算法。

YOLOv4（You Only Look Once version 4）和YOLOv5（You Only Look Once version 5）算法是對YOLOv3（You Only Look Once version 3）算法改進的一階段目標檢測算法，YOLOv5算法在YOLOv4算法兩個月后由不同團隊推出，并且有從輕量的s型到相對復雜的x型5個版本結構。YOLOv5并未發表論文，并且YOLOv4和YOLOv5的主干特征提取網絡和特征融合網絡均使用CSPDarknet（Cross Stage Partial Darknet）和PANet（Path Aggregation Network）結構，兩者性能其實很接近，YOLOv4的可定制化程度很高。從目前的實驗結果［9］來看，基于Darknet的YOLOv4仍然是YOLO系列相對最為準確的算法。而對于更輕量化的YOLOv5s模型來說，雖然該模型大小只有14 MB，但算法平均準確率均值（mean Average Precision， mAP）較低，只有68%左右，無法滿足本文所需的相對較高精確率的需求。

故基于算法資料的豐富性，以及本文所追求的綜合輕量化和高mAP算法需求考慮，本文選擇YOLOv4算法進行輕量化改進。

為了實現輕量化網絡，文獻［10-13］中將YOLO（YOLO-Tiny）的主干網絡替換成MobileNet系列［14-16］主干網絡，雖然大幅減小了網絡參數量，但mAP的下降也相對嚴重；文獻［17-18］中提出將YOLO系列主干網絡添加密集模塊，減小網絡深度，雖然使網絡參數減少，但網絡結構也變得復雜，網絡中每個模塊會和多個模塊連接，增加計算量；文獻［19］中采用網絡剪枝的方法去掉了對特征提取用處不大的特征層，提高了網絡效率，但是，剪枝的效果很難與其他剪枝方法比較，并且對于不同的數據集優化效果不穩定。上述文獻都難以在模型大小大幅減少的情況下，穩定保持算法的準確率。

針對上述問題，本文提出了一種輕量化網絡結構ML-YOLO（MobileNetv3Lite-YOLO）。ML-YOLO用MobileNetv3替換YOLOv4的主干網絡來大幅減少參數量，并簡化EfficientDet［20］的加權雙向特征金字塔網絡（weighted Bi-directional Feature Pyramid Network，Bi-FPN）結構，在ML-YOLO的特征融合網絡中加入類注意力機制來彌補網絡輕量化帶來的mAP下降問題。ML-YOLO在VOC（Visual Object Classes） 2007數據集上的mAP達到80.22%，僅比YOLOv4算法低3.42個百分點，而模型大小為44.75 MB，相較于YOLOv4減少了81.68%。

1 相關算法

1.1　YOLOv4算法

圖1　YOLOv4網絡框架

1.2　MobileNet 算法

圖2　標準卷積和深度可分離卷積對比

本文分別計算兩種卷積所用參數量，結果如式（1）（2）所示：

進行標準卷積的時候輸入通道數遠小于輸出通道數，將式（1）（2）進行比較得到式（3）：

1.3　Bi-FPN

EfficientDet中所用的Bi-FPN是典型的復雜雙向特征融合FPN（Feature Pyramid Network）結構，如圖3，Bi-FPN在傳統的雙向特征融合FPN（如PANet）的基礎上去掉了進入FPN結構的最高維特征層和最低維特征層的兩個中間節點，同時在中間各個特征層加入一條輸入特征圖與輸出特征圖相連的殘差邊，在一定程度上簡化了FPN的結構。

由于在每個進行特征融合的節點，不同的特征圖輸入對最后輸出的貢獻權重應該是不同的，Bi-FPN引入了一個權重進行訓練，來調整不同輸入對輸出特征圖的貢獻度。

在權重的選擇方面，Bi-FPN使用了快速歸一化的優化策略（fast normalized fusion），它在與基于Softmax的優化實現的效果相似的情況下提高了30%的速度。快速歸一化優化的公式如式（4）：

其中：、 為在特征融合節點輸入的特征圖數，；為輸入的特征圖矩陣；為防止分母為0的常數，值為10-4；、為輸入各特征圖權重，權重初始值范圍為、，之后每訓練一次權重將通過ReLU（Rectified Linear Unit）激活函數保證值恒大于0。經過多輪訓練，最終在每個特征融合節點，輸入的特征圖將獲得使目標檢測算法效果最好的權重。

2 改進算法

本文提出的ML-YOLO算法主要進行了兩方面改進：一是用MobileNetv3替換YOLOv4的主干網絡，二是改進FPN的結構為Bi-FPN-Lite，網絡框架如圖4所示。

圖4　ML-YOLO網絡框架

表 1　ML-YOLO 主干網絡結構

圖5bneck結構

Fig. 5bneck structure

主干網絡中，ML-YOLO使用由swish激活函數改進的h-swish激活函數。式（5）為swish激活函數：

3 實驗與結果分析

3.1　實驗環境配置及數據介紹

本文實驗所用的是VOC2007數據集，如圖6，數據集包含人、自行車、汽車等20個類別的9 963幅圖像，并且已經人工標注好了YOLO系列算法中所需的真實框的位置、大小、類別信息。

訓練所用的實驗平臺硬件配置為Intel Xeon CPU，2080 Ti x2 GPU，128 GB內存的工作站，系統為Windows 10。測試算法的實驗平臺為Intel Core i7-6700HQ CPU，960M GPU，內存為8 GB的筆記本電腦。統一設置訓練輪次為100，批大小為16，初始學習率為1E-3，Bi-FPN-Lite中的起始權重均設為1。訓練集共5 012幅圖像，在每輪訓練時都會取90%的照片用于訓練，另外10%的照片實時檢測訓練效果，如圖7。本實驗會選取各輪次中損失最低的一組權重文件進行mAP大小、網絡結構參數量、模型大小、實時檢測每秒傳輸幀數（Frames Per Second， FPS）的對比。

圖 6　VOC2007數據集

圖 7　驗證VOC2007數據集上的訓練效果

3.2　消融實驗及結果分析

表 2　ML-YOLO消融實驗

ML-YOLO與YOLOv4實時檢測FPS對比如圖8，ML-YOLO實時檢測FPS為14.15，每秒傳輸幀率比YOLOv4提升了123.54%，極大地提高了實時目標檢測的速度。

圖 8　ML-YOLO與YOLOv4實時檢測FPS對比

ML-YOLO與YOLOv4的部分檢測結果如圖9。圖9（a）代表ML-YOLO在VOC測試集中各個類別的真陽（True Positive）物品和假陽（False Positive）物品的檢測數量。True Positive代表檢測到物品為某個類別并且物品確實為這個類別的數量；False Positive代表檢測到物品為某個類別，但物品并不是這個類別或者沒有這個物品的數量。這兩個指標可以衡量檢測算法檢測準確率；圖9（b）為ML-YOLO在VOC測試集中各個類別的誤檢率，可以反映算法在測試集上生成錯誤的預測框的概率；圖9（c）代表ML-YOLO算法的mAP以及算法在各個類別的平均準確率（Average Precision， AP），圖中每個柱狀圖都代表一個類別的AP；圖9（d）為YOLOv4算法的mAP以及算法在各個類別的AP。對比圖9（c）、圖9（d），可以看出，本文所提出的ML-YOLO的mAP下降并不明顯，可以保持較好的性能。

此外為了檢測ML-YOLO算法在VOC2007數據集以外圖片中表現，本文還選取了一張包含自行車、人、汽車等復雜場景的圖片進行目標檢測，對比改進算法的實際效果，結果如圖10。

每個框的上方數值代表算法檢測框的置信度，置信度是YOLO系列算法評估檢測框準確性的指標，表示預測框檢測到某個物品種類時，預測框與物品真實框的重合程度，如式（11）：

如圖11，對比細節可以看出ML-YOLO相較于YOLOv4檢測出了更多遠處的人，對小物品的敏感度更高，不過對被遮擋的車敏感度有所下降。

圖 11　ML-YOLO與YOLOv4檢測細節對比

3.3　ML-YOLO與其他算法對比

為了比較ML-YOLO算法與其他主流目標檢測算法的性能，本文在VOC 2007數據集上進行了ML-YOLO算法與主流目標檢測算法的對比實驗，實驗結果如表3。

表 3　ML-YOLO與其他算法對比

實驗結果表明相較于YOLOv5s、EfficientDet-d0等非常輕量化的算法，ML-YOLO雖然模型大小稍大，但mAP有較大幅度提高，并且FPS相差不大。另外與YOLOv4、CenterNet這些模型較大的算法相比，ML-YOLO的mAP比YOLOv4低3.42個百分點，比CenterNet高出3.12個百分點，同時處理速度有較大提升。綜合模型大小、mAP和FPS來看，ML-YOLO確實有較好性能。

4 結語

本文提出的ML-YOLO是通過替換YOLOv4的主干網絡為MobileNetv3、簡化Bi-FPN所得到的輕量化網絡。MobileNetv3通過深度可分離卷積大幅度減少了卷積所需的參數量，又加入了注意力機制，通過分配特征圖每個通道不同權重優化主干網絡特征提取效果；簡化的Bi-FPN結構繼承了PANet雙向特征融合特點的同時，適當較少了結構中的節點數，同時加入了注意力機制，在減少卷積次數的同時提高了不同層間特征融合的魯棒性，提高了算法的mAP。

未來將會考慮進一步優化ML-YOLO系列算法的主干網絡結構，嘗試加入不同的FPN結構，在提高算法mAP的同時進一步減小模型大小和參數量，并且在工程中實現運用。

[1] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788.

[2] REDMON J， FARHADI A. YOLO9000： better， faster， stronger［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6517-6525.

[3] REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08） ［2021-04-08］.https：//arxiv.org/pdf/1804.02767.pdf.

[4] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection［EB/OL］. （2020-04-23） ［2021-04-08］.https：//arxiv.org/pdf/2004.10934.pdf.

[5] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 580-587.

[6] GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 1440-1448.

[7] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137-1149.

[8] ZOU Z X， SHI Z W， GUO Y H， et al. Object detection in 20 years： a survey［EB/OL］. （2019-05-16） ［2021-04-08］.https：//arxiv.org/pdf/1905.05055.pdf.

[9] JOCHER G. YOLOv5［EB/OL］. ［2021-04-08］.https：//github.com/ultralytics/yoloV5/issues/6.

[10] 齊榕，賈瑞生，徐志峰，等. 基于YOLOv3的輕量級目標檢測網絡［J］. 計算機應用與軟件， 2020， 37（10）：208-213.（QI R， JIA R S， XU Z F， et al. Lightweight object detection network based on YOLOv3 ［J］. Computer Applications and Software， 2020， 37（10）：208-213.）

[11] JIN Y Z， WEN Y X， LIANG J T. Embedded real-time pedestrian detection system using YOLO optimized by LNN［C］// Proceedings of the 2020 International Conference on Electrical， Communication， and Computer Engineering. Piscataway： IEEE， 2020： 1-5.

[12] 黃靖淞，左顥睿，張建林. 輕量化目標檢測算法研究及應用［J］. 計算機工程， 2021， 47（10）：236-241.（HUANG J S， ZUO H R，ZHANG J L. Research and application on lightweight object detection algorithm［J］. Computer Engineering， 2021， 47（10）：236-241.）

[13] 邵偉平，王興，曹昭睿，等. 基于MobileNet與YOLOv3的輕量化卷積神經網絡設計［J］. 計算機應用， 2020， 40（S1）：8-13.（SHAO W P， WANG X， CAO Z R， et al. Design of lightweight convolutional neural network based on MobileNet and YOLOv3［J］. Journal of Computer Applications， 2020， 40（S1）：8-13.）

[14] HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17） ［2021-04-08］.https：//arxiv.org/pdf/1704.04861.pdf.

[15] SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4510-4520.

[16] HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1314-1324.

[17] 馮媛，李敬兆. 改進的卷積神經網絡行人檢測方法［J］. 計算機工程與設計， 2020， 41（5）：1452-1457.（FENG Y， LI J Z. Improved convolutional neural network pedestrian detection method［J］. Computer Engineering and Design， 2020， 41（5）：1452-1457.）

[18] HU X L， LIU Y， ZHAO Z X， et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-V4 network［J］. Computers and Electronics in Agriculture， 2021， 185： No.106135.

[19] FANG W， WANG L， REN P M. Tinier-YOLO： a real-time object detection method for constrained environments［J］. IEEE Access， 2020， 8： 1935-1944.

[20] TAN M X， PANG R M， LE Q V. EfficientDet： scalable and efficient object detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 10778-10787.

[21] HE K M， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.

[22] WANG W H， XIE E Z， SONG X G， et al. Efficient and accurate arbitrary-shaped text detection with pixel aggregation network［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8439-8448.

[23] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

ZHONG Zhifeng， born in 1971， Ph. D.， professor. His research interests include artificial intelligence， signal processing， system integration.

XIA Yifan， born in 1998， M. S. candidate. His research interests include object detection， machine vision.

ZHOU Dongping， born in 1997， M. S. candidate. His research interests include recommender system， knowledge graph.

YAN Yangtian， born in 1997， M. S. candidate. His research interests include deep learning， natural language processing.

Lightweight object detection algorithm based on improved YOLOv4

ZHONG Zhifeng， XIA Yifan*， ZHOU Dongping， YAN Yangtian

（，，430062，）

YOLOv4 （You Only Look Once version 4） object detection network has complex structure， many parameters， high configuration required for training and low Frames Per Second （FPS） for real-time detection. In order to solve the above problems， a lightweight object detection algorithm based on YOLOv4， named ML-YOLO （MobileNetv3Lite-YOLO）， was proposed. Firstly， MobileNetv3 was used to replace the backbone feature extraction network of YOLOv4， which greatly reduced the amount of backbone network parameters through the depthwise separable convolution in MobileNetv3. Then， a simplified weighted Bi-directional Feature Pyramid Network （Bi-FPN） structure was used to replace the feature fusion network of YOLOv4. Therefore， the object detection accuracy was optimized by the attention mechanism in Bi-FPN. Finally， the final prediction box was generated through the YOLOv4 decoding algorithm， and the object detection was realized. Experimental results on VOC （Visual Object Classes） 2007 dataset show that the mean Average Precision （mAP） of the ML-YOLO algorithm reaches 80.22%， which is 3.42 percentage points lower than that of the YOLOv4 algorithm， and 2.82 percentage points higher than that of the YOLOv5m algorithm； at the same time， the model size of the ML-YOLO algorithm is only 44.75 MB， compared with the YOLOv4 algorithm， it is reduced by 199.54 MB， and compared with the YOLOv5m algorithm， it is only 2.85 MB larger. Experimental results prove that the proposed ML-YOLO model greatly reduces the size of the model compared with the YOLOv4 model while maintaining a higher detection accuracy， indicating that the proposed algorithm can meet the lightweight and accuracy requirements of mobile or embedded devices for object detection.

object detection; lightweight network; YOLOv4 （You Only Look Once version 4）; MobileNetv3; Bi-FPN （weighted Bi-directional Feature Pyramid Network）

This work is partially supported by Hubei Province Technological Innovation Special Project （2018ACA13）.

TP391.4

A

1001-9081（2022）07-2201-09

10.11772/j.issn.1001-9081.2021050734

2021?05?10；

2021?09?22；

2021?09?24。

湖北省技術創新專項（2018ACA13）。

鐘志峰（1971—），男，湖北黃岡人，教授，博士，主要研究方向：人工智能、信號處理、系統集成； 夏一帆（1998—），男，湖北黃岡人，碩士研究生，主要研究方向：目標檢測、機器視覺； 周冬平（1997—），男，湖北隨州人，碩士研究生，主要研究方向：推薦系統、知識圖譜； 晏陽天（1997—），男，湖北孝感人，碩士研究生，主要研究方向：深度學習、自然語言處理。