基于改進YOLOv4的飲料識別算法

摘 要：隨著深度學習在商品識別領域的發(fā)展，飲料作為常見的商品，將飲料識別技術應用于自助飲料售賣柜中具有一定的研究意義和價值。為了減少飲料類別特征相似誤檢，提出了一種基于改進YOLOv4的飲料識別算法，通過在基礎網絡CSPDarknet53的每組殘差模塊之間增加通道注意力機制來增強飲料區(qū)域特征信息。實驗結果表明，改進后的YOLOv4模型mAP值為92.43%，比改進前提高了1.74%，具有較好的實際應用價值。

關鍵詞：飲料識別；CSPDarknet53；YOLOv4；通道注意力機制

中圖分類號：TP183；TP391.4 文獻標識碼：A 文章編號：2096-4706（2024）15-0036-06

Beverage Identification Algorithm Based on Improved YOLOv4

SHEN Wei， LI Hongmei， TAO Yuan， ZHU Xueling

（School of Big Data and Artificial Intelligence， Anhui Xinhua University， Hefei 230088， China）

Abstract： With the development of Deep Learning in the field of product identification， beverage as a common product， applying beverage recognition technology to self-service beverage cabinets has certain research significance and value. In order to reduce the misconduct of the beverage category due to similar characteristics， a beverage recognition algorithm based on improved YOLOv4 is proposed. By increasing the Channel Attention Mechanism between the residual modules of the basic network CSPDarknet53， the characteristic information of the beverage area is enhanced. The experimental results show that the mAP value of the improved YOLOv4 reaches 92.43%， which is about 1.74% higher than that before improvement， and the model has good practical application value.

Keywords： beverage identification; CSPDarknet53; YOLOv4; Channel Attention Mechanism

0 引 言

隨著社會的進步，人工智能的發(fā)展日新月異。目標檢測與識別在諸多領域都起到了極其重要的作用。例如，人臉識別[1]、車輛識別[2]、視頻監(jiān)控異常[3]等多個方面。1989年Lecun[4]等人提出了第一個真正多層結構學習算法LeNet[5]網絡用于對手寫數(shù)字進行識別，相比于現(xiàn)在的網絡識別效果雖然不是最優(yōu)，但卻是一個開創(chuàng)性的變化。之后，深度學習卷積網絡得到了迅速的發(fā)展，如AlexNet[6]、ResNet[7]、VGGNet[8]等。用于目標識別的網絡也是層出不窮，源源不斷。

在現(xiàn)在的日常生活中，智能化設備的出現(xiàn)越來越方便我們的生活，自助飲料售賣柜，正是一種用于消費者購買飲料商品的智能化設備。與傳統(tǒng)人工售賣飲料相比，它的出現(xiàn)在一定程度上減少了人力成本。將基于深度學習的目標識別技術應用到自助飲料售賣柜中去，極大地提高了飲料商品識別的精度，減少了人力資源的消耗，同時使得自助飲料售賣更加智能化。

1 技術背景介紹

1.1 YOLOv4網絡結構

圖1為YOLOv4的網絡整體結構，主要包括三個部分：CSPDarknet53、SPP模塊、PAN模塊。

CSPDarknet53是YOLOv4的骨干網絡，是在Darknet53的每組殘差塊上都增加CSP[9]（Cross Stage Partial），Darknet53有5組殘差塊，每組殘差塊包含的殘差單元數(shù)為1、2、8、8、4。

在CNN中加入CSP，使其在提高模型輕量化的基礎上還保證了模型的準確率，有效地提高了CNN的學習能力。在殘差網絡ResNet（Residual Network）上增加CSP的結果展示如圖2所示。

SPP（Spatial Pyramid Pooling）模塊即空間金字塔池化模塊，結構如圖1中的SPP部分所示。在YOLOv4中的主要作用是增加感受野，感受野是指輸入圖像上的某個區(qū)域，該區(qū)域影響Feature Map上某個元素的計算。輸入圖像通過CSPDarknet53提取特征再通過3個卷積層后對得到的特征圖進行了5×5、9×9、13×13的最大池化，對最大池化后的特征和池化前的特征進行Concatenate。

PAN（Path Aggregation Network）為路徑匯聚網絡，F(xiàn)PN（Feature Pyramid Network）為特征金字塔網絡，較淺的特征圖進行上采樣操作并且與較深的特征圖進行特征融合，與FPN[10]不同的是PAN會在上采樣后又增加一個下采樣，如圖3所示，展示了PAN作用的過程，從P7進行上采樣到P3，P3再通過下采樣與每一層進行特征融合輸出，這樣進行特征融合可以增強每一層輸出的特征信息。但是YOLOv4對特征融合方式做了改進，并不是將特征層加在一起而是將特征圖連接在一起，如圖4所示。

1.2 通道注意力機制

注意力機制模塊就像人類的眼睛一般，當觀看美麗的風景時，往往注意到自己最喜愛的風景部分，忽視那些不重要的風景部分。同樣，網絡也是如此，在網絡中添加注意力機制，能夠獲得圖像重點所關注的目標區(qū)域，也就是一般所說的注意力焦點，抑制其他無用信息，增強所關注的目標區(qū)域的特征信息。對于飲料識別來說，由于飲料種類繁多，并且飲料類別的顏色及形狀、大小等具有特征相似性，飲料識別過程中會出現(xiàn)誤檢的情況，從而造成飲料檢測與識別效果較差。增加注意力機制可通過增強飲料的區(qū)域特征，提高飲料識別的精度。注意力機制有多種，通道注意力機制是注意力機制的一種，主要是在通道方向上增加注意力機制，通過自動學習的方式能夠獲得每個特征通道的重要性并為每個特征通道分配一個權重，讓網絡重點去關注重要的特征通道，抑制無用特征通道。

圖5為通道注意力機制模塊結構，首先將輸入特征分成兩步，一步進行最大池化操作，另一步進行平均池化操作，然后將得到的特征分別通過共享的兩層神經網絡MLP，再將通過MLP輸出的特征進行加和操作，通過Sigmoid激活操作，最后得到通道注意力特征圖，再與輸入特征圖進行相乘操作，得到最終的增加通道注意力機制的特征圖。Mc計算公式如式（1）所示：

（1）

其中：σ為sigmoid激活函數(shù)，W0和W1為卷積層參數(shù)，AvgPool為平均池化函數(shù)，MaxPool為最大池化函數(shù)。

1.3 損失函數(shù)

網絡訓練的損失函數(shù)包括邊界框回歸損失函數(shù)Lossciou、置信度損失函數(shù)Lossconf和分類損失函數(shù)Lossclass，YOLOv4中的邊界框回歸損失函數(shù)是將YOLOv3的MSE函數(shù)改成了CIoU函數(shù)，Lossciou如式（2），Lossconf如式（3），Lossclass如式（4）：

在式（2）中，b為預測框的中心坐標，w、h為框的寬高，式（3）的參數(shù)λnoobj為權重系數(shù)，為預測目標置信度，為真實目標置信度，式（4）中為預測目標概率，為真實目標概率。

2 基于YOLOv4模型改進

在本方法的飲料識別中，飲料的種類繁多，采集的飲料數(shù)據共有21類，由于飲料類別間存在顏色、形狀、大小等特征極其相似的情況，所以會出現(xiàn)誤檢，從而導致某些飲料識別的精確度較低。本方法從這個角度出發(fā)，在YOLOv4的基礎網絡CSPDarknet53的每組殘差單元間增加了如圖5的通道注意力機制，通過增強飲料區(qū)域的特征細節(jié)信息，從而提高飲料識別的精度。改進后的網絡結構如圖6所示。

3 實驗過程及結果分析

3.1 數(shù)據集及實驗環(huán)境

本文實驗所采用的數(shù)據集是將魚眼攝像頭安裝在冰箱的某一層，將飲料隨機擺放在不同位置，從上至下進行拍攝采集圖像，如圖7所示。本次共使用飲料21類，采集了3 098張靜態(tài)圖像。將采集的數(shù)據按9：1的比例劃分為訓練集和測試集，給定每類飲料特定的標簽，各類飲料類別和飲料標簽如表1所示。用標注工具labelImg-master對訓練集和測試集分別進行標注，制作VOC數(shù)據集。訓練時將數(shù)據和對應的標簽文件同時放入模型中進行訓練，網絡訓練的環(huán)境配置如表2所示。

3.2 網絡改進前后實驗對比

分別使用訓練后的最優(yōu)模型對指定測試集進行檢測，即可得到單個被測飲料類別被識別的平均精度值AP以及所有類別平均精度的均值mAP。

圖8（a）為YOLOv4網絡測試結果，圖8（b）為改進后的YOLOv4網絡測試結果。從改進前后各個飲料類別的AP值對比可看出，網絡改進之后AP值有一定的提升。整體來看，mAP值由原來的90.69%提高到了92.43%，提高了1.74%。由此可驗證本文提出的增加通道注意力機制的YOLOv4網絡較原模型有所改進。

利用原YOLOv4網絡與改進后的YOLOv4網絡對圖像檢測速度FPS進行測試，其結果如表3所示。通過兩次實驗的FPS值對比來看，改進前為19.76（幀/秒），改進后為20.36（幀/秒），網絡改進后檢測速度有了一定的提高。該實驗結果也表明了網絡改進的有效性。

3.3 不同網絡實驗對比

將增加通道注意力機制的YOLOv4網絡與常見的三種目標檢測網絡SSD512、Faster R-CNN、YOLOv3進行對比，三種網絡在與表2相同的設備以及環(huán)境配置下進行實驗。

對SSD模型進行訓練，SSD模型是在PyTorch框架下進行實驗，512×512為輸入圖像的大小，網絡訓練集和測試集都是一致的，以VGG-16為骨干網絡，訓練生成的權重文件對測試集進行測試，設定相同的置信度閾值為0.5，測試的結果如圖9所示，從圖中可看出測試的mAP值為86.55%。對其FPS值進行測試，測試的FPS值為12.5幀/秒。

Faster R-CNN網絡是在Keras框架下對訓練集進行訓練，以ResNet50為骨干網絡，輸入圖像大小為600×600，訓練之后會得到相應的權重文件，使用該權重文件對測試集進行測試，測試時設置與之前網絡同樣的置信度閾值0.5，使用該權重文件對飲料數(shù)據測試集測試的結果如圖10所示。從圖可看出飲料識別的mAP值為87.25%，雖然Faster R-CNN網絡識別的精度還不錯，但是模型較大，檢測速度較慢，測試的FPS值只有1.98幀/秒。

采用YOLOv3網絡對訓練集進行訓練，YOLOv3是以Darknet53為骨干網絡，在Keras框架下進行實驗，與其他網絡設置相同的網絡參數(shù)，輸入的圖像大小為416×416。通過網絡訓練，得到相應的訓練后的權重文件。使用權重文件對飲料測試集進行測試的結果如圖11所示。從圖中可看出，采用YOLOv3網絡進行飲料識別的mAP值為87.01%。同樣，對YOLOv3網絡的檢測速度FPS值進行測試，測試的FPS值為18幀/秒，略低于YOLOv4。

為了更好展示改進后的YOLOv4網絡與YOLOv4、SSD512、Faster R-CNN、YOLOv3網絡的結果對比情況，將實驗結果呈現(xiàn)在表中，如表4所示。從測試的mAP值可看出，SSD512識別的mAP值相比于其他網絡較低，F(xiàn)aster R-CNN網絡識別的mAP值優(yōu)于SSD512，但是由于它不能滿足實時性，F(xiàn)PS值非常低。YOLOv3在飲料識別的mAP值以及檢測速度FPS值上都達到了不錯的效果，但是不如YOLOv4。YOLOv4是在YOLOv3的基礎上進行了一系列的改進，對于本文的飲料數(shù)據來說，它在識別精度和檢測速度達到了一個更好的效果，與YOLOv3相比，mAP值提升了3.68%，F(xiàn)PS值也增加了約1.76幀/秒，檢測與識別效果優(yōu)于YOLOv3。本文改進的方法相對于其他網絡效果較好，mAP值在YOLOv4基礎上又提升了1.74%，檢測速度也略高于YOLOv4，檢測速度是Faster R-CNN網絡的10倍多，從這些實驗數(shù)據可充分說明改進實驗的有效性，同時也具有很好的實時性。

3.4 測試集測試結果

為了進一步證明改進后網絡的有效性，本實驗采用生成的模型對測試集進行測試，測試集共有309張圖片，每張圖片上有一個或多個檢測類別目標，檢測閾值設定為0.5，飲料識別與檢測的正確個數(shù)和錯誤個數(shù)如圖12所示，黑色標注為錯誤檢測的部分。在圖12中，圖（a）為網絡改進前的測試結果，圖（b）為改進后網絡的測試結果，圖（a）、圖（b）對比可看出飲料類別的檢測與識別錯誤率有了一定的降低，例如圖（a）中的飲料類別恒大冰泉、加多寶、康師傅礦泉水、農夫山泉、王老吉、果粒橙檢測效果較差，在圖（b）檢測結果中錯誤率都有了一定的降低，圖（a）、圖（b）對比從一定程度上證明改進后網絡的有效性。

4 結 論

針對所采集的數(shù)據集中存在飲料類別的顏色、形狀特征等極其相似的問題，提出一種基于改進YOLOv4的飲料識別算法，對YOLOv4網絡進行改進，在YOLOv4基礎網絡CSPDarknet53的每組殘差單元之間增加通道注意力機制，在一定程度上增強了飲料區(qū)域特征信息，提高了飲料識別的精度。與原YOLOv4網絡相比，達到了預期效果，在測試集上mAP值為92.43%，檢測速度可達到20.36幀/秒。與其他三種常見的目標檢測網絡SSD512、Faster R-CNN、YOLOv3相比，不管是在識別精度上還是檢測速度上，改進優(yōu)化后的YOLOv4網絡效果都優(yōu)于這三種網絡，檢測與識別效果良好。

參考文獻：

[1] 左棟，楊明遠.基于Res Net50網絡特征融合的人臉識別技術研究 [J].電腦與信息技術，2023，31（1）：22-24.

[2] 施國棟，韋軍，孫國林，等.RFID車型識別技術的應用研究 [J].汽車工藝與材料，2023（1）：66-72.

[3] 柏萬勝，孫鵬，郎宇博，等.視頻中異常行為自動檢測技術研究 [J].安全，2023，44（2）：1-6+9+90.

[4] LECUN Y，BOSER B，DENKER J S，et al. Handwritten Digit Recognition with a Back-Propagation Network [J].Advances in Neural Information Processing Systems，1990：396-404.

[5] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-Based Learning Applied to Document Recognition [J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[6] RUSSAKOVSKY O，DENG J，SU H，et al. ImageNet Large Scale Visual Recognition Challenge [J/OL].arXiv：1409.0575 [cs.CV].[2024-01-08].https：//arxiv.org/abs/1409.0575v3.

[7] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

[8] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv：1409.1556 [cs.CV].[2024-01-08].https：//arxiv.org/abs/1409.1556.

[9] WANG C Y，LIAO H Y M，WU Y H，et al. CSPNet： A New Backbone that can Enhance Learning Capability of CNN [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Seattle：IEEE，2020：1571-1580.

[10] LIN T Y，DOLLáR P，GIRSHICK R，et al. Feature pyramid networks for object detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu：IEEE，2017：936-944.

作者簡介：沈薇（1996—），女，漢族，安徽馬鞍山人，助教，碩士研究生，研究方向：計算機視覺；李紅梅（1981—），女，漢族，安徽淮北人，副教授，本科，研究方向：機器視覺；陶苑（1991—），女，漢族，安徽蕪湖人，助教，碩士研究生，研究方向：計算機應用技術；朱學玲（1979—），女，漢族，安徽宿州人，副教授，本科，研究方向：計算機視覺。