改進(jìn)YOLOv5s的輸液瓶目標(biāo)檢測

長江大學(xué)電子信息學(xué)院 喻 旸 周籮魚 熊莉婭 鄒學(xué)玉

針對醫(yī)療環(huán)境趨于復(fù)雜，為提高輸液瓶目標(biāo)檢測的精度，本文利用視頻和圖像素材，提出一種改進(jìn)的YOLOv5s方法檢測輸液瓶目標(biāo)。采用CIoU Loss和DIoU NMS等方法進(jìn)行優(yōu)化。在PASCAL VOC數(shù)據(jù)集和自建輸液瓶目標(biāo)數(shù)據(jù)集上檢測mAP（mean Average Precision）和FPS(Frames Per Second)。相較于原始YOLOv5s，改進(jìn)后的YOLOv5s_CIoU在mAP上提高5.53%，檢測速度可達(dá)34.7FPS。

目標(biāo)檢測在監(jiān)測、追蹤等領(lǐng)域發(fā)揮著重要作用，將目標(biāo)檢測與醫(yī)療輸液相結(jié)合，可以提高醫(yī)護(hù)工作效率。傳統(tǒng)目標(biāo)檢測通過手工提取特征，其中可變形組件模型(Deformable Parts Model，DPM)具有代表性意義：提取人工特征后再用latentSVM分類。

KRIZHEVSKY等首先提出深度卷積神經(jīng)網(wǎng)絡(luò)，GIRSHICK等將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測中，從R-CNN（Region-CNN）到Fast R-CNN，再到Faster R-CNN。但由于R-CNN系列結(jié)構(gòu)復(fù)雜，犧牲了計(jì)算速度，實(shí)時(shí)性無法保障。因此，REDMON等提出YOLO(You Only Look Once)，提高速度的同時(shí)擁有一定準(zhǔn)確率。LIU等將YOLO的回歸思想和Faster R-CNN的anchor box機(jī)制結(jié)合提出SSD(Single Shot MultiBox Detector)。隨后，REDMON等對YOLO進(jìn)行優(yōu)化，提出了YOLOv3等。Bochkovskiy等在YOLOv3基礎(chǔ)上，從數(shù)據(jù)處理、主干網(wǎng)絡(luò)等方面引入優(yōu)化方法，提出YOLOv4，Jocher等通過馬賽克數(shù)據(jù)增強(qiáng)、自適應(yīng)圖片縮放等優(yōu)化方法提出YOLOv5。

目前，YOLO系列應(yīng)用廣泛于目標(biāo)檢測，王灃使用YOLOv5對口罩佩戴進(jìn)行檢測。Yuwen Chen等使用YOLOv5對圖像中船舶進(jìn)行檢測。Kuznetsova等使用YOLOv5對果園蘋果進(jìn)行檢測。輸液瓶目標(biāo)檢測對精度和速度有著高要求，而YOLOv5的優(yōu)秀性能可以勝任。本文主要分析YOLOv5的損失函數(shù)，制作實(shí)驗(yàn)所需數(shù)據(jù)集，并對YOLOv5優(yōu)化并驗(yàn)證性能。

1 YOLOv1-YOLOv4

YOLO的核心思想是將整張圖作為輸入，直接在輸出層回歸目標(biāo)位置和類別，具有較強(qiáng)的泛化能力。在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征提取、分類和回歸，不再生成候選區(qū)域，充分考慮圖片所包含背景信息。YOLOv1到Y(jié)OLOv4的演變?nèi)鐖D1所示。

圖1 YOLO系列主要改進(jìn)

YOLOv1直接擬合坐標(biāo)位置x，y，物體寬和高w，h，置信度。但x，y還可能取負(fù)值，不符合實(shí)際場景。因此，YOLOv2采用anchor機(jī)制進(jìn)行局部預(yù)測，通過gird預(yù)測x，y的坐標(biāo)，通過anchor框的寬和高預(yù)測w，h的值。YOLOv2在Backbone上改為darknet19，使用卷積層連接檢測頭部分，但在小目標(biāo)檢測上有待提高。YOLOv3的性能提升得益于殘差網(wǎng)絡(luò)，可以構(gòu)建更多層的網(wǎng)絡(luò)，Backbone改為darknet53，使用多尺度檢測頭。YOLOv4的Backbone改為CSPDarknet53，使用mosaic數(shù)據(jù)增強(qiáng)等方法，mish損失函數(shù)，采用SPP、PAN、SAM等網(wǎng)絡(luò)結(jié)構(gòu)。

2 YOLOv5

YOLOv5按網(wǎng)絡(luò)深度大小分為YOLOv5s、YOLOv5m、YOLO5l、YOLOv5x，其中YOLOv5s深度最小，模型大小僅有27M。因此本文采用YOLOv5s作為試驗(yàn)?zāi)Ｐ停譃镮nput，Backbone，Neck，Prediction四個(gè)部分。

在Input部分采用Mosaic數(shù)據(jù)增強(qiáng)，增加小目標(biāo)樣本數(shù)量。YOLOv5s在訓(xùn)練過程中自動計(jì)算不同訓(xùn)練集的anchor值，通過自適應(yīng)圖片大小的縮放模式，減少圖片黑邊避免算力消耗，提高檢測速度。

在Backbone部分采用CSPDarknet53網(wǎng)絡(luò)。提高網(wǎng)絡(luò)學(xué)習(xí)能力，在保證準(zhǔn)確率的同時(shí)減少計(jì)算量，降低了存儲成本。下采樣階段，通過Focus模塊最大的減少信息損失。

在Neck部分加入SPP和FPN+PAN結(jié)構(gòu)，更好地提取目標(biāo)融合特征。CSP2結(jié)構(gòu)使網(wǎng)絡(luò)特征融合能力得到提高。使用SPP模塊擴(kuò)大主干特征的接受范圍，并顯著分離上下文特征。FPN+PAN結(jié)構(gòu)將不同主干層的不同檢測層的參數(shù)進(jìn)行聚合，進(jìn)一步提高網(wǎng)絡(luò)特征提取能力。

3 YOLOv5s優(yōu)化

YOLOv5s在目標(biāo)檢測上表現(xiàn)優(yōu)異，但可以針對特定的輸液瓶目標(biāo)作出相應(yīng)優(yōu)化，獲得更好地檢測結(jié)果。

3.1 使用CIoU Loss（Complete Intersection over Union Loss，完全交并損失）

損失函數(shù)對于檢測效果有著直接影響，因此需要不斷調(diào)整網(wǎng)絡(luò)參數(shù)，將損失函數(shù)的值降到最低。目標(biāo)框示意圖如圖2所示。

圖2 目標(biāo)框圖

對于A和B，二者的IoU（Intersection over Union）的計(jì)算公式分別如下：

式中，A表示目標(biāo)的標(biāo)注框，B表示目標(biāo)的預(yù)測框，C代表一個(gè)能夠包住A和B的最小方框。當(dāng)標(biāo)注框完全包裹預(yù)測框時(shí)，IoU和GIoU（Generalized Intersection over Union）得到的結(jié)果是相同的，這時(shí)無法保正檢測的準(zhǔn)確性。DIoU（Distance Intersection over Union）把目標(biāo)與anchor之間的距離、重疊率以及尺度都考慮在內(nèi)，使目標(biāo)框回歸更加穩(wěn)定，訓(xùn)練過程中不會出現(xiàn)發(fā)散等問題。

好的回歸損失函數(shù)會考慮覆蓋面積、中心點(diǎn)距離和長寬比這三個(gè)方面。而DIoU只考慮到覆蓋面積和中心點(diǎn)距離，所以基于DIoU引入入長寬比，提出CIoU Loss。因此本文選擇CIoU Loss，將覆蓋面積、中心點(diǎn)距離和長寬比這三個(gè)方面都考慮在內(nèi)。

3.2 使用DIoU NMS（Non-Maximum Suppression)

在數(shù)據(jù)后處理階段，通常使用NMS篩選出最好的預(yù)測框。通過NMS給每個(gè)預(yù)測框一個(gè)分?jǐn)?shù)，得分越高證明效果越好。當(dāng)兩個(gè)目標(biāo)高度重疊，所得IoU值很大。經(jīng)過NMS處理只會得到一個(gè)預(yù)測框信息，導(dǎo)致漏檢。YOLOv5s采用的就是NMS。相較于NMS，DIoUNMS將兩個(gè)框中心點(diǎn)之間的距離也考慮在內(nèi)。即使兩個(gè)預(yù)測框的IoU值較大，但是考慮到中心點(diǎn)距離也大，便認(rèn)為是兩個(gè)物體。本文使用CIoU Loss和DIoU-NMS分別代替原始YOLOv5s中的GIoU Loss和NMS，能更有效的檢測重疊目標(biāo)和小目標(biāo)。

4 結(jié)果分析

本文使用PC進(jìn)行試驗(yàn)，基于Windows10。硬件配置為Intel-Core i5-8300H CPU，GTX-Gforce 1060（6G），使用PyTorch深度學(xué)習(xí)框架。試驗(yàn)選取SSD、YOLOv5s以及優(yōu)化后YOLOv5s進(jìn)行性能對比，驗(yàn)證優(yōu)化效果。超參數(shù)設(shè)置：最大訓(xùn)練輪數(shù)為100，初始學(xué)習(xí)率為0.01，權(quán)值衰減為0.0005，動量和批量大小分別為0.937和2.0。本文通過平均精度均值(mean Average Precision，mAP)和FPS(Frames Per Second）進(jìn)行性能評價(jià)。

4.1 YOLOv5s_CIoU和YOLOv5s mAP比較

通過PASCAL VOC2012公共數(shù)據(jù)集訓(xùn)練測試，原始算法為YOLOv5s，優(yōu)化后為YOLOv5s_CIoU，2種算法的mAP變化曲線如圖3所示。通過輸液瓶數(shù)據(jù)集訓(xùn)練測試，結(jié)果如圖4所示，檢測數(shù)據(jù)結(jié)果如表1所示。

圖3 mAP變化（公共數(shù)據(jù)集）

圖4 mAP變化（輸液瓶數(shù)據(jù)集）

表1 算法對比結(jié)果

由圖6和表1可知：經(jīng)過13輪訓(xùn)練以后，YOLOv5s_CIoU的mAP超過YOLOv5s，訓(xùn)練完成后，mAP提高5.47%，速度上有所下降，但也超過30FPS，在實(shí)時(shí)性和精度上可以滿足輸液場景的要求。

圖6 多目標(biāo)檢測對比

4.2 YOLOv5s_CIoU和YOLOv5s性能比較（輸液瓶目標(biāo)數(shù)據(jù)集）

4.2.1 模型訓(xùn)練

YOLOv5s_CIoU（虛線）和YOLOv5s（實(shí)線）的損值曲線圖見圖5所示。可以看出YOLOv5s_CIoU的各類損失可以更快的收斂，mAP也得到提高。

圖5 算法各項(xiàng)性能對比

表2 輸液瓶目標(biāo)檢測數(shù)據(jù)集（張）

圖7 重疊目標(biāo)檢測對比

4.2.2 數(shù)據(jù)集制作

由于沒有公開數(shù)據(jù)集，本文自建輸液瓶目標(biāo)檢測數(shù)據(jù)，采用YOLO數(shù)據(jù)集格式，通過預(yù)處理和篩選后選取10000張不同分辨率和大小的圖片充分訓(xùn)練，自建數(shù)據(jù)集見表2所示。

4.2.3 結(jié)果分析

在多目標(biāo)場景中：圖6(a)和圖6(b)均檢測到了2個(gè)輸液瓶目標(biāo)，圖6(b)中YOLOv5s_CIoU的預(yù)測框置信度更高。

在重疊目標(biāo)場景中，圖7(a)中的YOLOv5s_GIoU未能檢測出重疊目標(biāo)，而圖7(b)中的YOLOv5s_CIoU可以檢測到重疊目標(biāo)，并準(zhǔn)確標(biāo)記出來。可見優(yōu)化策略提高了YOLOv5s對于重疊目標(biāo)的檢測能力。

本文基于YOLOv5s，采用CIoU loss、DIoU NMS等策略對YOLOv5s進(jìn)行優(yōu)化。試驗(yàn)結(jié)果表明在小目標(biāo)和重疊目標(biāo)上的有良好的檢測效果。通過試驗(yàn)SSD、YOLOv5s等進(jìn)行性能比較，結(jié)果表明：改進(jìn)后的YOLOv5s_CIoU與原始YOLOv5s相比，mAP提高5.47%，同時(shí)檢測速度達(dá)到34.7FPS，滿足輸液場景對實(shí)時(shí)性和準(zhǔn)確率的高要求。將YOLOv5s_CIoU與計(jì)算機(jī)相結(jié)合，在復(fù)雜多變的醫(yī)療環(huán)境中檢測輸液瓶目標(biāo)，可以提高醫(yī)療工作效率。在后續(xù)的研究中，系統(tǒng)性能需要更大的數(shù)據(jù)集和更復(fù)雜的分類才能得到更好的效果。