基于改進YOLO v5的煙包切層斷面異物檢測方法

沈飛翔，陳成軍，王金磊，李東年，代成剛

（青島理工大學(xué)機械與汽車工程學(xué)院，山東青島，266520）

0 引言

煙包中的雜質(zhì)、霉變等異物影響著煙支的質(zhì)量和口感，因此有效剔除煙包中的異物，成為煙企進行質(zhì)量控制的關(guān)鍵環(huán)節(jié)之一。基于機器視覺的異物檢測技術(shù)已成功用于棉花異纖檢測[1]、水果缺陷分類[2]、印刷電路板表面缺陷檢測[3]和金屬表面缺陷檢測[4]等。本研究擬將機器學(xué)習(xí)技術(shù)應(yīng)用于基于機器視覺的煙包切層斷面異物檢測中，以識別切層斷面中的雜質(zhì)、霉變等異物，實現(xiàn)煙包切層斷面質(zhì)量的監(jiān)測。

研究者將目標(biāo)檢測應(yīng)用到異物檢測中。基于目標(biāo)檢測網(wǎng)絡(luò)的異物檢測主要分為兩類：以基于區(qū)域建議網(wǎng)絡(luò)Faster R-CNN[5]為代表的二階段異物檢測算法和以YOLO[6]和SSD[7]為代表的一階段異物檢測算法。郁巖[8]等采用Faster R-CNN定位微型扁平電機表面焊點的異常，在扁平電機焊點缺陷數(shù)據(jù)集上取得了91.89%的分類檢測精確率。桂久琪[9]等通過改進的YOLO V4算法，提高了算法對鋰電池表面缺陷的識別和定位能力。基于目標(biāo)檢測的異物檢測算法可以獲取異物的精確位置和類別信息，不需要對數(shù)據(jù)進行像素級標(biāo)注，因此具有很好的應(yīng)用前景。

本研究擬采用基于目標(biāo)檢測的異物檢測算法。對比了主流目標(biāo)檢測網(wǎng)絡(luò)（Faster R-CNN、YOLO v3-SPP、YOLO v5）在煙包切層斷面數(shù)據(jù)集上的性能。對比發(fā)現(xiàn)YOLO v5獲得了相對最佳的表現(xiàn)性能，但是YOLO v5對小目標(biāo)異物的漏檢率、誤檢率高。

為了解決YOLO v5對小目標(biāo)異物大量漏檢誤檢的問題，本研究提出一種煙包切層斷面異物檢測網(wǎng)絡(luò)YOLO v5-MFF（Multi Feature extraction and multi-stage parallel Fusion based on You Only Look Once version Five，YOLO v5-MFF），本文的創(chuàng)新性工作主要體現(xiàn)在以下兩個方面：提出了多特征提取網(wǎng)絡(luò)、多階段并行融合機制，增強了小目標(biāo)異物的特征提取能力；引入ACON類激活函數(shù)，使模型能夠根據(jù)數(shù)據(jù)動態(tài)選擇激活與否及激活函數(shù)的表達形式，強化了網(wǎng)絡(luò)對數(shù)據(jù)的表達能力。

1 煙包切層斷面異物檢測模型

根據(jù)煙包切層斷面異物檢測具有異物樣本少、小目標(biāo)異物占比大等特點，本研究提出如圖1所示，YOLO v5-MFF網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用特征提取模塊和多尺度特征融合模塊對所輸入的異物圖像進行特征提取和特征融合，然后使用檢測模塊對異物進行定位和分類。為了提高小目標(biāo)異物的檢測能力，特征提取模塊采用多特征提取網(wǎng)絡(luò)、多階段并行融合機制和ACON類激活函數(shù)，以增強特征提取能力。

圖1 網(wǎng)絡(luò)的整體結(jié)構(gòu)圖

1.1 多特征提取網(wǎng)絡(luò)、多階段并行融合機制

為了提高網(wǎng)絡(luò)對于小目標(biāo)異物的召回率和檢測的精準(zhǔn)率，YOLO v5-MFF將不同深度的特征提取網(wǎng)絡(luò)進行多階段并行融合。YOLO v5-MFF的特征提取網(wǎng)絡(luò)由主干特征提取網(wǎng)絡(luò)和輔助主干特征提取網(wǎng)絡(luò)多階段并行融合而成。

如圖2所示，YOLO v5-MFF的特征提取網(wǎng)絡(luò)被劃分為五個階段。每個階段均將主干特征提取網(wǎng)絡(luò)和輔助主干特征提取網(wǎng)絡(luò)提取的特征圖融合，以實現(xiàn)特征的互補。具體操作流程如下：首先，將待檢測圖像輸入到特征提取模塊，傳入的數(shù)據(jù)被分別輸送給Main-Block1和Add-Block1模塊。兩個模塊獨自進行特征提取，生成各自模塊對應(yīng)的特征圖。通過將兩個模塊生成的特征圖以add方式進行融合，實現(xiàn)兩個網(wǎng)絡(luò)之間的第一階段信息交互，增加特征的多樣性。其次，將融合而成的特征圖，分別傳給Main-Block2和Add-Block2繼續(xù)進行卷積。當(dāng)Main-Block2和Add-Block2計算完成生成特征圖后，即完成第二階段的特征融合。按照上面的方法，依次完成第三及第四階段的特征融合。最后，把第四階段融合成的特征圖傳給Main-Block5。在Main-Block5模塊內(nèi)完成卷積操作運算后，即生成特征提取模塊最終的特征圖。

圖2 多特征提取網(wǎng)絡(luò)、多階段并行融合機制

1.2 ACON類激活函數(shù)

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可通過激活函數(shù)實現(xiàn)模型的非線性化，提高模型的表達能力。現(xiàn)在主流檢測算法所使用的ReLU、PReLU、Swish等激活函數(shù)均采用固定的數(shù)學(xué)表達形式，這種固定的數(shù)學(xué)表達會給算法檢測能力的提升帶來不利影響。本網(wǎng)絡(luò)引入ACON類激活函數(shù)，讓數(shù)據(jù)來決定激活函數(shù)的表達形式，進而提高網(wǎng)絡(luò)對特征的表達能力。

ACON類激活函數(shù)的定義如下:

如圖3所示，ACON類激活函數(shù)通過訓(xùn)練參數(shù)p1( x)和p 2 (x)來調(diào)整激活函數(shù)的表達形式。通過不同的p1( x)和p 2 (x)可以組合上文提到的三種激活函數(shù)，生成更加復(fù)雜形式的激活函數(shù)，提高網(wǎng)絡(luò)模型對數(shù)據(jù)的表達能力；通過訓(xùn)練參數(shù)β來控制是否激活神經(jīng)元（β為0，即不激活），讓模型可以在非線性（激活）和線性（不激活）之間進行切換。總體來說，ACON類激活函數(shù)控制網(wǎng)絡(luò)使用不同的激活形式，增強了網(wǎng)絡(luò)的特征表達能力。

圖3 通過參數(shù)p1( x)、p 2 (x)、β以調(diào)整激活形式

2 檢測平臺與數(shù)據(jù)集

2.1 煙包切層霉斑和雜質(zhì)檢測平臺

為驗證本研究提出的相關(guān)方法，實現(xiàn)煙包缺陷智能檢測，課題組在某卷煙廠搭建了切片機煙包切層異物檢測平臺。檢測平臺主要由傳送帶、工業(yè)相機、光源、切割臺組成。平臺可以采集圖像，檢測出煙包切層中霉變和雜質(zhì)的類別以及位置信息，通過與下位機的數(shù)據(jù)傳遞、進而指導(dǎo)煙包切割設(shè)置的加工作業(yè)。下圖4所示的是檢測平臺采集數(shù)據(jù)并進行檢測的環(huán)節(jié)。

圖4 煙包切層霉變和雜質(zhì)檢測平臺

2.2 煙包切層斷面異物數(shù)據(jù)集PSDDS

本文使用煙包切層霉變和雜質(zhì)檢測平臺所采集的圖像構(gòu)建了煙包切層斷面異物數(shù)據(jù)集(Packet Slicing Defect Data Set，PSDDS)。異物包括 ：紙張、麻繩、鐵塊、煤煙等。經(jīng)過圖像融合后，共生成了4118張包含異物圖片，其中共有4494個異物目標(biāo)。如表1所示。

表1 PSDDS數(shù)據(jù)集類別分布表

3 實驗

3.1 實驗平臺搭建及參數(shù)設(shè)置

實驗運行的系統(tǒng)環(huán)境為Ubantu18.04；深度學(xué)習(xí)框架為Pytorch；CPU為兩顆12核2.2GHz E5-2650V4的處理器；內(nèi)存為 128G；GPU為 4塊12G顯存NVIDIA TITANXP。利用GUDA10.2和cuDNN V7.6.5,來實現(xiàn)GPU加速運算。PSDDS數(shù)據(jù)集中的圖片尺寸為320×320，epoch設(shè)置為 300，batch-Size根據(jù)模型的顯存占用情況進行調(diào)節(jié)。

3.2 評價指標(biāo)

模型以精準(zhǔn)率 P（Precision）、召回率 R（Recall）和平均分類精準(zhǔn)率mAP(mean Average Precision)作為網(wǎng)絡(luò)模型的評價指標(biāo)。P、R、mAP的計算公式如下所示：

式中，TP為被正確預(yù)測的正例數(shù)目，F(xiàn)P為被錯誤預(yù)測為正例的負例數(shù)目，F(xiàn)N為錯誤預(yù)測為負例的正例數(shù)目，N為檢測的類別數(shù)，AP為各類比的檢測精度

3.3 PSDDS試驗結(jié)果與分析

3.3.1 消融實驗

消融實驗的重點是研究YOLO v5-MFF網(wǎng)絡(luò)各模塊的具體效果，結(jié)合三項創(chuàng)新性工作利用PSDDS數(shù)據(jù)集，進行了五個實驗。實驗一（E1）是YOLO v5L在PSDDS上的檢測結(jié)果。實驗二 (E2) 是 YOLO v5L+特征提取網(wǎng)絡(luò)（CspdarkNet53+ResNet34）,在PSDDS上的檢測結(jié)果。實驗三(E3)是YOLO v5L+特征提取網(wǎng)絡(luò)（Cspdarknet53+ ResNet34）+ACON類激活函數(shù)，在PSDDS上的檢測結(jié)果。各實驗的結(jié)果展示在表2中。

表2 各實驗的檢測結(jié)果

為了探究多特征提取網(wǎng)絡(luò)、多階段并行融合機制對檢測能力的影響，本研究進行實驗E1、E2的對比。分析實驗結(jié)果可以發(fā)現(xiàn)使用多特征圖提取網(wǎng)絡(luò)、多階段并行融合機制使網(wǎng)絡(luò)的精準(zhǔn)率提高了2.2%、召回率提高了2.5%、平均分類精準(zhǔn)率提高1.5%。這充分說明了多特征提取網(wǎng)絡(luò)、多階段并行融合機制能夠提高YOLO v5-MFF網(wǎng)絡(luò)對小目標(biāo)異物的檢測能力。

為了探究使用ACON類激活函數(shù)增強網(wǎng)絡(luò)表達能力的有效性，本研究進行實驗E2、E3的對比。使用ACON類激活函數(shù)使算法的召回率提高了2.1%，平均分類精準(zhǔn)率提高了0.4%。這表明使用ACON 激活函數(shù)，讓數(shù)據(jù)決定激活函數(shù)的形式和激活與否，能夠有效提高YOLO v5-MFF網(wǎng)絡(luò)對煙包切層斷面異物的檢測精度。

使用多特征提取網(wǎng)絡(luò)、多階段并行融合機制、ACON類激活函數(shù)均會增加網(wǎng)絡(luò)的推理時間，但受益于YOLO v5的快速推理能力，網(wǎng)絡(luò)仍擁有較快的推理速度,處理單張圖片最長時間為21.6ms。

3.3.2 YOLO v5-MFF與主流網(wǎng)絡(luò)對比

為了驗證網(wǎng)絡(luò)綜合的檢測性能，對比了YOLO v5L、YOLO v5X、YOLO v3-SPP、Faster R-CNN 與 YOLO v5-MFF(YOLO v5L+特征提取網(wǎng)絡(luò)(CspdarkNet53+ ResNet34)+ACON類激活函數(shù)+K-Means++)。實驗結(jié)果如表3所示。

表3 不同網(wǎng)絡(luò)的檢測結(jié)果

對比YOLO v5L與YOLO v5-MFF的檢測結(jié)果，YOLO v5-MFF的檢測效果優(yōu)于YOLO v5網(wǎng)絡(luò)，這充分說明采用多特征提取網(wǎng)絡(luò)、多階段并行融合機制是可行的、普適的。YOLO v5-MFF網(wǎng)絡(luò)檢測召回率的大幅度提升，說明網(wǎng)絡(luò)能夠較好地檢測出煙包切層斷面中的小目標(biāo)異物。由于模型復(fù)雜度的增加，造成了推理速度的降低，但YOLO v5-MFF預(yù)測單張圖片仍只需21.6ms。

同時 YOLO v5-MFF 相較于 YOLO v3-SPP、Faster R-CNN，在精準(zhǔn)率、召回率、平均分類精準(zhǔn)率上都獲得了明顯的提升。這是YOLO v5-MFF的多特征提取、多階段并行融合機制、ACON類激活函數(shù)共同作用的效果。綜合來看，YOLO v5-MFF算法具有最優(yōu)的檢測精度，提高了對煙包切層斷面中小目標(biāo)異物的檢測能力。

4 結(jié)論

本研究提出一種煙包切層斷面異物檢測網(wǎng)絡(luò)YOLO v5-MFF，提出了多特征提取網(wǎng)絡(luò)、多階段并行融合機制，使網(wǎng)絡(luò)提取更多小目標(biāo)異物的特征，提高了網(wǎng)絡(luò)的檢測能力。其次，引入ACON類激活函數(shù)，讓數(shù)據(jù)來決定網(wǎng)絡(luò)是否需要激活函數(shù)及激活函數(shù)的形式，同時構(gòu)建了煙包切層斷面異物數(shù)據(jù)集PSDDS。利用YOLO v5-MFF在PSDDS數(shù)據(jù)集上進行測試，其平均分類精確度達到了95.8%、精準(zhǔn)率達到94.3%、召回率達到94.2%，相較于 YOLO v5分別提高了 1.9%、2.2%和 4.6%。同時YOLO v5-MFF對于煙包切層斷面異物的檢測效果也優(yōu)于Faster R-CNN、YOLO v3-SPP等檢測算法，適用于煙包切層斷面異物檢測。