基于深度學(xué)習(xí)的復(fù)雜背景下條煙識(shí)別分割研究

摘要：便利店和街邊小店承擔(dān)了相當(dāng)比例的香煙銷售，商家根據(jù)需求在網(wǎng)上下單后，煙草物流中心根據(jù)訂單自動(dòng)分揀配貨并打包出庫(kù)。由于物流中心產(chǎn)線多為黑色皮帶，而條煙顏色五花八門，當(dāng)配送黑色條煙時(shí)傳統(tǒng)方法易出現(xiàn)檢測(cè)錯(cuò)誤進(jìn)而導(dǎo)致報(bào)錯(cuò)或重復(fù)配送等問(wèn)題。在此基礎(chǔ)上，研究了基于深度學(xué)習(xí)的識(shí)別分割模型來(lái)提升復(fù)雜背景下分揀系統(tǒng)的準(zhǔn)確率。首先，構(gòu)建不同種類條煙組成的數(shù)據(jù)集；其次，搭建深度學(xué)習(xí)模型并基于已有數(shù)據(jù)集進(jìn)行訓(xùn)練；最后，在實(shí)際環(huán)境下完成模型的測(cè)試驗(yàn)證。結(jié)果表明，深度學(xué)習(xí)技術(shù)的采用不僅大幅提高了檢測(cè)分割的準(zhǔn)確率，并具有較好的識(shí)別速度。

關(guān)鍵詞：深度學(xué)習(xí)；分割；煙草；物流

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

ResearchontheRecognitionandSegmentationofCigaretteinCartonintheComplexBackgroundBasedonDeepLearning

DIAOLihua1TIANRuiyang2*BAIQiang2

（1.NetworkCenterofGuiyangUniversity;2.SchoolofMechanicalEngineering，GuiyangUniversity，Guiyang，GuizhouProvince，550000China）

Abstract：Conveniencestoresandsmallstreetstoresaccountforaconsiderableproportionofcigarettesales，andaftermerchantsplaceonlineordersaccordingtodemand，thetobaccologisticscenterautomaticallysortsanddistributesgoodsaccordingtotheordersandpacksthemoutofthewarehouse.Mostofproductionlinesinthelogisticscenterareblackbelts，andcigaretteincartonareofvariouscolors，sotraditionalmethodsarepronetodetectionerrorswhendistributingblackcigaretteincarton，leadingtoproblemssuchaserrorsorrepeateddistribution.Basedonthis，thispaperstudiestherecognitionandsegmentationmodelbasedondeeplearningtoimprovetheaccuracyofthesortingsystemunderthecomplexbackground.First，itconstructsthedatasetofthecompositionofdifferentkindsofcigaretteincarton.Secondly，itbuildsadeeplearningmodelandtrainsbasedonexistingdatasets.Finally，ittestsandverifiesthemodelintheactualenvironment.Theresultsshowthattheapplicationofdeeplearningtechnologynotonlygreatlyimprovestheaccuracyofdetectionandsegmentation，butalsohasgoodrecognitionspeed.

KeyWords：Deeplearning;Segmentation;Cigarette;Logistics

煙草行業(yè)是我國(guó)經(jīng)濟(jì)的重要組成部分之一，具有極其重要的民生和商業(yè)價(jià)值。國(guó)內(nèi)將煙草和深度學(xué)習(xí)結(jié)合的研究并不少見，但多集中在設(shè)備開發(fā)、煙葉外觀鑒定和病蟲害檢測(cè)等領(lǐng)域[1-3]，對(duì)物流中心分揀系統(tǒng)的研究較少。本文通過(guò)調(diào)研發(fā)現(xiàn)，目前自動(dòng)化分揀中心普遍存在兩個(gè)問(wèn)題：（1）多采用的是模板匹配方法，魯棒性不高；（2）傳輸帶多為黑色，當(dāng)分揀到黑色條煙時(shí)容易出現(xiàn)漏檢/揀，進(jìn)而導(dǎo)致配貨異常等情況的發(fā)生[4]。不同于傳統(tǒng)的目標(biāo)檢測(cè)算法，語(yǔ)義分割算法能實(shí)現(xiàn)像素級(jí)的檢測(cè)，這將極大地提升算法的應(yīng)用領(lǐng)域，為深度學(xué)習(xí)的落地應(yīng)用打下堅(jiān)實(shí)基礎(chǔ)[5-8]。本文針對(duì)煙草分揀系統(tǒng)目前存在的問(wèn)題，將基于已有語(yǔ)義分割算法和分揀系統(tǒng)實(shí)際工況來(lái)設(shè)計(jì)新的算法結(jié)構(gòu)，進(jìn)而提升條煙分揀的準(zhǔn)確率[9]。

1數(shù)據(jù)集和模型結(jié)構(gòu)

足量的數(shù)據(jù)集和合理的模型架構(gòu)是保證語(yǔ)義分割算法性能的基本條件，因此，本文將首先從這兩個(gè)方面開展研究。

1.1數(shù)據(jù)集

數(shù)據(jù)集是模型訓(xùn)練的基礎(chǔ)，合理且足量的數(shù)據(jù)集對(duì)模型架構(gòu)和參數(shù)的調(diào)整以及性能的實(shí)現(xiàn)至關(guān)重要。本文從貴州某煙草物流中心采集到1281張條煙數(shù)據(jù)集，由于條煙在傳送帶上處于運(yùn)動(dòng)狀態(tài)，所以存在相當(dāng)數(shù)量清晰度不高的圖片。由于該物流中心配送某款暢銷的黑色條煙，故存在分揀錯(cuò)誤率較高的問(wèn)題。

由于本文數(shù)據(jù)集是在物流中心充足的光照下拍攝的，而條煙外面覆蓋的塑料薄膜會(huì)不可避免地出現(xiàn)反光現(xiàn)象，所以首先清理掉反光嚴(yán)重的照片。如果不同數(shù)據(jù)占比不平衡將對(duì)模型性能產(chǎn)生較大影響，通過(guò)數(shù)據(jù)增強(qiáng)將包含黑色條煙的比例調(diào)整至合理范圍。

標(biāo)簽信息是數(shù)據(jù)所包含的期望值，其對(duì)模型的訓(xùn)練有著至關(guān)重要的作用，而標(biāo)簽數(shù)據(jù)的制作成本較高，也是限制某些領(lǐng)域發(fā)展的原因之一。一個(gè)合理的數(shù)據(jù)集將是全球研究者共用的對(duì)象，如ImageNet數(shù)據(jù)集的發(fā)布對(duì)目標(biāo)檢測(cè)算法的快速發(fā)展功不可沒(méi)。本文使用labelme軟件對(duì)所有采集到的信息進(jìn)行了語(yǔ)義信息標(biāo)注，這是目前該領(lǐng)域已知的第一個(gè)數(shù)據(jù)集。

1.2模型

傳統(tǒng)的語(yǔ)義分割算法（如FCN、SegNet、U-Net、DeepLab）普遍是針對(duì)靜態(tài)目標(biāo)開展研究，而分揀中心的條煙一直處于動(dòng)態(tài)運(yùn)行狀態(tài)，一旦停機(jī)將造成后續(xù)分揀任務(wù)的擁堵。另一方面，研究者普遍更關(guān)注精度而忽略效率，這不利于落地應(yīng)用，精度和效率一直是相互矛盾的，本文將在二者之間進(jìn)行合理取舍，在保證精度的同時(shí)努力提升效率。語(yǔ)義分割模型的基本架構(gòu)主要由特征抽取模塊和解碼模塊組成（如圖1所示），特征抽取是完成語(yǔ)義信息的獲取，圖像會(huì)逐漸變小，解碼是細(xì)節(jié)信息的恢復(fù)，圖像逐漸還原至輸入尺寸。

深度學(xué)習(xí)早期的研究思路多集中在精度問(wèn)題，這導(dǎo)致模型復(fù)雜度越來(lái)越高（如RseNet已經(jīng)達(dá)到152層），這導(dǎo)致模型很難應(yīng)用在移動(dòng)或嵌入式等實(shí)際場(chǎng)景中。首先，模型過(guò)大容易導(dǎo)致硬件內(nèi)存不足；其次，過(guò)高的延遲都導(dǎo)致不符合任務(wù)要求。基于本研究的實(shí)際要求，本文使用skipNet[10]作為元結(jié)構(gòu)（meta-architecture），SkipNet的具體結(jié)構(gòu)如圖2所示。

首先，根據(jù)同一個(gè)數(shù)據(jù)集中存在不同清晰度圖片的情況，SkipNet設(shè)計(jì)了自主跳躍連接塊（block），即當(dāng)圖片清晰度較高時(shí)提高跳躍連接的步幅來(lái)提高模型速度；反之，則降低步幅來(lái)保證準(zhǔn)確率（如圖2a所示）。其次，每個(gè)block并聯(lián)一個(gè)門（gate）來(lái)控制是否跳過(guò)此block，具體包含兩種形式：一種是每個(gè)門作為一個(gè)獨(dú)立個(gè)體作用于block（Fee-forwardgate）；另一種是多個(gè)block共用一個(gè)門（如圖2b所示），公式如下。

式（1）中：Gi=1表示不跳過(guò)該層，Gi=0表示跳過(guò)該層。

特征抽取模塊是語(yǔ)義分割算法的核心，為實(shí)現(xiàn)精度和速度的兼顧，本文使用mobileNetV3[11]作為特征抽取模塊，具體結(jié)構(gòu)如圖3所示。MobileNetV3在繼承前兩個(gè)版本優(yōu)勢(shì)的基礎(chǔ)上主要做了以下改進(jìn)：推出了Large和Small兩個(gè)bneck，引入SE通道注意力結(jié)構(gòu)并設(shè)計(jì)了一種新的激活函數(shù)h-swish（x）代替Relu6，修改了MobileNetV2后端輸出head。

本文正是基于SkipNet和mobileNet的優(yōu)點(diǎn)，將二者結(jié)合后作為本文語(yǔ)義分割模型的基本架構(gòu)，并將其改進(jìn)后用于動(dòng)態(tài)工況下條煙分揀系統(tǒng)，提升工作效率并降低錯(cuò)誤率。

2實(shí)驗(yàn)結(jié)果與分析

由于本文數(shù)據(jù)集整體規(guī)模不大，因此，本文將隨機(jī)分配90%的數(shù)據(jù)用于模型訓(xùn)練，10%的數(shù)據(jù)用于測(cè)試驗(yàn)證。

2.1設(shè)備與環(huán)境

訓(xùn)練環(huán)境是ubuntu18.04的64位操作系統(tǒng)，采用的是Pytorch深度學(xué)習(xí)框架，硬件配置為：corei9-9900X，RAM128GB，NvidiaGeForceRTX2080Ti*2。

2.2結(jié)果對(duì)比

本文前期實(shí)驗(yàn)了“大—中—小”三種跳躍連接結(jié)構(gòu)，發(fā)現(xiàn)在本數(shù)據(jù)集上性能差距不大，因此為提升模型運(yùn)行速度，后期實(shí)驗(yàn)采用較大的跳躍連接設(shè)置。圖4詳細(xì)展示了模型的訓(xùn)練和測(cè)試曲線，隨著epoch的增加，損失值和性能逐漸下降和上升，未出現(xiàn)明顯的性能波動(dòng)，這表明模型的結(jié)構(gòu)設(shè)計(jì)是合理的。

模型訓(xùn)練只是第一步，測(cè)試集上的性能表現(xiàn)才是檢驗(yàn)性能的金標(biāo)準(zhǔn)，因此，本文將訓(xùn)練好的模型在10%測(cè)試集上進(jìn)行驗(yàn)證測(cè)試。通過(guò)實(shí)際測(cè)試發(fā)現(xiàn)模型在不同清晰度的圖片上均實(shí)現(xiàn)了較好的識(shí)別精度，圖5將識(shí)別結(jié)果進(jìn)行了可視化。首先，模型能同時(shí)實(shí)現(xiàn)多條條煙的分割識(shí)別，這表明模型具有很好的通用性；其次，即使存在和傳送帶顏色非常相近的黑色條煙，模型也能實(shí)現(xiàn)精準(zhǔn)分割，這很好地解決了分揀中心目前存在的問(wèn)題；最后，當(dāng)突發(fā)障礙物對(duì)條煙遮擋時(shí)（圖5左下角），模型依舊能準(zhǔn)確完成條煙分割。

為體現(xiàn)本文研究的先進(jìn)性，本文繼續(xù)搜集了其他輕量化模型來(lái)和本模型進(jìn)行性能對(duì)比，具體結(jié)果如表1所示。IOU是評(píng)價(jià)語(yǔ)義分割算法性能的通用標(biāo)準(zhǔn)而GFLOPs則反映了模型的速度。由表1可知，本文提出的結(jié)構(gòu)無(wú)論在精度上，還是速度上，均實(shí)現(xiàn)了優(yōu)異的分割性能。

3應(yīng)用

語(yǔ)義分割算法的研究取得了長(zhǎng)足發(fā)展，但其一直存在落地應(yīng)用效果不佳的問(wèn)題，這也是以深度學(xué)習(xí)為代表的智能算法普遍面臨的問(wèn)題。為證明本文提出模型的應(yīng)用價(jià)值，本文將訓(xùn)練好的模型部署在四川某物流分揀中心服務(wù)器上進(jìn)行了實(shí)際測(cè)試。圖6展示了具體流程，機(jī)器人將條煙分揀后放置在傳送帶上會(huì)經(jīng)過(guò)檢測(cè)裝置進(jìn)行正確性檢查，將目前使用的模板匹配替換為本文提出的語(yǔ)義分割模型。商家訂單信息會(huì)直接傳輸至條煙倉(cāng)庫(kù)，機(jī)器人根據(jù)訂單信息完成分揀后將條煙放置在傳送帶上，經(jīng)過(guò)檢測(cè)裝置時(shí)模型會(huì)對(duì)條煙進(jìn)行核對(duì)，正確則順利出庫(kù)，錯(cuò)誤則輸送至?xí)捍鎱^(qū)，然后重新揀貨并檢查。

表2展示了不同分揀方法的速度精度及成本，發(fā)現(xiàn)無(wú)論是基于模板匹配，還是語(yǔ)義分割算法，都比人工大幅節(jié)省成本，且效率更高。本文提出的語(yǔ)義分割算法更是在精度和速度上全面超過(guò)人工檢測(cè)，這將對(duì)提高分揀效率做出巨大貢獻(xiàn)，并且將大幅降低企業(yè)成本。

4結(jié)語(yǔ)

本文以SkipNet和MobileNet為基礎(chǔ)，構(gòu)建了輕量化語(yǔ)義分割模型用于條煙分割研究，并且完成了該領(lǐng)域第一個(gè)數(shù)據(jù)集。通過(guò)本文研究，在提升條煙分割效率的同時(shí)，還保證了速度。為驗(yàn)證模型的綜合性能，將模型部署在某物流中心進(jìn)行了實(shí)際測(cè)試，取得了98.9%的精度，速度是人工檢測(cè)的30倍以上，這表明本文提出的模型具有優(yōu)異的綜合性能，并且為深度學(xué)習(xí)的落地應(yīng)用作出了有益探索。

參考文獻(xiàn)

[1]?;徐誠(chéng)，邱棟辰，彭雪濤.以變頻器為基礎(chǔ)的煙草儲(chǔ)柜剩料量計(jì)算方法[J].設(shè)備管理與維修，2022（19）：128-130.

[2]鄧瑞君，常晟，趙欣斐，等.煙草行業(yè)中細(xì)支卷煙表觀燃燒性能檢測(cè)設(shè)備優(yōu)化研究[J].中國(guó)設(shè)備工程，2022（18）：16-18.

[3]王子維，黎宇輝，童宇星，等.稠漿法煙草薄片試制設(shè)備及熱風(fēng)定型質(zhì)量控制[J].包裝工程，2022，43（17）：243-248.

[4]唐海軍，李凱迪，薄志杰，等.煙葉收購(gòu)站分類及設(shè)備配置研究[J].物流技術(shù)與應(yīng)用，2022，27（9）：150-153.

[5]汪睿琪，張炳輝，顧鋼，等.基于YOLOv5的鮮煙葉成熟度識(shí)別模型研究[J].中國(guó)煙草學(xué)報(bào)，2023，29（2）：46-55.

[6]賀國(guó)強(qiáng)，黃宗偉，張立錕，等.不同施肥處理下烤后煙葉化學(xué)成分特點(diǎn)與綜合評(píng)價(jià)[J].浙江農(nóng)業(yè)科學(xué)，2023，64（1）：225-229.

[7]管慶林，樸晟源，張思唯，等.中微量元素配施對(duì)雪茄煙葉光合特性、碳氮代謝及產(chǎn)量和質(zhì)量的影響[J].作物雜志，2023（5）：187-196.

[8]吳玉生，李安虎，萬(wàn)亞明等.基于機(jī)器視覺(jué)的煙草在線檢測(cè)技術(shù)研究進(jìn)展[J/OL].激光與光電子學(xué)進(jìn)展：1-25[2024-01-24].http：//kns.cnki.net/kcms/detail/31.1690.TN.20230821.1402.058.html.

[9]古振猛，孫士日.基于深度學(xué)習(xí)的人臉識(shí)別技術(shù)在煙草商業(yè)內(nèi)部監(jiān)管的應(yīng)用[J].信息與電腦（理論版），2023，35（6）：181-183.

[10]GARGG，GUPTASP，MISHRAP，etal.Cropcare：Anintelligentreal-timesustainableiotsystemforcropdiseasedetectionusingmobilevision[J]IEEEInternetofThingsJournal，2023，10（4）：2840-2851.

[11]KRISTIANIE，YANGCT，HUANGCY.Isec：Anoptimizeddeeplearningmodelforimageclassificationonedgecomputing[J]IEEEAccess，2020，8：27267-27276.