基于無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的卷煙小包拉線缺陷視覺智能檢測方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

基于無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的卷煙小包拉線缺陷視覺智能檢測方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

（浙江中煙工業(yè)有限責(zé)任公司，杭州 310024）

為減少ZB47包裝機(jī)小包拉線缺陷投訴，基于無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)構(gòu)建一種小包拉線缺陷視覺智能檢測方法。首先，在ZB47包裝機(jī)CH轉(zhuǎn)塔部位設(shè)計(jì)并加裝小包圖像采集裝置，獲得實(shí)時(shí)高清晰度小包圖像。其次，將小包圖像根據(jù)拉線位置進(jìn)行固定位置的裁剪，從而減輕不同工況的環(huán)境背景影響并且加快檢測速度。然后，構(gòu)建自編碼器–編碼器結(jié)構(gòu)的主干網(wǎng)絡(luò)，同時(shí)疊加生成對抗網(wǎng)絡(luò)中的判別器模塊組成缺陷判別模型，并綜合采用圖像間、圖像隱空間以及圖像特征間的信息構(gòu)建模型的損失函數(shù)。最后，使用裁剪后的正常小包拉線圖像對構(gòu)建的缺陷判別模型進(jìn)行訓(xùn)練，并基于所有的正常小包圖像得到異常閾值。實(shí)際驗(yàn)證階段，待檢測圖像的得分大于異常閾值即判斷為異常圖像，觸發(fā)CH轉(zhuǎn)塔部位的小包剔除裝置將該缺陷小包剔除。生產(chǎn)現(xiàn)場測試表明，所提方法可以對典型小包缺陷進(jìn)行快速準(zhǔn)確檢測，缺陷檢測準(zhǔn)確率為99.99%。該方法能夠滿足生產(chǎn)現(xiàn)場卷煙小包拉線缺陷檢測的準(zhǔn)確性和實(shí)時(shí)性要求。

卷煙小包拉線；生成對抗網(wǎng)絡(luò)；自編碼器；視覺智能檢測

卷煙制造環(huán)節(jié)中，相較于人工缺陷檢查，采用機(jī)器視覺的缺陷智能檢測方法具有檢測速度快、檢測準(zhǔn)確性高等優(yōu)點(diǎn)。機(jī)器視覺的缺陷智能檢測方法已逐步在煙梗切絲質(zhì)量檢測[1]、爆珠缺陷檢測[2-4]、濾棒數(shù)量檢測[5]、煙支接裝質(zhì)量檢測[6]、中速包裝機(jī)小包透明紙缺陷檢測[7-8]、條盒缺陷檢測[9-11]、煙箱缺條檢測[12-13]、煙草品牌檢測[14]等多個場景進(jìn)行了成功應(yīng)用。國產(chǎn)ZB47是一種生產(chǎn)速度為550包/分鐘的高速包裝機(jī)，是“十三五”期間煙草期間行業(yè)重大技術(shù)裝備，目前已在19家中煙工業(yè)公司廣泛使用。該機(jī)型已有小包外觀檢測、條盒外觀檢測等成功應(yīng)用，但是小包外觀檢測主要利用模板匹配方法對未包裝透明紙的小包進(jìn)行缺陷檢測，包裝好透明紙的小包外觀檢測仍處于在線監(jiān)控盲區(qū)，實(shí)際生產(chǎn)過程會出現(xiàn)無拉線、拉線高/低等小包拉線質(zhì)量缺陷和投訴。由于安裝圖像采集裝置物理空間制約，以及檢測算法極高的實(shí)時(shí)性和準(zhǔn)確率要求，針對ZB47高速包裝機(jī)包裝好透明紙的小包拉線缺陷檢測未見相關(guān)研究和成功應(yīng)用的報(bào)道。針對僅有極少量缺陷樣本，以及極高的檢測實(shí)時(shí)性和準(zhǔn)確率要求的ZB47高速包裝機(jī)小包拉線在線檢測場景，亟需研發(fā)一套基于無監(jiān)督深度學(xué)習(xí)的小包拉線缺陷智能檢測裝置，實(shí)現(xiàn)小包拉線缺陷的實(shí)時(shí)檢測和聯(lián)動剔除。

1 小包圖像采集裝置設(shè)計(jì)

為了保證含有拉線缺陷的小包能被及時(shí)發(fā)現(xiàn)并剔除，需要在剔除裝置之前進(jìn)行小包圖像采集和缺陷檢測。ZB47高速包裝機(jī)CH轉(zhuǎn)塔部位位置狹小且處于半封閉空間，該處小包已經(jīng)包好透明紙及拉線，但還未經(jīng)過整容器進(jìn)一步燙平美容，CH轉(zhuǎn)塔部位的剔除位置位于轉(zhuǎn)輪轉(zhuǎn)盤正中位置，需要在前一個工位進(jìn)行小包圖像采集裝置的設(shè)計(jì)和安裝，并完成小包圖像的采集和缺陷檢測。CH轉(zhuǎn)塔部位的工位見圖1。

圖中1號工位為檢測位，實(shí)現(xiàn)小包圖像采集和缺陷檢測，并給出剔除反饋；2號工位為剔除位，實(shí)現(xiàn)缺陷小包的及時(shí)剔除；3號工位為整容器入口位置。

由于CH轉(zhuǎn)塔部位位置狹小且屬于半封閉空間，沒有足夠的物理空間安裝支架、工業(yè)相機(jī)和光源，最終安裝位置選取在轉(zhuǎn)輪外部臺階上。此時(shí)工業(yè)相機(jī)到小包的直線距離為380 mm左右，通過多次現(xiàn)場測試最終選用130萬像素彩色工業(yè)相機(jī)、25 mm工業(yè)鏡頭和定制光斑直徑為60 mm的LED聚光光源（光源采用低角度打光），安裝位置見圖2。

圖1 CH轉(zhuǎn)塔部位的工位示意圖

小包在轉(zhuǎn)塔部位轉(zhuǎn)盤的位置狀態(tài)可以分為2種：工位處和工位之間運(yùn)動處。當(dāng)CH轉(zhuǎn)盤將煙包輸送到1號工位時(shí)，會有一個短暫停留，利用該時(shí)間進(jìn)行小包圖像采集，采集的圖像發(fā)送至系統(tǒng)后臺，并由缺陷視覺智能檢測方法進(jìn)行缺陷檢測，對于有缺陷的小包，系統(tǒng)將剔除信號發(fā)送給包裝機(jī)ZB47電控系統(tǒng)。

2 小包圖像缺陷檢測算法設(shè)計(jì)

ZB47高速包裝機(jī)其生產(chǎn)速度550包/分鐘，煙包在CH轉(zhuǎn)盤上每轉(zhuǎn)動一個工位的時(shí)間周期約為200 ms。該時(shí)間內(nèi)需要執(zhí)行工業(yè)相機(jī)觸發(fā)拍照、圖像缺陷檢測算法模型運(yùn)算、給電控系統(tǒng)輸出剔除信號等。采用相機(jī)千兆網(wǎng)GigE接口傳輸圖片時(shí)，各個操作預(yù)估耗時(shí)見表1。

ZB47高速包裝機(jī)小包實(shí)際生產(chǎn)過程中，因前期未進(jìn)行小包拉線圖像采集，通過上述設(shè)計(jì)的小包圖像采集裝置，實(shí)現(xiàn)了小包拉線圖像的數(shù)字化表征和存儲，但收集的圖像數(shù)據(jù)主要為正常小包拉線圖像樣本，缺陷小包拉線圖像樣本主要靠市場投訴積累，數(shù)量極少。同時(shí)由于包裝機(jī)生產(chǎn)速度快，在對缺小陷小包進(jìn)行實(shí)時(shí)檢測和剔除時(shí)，需要缺陷檢測算法具有很高的實(shí)時(shí)性（小于50 ms）。ZB47高速包裝機(jī)小包拉線缺陷檢測需要解決缺陷圖像樣本少和缺陷檢測實(shí)時(shí)性高等問題。

圖2 CH轉(zhuǎn)塔部位的圖像采集裝置示意圖

表1 轉(zhuǎn)盤單個轉(zhuǎn)動周期內(nèi)各個操作的預(yù)估耗時(shí)表

Tab.1 Estimated time consumption of each operation in a single rotation cycle of the turntable

有監(jiān)督缺陷檢測算法的網(wǎng)絡(luò)結(jié)構(gòu)較深，使得其檢測速率較慢，很難滿足工業(yè)生產(chǎn)場景較高的實(shí)時(shí)性需求。對于僅有極少量缺陷樣本的快速缺陷檢測場景，無監(jiān)督缺陷檢測算法能夠很好地解決缺陷圖像樣本少和缺陷檢測實(shí)時(shí)性高的問題[15]。文中提出一種只使用小包正常圖像樣本的無監(jiān)督深度學(xué)習(xí)缺陷檢測算法，實(shí)現(xiàn)了卷煙制造過程小包拉線缺陷的精準(zhǔn)實(shí)時(shí)檢測和定位。

2.1 基于生成對抗網(wǎng)絡(luò)和自編碼器的缺陷檢測模型

文中提出的無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)小包拉線缺陷檢測算法結(jié)構(gòu)（見圖3）包括自編碼器（AE）和生成對抗網(wǎng)絡(luò)（GAN）2部分。所提小包拉線缺陷檢測算法由3個子網(wǎng)絡(luò)組成，第1個子網(wǎng)是自編碼器網(wǎng)絡(luò)，由1個編碼器和1個解碼器組成，用來學(xué)習(xí)正常卷煙小包圖像的分布。編碼器e讀取輸入的小包原始圖像，通過計(jì)算得到對應(yīng)的隱空間值，之后通過解碼器d得到其重構(gòu)后的圖像；第2個子網(wǎng)是一個編碼網(wǎng)絡(luò)，由1個編碼器組成，將重構(gòu)的圖像輸入到編碼器中得到其對應(yīng)的隱空間值（和具有相同的維度），從隱空間的層面上判別缺陷，大大降低數(shù)據(jù)維度從而能夠提高判別的效率和準(zhǔn)確率；第3個子網(wǎng)是一個鑒別網(wǎng)絡(luò)，由1個標(biāo)準(zhǔn)GAN網(wǎng)絡(luò)結(jié)構(gòu)的判別器組成，通過判別器區(qū)分原始圖像和重構(gòu)圖像的差異，通過對抗訓(xùn)練來使得自編碼器能夠較好地?cái)M合正常卷煙小包的分布。

圖3 無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的小包拉線缺陷檢測算法結(jié)構(gòu)

無監(jiān)督深度學(xué)習(xí)小包缺陷檢測模型采用3個損失函數(shù)來進(jìn)行綜合訓(xùn)練。首先基于輸入圖像和重構(gòu)圖像的差異定義圖像間的重構(gòu)損失函數(shù)，保證了自編碼器能夠?qū)W習(xí)到輸入圖像的語義信息，其定義如下：

(1)

(2)

最后基于第3個子網(wǎng)的判別器定義對抗損失函數(shù)。不同于原始GAN中通過判別器的輸出值來更新編碼器G，采用根據(jù)判別器中的內(nèi)部特征表示更新編碼器G，以增強(qiáng)對卷煙小包特征的提取。由于神經(jīng)網(wǎng)絡(luò)越靠后的層所提取的特征越能代表圖像的高維屬性，采用判別器倒數(shù)第2層特征之間的差異來組成損失函數(shù)，公式為：

(3)

式中：()為輸入圖像在判別器倒數(shù)第2層的特征表征；()為重構(gòu)圖像在判別器倒數(shù)第2層的特征表征。由于判別器的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，從特征層面上定義損失函數(shù)以增強(qiáng)模型的魯棒性。

基于這3個損失函數(shù)便組成了小包缺陷檢測算法模型的綜合損失函數(shù)：

(4)

式中：1、2和3用來調(diào)整各個損失對于模型訓(xùn)練的影響，需要在實(shí)際的工況條件下進(jìn)行調(diào)整。

在訓(xùn)練的第1階段，第3個子網(wǎng)的判別器被凍結(jié)，第1個子網(wǎng)的自編碼器和第2個子網(wǎng)的編碼器首先尋找正常數(shù)據(jù)和異常數(shù)據(jù)出現(xiàn)差異的最佳隱空間，從而可以根據(jù)圖像間對應(yīng)隱空間的不同來判斷是否有缺陷。在第2個訓(xùn)練階段，固定第1個子網(wǎng)的自編碼器和第2個子網(wǎng)的編碼器參數(shù)，第3個子網(wǎng)的判別器利用原始圖像和生成圖像之間的差異進(jìn)行缺陷區(qū)域定位。無監(jiān)督深度學(xué)習(xí)小包缺陷檢測算法整體框架見圖4。

圖4 無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的小包缺陷檢測算法總體框架

2.2 小包圖像處理與缺陷檢測

對于采集到的卷煙小包圖像，由于生產(chǎn)環(huán)境的不同，其圖像中包含著大量的背景因素。這些與檢測主體無關(guān)的背景因素不僅會增加模型的運(yùn)算量，同時(shí)也會干擾模型的檢測，從而導(dǎo)致模型的準(zhǔn)確度下降。

卷煙小包生產(chǎn)過程中，采集到的圖像中卷煙小包的位置是相對固定的。采取固定裁剪框?qū)⑷毕菘赡艽嬖诘睦€區(qū)域裁剪下來，從而較好地消除環(huán)境因素的干擾，并使得模型集中在缺陷可能存在的主體區(qū)域。基于裁剪后的有效區(qū)域正常卷煙小包圖像構(gòu)建訓(xùn)練集，進(jìn)行上述缺陷檢測模型的訓(xùn)練，并根據(jù)所有正常卷煙小包圖像的異常分?jǐn)?shù)值綜合制定正常圖像的異常分?jǐn)?shù)閾值。在檢測階段，根據(jù)上述異常分?jǐn)?shù)的定義，計(jì)算待檢測圖像的異常分?jǐn)?shù)，將異常分?jǐn)?shù)值與制定的異常分?jǐn)?shù)閾值相比較，如果超過了異常分?jǐn)?shù)閾值則待檢測圖像存在缺陷，向包裝機(jī)電控系統(tǒng)發(fā)出剔除信號。小包拉線缺陷檢測流程見圖5。

3 數(shù)據(jù)驗(yàn)證與結(jié)果分析

3.1 試驗(yàn)數(shù)據(jù)準(zhǔn)備

選取某卷煙廠ZB47高速包裝機(jī)采集的卷煙小包圖像進(jìn)行缺陷檢測方法有效性驗(yàn)證。通過數(shù)據(jù)甄別，選取200張正常的卷煙小包圖像構(gòu)成訓(xùn)練集，500張含有正常及異常卷煙小包圖像構(gòu)成測試集（其中正常小包圖像454張、異常小包圖像46張）。正常和異常卷煙小包圖像見圖6，其像素大小為1 280×1 024×3。

圖5 小包拉線缺陷檢測流程

3.2 模型離線訓(xùn)練

小包拉線缺陷智能檢測模型訓(xùn)練100輪，訓(xùn)練樣本的數(shù)量batchsize取為64，采用Adam作為深度學(xué)習(xí)優(yōu)化器，Adam中學(xué)習(xí)率，動量、。式（4）中、和分別為50、1和1。在隱空間上定義異常分?jǐn)?shù)，隱空間的維度為128維。模型使用Python中的Pytorch框架實(shí)現(xiàn)，Python版本為3.6，Pytorch版本為1.6。模型在RTX 2080Ti GPU下進(jìn)行訓(xùn)練，檢測一張圖像的平均時(shí)間為3.18 ms，異常分?jǐn)?shù)閾值為0.25。

隨著訓(xùn)練輪次的增加，缺陷智能檢測模型的重構(gòu)能力逐漸增強(qiáng)、重構(gòu)的圖像逐漸清晰，當(dāng)訓(xùn)練到100輪時(shí)，重構(gòu)圖像與原始圖像已經(jīng)非常接近，幾乎能夠達(dá)到以假亂真的效果。各個訓(xùn)練輪次模型對原圖的重構(gòu)效果見圖7。

圖6 正常與異常卷煙小包圖像

3.3 模型離線測試

利用500張小包圖像（其中正常小包圖像454張、異常小包圖像46張）的測試數(shù)據(jù)進(jìn)行缺陷智能檢測模型離線驗(yàn)證，模型的準(zhǔn)確率、誤報(bào)率、漏報(bào)率等指標(biāo)定義如下。

P為圖像實(shí)際無雜物，且檢測算法判斷無雜物。P為圖像實(shí)際有雜物，但檢測算法卻沒報(bào)警，即漏報(bào)。N為圖像實(shí)際無雜物，但檢測算法卻報(bào)警，即誤報(bào)。N為圖像實(shí)際有雜物，且檢測算法正確報(bào)警。

模型準(zhǔn)確率，即檢測正確的圖像樣本數(shù)與總圖像樣本數(shù)的比值，計(jì)算見式（5）。

(5)

漏報(bào)率（負(fù)樣本），即漏報(bào)的有雜物圖像樣本數(shù)與實(shí)際有雜物圖像樣本數(shù)的比值，計(jì)算見式（6）。

(6)

圖7 模型訓(xùn)練過程中模型對于原圖的重構(gòu)圖

圖8 小包拉線缺陷檢測模型訓(xùn)練過程的損失函數(shù)進(jìn)化曲線

誤報(bào)率（正樣本），即誤報(bào)的無雜物圖像樣本數(shù)與實(shí)際無雜物圖像樣本數(shù)的比值，計(jì)算見式（7）。

(7)

小包拉線缺陷智能檢測模型的各個評價(jià)指標(biāo)見表2。

表2 小包拉線缺陷智能檢測模型的評價(jià)結(jié)果

Tab.2 Evaluation result of cigarette packet tear tape defect detection model

從離線測試結(jié)果可以得出，缺陷智能檢測模型的漏報(bào)率和誤報(bào)率都較低，分別為0%和0.66%，模型的準(zhǔn)確率維持在一個較高的水平，達(dá)到了99.4%，能夠滿足實(shí)際生產(chǎn)的檢測要求。

3.4 生產(chǎn)現(xiàn)場應(yīng)用

在生產(chǎn)現(xiàn)場工控機(jī)（帶RTX 1050Ti GPU）進(jìn)行小包拉線缺陷智能檢測模型的部署，并開發(fā)了具備實(shí)時(shí)監(jiān)控、歷史查詢、模型訓(xùn)練、系統(tǒng)設(shè)置等功能的小包缺陷檢測系統(tǒng)，軟件界面見圖9。無拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型缺陷見圖10。

圖9 小包缺陷檢測系統(tǒng)界面

經(jīng)過3個月的現(xiàn)場測試，系統(tǒng)對7 697 402張樣本圖像進(jìn)行了在線檢測，共檢出了4 433張缺陷樣本圖像，通過工藝專家核對，僅發(fā)現(xiàn)21張誤報(bào)缺陷樣本圖像。誤報(bào)集中在拉線偏移缺陷，說明算法對拉線微小偏移的檢測仍有進(jìn)一步優(yōu)化空間。

現(xiàn)場測試共產(chǎn)生769萬多張判斷為正常的小包圖像，如此大量的小包圖像數(shù)據(jù)無法直接進(jìn)行人工核對，只能通過產(chǎn)品流向市場后的投訴追溯來間接反映是否存在漏報(bào)。通過綜合市場投訴的追溯分析，未發(fā)現(xiàn)該機(jī)臺檢測區(qū)域有不合格小包流向市場。

圖10 檢測出的典型小包缺陷圖像

綜上所述，在文中算法的現(xiàn)場測試期間，共完成7 697 402張樣本圖像的在線檢測，僅發(fā)生21次誤報(bào)，且未發(fā)生對應(yīng)機(jī)臺待檢區(qū)域不合格小包的市場投訴。構(gòu)建的小包拉線缺陷檢測系統(tǒng)可以對無拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型小包缺陷進(jìn)行及時(shí)準(zhǔn)確檢測，有效彌補(bǔ)了小包透明紙拉線外觀檢測的在線監(jiān)控盲區(qū)。

4 結(jié)語

針對卷煙小包拉線缺陷視覺檢測問題，提出一種基于生成對抗網(wǎng)絡(luò)和自編碼器的智能檢測方法。該模型僅需要正常卷煙小包圖像，避免了模型訓(xùn)練對大量缺陷圖片數(shù)據(jù)的需求。通過自編碼器子網(wǎng)絡(luò)對原圖像進(jìn)行重構(gòu)，并通過一個單獨(dú)的編碼器網(wǎng)絡(luò)將圖像映射到低維空間。綜合采用圖像間、圖像隱空間和圖像特征間的信息對模型進(jìn)行訓(xùn)練，能夠從多個角度對卷煙小包存在的異常情況進(jìn)行準(zhǔn)確判別。經(jīng)過生產(chǎn)現(xiàn)場實(shí)驗(yàn)驗(yàn)證，該方法能夠在極短的檢測時(shí)間內(nèi)準(zhǔn)確地對卷煙小包拉線缺陷進(jìn)行檢測，滿足卷煙生產(chǎn)現(xiàn)場對小包缺陷檢測準(zhǔn)確度和檢測速度的雙重要求。

[1] 張超凡, 董浩, 劉勇, 等. 基于視覺形態(tài)特征檢測的煙梗切絲質(zhì)量分析[J]. 煙草科技, 2017, 50(1): 67-73.

ZHANG Chao-fan, DONG Hao, LIU Yong, et al. Analysis of Stem Cutting Quality Based on Visual Morphological Feature Detection[J]. Tobacco Science & Technology, 2017, 50(1): 67-73.

[2] 李巧靈, 黃勝翰, 張廷貴, 等. 爆珠滴制在線視覺檢測設(shè)備的設(shè)計(jì)及應(yīng)用[J]. 煙草科技, 2020, 53(7): 92-101.

LI Qiao-ling, HUANG Sheng-han, ZHANG Ting-gui, et al. Design and Application of On-Line Inspection Device for Flavored Capsule Formation Process Based on Machine Vision Technology[J]. Tobacco Science & Technology, 2020, 53(7): 92-101.

[3] 徐龍泉, 王澍, 董浩, 等. 面向卷煙爆珠放行檢驗(yàn)的氣泡缺陷檢測方法[J]. 煙草科技, 2020(10): 96-102.

XU Long-quan, WANG Shu, DONG Hao, et al. Method for Release Inspection of Cigarette Capsules with Bubble Defects[J]. Tobacco Science & Technology, 2020(10): 96-102.

[4] 王澍, 徐龍泉, 董浩, 等. 卷煙爆珠拖尾缺陷檢測方法[J]. 煙草科技, 2021, 53(1): 77-84.

WANG Shu, XU Long-quan, DONG Hao, et al. Method for Detection of Tailed Capsules[J]. Tobacco Science & Technology, 2021, 53(1): 77-84.

[5] 曹維林, 李捷, 孫順凱, 等. 基于Canny算子的濾棒數(shù)量檢測方法[J]. 煙草科技, 2020, 53(1): 96-102.

CAO Wei-lin, LI Jie, SUN Shun-kai, et al. Counting Method for Filter Rods Based on Canny Operator[J]. Tobacco Science & Technology, 2020, 53(1): 96-102.

[6] 李捷, 陸海華, 王翔, 等. 基于機(jī)器視覺的煙支接裝質(zhì)量在線檢測系統(tǒng)[J]. 煙草科技, 2019, 52(9): 109-114.

LI Jie, LU Hai-hua, WANG Xiang, et al. Online cigarette appearance inspection system based on machine vision[J]. Tobacco Science & Technology, 2019, 52(9): 109-114.

[7] 李力, 黃玉彥, 喬茜華, 等. 基于疑似目標(biāo)區(qū)域判定方法的卷煙透明包裝缺陷檢測[J]. 鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版), 2014, 29(2): 35-37.

LI Li, HUANG Yu-yan, QIAO Xi-hua, et al. Detection of Cigarette Transparent Packaging Defect Based on Judgment Method of Suspected Target Region[J]. Journal of Zhengzhou University of Light Industry(Natural Science Ediion), 2014, 29(2): 35-37.

[8] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺檢測系統(tǒng)[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[9] 吳偉, 劉愛蓮, 王永剛. 條煙外包裝透明紙缺陷的視覺檢測方法研究[J]. 云南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2009, 31(S2): 116-119.

WU Wei, LIU Ai-lian, WANG Yong-gang. A Research Used Visual Detection Method in the Defects of Article Cigarette Packaging Cellophane[J]. Journal of Yunnan University (Natural Sciences Edition), 2009, 31(S2): 116-119.

[10] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺檢測系統(tǒng)[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-Sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[11] 蔡培良, 楊劍鋒, 李明, 等. C800-BV包裝機(jī)條盒紙膠點(diǎn)視覺檢測系統(tǒng)的設(shè)計(jì)[J]. 煙草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800? BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[12] 蔡培良, 何邦貴, 華衛(wèi), 等. BV包裝機(jī)條煙外觀質(zhì)量檢測裝置的設(shè)計(jì)[J]. 包裝工程, 2018, 40(3): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 40(23): 143-150.

[13] 吳忠云, 鄧春寧. 機(jī)器視覺檢測技術(shù)在煙箱缺條檢測方面的運(yùn)用[J]. 機(jī)械制造與自動化, 2014, 43(6): 188-190.

WU Zhong-yun, DENG Chun-ning. Application of Machine Vision Technology in Box Lack Detection[J]. Machine Building & Automation, 2014, 43(6): 188-190.

[14] 王偉, 朱立明, 章強(qiáng), 等. 基于相似性分析和閾值自校正的煙箱缺條智能檢測方法[J]. 煙草科技, 2019(1): 91-97.

WANG Wei, ZHU Li-ming, ZHANG Qiang, et al. Method for Intelligent Detection of Carton Missing in Cigarette Case Based on Similarity Analysis and Threshold Self-Correction[J]. Tobacco Science & Technology, 2019(1): 91-97.

[15] 王鵬. 煙箱品牌視覺檢測分揀系統(tǒng)的設(shè)計(jì)應(yīng)用[J]. 煙草科技, 2014(4): 35-38.

WANG Peng. Design and Application of Visual Case Inspection and Sorting System[J]. Tobacco Science & Technology, 2014(4): 35-38.

[16] 陶顯, 侯偉, 徐德. 基于深度學(xué)習(xí)的表面缺陷檢測方法綜述[J]. 自動化學(xué)報(bào), 2021, 47(5): 1017-1034.

TAO Xian, HOU Wei, XU De. A Survey of Surface Defect Detection Methods Based on Deep Learning[J]. Acta Automatica Sinica, 2021, 47(5): 1017-1034.

Vision Intelligent Detection Method of Cigarette Packet Tear Tape Defects Based on Unsupervised Deep Neural Network

ZHU Li-ming, WANG Wei, FAN Xia-ping, WANG Wen-bo, XU Xin,XU Xiao-shuang

(China Tobacco Zhejiang Industrial Co., Ltd., Hangzhou 310024, China)

The work aims to construct a vision intelligent detection method for cigarette packet tear tape defects based on the unsupervised deep neural network to reduce the complaints of cigarette packet tear tape defects for the ZB47 packaging machine. First, the cigarette packet image acquisition hardware acquisition device at the CH turret position of the ZB47 packaging machine was designed and installed to obtain real-time high-precision small packet images. Second, the cigarette packet image was cropped at a fixed position according to the position of the tear tape, thereby reducing the effects of the environmental background of different working conditions and speeding up the detection speed. Then, the backbone network of the autoencoder-encoder structure was constructed, and the discriminator module in the generative adversarial networks was added to form the defect detection module. The loss function of the model was constructed according to the information between the images, the latent space and the features of the images. Finally, the cropped normal cigarette packet transparent paper images were used to train the constructed defect detection model, and the abnormal score threshold was obtained based on all normal cigarette packet images. In the actual verification stage, if the score of the detected image was greater than the abnormal score threshold, it is judged to be an abnormal image, and the cigarette packet removal device at the CH turret position was triggered to remove the defective cigarette packet. The test at production site showed that the proposed method could quickly and accurately detect the cigarette packet tear tape defects with an accuracy rate of 99.99%. The method can meet the dual requirements of the actual production process for detection accuracy and detection speed of cigarette packet tear tape defects.

cigarette packet tear tape; generative adversarial networks; autoencoder; vision intelligent detection

TS433

A

1001-3563(2022)17-0273-09

10.19554/j.cnki.1001-3563.2022.17.036

2021–11–18

中國煙草總公司科技項(xiàng)目（110202102006）

朱立明（1972—），男，本科，高級工程師，主要研究方向?yàn)榫頍熤悄苤圃旌凸I(yè)大數(shù)據(jù)分析。

責(zé)任編輯：曾鈺嬋