雪茄煙煙支外觀質量檢測方法

張鵬飛，陳姣文，郭洪濱，楊榮超，賀 琛，張 勍，李青常，李素曉，慎龍舞，苗 芊*，薛 芳*

1.中國煙草總公司鄭州煙草研究院，鄭州高新技術產業開發區楓楊街2 號 450001

2.四川中煙工業有限責任公司技術中心，成都市錦江區成龍大道一泉段56 號 610066

3.鄭州大學物理學院，鄭州市高新區科學大道100 號 450001

雪茄煙是以雪茄煙葉為主作為茄芯，雪茄煙葉或再造煙葉作為茄衣，經過干燥、發酵等工序制作而成的一種具有雪茄煙風味特征的煙草制品［1］。近年來，國產雪茄煙消費呈現爆發式增長態勢，成為國內卷煙消費新熱點。雪茄煙外觀質量是雪茄煙產品質量的重要組成部分，直接影響消費者對產品的印象。雪茄煙外觀質量缺陷包括病斑、污痕、洞眼等，目前生產企業普遍采用感官觀測法對煙支外觀質量進行檢測，存在人為影響因素大、檢驗工序耗時費力、質量數據難以分析與應用等問題。隨著機器視覺和深度學習等技術的發展，生產制造領域的檢測技術得到進一步優化。李捷等［2］設計了基于機器視覺的煙支外觀在線檢測系統，煙支質量識別準確率達到98%。張超凡等［3］提出一種基于視覺形態特征檢測的煙梗切絲質量分析方法，能夠對煙梗切絲質量進行快速準確評估。袁國武等［4］通過改進ResNeSt網絡，建立了基于ResNeSt的煙支外觀缺陷分類方法，有效解決了煙支外觀缺陷分類檢測效率低等問題。徐龍泉等［5］基于計算機視覺技術建立一種高精度氣泡缺陷檢測方法，通過在卷煙爆珠放行檢驗中準確檢測出氣泡缺陷爆珠，避免將污點、白斑以及膠皮粘附等非必檢缺陷誤識別為氣泡。叢明等［6］針對復雜鑄件外觀缺陷體積小、背景復雜干擾大、難以實現高精度缺陷檢測等問題，提出一種基于深度學習的鑄件外觀缺陷檢測模型。此外，孫浩巍等［7］通過研究雪茄煙煙葉外觀質量評價體系，總結了雪茄煙煙葉相關術語，建立了雪茄煙煙葉外觀評價規則及評價指標，初步構建了雪茄煙茄衣、茄套、茄芯質量評價體系。但關于雪茄煙煙支外觀質量缺陷檢測方法的研究則鮮見報道。為此，搭建了一種雪茄煙煙支外觀質量檢測裝置，并基于機器視覺技術和深度學習建立了雪茄煙煙支外觀質量檢測模型，以期提高雪茄煙產品質量檢測精度和效率。

1 材料與方法

1.1 材料

“王冠”牌手工雪茄煙（安徽中煙工業有限責任公司蚌埠卷煙廠蒙城雪茄煙生產部提供），用于建立缺陷數據集；“長城”牌手工雪茄煙（四川中煙工業有限責任公司長城雪茄廠提供），用于測試應用效果。

1.2 雪茄煙煙支外觀質量檢測裝置

搭建了雪茄煙煙支外觀質量檢測裝置，見圖1。其中，柱面相機和端面相機均為A7B00CGZY-01 工業相機（浙江大華技術股份有限公司），鏡頭分別為MH0814X 和MH1228X（浙江華睿科技股份有限公司）。雪茄煙煙支外觀質量檢測分為柱面檢測和端面檢測：①柱面檢測時，將煙支放置在可調節平臺上，通過調節平臺位置使煙支處于相機焦距處，采集煙支柱面圖像，然后旋轉煙支120°采集圖像，繼續旋轉煙支120°采集圖像，實現煙支圓周全覆蓋拍照。②端面檢測時，調節端面相機左右位置，使煙支端面位于相機焦距處，采集煙支端面圖像。與柱面檢測不同，端面檢測只需拍攝1次即可完成圖像采集，在此過程中要確保煙支穩定且拍攝角度正確。

圖1 雪茄煙煙支外觀質量檢測裝置結構圖Fig.1 Structure of cigar appearance inspection device

1.3 數據集構建

以不同外觀質量缺陷的雪茄煙煙支樣品作為實驗對象，包括脫皮、青斑、病斑、切口破損、縫口5種缺陷類型。采集缺陷圖像包括脫皮600 張，青斑297張，病斑149張，切口破損299張，縫口88張。5種缺陷類型圖像見圖2。

圖2 雪茄煙煙支外觀質量缺陷圖像Fig.2 Images of cigar appearance defects

為保證5 種缺陷數據之間均衡，采用圖像平移和翻轉的方法對數量較少的缺陷類型進行數據增廣，處理后圖像效果見圖3。增廣后各種缺陷類型的圖像數量分別為脫皮600 張，青斑594 張，病斑560 張，切口破損598 張，縫口528 張。采用LabelImg 標注工具對所有缺陷圖像進行標注和框選［8-9］，每個圖像對應一個txt 文件，用于記錄缺陷類型和位置，見圖4。

圖3 圖像平移和翻轉處理效果Fig.3 Effects of image panning and flipping

圖4 缺陷圖像標注Fig.4 Defect labeling on an image

增廣后數據集包含2 880 張缺陷圖像，將其按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。其中，訓練集2 304 張，驗證集288 張，測試集288 張。利用訓練集進行訓練，同時利用驗證集對每個訓練周期的模型進行性能監測。訓練結束后，使用測試集對模型性能進行檢測。

1.4 柱面缺陷檢測方法

1.4.1 檢測模型

近年來，目標檢測模型被廣泛應用于缺陷檢測領域，對比Faster-RCNN、FSSD 等檢測模型，YOLO模型具有輕量化、便于遷移、泛化能力強、檢測速度快等特征。因此，采用基于深度學習的YOLOv5［10］模型實現雪茄煙煙支柱面缺陷檢測。YOLOv5模型由特征提取網絡、特征融合網絡和檢測頭3 部分組成。常用的特征提取網絡有ResNet 系列［11］、CSPDarkNet 系列、DarkNet 系列［12］等，本文中采用CSPDarkNet作為特征提取網絡，在減少參數的同時具有較高檢測精度。特征融合網絡有FPN、PANet［13］等，見圖5。本文中采用PANet 對特征進行融合，通過自上而下和自下而上兩次融合，使每個特征圖都具有較強的語義特征和位置特征，從而提高檢測精度。檢測頭的作用是對特征融合網絡的特征圖進行預測，從而完成訓練或推理。

1.4.2 先驗框和數據預處理

為進一步提高檢測精度，采用YOLO 系列模型的K-means聚類算法完成數據集先驗框（anchors）的生成，步長為8、16和32的特征圖生成的先驗框見表1。為提高模型的魯棒性和泛化能力，在加載缺陷圖像時，采用尺度縮放、平移、翻轉、飽和度增強和色調增強等方法對圖像進行預處理。結果顯示，尺度縮放、平移和翻轉可以為模型性能帶來正增益效果，飽和度增強和色調增強則為模型性能帶來負增益效果。

表1 不同步長特征圖生成的先驗框Tab.1 Anchors generated from feature maps with different step sizes

1.4.3 模型評估

采用精確率P（Precision）、召回率R（Recall）、某類別平均準確率AP（Average Precision）、多類別平均準確率MAP（Mean Average Precision）和每秒傳輸幀數FPS（Frames Per Second）評估模型表現［14］。

1.4.4 實驗環境和參數設置

實驗在Windows 10 操作系統上進行，CPU 為12th Gen Intel Core i7，內存64 GB。GPU 為NVIDIA GeForce RTX 3080Ti，內存12 GB。檢測模型在Pycharm中開發和訓練，開發語言為Python。深度學習框架為Pytorch1.13和Cuda11.6。模型在訓練時，輸入圖像經過雙線性插值和雙邊填充后尺寸為1 280 px×1 280 px，批大小為8，訓練周期為150，初始學習率為0.01。權值優化采用隨機梯度下降法（Stochastic Gradient Descent），學習率調整策略采用線性衰減方式，學習率與訓練周期呈線性相關。其他參數均采用YOLOv5 原始參數，動量因子為0.937，為防止早期訓練時出現較大波動，設置前3個周期為預熱周期。損失函數由定位損失、置信度損失和分類損失3部分組成，置信度和分類損失采用二分類交叉熵進行計算，定位損失采用CIoU（Complete-IoU）［15］進行計算。為加快模型收斂速度，采用遷移學習方式，使用YOLOv5模型在COCO（Common Objects in Context）數據集上的預訓練權值對模型進行初始化。

1.5 端面缺陷檢測方法

端面主要檢測空頭缺陷，空頭是因煙絲缺失而造成的質量缺陷，見圖6。因空頭缺陷種類單一、特征鮮明，本文中采用傳統的圖像處理方法完成空頭缺陷檢測。為提升缺陷與背景的對比度，采用環形光源作為端面光源。經過對比分析RGB（紅、綠、藍）、HSV（色調、飽和度、明度）等顏色空間，發現在HSV 空間的V 通道中，空頭缺陷與背景呈現較大差異。為此，采用大津法求得最佳閾值對圖像進行分割，通過統計煙絲缺失比例，實現空頭缺陷檢測。

圖6 空頭缺陷圖像Fig.6 An image of loose end defect

2 結果與分析

2.1 柱面缺陷檢測結果

2.1.1 訓練結果

在實驗環境下開展150個周期的訓練，并使用測試集對模型性能進行測試。結果顯示，模型的精確率P為91.2%，召回率R為85.1%，IoU（Intersection over Union）閾值為0.5 時的MAP 為87.7%。測試集的P-R曲線和混淆矩陣見圖7和圖8。

圖7 測試集的P-R曲線Fig.7 P-R curve of the test set

圖8 測試集的混淆矩陣Fig.8 Confusion matrix of the test set

2.1.2 檢測結果

為驗證YOLOv5模型對雪茄煙煙支外觀質量缺陷檢測的有效性，將該模型與其他模型同時進行檢測，結果見表2。可見，與Faster-RCNN模型［16］相比，YOLOv5 的MAP 提升13.9 百分點；與FSSD 模型［17］相比，YOLov5 的MAP 提升9.3 百分點。此外，YOLOv5 的檢測速度分別是Faster-RCNN 和FSSD的8倍和5倍。

表2 不同檢測模型的測試結果對比Tab.2 Comparison of test results between different inspection models

采用未參與訓練的缺陷圖像對模型的魯棒性和泛化能力進行檢測，結果見圖9。由圖9a和9c可見，YOLOv5 模型能夠檢測出單個缺陷和多個缺陷；由圖9a、9b 和9c 可見，YOLOv5 模型對各種尺寸缺陷均具有較好檢測效果；由圖9b可見，YOLOv5模型能夠實現對比度差、不易發現的缺陷檢測；由圖9d 可見，YOLOv5 模型能夠完成多種缺陷和密集缺陷的檢測。

圖9 不同外觀質量缺陷檢測結果Fig.9 Inspection results of different appearance defects

2.2 端面缺陷檢測結果

在HSV 顏色空間中提取V 通道信息，使用大津法自適應計算每張圖像的閾值，并對圖像進行分割。由圖10可見，在實驗室不同光照亮度環境下，該方法均能夠完成煙絲缺失區域檢測。

圖10 實驗室不同光照亮度環境下空頭缺陷檢測結果Fig.10 Inspection results of loose end defects under different luminance environments in a laboratory

2.3 應用效果

采用基于YOLOv5訓練的雪茄煙煙支外觀質量缺陷檢測方法，對四川中煙提供的“長城”牌雪茄煙不同類型缺陷煙支進行測試，驗證方法的有效性，結果見圖11。可見，該方法能夠適應各種復雜環境，對不同煙支缺陷均具有較高檢測精度，泛化能力強，穩定性好，可以實現多個缺陷的同時檢測和精準定位。

圖11 雪茄煙煙支外觀質量缺陷驗證結果Fig.11 Validation results of appearance defects of cigars

圖12 為端面空頭缺陷檢測結果。可見，生產現場不同光照亮度環境下圖像分割效果良好，通過分割煙絲缺陷部分，進一步計算煙絲缺失比例，從而實現空頭缺陷檢測。結果表明，端面檢測方法具有較強抗干擾能力，適用于不同亮度環境。

圖12 生產現場不同光照亮度環境下空頭缺陷檢測結果Fig.12 Inspection results of loose end defects under different luminance environments in site

3 結論

基于機器視覺技術和深度學習構建了一種雪茄煙煙支外觀質量檢測方法，采用YOLOv5 模型對柱面缺陷進行檢測，利用傳統圖像處理方法完成空頭缺陷檢測。結果表明：①采用YOLOv5 模型對柱面缺陷進行檢測，MAP為87.7%，單張圖像檢測時間為13.1 ms/張，檢測精度分別比Faster-RCNN 和FSSD提升13.9 和9.3 百分點，檢測速度分別是Faster-RCNN和FSSD的8倍和5倍；YOLOv5模型對不同種類缺陷、多尺寸缺陷和密集缺陷均具有較好檢測效果。②采用傳統的圖像處理法對端面缺陷進行識別，在不同光照亮度環境下，均能夠完成煙絲缺失區域檢測。③通過雪茄煙煙支外觀缺陷檢測方法，可準確檢測不同缺陷類型及位置，從而實現雪茄煙煙支缺陷分類。