基于深度學習技術的煙梗形態分類與識別

肖雷雨，王 澍，劉淵根，張 龍，王 玲，堵勁松，徐大勇*

1.安徽大學物質科學與信息技術研究院，合肥市蜀山區九龍路111 號 230601

2.中科院合肥物質科學研究院，合肥市蜀山湖路350 號 230031

3.中國煙草總公司鄭州煙草研究院，鄭州高新技術產業開發區楓楊街2 號 450001

4.安徽省煙草公司，合肥市政務區潛山南路666 號 230072

煙梗作為卷煙的主要原料之一，可以將其加工制成填充值高、燃燒性好的梗絲或梗粒，對于減害降焦、降低配方成本、改善卷煙物理質量具有重要作用。因此，長梗率、梗中含葉率、粗梗率、梗頭比例等是衡量卷煙產品質量和加工水平的重要指標，且對切絲后梗絲結構、出絲率、梗簽比例以及卷煙物理質量具有顯著影響。針對此，李金學等［1］研究了梗絲結構對卷煙質量穩定性的影響；白永忠等［2］發現不同類別煙梗制成的梗絲在物理、化學、感官品質方面均存在差異。根據國家煙草專賣局《打葉復烤技術升級重大專項實施方案》，目前行業內打葉復烤技術與整個卷煙生產產業鏈相比明顯處于滯后狀態，亟需進行數字化技術升級。其中，煙梗的長梗率、梗中含葉率（梗含葉）、梗頭比例及粗梗率等指標仍依靠人工在線取樣檢測，并采用“四分法”等方法進行分類，勞動強度高，檢測誤差大。因此，建立能夠快速、準確識別煙梗形態和特征參數的方法，實現煙梗質量在線檢測，對于提高打葉復烤和制絲加工工藝水平具有重要意義。近年來，計算機視覺技術在農作物生產管理和質量檢測方面已有廣泛應用，田有文等［3］對葡萄的病害圖像進行處理和分類；王獻鋒等［4］提出了一種黃瓜葉片的病害圖像分類識別方法。在模式識別與目標檢測算法方面，深度學習技術依靠其自動構建特征工程的特性已逐步取代傳統圖像識別算法［5］。其中，洪金華等［6］使用YOLOv3 模型對煙蟲進行檢測；高震宇等［7］使用卷積神經網絡檢測煙絲物質組成。但對于煙梗分類識別的研究應用則鮮見報道。為此，在分析不同類別煙梗形態差異的基礎上，建立了一種深度學習煙梗分類識別模型，通過在YOLOv3 骨干網絡Darknet53［8］的3 層預輸出中添加一條增強紋理特征的路徑，提升模型對局部煙梗紋理特征的識別能力，并對模型性能進行驗證，以期實現對3 個類別煙梗的精準分類識別，為提高煙梗質量在線檢測水平提供參考。

1 材料與方法

1.1 實驗材料

樣品為2018 年福建南平C2F+C3F 配打后復烤前煙梗，直接在輸送帶上取樣，共20 kg。煙梗類別分為純煙梗、梗頭與梗含葉，見圖1。

圖1 3 個類別煙梗圖片Fig.1 Images of three kinds of tobacco stems

1.2 實驗設備和深度學習環境的搭建

1.2.1 煙梗實時分類識別系統

為了對煙梗圖像進行快速采集以及對煙梗分類識別效果進行測試，設計了煙梗在線分類識別系統。該系統的硬件結構主要由計算機、輸送皮帶機、環形LED 光源、高速CCD 相機等部分組成，見圖2。其中，NVIDIA Jetson TX2 板載AI 計算機在Ubuntu16.04 操作系統下完成分類識別算法，CPU 為Intel core i7，內存為16G，GPU 為NVIDIA GeForce GTX 1080Ti，同時安裝了CUDA9.0、cudnn7.1、Opencv3.4、python3.5等第三方庫以支持模型運行；相機為USB3.0 接口工業相機，分辨率為4 208×3 120 pixel，鏡頭為低失真廣角C 接口鏡頭。系統與煙梗物料輸送線之間通過多級差速皮帶連接，煙梗被輸送至系統的檢測工位時呈離散狀態。

圖2 煙梗分類識別系統結構圖Fig.2 Structure of classification and identification system for tobacco stems

1.2.2 深度學習環境的搭建

本研究中采用帶動量因子（momentum）的小批量（mini-batch）隨機梯度下降法（Stochastic Gradient Descent，SGD）進行模型訓練，小批量樣本數量設置為128，subdivision 參數設置為16，動量因子設置為固定值0.9，前1 000 次學習策略采用burn_in，1 000次以后學習率策略采用multisteps。初始學習率為0.001，在40 000 次和45 000 次分別乘以0.1 降低學習率。為防止過擬合，將正則化系數設為0.000 5，共迭代50 000 次且每隔2 000 次保存1 次模型，最終選出最優模型。使用最優模型分類識別測試集，以人工識別結果為基準，對比本研究中提出的算法與其他主流深度學習算法的識別準確率。

1.3 算法評價

1.3.1 實驗誤差指標

基于每批次的實際數量與識別數量，根據公式（1）統計該批次總識別誤差：

根據公式（2）計算單類別煙梗識別誤差：

式中：x 為煙梗類別；T_N 為該批次煙梗總數，個；Nx為人工挑選出的某類別煙梗的實際數量，個；nx為系統識別出的該類別煙梗的數量，個；Abs 為計算絕對值函數；E1為該批次總識別誤差，%；E2為類別煙梗識別誤差，%。

1.3.2 模型評價指標

采用精確率P（Precision）、召回率R（Recall）、單類別識別精確率AP（Average Precision）和AP 的均值mAP（mean Average Precision）對煙梗檢測識別模型進行評價，計算公式分別為：

式中：TP 表示模型對某類別煙梗進行預測且預測正確的數量，個；FP 表示對某類別煙梗進行預測但預測錯誤的數量，個；FN 表示模型預測不是某類別煙梗但預測錯誤的數量［9］，個；P 表示某類別煙梗的預測正確比例，%；R 表示某類別煙梗被正確識別出的比例，%；P（R）表示以R 為參數的函數；AP 表示某類別煙梗識別精確率，在模型迭代運算過程中，對于每一個R 值，可以計算得到對應的P 值，對所有P值求平均則得到AP，%；mAP 為3 類樣本AP 的均值，%；i表示煙梗類別（純煙梗=1，梗頭=2，梗含葉=3）。

2 算法的構建

2.1 煙梗分類識別系統工作流程

煙梗分類識別系統工作流程見圖3。主要步驟：①對相機進行標定和畸變復原，獲取圖像的畸變參數與像素對應的實際尺寸；②采集煙梗圖像（純煙梗、梗頭及梗含葉）進行標注，制作煙梗數據集（包括圖像文件及標注文件）；③構建深度學習網絡，在煙梗數據集上進行訓練，生成煙梗分類模型；④在線采集煙梗圖像進行目標區域檢測與圖像裁剪，以減少運算量；⑤將裁剪好的圖像輸入訓練好的分類模型進行識別；⑥測量圖像中煙梗的長度、寬度、面積等幾何參數。

圖3 系統的工作流程圖Fig.3 Flow chart of the system

2.2 煙梗圖像數據的采集

采集并制作單樣本圖像3 000 張（每個類別各1 000 張），同時使用旋轉、翻轉及縮放等數據增強方法制作補充樣本3 000 張（防止模型過擬合），共6 000張煙梗圖像作為訓練數據集。另外，采集600 張單類別圖像（1 張圖像只有1 個煙梗）作為測試數據集。訓練中采用十折交叉驗證，6 000 張訓練圖像按比例9∶1 被隨機拆分為訓練集和驗證集，各類別樣本數量見表1。

表1 數據集的組成Tab.1 Composition of data sets （張）

2.3 樣本圖像的自動標注

2.3.1 手動標注方法

在線采集的煙梗圖像分辨率為4 208×3 120 pixel，見圖4a。在傳統的深度學習目標分類識別方法中，首先要使用標注軟件對樣品類別進行手動標注，制作圖像標簽，再生成VOC 格式文件，見圖4b。由于本研究中的煙梗數據集較大，使用手動標注工作量繁重，為此設計了基于HSV（Hue，Saturation，Value）顏色空間的自動標注算法。

2.3.2 基于HSV 顏色空間的自動標注算法

由圖4a 可見，受光源均勻性及輸送皮帶反光的影響，在線采集的煙梗圖像亮度不均。在設計自動標注方法時，如果煙梗圖像分割提取效果不好，則會造成算法獲取的坐標位置不準確，導致非目標信息被用于建模，影響識別率。為準確提取圖像中的煙梗，制作精確的煙梗標簽，基于HSV 顏色空間設計了煙梗圖像自動標注算法。主要步驟：①將已分類好的同一類別樣品送入輸送皮帶機，并采集圖像；②在軟件中設置該批樣品的類別名稱，例如“gengtou”或“genghanye”等；③將原始圖像轉換到HSV 顏色空間，提取H 通道圖像（圖5a）和S 通道圖像（圖5b），并將H 通道圖像與S 通道圖像做差值運算（圖5c）；④對差值運算后的圖像進行二值化，并濾除面積較小的連通域（圖5d）；⑤遍歷圖像中的各個連通域，提取位置信息，設置感興趣目標區域（Region of Interest，ROI）（圖5e）；⑥將ROI 區域進行裁剪，并將裁剪后的圖像分辨率歸一化為416×416 pixel；⑦存儲每個ROI 區域的煙梗類別及位置信息，完成標簽制作（圖5f）。

圖4 煙梗圖像的手動標注方法Fig.4 Manual labeling method for tobacco stem images

圖5 煙梗圖像自動標注方法Fig.5 Automatic labeling method for tobacco stem images

2.4 YOLOv3 算法Anchors 的設置

YOLOv3 算法在訓練前需要進行先驗框（Anchors）設置［10］，合理的Anchors 可以加快模型的收斂速度。采用K-means++算法［11］通過聚類可以得到數據集中物體的大致尺寸和形狀，并將這些尺寸和形狀作為先驗框輔助模型訓練。YOLOv3 的默認Anchors 來源于COCO 數據集［12］，而不同數據集適用于不同Anchors。為提升煙梗的定位精度，本研究中對煙梗數據集使用K-means++算法重新聚類，得到9個新的Anchors，分別為（55，99），（69，133），（82，156），（106，214），（124，208），（138，206），（156，235），（208，255），（344，356）。

2.5 YOLOv3 模型的適應性改造

研究發現直接使用原始YOLOv3 模型進行煙梗識別的準確率并不理想，可能原因是梗含葉的葉子較小導致其與純煙梗的圖像特征差異較小，以及部分梗頭與梗含葉的圖像特征差異也較小。針對該問題進行分析，結果表明低層次的特征圖主要關注物體的紋理信息，因此煙梗的紋理信息是分類識別的關鍵。為此，基于路徑增強方法對YOLOv3 模型進行了改進，以提高模型對圖像紋理特征的敏感度。改進后YOLOv3 模型網絡結構見圖6。

在類FPN［13］模塊中，模型對3 個不同尺度的底層、中層與高層特征圖進行多尺度預測。其中，在52×52 pixel 的底層特征圖中包含較多的紋理信息，但原始YOLOv3 模型在這些信息上直接做類別預測1（圖6），會造成部分紋理特征無法被有效利用。因此，本研究中在52×52 pixel 的底層特征圖上做類別預測1 之前，先提取該層特征圖，再連續進行BN［14］（批歸一化）、Leaky ReLU（非線性激活）與卷積下采樣操作，將其轉化為13×13 pixel 的高層特征圖，進而參與類別預測，即相當于在模型中增加一個倒金字塔結構，通過添加一條自下向上的增強路徑，以充分利用圖像中的紋理特征信息。

圖6 改進后YOLOv3 模型網絡結構圖Fig.6 Structure of revised YOLOv3 model network

由圖6 可見，對拼接后尺寸為52×52 pixel 特征圖進行下采樣，使用步長為2 的3×3 pixel 卷積，將52×52 pixel 特征圖縮小為尺寸為26×26 pixel 特征圖；再將得到的特征圖與下一層特征圖進行特征融合，融合方式為張量拼接，可以直接將兩張特征圖進行拼接，且不會丟失特征信息；然后繼續對26×26 pixel 特征圖進行下采樣，得到尺寸為13×13 pixel 特征圖，再與下一層特征圖進行特征融合。使用標注好的數據集對改進后模型進行遷移訓練，生成用于在線煙梗分類識別的深度學習網絡模型。

2.6 模型訓練結果

從改進后YOLOv3 模型訓練日志中提取數據繪制Loss 和IOU（Intersection over Union）曲線，見圖7。其中，batches 是模型在訓練過程中的迭代次數，Loss 代表訓練誤差，當Loss 值小于0.01 時判斷訓練完成。IOU 為圖像的真實矩形框與模型預測矩形框的交集，IOU 值越高說明訓練效果越好。由圖7a可見，當橫坐標batches 值等于10 000 時，函數趨于收斂（Loss 值接近0.01）；當橫坐標batches 值大于40 000 時，訓練結束（Loss 值小于0.01）。由圖7b 可見，當橫坐標batches 值為50 000 時，IOU 值接近0.9，表示模型預測框與真實框差異較小，模型訓練效果趨于最優。

圖7 改進后YOLOv3 模型訓練結果Fig.7 Training results of revised YOLOv3 model

3 應用效果

3.1 分類識別效果

3.1.1 P-R 曲線

根據評價指標將模型在測試集上運行，迭代運算過程中計算不同的R 值和P 值，以R 值為橫坐標，P值為縱坐標，繪制P-R 曲線，見圖8。其中，藍色曲線表示梗頭，紅色曲線表示梗含葉，綠色曲線表示純煙梗。識別精確率AP 等價于曲線與x 軸圍成的面積，可以觀察到綠色曲線包含面積最大，紅色曲線包含面積最小，藍色居中。表明模型對純煙梗的識別精度最高，對梗頭的識別精度次之，對梗含葉的識別精度最低。

圖8 模型在測試集上運行的P-R 曲線Fig.8 P-R curve of the model running on test set

3.1.2 復雜場景的分類識別效果

選取場景較為復雜的測試圖像，分別使用原始YOLOv3 模型及改進后YOLOv3 模型進行煙梗分類識別，效果見圖9。圖中背景為黑色輸送帶，分類識別對象包括梗頭、梗含葉、純煙梗與雜物（塑料袋、紙張、螺釘與螺帽等）。分類識別結果由不同預測框表示，黃色框為純煙梗，紫色框為梗頭，綠色框為梗含葉。由圖9b 可見，原始YOLOv3 模型將部分梗頭誤識別為純煙梗的有3 個，將部分梗頭誤識別為梗含葉的有2 個，將部分雜物誤識別為梗含葉的有3 個，誤識別率約為10%。由圖9c 可見，改進后YOLOv3 模型對不同類別煙梗識別準確，幾乎無誤判，且對雜物的抗干擾能力強，沒有出現將雜物誤識別為煙梗等情況，具有較好的分類識別效果。

圖9 在復雜環境下改進前后模型識別效果Fig.9 Identification effect of the model before and after revision under complex scenarios

3.2 模型分類識別性能評估

選取SSD、Mask R-CNN、原始YOLOv3 與改進后YOLOv3 模型進行對比測試。SSD 模型與YOLO系列模型均采用one-stage 方法，其中SSD 以VGG16為基礎網絡提取特征信息，直接生成物體的類別概率和邊界框的坐標值，分類識別速度快，精度高［15］；Mask R-CNN 模型沿用了Faster R-CNN 的思想［16］，并 且 將FCN 與FPN 融 入 算 法 中［17-18］，同 時 采 用ResNet 作為分類器。

將測試集所包含的600 張圖像作為分類識別對象（梗頭、梗含葉、純煙梗各200 張），單張原始圖像大小為4 208×3 120 pixel，經感興趣區域裁剪后，歸一化處理為416×416 pixel。由表2 和表3 可見，SSD模型對煙梗的識別效果最不理想，精確率小于80%；Mask R-CNN 模型識別精確率較高，約為91%，但其對416×416 pixel 圖像的運算速度為4 幀/s，無法滿足在線分類識別的實時性；原始YOLOv3 模型的精確率約為89%，運算速度為38 幀/s；改進后YOLOv3 模型的識別精確率約為95%，與原始YOLOv3 模型相比識別精確率提高5.97 百分點，召回率提高4.76 百分點，且識別速度與原始YOLOv3 模型差異較小，具有較高實時性。

表2 不同模型下識別精確率對比Tab.2 Comparison of identification accuracy among different models （%）

表3 不同模型下召回率對比Tab.3 Comparison of recall rate among different models （%）

3.3 與人工分選對比

將本文研究方法（改進后YOLOv3 模型）與人工分選結果進行對比。測試方法：挑選9 批次不同比例煙梗，先通過人工逐一挑選，記錄每批次中各類別煙梗數量作為實際數量；再將其依次放入識別系統中，將系統識別結果作為識別數量，結果見表4。可見，系統對純煙梗的識別誤差為1.41%，對梗含葉的誤差為7.32%，對梗頭的誤差為4.36%，平均識別誤差為4.35%，能夠滿足在線分類識別要求。

表4 本文研究方法與人工檢測對比Tab.4 Comparison between the proposed method and manual identification

4 結論

利用高速CCD 相機與AI 計算機搭建了煙梗圖像高速采集與處理平臺，基于圖像特征設計了煙梗圖像自動標注方法并對數據集進行標注，在YOLOv3深度學習算法框架中加入一條特征增強路徑，提高模型對圖像中煙梗紋理特征的檢測敏感度，并在制作好的數據集上進行訓練，生成煙梗圖像分類識別模型，將該模型與兩個較為先進的分類識別模型以及人工分選方式進行比對，結果表明：本研究中所建立模型在測試集上的表現良好，煙梗識別精確率達到95.01%；針對不同復雜場景，模型抗干擾能力強，可有效識別出煙梗位置及類別并避免雜物干擾，相比原始YOLOv3 模型，識別精確率提高5.97 百分點，召回率提高4.76 百分點，且均優于SSD、Mask R-CNN 等模型，能夠滿足煙梗在線分類識別需求。