基于深度學習的煙支外觀檢測系統的設計與實現

張維琛，趙海挺，李 靖，李端端，張健龍，劣旺濤，張連連*

（1.張家口卷煙廠有限責任公司，河北 張家口 075000；2.河北建筑工程學院，河北 張家口 075000）

引言

中國煙草產業產量一直位居世界第一，中國煙草每年給國家所繳納的稅額達到了1.2 萬億，煙草行業是中國的支柱產業之一，隨著我國經濟水平的不斷提高和設施的不斷完善，其競爭也日益激烈，持續提高煙草行業自動化生產能力、提高煙支瑕疵檢測靈敏度來提高產品質量，是煙支企業發展的必經之路。煙支質量的優劣直接影響到消費者對于該產品的選擇及使用，同時也間接地反映了一個煙草企業的技術實力。目前的自動生產流水線上煙支的生產速度已經達到了300 支/秒，靠人工去分辨缺陷已經不太現實，迫切需要檢測出煙棒外觀缺陷并剔除，基于深度學習的圖像處理技術代替人工是一種切實可行的技術方案。

1 研究背景及意義

目前，應用視覺檢測技術對煙支的外觀質量進行更完善的監測，是保證煙支質量合格率的有效檢測手段之一。張煙公司卷包車間現有煙支外觀檢測設備昂貴，多數卷煙機未安裝煙支外觀檢測系統，采購安裝煙支外觀檢測系統很有必要。但是，采購成本高；算法復雜、參數多、參數間具有嚴格的相關性、調整難度大；對車間電氣技術人員要求高；難以適應不同煙支的檢測等成為困擾該問題解決的因素。因此自主開發煙支外觀在線檢測系統，應用人工智能、機器視覺等技術手段實現煙支刺破、煙支夾末、煙支黃斑、煙支長短、煙支污漬、水松紙泡皺、水松紙夾末、水松紙長短、雙層水松紙、水松紙錯牙等外觀缺陷煙支的檢測剔除，加強對煙支質量的把控力度，提高視覺檢測應用可靠性，減少設備改造投入，減少因外觀缺陷造成追溯而帶來的原材料浪費，提高技術人員開發水平。

2 煙支外觀檢測系統設計

通過對目前的香煙外觀檢測數據進行統計分析發現，香煙由裝煙絲的煙棒和裝過濾器濾嘴2 部分組成，常見的外觀缺陷包括錯牙、局部泡皺、濾嘴暗點、煙棒斑點、煙棒刺破等。這些圖像具有缺陷面積大小不一、缺陷種類多樣、缺陷占比小、煙支圖像狹長等特點，導致傳統的圖像處理算法分辨缺陷的準確率較低及煙支的誤剔除。近年來，機器學習算法，在語音和圖像識別方面解決了很多復雜的模式識別難題[1-2]，人工智能相關技術取得了很大進步，使得基于深度學習的煙支外觀檢測成為可能。

根據生產過程、外觀缺陷的位置和形成原因，主要研究以下4 類缺陷：錯牙、局部泡皺、煙棒暗點、特殊檢測。錯牙指煙支的包裝紙在生產過程中沒有對齊，主要由生產機器造成；局部泡皺指煙支上有像皺紋一樣形狀的破損，主要是由生產機器用煙棒紙卷煙絲時造成；煙棒暗點指煙棒上面有大小不一的暗點，主要由煙棒紙印刷不合格形成；特殊檢測指煙支生產結束后缺少濾嘴[3]。在處理煙支圖像時首先要進行預處理消除噪聲干擾；然后對目標煙支分割得到的煙棒和濾嘴，最后提取煙支缺陷特征，對缺陷分類。針對煙支各類缺陷，從硬件、軟件兩個方面進行煙支外觀檢測系統的設計開發。

2.1 煙支外觀檢測系統的硬件實現

本系統中單片機與上位機采用TCP 網絡通信，與其他通信方式相比，TCP 通信方式更加穩定，在煙機檢測系統通信測試中測得網絡通信每秒最高可以完成800 測收發，遠超我們所需的150 測收發需求，在不追求高速的情況下可選擇TCP 網絡通信。當單片機接收到時鐘同步信號后，根據預先設置的圖像拍攝方案進行控制相機及補光電路完成圖像獲取。煙支外觀缺陷檢測系統框圖和流程圖見圖1 和圖2。當上位機對煙支分析結果為合格時，單片機記錄合格煙支數量；若分析結果為不合格時輸出剔除信號并記錄。基于STM32 單片機控制電路板自主開發電控箱、光源觸發板等，完成卷煙機相位采集、拍照觸發、剔除信號輸出等功能。STM32 通過時鐘脈沖與煙機生產線進行同步，同時控制頻閃亮度增益實現相機的補光電路。工控圖像處理機同步獲取相機拍照內容應用軟件部分進行缺陷的識別和分類，并將處理結果反饋回STM32控制電路進行瑕疵煙支的剔除。

圖1 煙支外觀缺陷檢測系統硬件框圖

圖2 煙支外觀缺陷檢測流程圖

STM32 單片機控制電路板用于煙支外觀成像的工業相機的硬件觸發功能，工業相機采用高低電平觸發，實現多線程圖像處理器中圖像的標記與反饋功能、實現不合格煙支在卷煙機上的剔除功能、實現由圖像處理器軟件對相機與光源的參數設置功能。為實現高清高速移動的煙支圖像，避免煙支圖像產生拖影，需縮短攝像機的CCD 曝光時間，導致攝像機的圖像變的更暗，需要增加補光電路的設計，使攝像機有較好的寬動態。因此設計了一種頻閃亮度同步可調的LED 補光燈，包括燈殼及設于燈殼內的電源和LED燈板，頻閃亮暗控制電路板。在單片機控制電路板外圍設計LED 光源電路板，解決工業相機對煙支實時拍照時背景中的技術問題，實現拍照時的補光功能。

2.2 煙支外觀檢測系統的軟件實現

煙支外觀檢測系統的軟件部分以Pycharm 開發環境為平臺，Python 語言為基礎，基于Resnet50 完成煙支缺陷檢測，主要包含預處理、圖像分割、缺陷檢測分類等內容[4-5]。在進行煙支圖像的缺陷識別及分類時首先對圖像進行預處理及噪聲濾除；其次對煙支圖像進行分割，將煙嘴和煙棒進行分離并提取特征參數；最后對煙支圖像進行識別和分類。在進行預處理時發現在均值濾波與中值濾波對圖像進行處理[6]，都會使圖像變得模糊。均值濾波還會使瑕疵變形，從而對缺陷的判別產生影響，故而我們選擇高斯濾波對圖像進行去噪處理。

通過對設計需求的綜合考慮，軟件需具備處理圖像和缺陷檢測兩大功能。圖3 為系統功能圖，在煙支檢測種劃分為圖像檢測和視頻檢測兩種類型分別進行缺陷檢測和分類。如圖4 所示，界面劃分為結果登錄界面、顯示區域、圖像顯示區域以及控制區域四大區域。登陸界面由賬號密碼來進行登錄，從而確保本系統由煙廠的專業人士來操作。圖像顯示區域主要顯示原始灰度圖像以及預處理圖像。由4 個模塊組成4個顯示區域。在進行圖像檢測時，預處理最為關鍵?？刂茀^域由4 個按鍵共同組成：①選擇圖片：通過單擊打開圖像，選擇圖片類型，并在編輯框內對其路徑進行顯示；②截取煙棒：對圖像進行預處理工作，分別是二值化和去除噪聲；③缺陷分類：這一按鍵用于煙支特征的判斷，并在下面的編輯框進行判斷顯示；④保存截取圖像：對分割后的圖像進行保存到程序設定好的文件夾中。檢測結果顯示區域包含2 個編輯框，檢測結果在文本框內顯示。檢測煙棒出現缺陷，則顯示煙缺陷類型及檢測的準確率。

圖3 煙支外觀缺陷檢測系統功能圖

煙支圖像分割采用全局閾值分割法，在整個圖像中采用的是固定的閾值進行圖像分割，因此在數字圖像處理中應用比較廣泛。依據選擇閾值的方式不同，可將全局閾值法分為迭代式閾值選擇、模態等方法，同時還有最大類間方差法、最大熵分割法、共生矩陣分割法等。采用的是全局閾值分割法中的手動閾值法，由于煙棒圖像簡單，根據實驗法合適設定分割閾值同時允許微調，這樣做的好處是計算量小速度快。獲得二值圖像后，首先對預處理后的二值化目標煙支進行形態學預處理，使用開運算突出目標邊緣并消除多余信息，針對預處理后的圖像，使用Canny 邊緣檢測算子進行邊緣檢測特征分析，使目標煙支的煙棒和濾嘴連接的邊緣實現煙棒和濾嘴的分割。如圖4 所示，圖4 中第一幅圖為原始煙支圖像，第二及第三幅圖是對圖像進行二值化后進行煙棒和濾嘴的分割圖像，第四幅圖是對原始圖像的煙棒和濾嘴進行分割。分割完成后需要根據圖像特征進行缺陷檢測及分類，在對煙支缺陷進行檢測分類時采用了Resnet50 網絡，Resnet 是一種殘差網絡，特點是容易優化，并且能夠通過增加深度來提高準確率。其內部的殘差塊使用了跳躍連接，緩解了在深度神經網絡中增加深度帶來的梯度消失問題，因為深度的增加，結果得到了明顯提升。Resnet50 網絡中包含了49 個卷積層、一個全連接層。Resnet50 網絡結構可以分成七個部分，第一部分不包含殘差塊，主要對輸入進行卷積、正則化、激活函數、最大池化的計算。第二、三、四、五部分結構都包含了殘差塊，圖中的綠色圖塊不會改變殘差塊的尺寸，只用于改變殘差塊的維度。在Resnet50 網絡結構中，殘差塊都有三層卷積，那網絡總共有1+3*（3+4+6+3）=49 個卷積層，加上最后的全連接層總共是50 層，這也是Resnet50 名稱的由來。網絡的輸入為224×224×3，經過前五部分的卷積計算，輸出為7×7×2048，池化層會將其轉化成一個特征向量，分類器對特征向量進行計算并輸出類別概率。圖4 右側部分顯示煙支缺陷為錯牙，準確率為92.6%。圖5 是對大量煙支進行檢測后的不同缺陷檢測的平均準確率，從圖表中可以看出不同缺陷類型準確率有一定差距，準確率最高的為煙支破損達到了98.5%，準確率最低的為錯牙僅為93.2，這是因為破損特征較為明顯更容易檢測，而錯牙集中在煙支濾嘴接口處，錯牙特征較難提取導致的。

圖4 煙支外觀缺陷檢測系統

圖5 煙支缺陷檢測準確率

3 結論

基于煙棒外觀缺陷檢測的設計與實現，利用傳統圖像檢測算法與深度學習相結合的方式，對煙支的缺陷進行了基礎分類，實現了煙支缺陷識別的系統化、規范化和自動化，從而達到煙支缺陷識別簡單化的目的。本系統為煙廠的質量管理提供了便利，保障了煙支出場的質量，大大提高了工作效率。