基于卷積神經網絡的新型爆珠缺陷檢測算法

胡懷中,李龍飛,李夢迪

(1.西安交通大學 自動化科學與工程學院,陜西 西安 710049;2.河南中煙工業有限責任公司,河南 鄭州 450000)

爆珠煙因其口味繁多、可以提高濾棒香氣效果等優勢在國內外煙草市場引起了廣泛的關注[1]。爆珠在生產過程中,由于設備或工藝問題不可避免地產生缺陷,這些缺陷不僅影響爆珠的美觀,而且會嚴重影響香煙的保存期限,達不到提高香煙香氣的效果,如果利用缺陷爆珠生產出的缺陷煙流入市場,將會嚴重影響煙廠形象,導致利益受損,因此很有必要對爆珠進行缺陷檢測。目前國內針對未包裝爆珠的缺陷檢測研究較少,研究較多的是包裝后爆珠存在的位置偏移、缺失和破損等[2-6]問題。李巧靈等[7]針對爆珠滴制過程中的濕珠設計了一種爆珠滴制在線視覺檢測設備,利用數字圖像處理技術得到濕珠的相關參數,并進行閾值判定,但其主要保證香精的裝載量,不能有效識別爆珠表面缺陷。李明[8]提出了一種基于閾值的爆珠缺陷檢測方法:通過統計指定色度范圍內的像素個數識別拖尾爆珠和空爆珠;通過統計指定灰度范圍內的像素個數識別氣泡爆珠和斑點爆珠;利用圓形度閾值識別異形爆珠，但閾值的設定影響因素較多,如噪聲和光照強度,對環境的適應性差。徐龍泉等[9]針對爆珠的氣泡缺陷提出了一種邊緣檢測的方法,通過對提取出的輪廓進行編碼識別出氣泡,雖然可以達到較好的識別效果,但是識別的缺陷類別單一,不足以支撐工程應用。針對爆珠缺陷檢測的研究起步較晚,故可參考的文獻較少,因為針對膠囊缺陷檢測的研究較多,且膠囊的部分缺陷與爆珠的缺陷類似,所以膠囊缺陷檢測的相關方法對于爆珠缺陷檢測具有一定的借鑒意義。Kekre等[10]比較了不同的圖像處理方法對缺陷膠囊的檢測效果,發現對單個區域的膠囊進行檢測時,基于面積的檢測、灰度密度分布計算和GLCM(灰度共生矩陣)方法可以達到更好的缺陷檢測效果。Liu等[11]提出了一種基于HSV顏色空間的彩色膠囊缺陷檢測方法,將膠囊圖像從RGB顏色空間轉換到HSV顏色空間,得到H,S,V通道的色差值,通過色差閾值識別缺陷膠囊。Islam等[12]提出了針對膠囊兩端凹痕的檢測方法,根據近似圓的半徑是否在設定范圍之內來判斷膠囊端部是否存在缺陷,檢測精度可達95%。爆珠生產廠家一般也是采用邊緣檢測或設置灰度閾值的方法進行缺陷檢測,但對于小氣泡、微小拖尾等不太明顯的缺陷尚缺乏有效的檢測手段,因此設計新的爆珠缺陷檢測算法顯得尤為重要。近些年來,卷積神經網絡發展迅速,在很多領域都得到了廣泛的應用[13-15]。Faster RCNN[16]作為深度卷積神經網絡的重要類型,被廣泛應用于各類目標識別,特別是對小目標的檢測識別精確度高,性能穩定可靠,故選用該網絡作為實現基礎,為滿足工業實時檢測的要求,在保證精度的同時對網絡進行輕量化改進。

1 爆珠特征及缺陷分類

爆珠是嵌在煙草過濾嘴內的液體小膠珠,它包裹了不同類型香料的液體,可以提高香煙的香氣效果。爆珠形狀呈半透明球形,具有不同的顏色,因為卷煙粗細不同,所以爆珠大小不一,直徑為2.6～4.6 mm。

爆珠生產過程中會產生一些缺陷,原因主要是:1) 液滴落入冷卻液的過程中由于受力不均衡,導致爆珠變形、產生氣泡,甚至破碎[17];2) 液滴在成型之后的干燥、篩選及濾棒嵌入過程中容易受到摩擦、擠壓而產生劃痕、凹陷,甚至破裂。爆珠缺陷的種類很多,包括氣泡、空丸、凹陷、劃痕、偏大、偏小和拖尾等,其中空丸、偏大和偏小等缺陷可以通過統計顏色或形狀特征進行識別,但目前已有的檢測算法對識別小氣泡、凹陷、劃痕和微小拖尾這些較不明顯的缺陷效果還不夠理想,故主要針對這4種缺陷開展缺陷識別研究。典型的缺陷圖如圖1所示。

由圖1可知:圖1(a)中的氣泡總是位于爆珠圖像的中心,在光的照射下呈現出“雙環”效果,氣泡大小不一;圖1(b)中的凹陷在爆珠正上方時亮度較高,位于其他位置時邊緣一圈的顏色較深;圖1(c)中的劃痕在爆珠表面呈條狀,邊緣顏色較深,內部顏色較淺;圖1(d)中的微小拖尾在爆珠表面表現為大小不一的黏附物,顏色與正品爆珠有明顯差別。

圖1 爆珠缺陷示例圖Fig.1 Defective cigarette capsules example diagram

2 爆珠缺陷檢測模型與改進

2.1 Faster RCNN網絡結構

Faster RCNN的網絡結構如圖2所示。

圖2 Faster RCNN網絡結構圖Fig.2 Network structure diagram of Faster RCNN

由圖2可知:首先待檢測圖像通過特征提取網絡(經典的Faster RCNN使用Vgg16)得到對應的特征圖(Feature Map);其次區域推薦網絡在特征圖上的每一個像素點都利用3種長寬比與面積生成9個錨框,并對錨框進行第一次前后景分類與回歸修正,根據分類結果對錨框進行篩選得到候選框(Proposals);再次感興趣區域池化(ROI Poling)將候選框映射到特征圖中,并將映射到特征圖上的候選框固定為7×7大小的特征圖;最后分類層根據候選框對應的7×7固定大小的特征圖得到每個候選框屬于各個類別的概率即分類置信度,并再次對框進行回歸修正獲得更加精確的檢測框[16]。在訓練階段,RPN的分類、回歸損失和分類層的分類、回歸損失這4部分的總損失作為參數更新的目標函數,利用反向梯度傳播算法對參數進行更新。

2.2 算法的輕量化改進

2.2.1 特征提取網絡的選擇

特征提取網絡中卷積操作的參數量與計算量在Faster RCNN網絡總的參數量和計算量中占有很大的比重,因此想要提高網絡的運行效率,就要減少卷積層的運算量。選用輕量級網絡MobileNet V1代替Vgg16對圖像進行特征提取,其網絡結構如圖3所示,MobileNet V1的卷積層利用深度可分離卷積替換標準卷積。標準卷積與深度可分離卷積如圖4所示。由圖4可知:深度可分離卷積,將標準卷積分解為深度卷積和逐點卷積這兩個更小的操作。

圖3 MobileNet V1作為特征提取網絡的結構圖Fig.3 Structure diagram of MobileNet V1 as a feature extraction network

圖4 標準卷積、深度可分離卷積示意圖Fig.4 Schematic diagram of standard convolutionand depthwise separable convolution

隨之,可計算出深度可分離卷積相對于標準卷積的參數量比與計算量比,表達式分別為

(1)

(2)

式中:DK為卷積核大小;M為輸入通道數;N為輸出通道數;DW,DH分別為卷積操作后輸出圖像的寬和高。

由式(1,2)可知:當使用3×3(DK=3)的卷積核時,因為N通常取值為32,64,128,256,512,1 024,所以深度可分離卷積相較于標準卷積可減少約90%的參數量和計算量。

2.2.2 上下文增強模塊

特征提取網絡的輕量化可顯著減少網絡的參數量與計算量,從而提高缺陷檢測速度,但參數量的減少會造成缺陷檢測精度的降低,因此在提高檢測速度的同時,為保證檢測精度,考慮融合多尺度特征圖。常用的技術是特征金字塔網絡(Feature pyramid networks,FPN)[18]。FPN結構會產生很多額外的卷積操作和多個檢測分支,與FPN結構相比,上下文增強模塊(Context enhancement module,CEM)不僅只涉及1×1卷積,而且沒有增加檢測分支,計算更加友好。因此利用CEM對特征提取網絡的結構進行改進,具體結構如圖5所示。

圖5 上下文增強模塊Fig.5 Context enhancement module

特征圖由特征提取網絡MobileNet V1中的第6層卷積(Conv6)、第12層卷積(Conv12)和Conv12經過全局平均池化產生的全局上下文特征向量(Cglb)求和得到。具體過程如下:首先,為減少網絡的參數量,以Conv12產生的特征圖尺寸大小為準,分別對Conv6產生的特征圖進行雙線性插值和Cglb特征圖采用廣播機制(Broadcast)調整尺寸為38像素×38像素;然后,在每個特征圖上應用1×1卷積將通道數統一為512;最后,合并3個特征圖得到最終用于后續爆珠缺陷分類識別的特征圖。

2.2.3 網絡學習算法的選擇

對網絡中參數的學習更新選用Adam優化算法替代傳統的Momentum優化算法。Momentum優化算法是引入了一階動量的梯度下降算法,在原有的梯度方向上的參數更新速度變快,在新的梯度方向上參數更新速度變慢,相較于普通的隨機梯度下降法更穩定,收斂速度快,但不能自適應調節學習率。而Adam算法在一階矩估計的基礎上加入了二階矩估計,在更新過程中隨著時間步和梯度的變化,不僅可自動調節更新步長,起到學習率自適應的作用,而且每次迭代的學習率都有一個明確的范圍,參數變化很平穩[19]。

3 實驗驗證

3.1 算法運行環境

在Win10系統下選用TensorFlow深度學習架構訓練Faster RCNN卷積神經網絡,使用具有6個運算核的Inter(R) Core(TM) I7-8700K@3.70 GHz CPU,內存為32.0 GB,為提升Faster RCNN的訓練與檢測速度,降低時間成本,選用英偉達型號為NVIDIA GeForce GTX 1080Ti的GPU進行加速,通用并行計算架構CUDA的版本為10.0,用于深度神經網絡的GPU加速庫cuDNN的版本為7.4。

3.2 爆珠圖像數據集

利用河南金瑞香精香料有限公司爆珠生產車間中利用滴制法生產的直徑為3.6 mm的冰橙口味的爆珠作為樣本,針對小氣泡、凹陷、劃痕和微小拖尾這4種缺陷,制作樣本數據集,每種缺陷制作205張彩色圖像,每張圖像的大小固定為512像素×512像素。利用LabelImg工具對圖像中的缺陷位置及類型進行標注,生成對應的.xml文件。為增強網絡的泛化能力、減少過擬合[20],通過水平鏡像翻轉的方式對數據集進行增強,將訓練集和測試集的占比劃分為4∶1,其中訓練集中80%數據用來訓練,20%數據用來驗證,各部分數據均從整體數據集中隨機抽取得到。

3.3 實驗對比與總結

為驗證輕量化Faster RCNN爆珠缺陷檢測方法的有效性和實時性,分別在特征提取網絡優化、上下文增強模塊和網絡學習算法3個方面進行了對比實驗,結果如表1所示。

表1 不同的特征提取網絡、學習算法和上下文增強模塊的缺陷檢測精度與速度

針對4種缺陷迭代訓練20 000次,學習率初始值為0.001,當訓練次數達到10 000時學習率衰減,衰減系數為0.1。由于平均精度AP、平均精度均值mAP和召回率Recall可以很好地衡量網絡檢測模型對缺陷的檢測效果,所以網絡評價參數選擇AP，mAP和Recall。

1) Vgg16與MobileNet V1作為特征提取網絡的對比

相較于Faster RCNN典型的特征提取網絡Vgg16,利用輕量級網絡MobileNet V1對圖像進行特征提取時,雖然對凹陷和劃痕兩種缺陷檢測的AP和Recall有所下降,但mAP數值差異很小,且平均檢測速度提高了12.8 pcs/s。

2) 上下文增強模塊

在固定Faster RCNN的特征提取網絡為MobileNet V1的前提下,將上下文增強模塊插入特征提取網絡時,雖然檢測速度略有下降,但對凹陷和劃痕缺陷檢測的AP分別提高了1.46%和0.81%、Recall分別提高了1.19%和1.61%,對爆珠4 種缺陷的平均檢測精度提升了0.57%。

3) Adam與Momentum作為網絡學習算法的對比

在使用MobileNet V1作為Faster RCNN的特征提取網絡,同時插入上下文增強模塊的前提下,對比了分別利用Momentum和Adam優化算法作為網絡學習算法的檢測結果。兩種算法訓練過程中總損失的變化曲線如圖6所示。

圖6 不同優化算法訓練時總損失變化趨勢Fig.6 Trend of total loss during training of differentoptimization algorithms

由圖6可知:Adam相較于Momentum誤差收斂速度更快,網絡總損失變化更加平穩,誤差值更小。結合表1可知:相較于Momentum,使用Adam時網絡對凹陷和劃痕兩種缺陷檢測的AP分別提高了1.84%和2.21%,Recall分別提升了0.78%和2.42%,爆珠4種缺陷的mAP提升了1.01%。

分別在特征提取網絡選擇、上下文增強模塊和網絡學習算法選擇3個方面進行了對比實驗,權衡檢測精度與速度后,選定MobileNet V1作為特征提取網絡,插入上下文增強模塊,Adam作為學習算法。輕量化后的Faster RCNN網絡對氣泡、凹陷、劃痕和微小拖尾這4種缺陷的Recall分別可達98.24%,100%,97.31%,100%,mAP可達98.16%,平均檢測速度為36.10 pcs/s,相較于原始的Faster RCNN,對于凹陷、劃痕和微小拖尾的Recall分別提升了0.66%,0.63%,2.87%,mAP提升了0.91%,平均檢測速度提升了14.18 pcs/s,部分爆珠檢測結果如圖7所示,交并比閾值均為0.7。

圖7 爆珠缺陷檢測結果示意圖Fig.7 Diagram of detection results of burst ball defects

4 結 論

針對爆珠的凹陷、氣泡、劃痕和微小拖尾這4種典型缺陷,設計了一種基于卷積神經網絡的新型爆珠缺陷檢測算法。將Faster RCNN作為網絡基礎模型,對網絡進行輕量化改進,利用MobileNet V1作為特征提取網絡,并在特征提取網絡中插入上下文增強模塊,網絡訓練選用Adam學習算法。檢測結果表明:改進后的網絡對于凹陷和微小拖尾缺陷的AP為100%,對氣泡和劃痕缺陷的AP分別為98.31%,94.32%,對氣泡、凹陷、劃痕和微小拖尾這4種缺陷的Recall分別可達98.24%,100%,97.31%,100%,這4種缺陷檢測的mAP為98.16%,平均檢測速度為36.10 pcs/s,相較于原始的Faster RCNN,對于凹陷、劃痕和微小拖尾的Recall分別提升了0.66%,0.63%,2.87%,mAP提高了0.91%,平均檢測速度提升了14.18 pcs/s。未來的研究重點是將筆者算法應用在神經網絡芯片上,實現爆珠缺陷檢測算法的儀器化。