一種基于深度學習的軟管空管異物檢測方法

孫克強，張義偉，沈寶誠

（中國電子科技集團公司第四十一研究所，安徽 蚌埠 233010）

0 引言

隨著日用品行業的迅猛發展，軟管包裝產業不斷升級優化，軟管包裝產品種類日益繁多，軟管質量和性能也有了質的飛躍。在醫藥行業、食品行業和日化等行業使用的軟管，由于其具有易加工、易攜帶、成本低、可回收等優點，被廣泛使用。但由于軟管在生產、灌裝等過程中可能會出現異物落入空管內的現象，這不僅影響了產品質量和用戶體驗，有損企業形象，甚至還會引發重大衛生健康責任事故。因此，對軟管空管異物的檢測是軟管空管灌裝過程中不可或缺的關鍵質檢環節。

國內大部分高速軟管空管灌裝機都是采用外國進口設備。該設備一般利用在灌裝機上添加額外檢測設備的方式對軟管空管產品的灌裝質量進行檢測，存在檢測難度較大、生產效率較低等問題。若要實現實時在線剔除，那就需要修改灌裝機源程序。但灌裝機原廠家的控制程序一般不開源，所以無法獲取源程序并按照我們的需求進行修改。目前國內還沒有成熟的軟管空管檢測設備可以使用，大多數生產廠家普遍采用人工抽檢方式進行軟管空管異物的檢測。但這種檢測方式存在檢測數量有限、效率低和漏檢率高等缺陷。

雖然國外灌裝機廠商近幾年也開始在新開發的灌裝機上增加軟管灌裝質量檢測設備，但存在檢測功能少、價格高等不足。

傳統檢測算法對軟管空管異物缺陷進行識別檢測，往往需要一線工人根據日常工作經驗識別特征，然后設定合適的興趣區域大小和適宜的特定檢測參數等。這種傳統檢測算法完全依賴人工經驗及預先設定的閾值進行判定，其檢測方法具有一定的依賴性和局限性?；谏鲜鲈蚍治隹芍?，現有市場上軟管產品的質量檢測方式，無法滿足軟管灌裝行業日益嚴格的品質要求。隨著深度學習技術的興起，使用計算機視覺技術，結合圖像缺陷檢測和分類的相關技術[1-2]，可有效解決上述方法存在的不足?；谏疃葘W習技術使軟管空管異物缺陷檢測更加便攜化、智能化、精確化，并且還可以通過遷移學習[3]的方式適用于其他工業應用場景，從而提高產品的泛化性和競爭力。

1 檢測原理

在對軟管空管進行異物缺陷檢測時，為了保證采集的軟管空管圖像質量，首先采用特定的打光方式[4]獲取對比度較高的軟管空管圖像，緊接著對獲取的清晰圖像的感興趣區域進行選擇。由于工廠在實際生產中負樣本一般較少，本文為了防止在訓練過程中出現模型過擬合的現象（即模型訓練精度較高，但測試效果很差），選擇通過數據增廣方式（如：隨機旋轉、比例縮放、大小裁剪、水平和垂直平移等）擴充負樣本數據集，提高模型的檢測精度及泛化能力。其中，部分軟管空管異物負樣本擴充如圖1所示。然后通過使用不同規格的濾波器進行卷積、池化等圖像處理方法提取軟管空管異物圖像的語義特征信息，訓練深度學習軟管空管異物檢測模型。最后，通過執行網絡推理，將待測圖像轉換為矩陣，實時判斷軟管空管是否存在異物缺陷。整個原理中的關鍵算法是對檢測算法ShuffleNet[5]進行遷移學習，設置卷積神經網絡[6]輸出層的類別數目為2，分別對應NG（缺陷）和OK（合格）。通過Softmax 函數獲取缺陷類別及合格類別的概率值，取最大概率值的類別即為當前判定類別，從而實現檢測軟管空管是否存在異物缺陷的要求。其中，軟管空管異物檢測方法如圖2 所示。

圖1 軟管空管異物負樣本擴充圖

圖2 軟管空管異物檢測方法圖

在卷積神經網絡[7]中，Softmax 分類器通常位于全連接層后面，實現對輸出的特征進行分類的作用，其中Softmax 函數定義見式（1）。

式（1）中，k 表示卷積神經網絡的類別數，i 表示當前需要計算的類別，其概率值在0 到1 之間，Vj 為輸出向量V 中第j 個類別的值，Vi 為輸出向量V 中第i 個類別的值，且所有類別的Softmax 值之和為1。

本文使用的深度學習模型構建具體過程如下：引入深度學習所需的包，加載預訓練模型；利用遷移學習構建ShuffleNet 輕量級卷積神經網絡，設置凍結等參數；改寫ShuffleNet 卷積神經網絡最后一層全連接層；添加ReLU 層、Dropout 層、Softmax 層，使用Adam 優化器進行微調；再定義使用二元交叉熵損失函數，通過動態調整學習率等參數開始訓練模型。深度學習模型搭建具體流程如圖3 所示。

圖3 深度學習模型搭建流程圖

在模型訓練過程中，為了實時觀測模型的模型精度、損失值及模型收斂情況，我們設計了模型訓練過程模型精度值、損失值可視化。其中，軟管空管異物模型訓練過程中的精度值和損失值如圖4(a)和圖4（b）所示。

圖4 模型訓練精度及損失值圖

2 實時檢測

為了實現實時檢測工業生產線上的軟管產品灌裝質量，本方法中的上位機程序首先引入了必要的深度學習動態鏈接庫，緊接著讀取缺陷類別文件（NG、OK），將訓練后的HDF5 格式的模型轉換為上位機程序所支持的PB 格式模型并加載，最后將圖像轉換為矩陣，進行模型推理并實時在線判斷軟管空管內是否存在異物。

本文使用的基于深度學習的軟管空管異物檢測方法，確保對每一支軟管在灌裝前均得到充分檢測，并對存在異物的軟管空管進行在線剔除、報警、停止灌裝等操作，以防止軟管內含有異物的缺陷產品流入市場。這不僅提高了產品的生產效率和產品質量而且還維護了企業和品牌的良好形象。

其中，模型推理結果流程圖如圖5 所示，原圖和實時檢測結果如圖6 所示。

圖5 模型推理結果流程圖

圖6 原圖和實時檢測結果圖

3 實驗結果分析

根據誤檢率及漏檢率的定義，對傳統圖像檢測方法及基于深度學習方法測試結果進行統計，如表1 所示。

表1 傳統圖像檢測方法及深度學習方法測試結果

其中，誤檢率公式為：

漏檢率公式為：

Rfalse表示誤檢率，Rloss表示漏檢率，Dloss表示沒有檢測出缺陷的工業產品數量，Dfalse表示檢測出缺陷但被錯分的工業產品數量。Nok表示所有合格的工業產品數量，Nng表示所有缺陷的工業圖像數量。

傳統的工業圖像缺陷分類與檢測算法，往往需要事先對工業圖像進行特征提取、模板匹配和分類器設計等特定的圖像處理操作。這種完全依賴人工經驗進行圖像特征設計和選擇的檢測算法，因嚴重受到先驗知識不足等人為因素的影響，不僅無法準確地描述圖像數據所隱藏的高級語義特征信息，而且算法復雜，在實際工業應用上存在一定的難度。此外，隨著工業產品上新缺陷的出現，后期的算法維護成本較高。本文提出的基于深度學習的軟管空管異物檢測算法，采用Keras 框架和改進的輕量級卷積神經網絡，實現基于深度學習的實時在線檢測算法，并移植到工控平臺進行推理加速。相比傳統依賴人工經驗進行特征選擇的缺陷檢測算法而言，深度學習技術避免了復雜的特征提取過程，具有檢測時間短、誤檢率和漏檢率較低、準確率高以及模型的穩定性更好等諸多優點。

4 結束語

本文介紹了一種基于深度學習技術的軟管空管異物檢測方法，以彌補現有工業生產線產品缺陷檢測技術的不足，確保用于日化產品加工的軟管空管實現實時全覆蓋檢測，從而保證使用軟管空管的相關產品質量?；跈C器學習的軟管空管異物檢測方法，不僅降低了日化行業產品的誤檢率、漏檢率，而且可適用于不同規格、不同尺寸和不同行業的軟管空管，其算法泛化性好、異物檢測準確率高。這不僅降低了企業的生產成本，而且還具有廣泛的應用空間和推廣價值。