基于DR?M的工業煙包圖像異常檢測研究

劉東旭 劉曉群

河北建筑工程學院 河北 張家口 075000

引言

煙包主要作用保護香煙，其主要缺陷體現在包裝破損、劃痕等，其多為表面缺陷。現如今，人工目測的方法是主流趨勢，人們大都選擇此種方法進行質量檢查，耗費了大量人力物力，對檢測人員提出較高要求[1]。不能出現漏檢誤檢的情況。基于此情況，機器學習為此提供了前提，近些年來機器學習的蓬勃發展，與工業的交叉研究給異常檢測帶來更多新的解決方案。

目前，數據集的重建技術是圖像異常檢測領域活躍的研究方向。圖像異常檢測是機器學習文獻中一個不斷發展的研究領域，其目標是區分數據集中的正常樣本和異常樣本。在圖像異常檢測領域，數據集是最重要也是最困難的，缺乏足夠的異常樣本會導致模型無法適用于真實工業場景，來自不同視覺應用的許多問題是異常檢測，包括制造缺陷檢測，醫學圖像分析和視頻監控[2]。數據集的缺少，這在實際應用中受到了諸多限制，因此數據集的重建成為圖像異常檢測研究的重點，目前異常檢測主要用到GAN，one class classification和卷積神經網絡（CNN），比如用到的PCA、OC-SVM，還有傳統machine learning做理論基礎的深度模型結構等。本文提出使用DR?M重建數據集，重構異常嵌入方法（DR?M）由重構子網絡和判別子網絡組成。其重建數據集的DR?M方法在所有MVTec類中定量結果最好，并且其重建的數據集可以很好的模擬真實異常數據。本文基于DR?M，首先設計了檢測平臺的架構，然后重建了異常煙包數據集并用YOLOv5進行測驗。

1 研究現狀

1.1 數據集研究現狀

在實踐中，異常的出現可能會有很大差異，在質量控制等應用中，存在異常的圖像很少見，手動注釋可能過于耗時。這導致訓練集高度不平衡，通常只包含無異常圖像。因此，最近投入了大量精力來設計穩健的表面異常檢測方法，這些方法最好需要最少的人工注釋監督。重構方法，例如自動編碼器[3]和GAN[4]，已經被廣泛探索，因為它們能夠學習強大的重構子空間，僅使用無異常圖像。依靠在訓練中未觀察到的異常區域的較差重建能力，然后可以通過對輸入圖像與其重建之間的差異進行閾值化來檢測異常。然而，確定是否存在與正常外觀沒有顯著差異的異常仍然具有挑戰性，因為這些異常通常可以很好地重建。因此，最近的改進考慮了從通用網絡提取的深度特征和專門用于無異常圖像的網絡之間的差異。區分也可以表述為與深層子空間內的非異常紋理的密集聚類的偏差，因為形成這樣一個緊湊的子空間可以防止異常被映射到接近無異常的樣本。生成方法的一個共同缺點是它們僅從無異常數據中學習模型，并且沒有針對判別異常檢測進行明確優化，因為在訓練時無法獲得正例（即異常）。可以考慮使用合成異常來訓練判別分割方法，但這會導致對合成外觀的過度擬合，并導致學習到的決策邊界無法很好地推廣到真實異常。

2 算法設計思路

數據集的建造是缺陷檢測的重中之重，本文對數據集模擬應用了DR?M技術。在高速傳送帶上進行較為精確的缺陷檢測是檢測的關鍵，本文針對煙包缺陷檢測，提出了一種適用于缺陷檢測的方法，即YOLOv5，因此對煙包缺陷檢測的模擬數據集技術進行研究是很有必要的。本文在原有方法的前提下，對煙包缺陷檢測的高速檢測進行研究，提出了一種更具預見性的缺陷檢測算法。本次算法設計主要有兩個內容，包括圖像預處理和YOLOv5算法。

在圖像預處理方面，由于數據集的缺少，且流行方法對模擬數據集的過擬合，會導致后續實驗進行雖然順利卻無法適用于日常工業檢測的需求，DR?M能較好地重建異常，且在MVTec數據集中的9個中達到最高 AUROC，DR?M比之前最好的最先進方法高出2.5 %，后續用YOLOv5來實現，YOLOv5先將從DR?M獲得的缺陷圖片進行增強處理，再人工標注分類，隨機把訓練圖片送到YOLOv5網絡模型進行訓練，得到最好的權重數據模型，最后對測試的圖片進行預測與分析。

3 煙包缺陷檢測系統

3.1 DR?M

用于實驗的香煙均屬于山東中煙旗下品牌的泰山，為保證研究的可靠性，選擇正常無缺陷的樣本用DR?M模擬真實異常數據集。流行方法會導致對合成外觀的過度擬合，導致學習到的決策邊界無法很好的模擬真實異常。該網絡由一個重建子網絡和一個判別子網絡組成。重建子網絡被形容為一個編碼器解碼器結構，其作用主要將圖像的局部模式轉換為更接近正常樣本分布的模式。訓練后的網絡從模擬器獲得人為破壞的版本并重建原始圖像，假設相鄰像素之間是獨立的，使用基于補丁的SSIM，如：

H是I的高度，W是I的寬度，Np是I中的像素數，Ir網絡輸出的重建圖像。λ為損失平衡超參數，因此重建損失為：

判別子網類似于U-Net，子網絡輸入 Ic 被定義為重建子網絡輸出 Ir 和輸入圖像 I 的通道級連接。判別子網絡自動學習適當的距離度量，網絡輸出一個與重建子網輸入圖像 I 大小相同的異常分數 mapMo。Lseg應用于判別子網絡輸出，以提高對困難示例進行準確分割的魯棒性。考慮到兩個子網絡的分割和重建目標，用于訓練 DR?M 的總損失為：

其中：Ma和M分別是ground truth和輸出異常分割掩碼。

在最近提出的具有挑戰性的MVTEC異常檢測數據集[3]上對DR?m進行了評估，該數據集已被建立為評估無監督地表異常檢測方法的標準基準數據集。 我們在地面異常檢測和定位的任務上對DRém進行了評估。 MVTEC數據集包含15個具有不同異常集的對象類，從而能夠對地表異常檢測方法進行綜合評價。

對于評估，使用異常檢測中的標準度量，AUROC。圖像級AUROC用于異常檢測，基于像素的AUROC用于評估異常定位[5,24,17,26]。 然而，AUROC不能很好地反映地表異常檢測的精度，因為只有一小部分像素是異常的。其原因是，假陽性率由先驗的非常高的非異常像素數量所支配，因此盡管有假陽性檢測，假陽性率仍保持較低。因此，我們還報告了像素平均精度度量（AP），它更適合于高度不平衡的類，特別是對于精度起重要作用的地表異常檢測。

3.2 YOLOv5

YoloV5是一個單級檢測器和基于區域的目標檢測網絡。Yolo將對象檢測重新定義為回歸問題，從而提高處理速度。最近，YoloV5已應用于實時人員搜索[5]，還應用于蘋果收獲機器人的視覺系統。YoloV5具有3個主要組件：主干、頭部和檢測。主干是一個CNN，它以不同的粒度收集和塑造圖像特征。YoloV5實現了中心和尺度預測（CSP）瓶頸來制定圖像特征。頭部是一系列層，用于組合圖像特征，以將它們轉發到預測過程。 YoloV5還實現了PA-NET用于特征聚合。檢測是一個利用頭部特征并采取框和類預測步驟的過程。YoloV5架構的示意圖如圖1所示。

圖1 YoloV5架構概述

由Input、Prediction、Neck和Backbone 四部分組成YOLOv5的網絡結構。Mosaic數據增強、自適應錨框計算、自適應圖片縮放，隨機縮放、隨機裁剪、隨機排布都包括在其輸入端，以上所說的數據增強方法，因其在小數據集上效果不錯，常被應用在小數據集上。YOLOv5的自適應錨框計算將初始值嵌入代碼，而之前的YOLO系列都是通過單獨程序計算初始錨框的值。在自適應圖片縮放，YOLOv5的作者認為在實際生活中縮放填充的不均勻黑邊會造成信息冗余的問題，作者對此進行了改進，使得對原始圖像自適應的添加最少的黑邊。

Backbone包含Focus結構和CSP結構。Focus結構中關鍵點是切片操作。早在YOLOv4主干網絡中就出現CSP結構，但YOLOv4只在主干網絡中使用，YOLOv5在這方面有所改進。

Neck是特征金字塔網絡（FPN）和路徑聚合網絡（PAN）的組合。 FPN和PAN的結合通過增強較小感受野的淺層特征，提高了檢測精度。

4 結束語

本文主要研究了在真實工業情況下的煙包缺陷檢測，包括應用DR?M的數據集的模擬和用Yolov5的異常檢測。DR?M由一個重建子網絡和一個判別子網絡組成。重建子網絡主要將圖像的局部模式轉換為更接近正常樣本分布的模式。判別子網自動學習適當的距離度量，以生成更接近工業場景的缺陷圖片。利用模擬好的數據集送入Yolov5中。智能缺陷檢測是當下工業發展的必然趨勢，對異常缺陷檢測的研究有助于提高工廠效率，使其快速剔除有缺陷的煙包。缺陷檢測的研究與發展，可以將人工智能更好地運用在工業場景，將DR?M，Yolov5應用在缺陷檢測能大大提高檢測速度。