基于動態先驗特征的包覆藥多類型外觀缺陷深度檢測框架

郭 峰，陳中舒，代久雙，吳云峰，劉 軍，張昌華

(1.電子科技大學計算機科學與工程學院 成都 611731；2.電子科技大學機械與電氣工程學院 成都 611731；3.瀘州北方化學工業有限公司 四川 瀘州 646605)

包覆藥作為一種高能量材料，通常被嵌入固體火箭或導彈發動機的動力系統中，其在高溫高壓的環境中通過燃燒產生能量，為該動力系統提供動力[1]。包覆藥外觀質量直接關聯著其燃燒性能，進而影響著該類動力系統的運行表現[2]，因此在制造過程中對其外觀質量進行實時檢測具有重要意義。

包覆藥外觀缺陷類型多樣，主要包括形狀缺陷、尺寸缺陷和表面缺陷。目前，包覆藥外觀缺陷是通過人工檢測的方式實現缺陷包覆藥的檢出，但該方法檢測效率低下，且檢測結果易受人工狀態影響。隨著信息化和智能化技術的快速發展，基于深度學習的視覺檢測技術憑借其具有特征自主提取、特征快速遷移等優勢[3]，被廣泛應用在實際生產制造等工業場景中[4-5]，下面將分述不同類型缺陷檢測的研究現狀。

包覆藥形狀缺陷檢測可被視為分類問題，即根據包覆藥的形狀表征將其分為斜角、黏合和形狀正常包覆藥。形狀表征是指基于包覆藥的輪廓及其內部語義信息，挖掘用于描述不同形狀的規則。傳統形狀表征規則主要依賴于人工設計[6]，然而該規則易受環境干擾、魯棒性較差。隨著文獻[7]對形狀表征深入的研究，基于形狀的自然圖像分類問題在機器視覺領域得到快速普及。此外，受益于神經網絡平移不變性質，即使圖像中目標對象發生平移、旋轉、縮放等變化，深度分類器仍能取得較好的圖像分類效果，已成為解決圖像分類問題的主流方法[8]。

包覆藥尺寸缺陷本質上可歸結為尺寸測量問題，不在尺寸范圍內的過長和過短包覆藥均被視為尺寸缺陷包覆藥。目前基于圖像的尺寸測量多數是根據圖像二值化、分水嶺分割等傳統圖像處理算法[9-10]，但此類算法易受閾值約束，難以適配光照變化、環境噪聲和復雜背景等場景。本文將深度分割網絡[11]作為尺寸缺陷檢測過程的預處理模型，利用深度學習特征自主提取等性質將包覆藥從復雜背景中分割出來，將包含復雜背景的包覆藥圖像轉換為包覆藥區域像素為255、其余區域像素為0 的二值掩碼圖像。之后通過空間坐標轉換規則，實現尺寸缺陷檢測。

包覆藥表面缺陷包括表面凹坑、裂痕等可視缺陷。基于深度學習的表面缺陷檢測方法目前在NEU-CLS 和KolektorSDD 等工業數據集上均取得了顯著的表現[12-13]。然而，上述基于有監督學習的表面缺陷檢測依賴于大量有標簽缺陷數據，難以適配包覆藥表面缺陷數據稀缺場景。受文獻[14]啟發，本文將表面缺陷檢測視為無監督學習任務，只利用正樣本數據實現表面缺陷包覆藥的檢出。

雖然目前存在眾多基于視覺的缺陷檢測方法，但大多數方法主要集中解決單一缺陷類型，難以同時實現包覆藥形狀缺陷、尺寸缺陷和表面缺陷檢測，開發一個能夠同時完成上述3 種缺陷的檢測框架迫在眉睫。同時，目前深度檢測算法被嵌入邊緣設備端，然而該類邊緣設備存儲和運算性能均有限，確保模型輕量化對實時檢測極其重要。此外，不同檢測任務所需特征存在重疊交叉，不同檢測任務間具有強相關性，如何有效利用任務相關信息，在去除冗余特征的同時加速模型收斂過程至關重要。針對上述問題，本文提出了一種基于動態先驗特征的包覆藥多類型外觀缺陷檢測框架，主要貢獻包括以下3 點。

1）本文提出的多類型外觀缺陷檢測框架能夠同時實現包覆藥形狀、尺寸和表面缺陷的檢測。

2）本文將用于形狀缺陷檢測的深度分類器和用于尺寸缺陷檢測的深度分割網絡集成，移除不同任務間的冗余特征，并利用梯度停止策略阻止不同任務訓練過程相互干擾，確保模型收斂。此外，本文設計了一種基于深度卷積自編碼器的表面缺陷檢測方法，只需正樣本就可實現表面缺陷的檢出。

3）本文提出了一種基于動態先驗特征的空間注意力機制，將深度分割網絡迭代過程中形成的過程信息作為動態先驗特征，指導深度分類器和深度卷積自編碼器快速聚焦于包覆藥，抑制任務無關特征干擾模型訓練過程，加速模型收斂速度。

1 基礎知識及實驗平臺

1.1 基礎知識

本文提出的包覆藥多類型外觀缺陷檢測框架主要包括兩個子模型：深度分割網絡和卷積自編碼器（convolutional autoencoder, CAE）[15]。這兩個子模型含有一個共同的結構，稱為編碼-解碼結構。其中，編碼器通過逐層降維捕獲語義信息，而解碼器利用上采樣操作逐漸恢復圖像空間信息，編碼器和解碼器呈相互對稱結構。編碼-解碼結構與卷積神經網絡（convolutional neural network, CNN）的結合，在工業缺陷檢測領域取得了廣泛的關注。此外受益于CNN 的參數共享和局部連接特性[15-16]，編碼-解碼模型的參數量得以大幅減少。

深度分割網絡中的解碼器用于生成不同語義的分割圖，而CAE 中的解碼器用于重構輸入。與線性自編碼器不同的是，CAE 可保留二維圖像的空間信息，并在局部位置實現參數共享。CAE 主要由一個編碼器h=e(x)和 一個解碼器y=d(h)組成，其中h表示輸入圖像x的低維表征。編碼器能夠學習輸入圖像低維表征，而解碼器利用該表征盡可能無差重構輸入圖像。CAE 通過最小化式(1)實現模型參數訓練，其具體表述如下：

式中，xi表 示n個 輸入圖像中的第i個樣本。本文將利用CAE 能夠重構輸入的能力，完成包覆藥表面缺陷檢測任務，有如下優勢：訓練過程無須表面有缺陷樣本；CAE 易于分割形狀不規則缺陷；CAE能從復雜背景中準確檢測表面缺陷。

1.2 實驗平臺

包覆藥外觀缺陷檢測平臺主要由5 個部分組成：物料供應裝置、喂料裝置、檢測裝置、控制裝置和清潔裝置，如圖1a 所示。物料供應裝置是待測包覆藥臨時存儲的區域。喂料裝置用于將待測包覆藥沿著導軌輸送至檢測裝置。當待測包覆藥經過相機時，包覆藥圖像信息被實時采集。該平臺采用如圖1b 所示的三相機協同檢測裝置，分別從不同方位采集包覆藥空間信息，并將采集到的圖像傳輸至控制裝置，完成圖像分析和數據處理任務。其中，本文提出的包覆藥多類型外觀缺陷深度檢測框架被部署在控制裝置中，該裝置根據檢測結果控制相關氣動裝置動作，實現缺陷包覆藥的自主離群。清潔裝置避免灰塵等雜質影響成像質量。本文利用該平臺采集到的圖像數據完成包覆藥多類型外觀缺陷深度檢測框架的訓練及測試。

圖1 檢測平臺

2 模型設計

本文提出的基于動態先驗特征的包覆藥多類型外觀缺陷深度檢測框架如圖2 所示。該框架包括兩個階段：形狀和尺寸缺陷檢測、表面缺陷檢測。其中，第一階段通過多任務學習技術，將基于深度分類器的形狀缺陷檢測和基于深度分割網絡的表面缺陷檢測模型進行集成；第二階段利用卷積自編碼器重構輸入，并通過對比原始圖像和重構圖像間的像素值，完成表面缺陷的檢出。此外，本文設計了一種基于動態先驗特征的空間注意力機制，用于抑制任務不相關特征干擾訓練過程，加速模型收斂速度。

圖2 包覆藥多類型外觀缺陷深度檢測框架

2.1 基于動態先驗特征的空間注意力機制

不同類型缺陷的檢測依賴于不同特征，因此需根據不同缺陷特征設計不同檢測模型。然而，包覆藥不同類型缺陷的檢測過程所需特征存在重疊交叉，不同任務間具有較強的相關性。如形狀缺陷檢測和尺寸缺陷檢測均依賴于包覆藥外輪廓等特征（任務相關特征中的共有特征），且三者缺陷檢測均需聚焦于包覆藥，抑制背景噪聲干擾（任務無關特征中的共有特征），如圖3 所示。因此根據不同任務間的強相關屬性，通過易于獲取的共有特征指導其余任務中的模型學習，對去除冗余特征、避免特征重復提取、加速模型收斂至關重要。

圖3 不同任務特征相關性示意圖

針對上述問題，本文設計了一種基于動態先驗特征的空間注意力機制，將深度分割網絡訓練時形成的過程特征，作為分類器和卷積自編碼器訓練時的動態先驗信息，指導形狀和表面缺陷檢測模型快速聚焦于包覆藥區域，避免耗費過多算力和時間重復提取任務不相關特征，具體如下。

1）深度分割網絡可從復雜背景中逐像素分割出包覆藥區域。基于此先驗信息，本文將深度分割網絡在第n次迭代后形成的最后一層特征圖，作為分類器第 (n+1)次迭代過程時的動態先驗特征，即將第n次迭代后的最后一層特征經過下采樣操作downscale()， 并與第(n+1)次迭代時由共享特征層輸送至深度分類器的特征逐像素相乘，確保圖像級別分類器將注意力快速聚集于包覆藥區域，加速模型收斂過程，如圖2 所示。此時，基于動態先驗特征修正后的分類器損失函數表達式為：

式中，k表示分類數量； [y=i]代 表若預測類別y等于i，則值為1，否則為0；pi是 類別y被預測為標簽i的概率。

2）該動態特征映射為與表面缺陷檢測模型輸入特征相同尺寸，之后二者逐像素相乘，利用動態先驗特征指導CAE 快速聚焦于包覆藥，抑制背景噪聲干擾。此外，本文利用先驗特征修正深度卷積自編碼器損失函數，其表達式為：

式中，mask 代表基于動態先驗特征的注意力圖。

2.2 包覆藥多類型外觀缺陷深度檢測框架

2.2.1 第一階段：形狀和尺寸缺陷檢測

由于形狀缺陷和尺寸缺陷均依賴于包覆藥輪廓及其內部語義特征，因此兩個任務所需特征之間具有強相關性。受文獻[17]啟發，本文將基于深度分類器的形狀缺陷檢測和基于深度分割網絡的尺寸缺陷檢測模型集成，去除不同任務間的冗余特征，如圖2 所示。具體而言，本文將深度分割網絡作為主干網絡，并在其自編碼器結構后設計額外的深度分類器，保證兩個任務共享特征提取網絡層。為了實現端到端訓練，利用深度分割網絡和深度分類器損失函數聯合優化，具體表達式為：

式中，L分割和L分類分別代表深度分割網絡和深度分類器損失函數，其中L分類采用修正后的損失函數，如式(3)； λ是一個動態均衡因子，用于平衡兩個任務的訓練過程； δ是一個阻止深度分類器主導整個損失函數的超參數。 λ可表示為：

式中，n和T分別代表當前迭代的次數和總迭代次數。由于深度分類器是基于圖像級別的標簽，而深度分割網絡是基于像素級別的標簽，兩個任務在訓練過程中將互相干擾。因此，本文設計動態均衡因子 λ，確保集成模型在訓練早期學習深度分割特征，而在訓練后期學習深度分類特征，促使模型穩定收斂。同時，本文將深度分類器向共享特征網絡層傳播的梯度停止，避免兩個任務訓練過程互相干擾。此外，該集成模型引入基于動態先驗特征的空間注意力機制，利用深度分割網絡過程特征指導深度分類器快速聚焦于包覆藥，避免任務無關特征干擾深度分類器收斂。

形狀缺陷檢測可通過深度分類器實現粘連、斜角形狀缺陷包覆藥檢出。尺寸缺陷檢測包括兩個關鍵環節：坐標空間轉換和尺寸缺陷檢測。其中，坐標空間轉換是為了確定像素當量，即圖像坐標系中像素代表的實際空間距離。本文采用文獻[18]提出的標定方法，確定像素當量為0.012 mm。包覆藥實際尺寸可通過像素當量和像素數量乘積確定，其中尺寸正常包覆藥的上界和下界分別是12 mm和10 mm。尺寸缺陷檢測方法包括4 個步驟。

1）通過深度分割網絡，獲得分割掩碼。

2）基于分割掩碼，得到包覆藥像素數量。

3）通過像素當量與像素數量間的乘積，確定包覆藥測量尺寸。

4）測量尺寸分別與包覆藥上界和下界比較，若當前尺寸處于二者之間，則為正常包覆藥，否則為尺寸缺陷包覆藥。

2.2.2 第二階段：表面缺陷檢測

包覆藥只占據圖像部分區域，因此表面缺陷檢測過程只需關注包覆藥區域。基于此，本文提出了一種基于動態先驗特征的空間注意力機制，促使CAE 模型訓練及測試過程均能快速聚焦于包覆藥，避免背景噪聲等任務無關特征干擾，其具體可表現在3 個方面。

1）在訓練階段，將深度分割網絡最后一層特征圖映射為與卷積自編碼器第一層特征圖相同尺寸，并將該信息作為先驗特征，指導CAE 模型將注意力快速聚焦于包覆藥。

2）在測試階段，將深度分割網絡生成的分割掩碼映射為與表面缺陷檢測過程生成的殘差圖像相同尺寸，之后二者逐像素作積，避免背景噪聲等異常像素干擾缺陷檢測，如圖4 所示。

圖4 基于卷積自編碼器的表面缺陷檢測流程

3）將分割掩碼作為約束信息，修正MSE 損失函數，避免背景等任務無關特征參與到模型訓練過程當中，修正后的損失函數如式(4)。

本文提出的卷積自編碼器只需表面正常包覆藥圖像數據就可完成模型訓練，無須人工手動標注，其工作原理如下。

1）將分割掩碼的外接矩形作為基準，對原始輸入圖像進行裁剪。

2）將裁剪后的圖像作為表面缺陷檢測模型的輸入，利用CAE 的編碼器提取低維非線性特征，并通過設計金字塔池化結構[12]和跨層連接機制[19]，捕獲多尺度特征，細化缺陷邊界。

3）基于提取到的多尺度低維特征，CAE 的解碼器盡可能無差重構出輸入圖像，并利用修正后的損失函數式(4)訓練模型參數。

4）設計基于橢圓的偽缺陷訓練策略，提升模型的魯棒性，即通過控制橢圓形狀參數而隨機生成不同類型缺陷樣式，如長短軸之比為1 則為凹坑缺陷；長短軸之比接近0 則為裂縫缺陷；此外，本文將輸入圖像裁剪為若干小尺寸樣本進行重構，樣本重構均值為重構圖像像素。

5）CAE 訓練過程只依賴于正樣本，因此CAE只具備重構表面無缺陷樣本的能力，故可通過計算輸入圖像與重構圖像像素差值，獲得缺陷信息。

6）本文設計了一種缺陷得分策略，用于量化表面缺陷，其具體表達式為：

3 實驗與分析

3.1 實驗數據和實驗環境

本文數據集來源于包覆藥外觀缺陷檢測平臺實際采集到的圖像數據，共包含像素為480 pixel×480 pixel的982 張灰度圖像。其中，表面缺陷數據有54 張，形狀缺陷圖像253 張，尺寸缺陷圖像345 張。本文將數據按照6:3:1 的比例隨機劃分為訓練、測試和驗證數據集。此外，為了提高檢測模型對光照等外界因子的魯棒性，本文將訓練數據通過增低亮度、變化對比度和銳度、增加噪聲等方式，將訓練數據集擴充為原來的5 倍。

本文使用配置有Intel Core i7-9700K CPU 和NVIDIA RTX Titan GPU 的實驗環境，用于模型的訓練和測試。同時，借助PyTorch 1.3 和OpenCV 3.4 等視覺函數庫，完成多缺陷檢測模型的前處理及后處理操作。將訓練時最小批次設置為32；采用動量為0.9、權重衰減系數為2×10-3的隨機梯度下降法優化神經網絡模型；最大迭代次數為1 000；初始學習率為0.001。

3.2 評價指標

本文利用精確率、召回率、準確率和F1 分數等指標對多缺陷深度檢測框架的性能進行評估。其中，深度分割網絡的分割效果利用IoU[11]指標進行評估。上述指標可表示為：

式中，TP 和FP 分別表示有缺陷和無缺陷的樣本被預測為有缺陷樣本的數量；TN 和FN 分別表示無缺陷和有缺陷的樣本分別被預測為無缺陷的樣本；精確率用于描述檢測結果中被正確預測的比例；召回率代表有缺陷樣本被檢測到的數量；準確率表示缺陷檢測結果的總效果；F1 分數作為精確率和召回率的調和平均數，能夠緩解數據分布不均衡對檢測結果的影響。DR 和GT 分別表示包覆藥的預測和標注邊框。式(12)表示預測框和標注框之間的交并比，用于衡量兩個集合的重疊程度，且該交并比越接近1 表明預測效果越好。除了上述評價指標之外，本文利用參數數量和檢測速度指標評估多缺陷檢測模型的計算復雜度。

3.3 形狀缺陷和尺寸缺陷檢測結果

由于形狀缺陷檢測和尺寸缺陷檢測均依賴于包覆藥輪廓等特征，因此本文也驗證了將尺寸缺陷檢測也視為分類任務，即利用深度分類器完成尺寸缺陷包覆藥檢出的效果。圖5 所示的混淆矩陣表示包覆藥形狀缺陷檢測結果，其對角線上的值代表每個種類的召回率。可以觀察到，深度分類器除了在過長和過短缺陷上，均表現出較好的檢測結果。具體而言，當過長和過短缺陷被視為分類任務時，部分樣本將出現誤分類現象，上述兩種缺陷的召回率分別是76.92%和83.12%。這是由于CNNs 在下采樣過程中，損失了圖像尺寸精度信息，導致尺寸缺陷難以被視為分類任務。

圖5 形狀缺陷檢測結果

由于深度分割網絡的分割精度直接影響著尺寸缺陷檢測的準確率，因此本文對目前幾種主流的深度分割網絡分割性能進行測試和選型，如FCN[20]、U-Net[21]、DeepLabv3[22]和DeepLabv3+[11]。表1 表明DeepLabv3+的性能明顯優于其余幾種模型，被選為本文尺寸缺陷檢測的主干網絡。此外，本文對形狀和尺寸缺陷檢測集成模型的性能進行評估。如表2 所示，集成模型在各項指標上均明顯優于單獨模型，表明深度分類器和深度分割網絡在訓練過程中互相受益，且能夠有效去除不同任務間的冗余特征。

表1 主流的深度分割檢測頭分割結果對比

表2 單獨模型和集成模型檢測結果對比

3.4 表面缺陷檢測結果

將提出的表面缺陷檢測模型與其余兩種基于自編碼器的表面缺陷檢測模型性能進行比較。需要特別注意的是：3 種表面缺陷檢測模型只需要表面無缺陷樣本就可完成參數訓練。此外，87 張表面無缺陷樣本和54 張表面有缺陷樣本被用于測試表面缺陷檢測模型的性能。

1）降噪自編碼器 （denoising autoencoder, dAE）[23]：隨機污染輸入圖像，并基于噪聲樣本訓練模型，確保模型具有強魯棒性。

2）變分自編碼器 （variational autoencoder, vAE）[24]：該自編碼器作為一種推斷生成式網絡結構，利用概率形式對潛在空間進行描述。

為了公平比較不同模型的檢測性能，上述3 種表面缺陷檢測模型均設定了相同的超參數。如表3所示，本文模型的F1 分數達到97.30%，檢測結果明顯優于降噪自編碼器和變分自編碼。雖然本文提出模型的檢測速度略低于其余兩種模型，但該模型的參數量遠低于其余兩種模型，更易被部署于邊緣設備端。此外，表面缺陷檢測模型檢測速度低于其余模型的主要原因是：圖像在前處理和后處理過程中損耗了額外的時間。

表3 本文模型與其余兩種表面缺陷檢測結果對比

通過消融實驗，對本文所提各種策略進行評估。如表4 所示，重疊訓練策略對表面缺陷檢測結果影響最大，F1 分數直接從65.85%提升至97.30%。此外，跨層連接機制、金字塔池化結構、基于橢圓偽缺陷訓練策略、空間注意力機制導致F1 分數分別提升25.76%、19.04%、16.22%和11.06%。實驗結果表明：本文所提各種策略均能有效提高表面缺陷檢測性能。表面缺陷檢測結果如圖6 所示。不難發現，缺陷區域的像素明顯高于無缺陷區域的像素。當缺陷得分高于閾值時，則認為當前區域存在表面缺陷，否則為表面無缺陷區域。圖6a 表示包覆藥表面無缺陷，圖6b 和圖6c 分別表示包覆藥表面存在凹坑和裂痕缺陷。

表4 表面缺陷檢測消融實驗對比

圖6 表面缺陷檢測結果

3.5 框架整體性能評估

本節將評估多缺陷深度檢測框架整體性能，測試結果如表5 所示。其中，形狀缺陷、尺寸缺陷和表面缺陷的檢測準確率分別達到99.43%、95.90%、97.87%，滿足實際生產需求。而尺寸缺陷檢測性能略低于其余兩種類型缺陷，成為進一步提升包覆藥整體檢測性能的關鍵環節。

表5 多缺陷檢測結果 %

4 結 束 語

本文提出了一種基于動態先驗特征的包覆藥多類型外觀缺陷深度檢測框架，用于同時檢測包覆藥形狀、尺寸和表面缺陷。該框架包括兩個階段。

1）將用于形狀缺陷檢測的深度分類器和用于尺寸缺陷檢測的深度分割網絡集成，去除不同任務間的冗余特征，減少模型參數量。

2）利用卷積自編碼器實現包覆藥表面缺陷檢測，降低人工手動標注成本。本文根據不同檢測任務間具有強相關屬性，設計了一種基于動態先驗特征的空間注意力機制，將深度分割網絡迭代過程中形成的過程特征作為深度分類器和卷積自編碼器的動態先驗特征，確保不同檢測任務在訓練過程時快速聚焦于包覆藥區域，避免任務無關特征重復提取，加快模型收斂速度。實驗結果表明，本文提出的包覆藥多缺陷檢測框架在模型功耗、檢測效率及檢測準確率等方面均明顯優于其余檢測方法，更易被部署于邊緣檢測設備。