結合隨機子空間和級聯殘差網絡的缺陷檢測

金閎奇，陳新度 ，2，吳 磊，2

1.廣東工業大學 機電工程學院，廣州 510006

2.廣東工業大學 廣東省計算機集成制造重點實驗室，廣州 510006

1 引言

表面缺陷檢測一直以來都是工業制造中的重要環節，傳統的檢測方法往往需要大量的人力[1]。而隨著機器視覺技術的不斷發展，大量的研究表明機器視覺自動檢測技術能在一定程度上取代人工，從而降低企業的生產成本，提高生產效率[2-5]。

最近幾年有越來越多的學者提出基于卷積網絡的缺陷檢測方法，Ren 等人[6]提出基于卷積網絡的缺陷自動檢測框架。后續的缺陷檢測研究開始朝著卷積網絡層數越來越深的方向發展[7-10]。而隨著網絡深度的增加，模型的檢測效果并沒有變得更好，反而會出現退化現象。這其中有學者分析認為是更深的網絡會伴隨梯度的消失從而導致網絡無法正常收斂[11]。也有研究者參考集成學習[12]、數據增強[13]、批歸一化[14]、自適應加權池化[15]等方法提出了改進的卷積網絡模型，已經在一定程度上緩解了這個問題，但依然不足以滿足要求。受到殘差和恒等映射思想的啟發，He等人[16]提出了殘差網絡ResNet，通過將有參卷積層用來學習輸入和輸出之間的殘差，實驗證明殘差網絡能夠在深度增加的情況下維持穩定的準確率增長，有效地避免了隨著卷積網絡中層數增加，模型準確度不升反降的問題。劉鑫童等人[17]將中值濾波和殘差網絡相結合，通過實驗驗證了使用跨層連接和殘差學習能有效降低網絡訓練難度，提高檢測準確率。關日釗等人[18]通過對殘差網絡中的特征提取網絡進行混合尺度感受野融合處理，彌補了原網絡對微小裂痕敏感度不高的缺點。

2 基于RSM-MTResNet的缺陷檢測

2.1 級聯殘差網絡（MTResNet）

缺陷檢測是一類極其復雜的模式識別問題，傳統的基于單個分類器的方法往往難以獲得較好的檢測效果，而現如今大量的理論和實驗已經證明多個分類器的集成往往能比單個分類器獲得更好的準確率。潘兵等人[19]將級聯方法和卷積網絡相結合，提出了雙網絡級聯卷積神經網絡的設計，其實驗表明級聯的方法能使卷積網絡提取出更具辨識性的特征。李亞可等人[20]提出了級聯的卷積網絡，一定程度上解決了單一網絡去提取特征引起的算法泛化能力變弱的問題。

本文在ResNet的基礎上提出級聯殘差網絡MTResNet，采用B個殘差網絡的級聯（Multiple）來代替最優殘差網絡的求解，即 MTResNet 將B個 ResNet 的 SoftMax 輸出加權疊加在一起，然后作為最終分類結果輸出，詳細的結構定義在2.4 節給出。對于每個殘差網絡ResNet，其核心ResBlock結構設計如圖1所示，ResNet各層級參數配置如表1 所示。本文實驗中對比的傳統CNN 方法的網絡模型為表1中不包含ResBlock的ResNet。ResBlock的輸入輸出的尺寸和維度都是一致的，因此網絡模型去掉ResBlock不會影響網絡的前后層連接關系。

2.2 隨機子空間方法（RSM）

本文提出的級聯殘差網絡同其他基于深度學習的目標檢測方法都會遇到小樣本問題。小樣本問題就是說在實際的工業生產中，缺陷樣本的類別多但是數量少，且同類缺陷差異較大，這就會造成直接應用深度學習方法進行缺陷分類的準確率低且訓練損失函數不容易收斂。小樣本問題意味著深度學習方法需要的底層數據實際上應該很多。

表1 ResNet各層級參數

朱玉蓮[21]使用半隨機子空間的LDA 方法驗證了隨機子空間方法配合其他方法能夠在一定程度上解決小樣本問題。Klare等人[22]使用原型隨機子空間表明了隨機子空間方法能夠提高樣本的特征表示。張永祥等人[23]采用協方差驅動的隨機子空間方法用于解決模態識別問題，且從原理上證明了隨機子空間方法的有效性。

本文引入RSM方法，將輸入圖像分為N個不相互重疊的子圖像，并構建出B個隨機子空間。每一個子空間都包含α?N個子圖像，0 ≤α≤1 。用一個隨機索引向量kb∈Zα?N生成隨機子空間b(b=1,2,…,B)，kb中的每一個元素都不重復，且元素值在1和N之間。圖2展示了在原圖像上生成的3個隨機子空間。

圖2 原圖和隨機子空間的3個實例

原圖像I依據隨機索引向量kb索引得到的α?N個子圖像，最后拼接生成隨機子空間f(I,kb)，如公式（1）所示：

假設訓練樣本集的某個類別下有M∈Rm×n個樣本。在隨機子空間方法中，每個子圖像的大小為d1×d2，將樣本數量由M擴展為M×B，樣本的維度由m×n變小為d1×d2×α?N，樣本維數小于原空間而訓練樣本數增加。

2.3 多圖像濾波

缺陷圖像會被三個不同的圖像濾波器過濾，分別為MLBP[24-25]、DoG[26]、Gauss[27]。這些濾波器旨在幫助補償同類圖像之間的強度變化（例如不均勻的光照變化）和紋理變化，每個圖像濾波器的效果示例如圖3所示。這兩個方面對于隨機子空間（RSM）框架特別重要，對于殘差神經網絡的訓練過程需要大量的樣本，同時希望訓練的樣本在同類之間的差異盡可能小，不同類別的差異盡可能大，因此在樣本上執行三個不同的圖像濾波器能有效避免小樣本事件的發生，同時增加圖像的特征表現能力。

圖3 三個濾波器效果

2.4 RSM-MTResNet模型構建及訓練步驟

基于RSM的級聯殘差網絡模型就是在每個隨機子空間上構建一個殘差網絡分類器，最后采用級聯的方式將各ResNet的結果進行融合以獲得最后的決策。整個模型的構建如圖4所示。

本文設計的RSM-MTResNet 模型對缺陷數據集進行實驗驗證，主要流程如下：

（1）利用圖像濾波器（MLBP、DoG、Gauss）對原始缺陷數據集進行濾波增強。

（2）將圖像增強后的數據集作為RSM-MTResNet的訓練輸入。

（3）RSM方法隨機生成B個隨機子空間，并初始化MTResNet。

（4）MTResNet 將訓練好的B個高階特征融合在一起后通過Softmax分類器檢測分類。

3 實驗及結果分析

3.1 缺陷數據集介紹

本文采用了一個公共的缺陷數據集，NEU 表面缺陷數據集[28]。該數據集包含了熱軋帶鋼表面缺陷的六種類型，包括裂紋（Cr）、夾雜物（In）、斑塊（Pa）、點蝕表面（PS）、鐵皮壓入（RS）和劃痕（Sc）。每一類缺陷有300個樣本，缺陷圖像的例子如圖5所示。

圖5 NEU表面缺陷圖像示例

3.2 實驗驗證指標

在缺陷檢測結果中，可將缺陷測試樣本集根據其真實類別與預測類別的組合劃分為真陽性（true positive）、假陽性（false positive）、真陰性（true negative）、假陰性（false negative）四種情形，令TP、FP、TN、FN分別表示其對應的樣本數。

本文采用分類準確率（Accuracy）、查準率（Precision）、查全率（Recall）和F1 值作為實驗評價標準。分類準確率的計算公式為：

查準率和查全率越高，越能體現缺陷類別檢測準確的數量越多，模型對于缺陷特征的提取和篩選能力越強。查準率和查全率計算公式為：

圖4 RSM-MTResNet模型結構

查準率和查全率對于模型的評價都非常重要，而F1值定義為查準率和查全率的調和平均：

3.3 模型訓練與驗證

本文構建的RSM-MTResNet 模型訓練方法采用的是有監督訓練方式，數據集總共1 800張缺陷圖片，將其隨機打亂后，按照1∶2∶3 的比例分為訓練集、測試集和驗證集。訓練集一共300 張圖片，每個類別50 張，屬于小樣本訓練。

RSM-MTResNet 方法中濾波器參數、RSM 參數和網絡各層級參數設置如下：

（1）對于濾波器參數的設置，本文引入了三種濾波器，分別為MLBP、DoG 和Gauss 濾波器。其中，MLBP濾波器采用8個采樣點，3×3鄰域；DoG濾波器設置標準差為 1 和 2，15×15 鄰域；Gauss 濾波器采用標準差為 2，3×3鄰域。

（2）對于RSM方法，設置N為16，即將輸入圖像分為16個不相互重疊的子圖像。設置B=30，即構建出30個隨機子空間。隨機索引向量kb∈Zα?N，其中0 ≤α≤1。

（3）對于網絡各層級參數設置，學習速率（learning rate）為0.002，學習策略（learning policy）為step，小批量訓練大小（batch size）為32，最大迭代次數為1 000。

如圖6 給出的是RSM-MTResNet 方法在驗證集上的分類準確率曲線和損失曲線。從圖6可以看出，隨著迭代次數的增加，模型的分類準確率不斷上升，損失值不斷下降，模型達到很好的收斂效果，并且在迭代次數400次達到99.8%左右，之后有微小的上下浮動，但不影響整體的收斂趨勢。

圖6 分類準確率曲線和損失曲線

3.4 實驗結果與分析

為了驗證本文方法所提出的RSM-MTResNet，本文通過在測試集上進行實驗，對比傳統CNN方法，同時也驗證本文引入的級聯（MT）方法、隨機子空間（RSM）方法以及多圖像濾波（Filters）方法對于分類準確率的提升效果。

從表2中可以看出與傳統的CNN方法相比，當基礎網絡結構變為ResNet后，準確率由83.01%提高到92.48%，提高了9.47個百分點；在ResNet的基礎上引入的MT方法、RSM方法以及Fileters 方法分別將分類準確率提升了1.5、2.5、1.18個百分點；最終，RSM-MTResNet的分類準確率為97.66%，比傳統CNN方法的準確率高了14.65個百分點，這表明本文方法增強了網絡的特征提取能力和識別能力。

表2 對比CNN分類準確率

實驗使用混淆矩陣表示模型在測試集上的預測分類結果和實際分類情況，并且計算每個類別的查準率（Precision）和查全率（Recall）。表3為通過傳統CNN方法得出的混淆矩陣，表4 為通過本文提出的RSMMTResNet 方法得出的混淆矩陣。對比表3 和表4 可以發現，CNN方法在個別類別上表現效果很差，比如夾雜物（In）類別上的查準率為60.6%，查全率為74.1%，而RSM-MTResNet 方法在夾雜物（In）類別上的查準率為92.9%，查全率為97.2%，相比CNN方法提高了32.3個百分點和23.1個百分點。

表3 CNN混淆矩陣

表4 RSM-MTResNet混淆矩陣

表5 為 CNN 方法和 RSM-MTResNet 方法對于每個類別的F1 值，因為F1 值為查準率和查全率的調和平均值，所以能反映出模型總體水平。從表5 中可以看出，RSM-MTResNet 方法對每個缺陷類別的F1 值均有提高，提高的范圍在9.5～28.4個百分點之間。

表5 F1值對比結果 %

綜上所述，可以看出RSM-MTResNet方法不論是在整體的分類準確率上還是在單個類別的查準率和查全率上均優于CNN 方法，尤其提高了較難識別的夾雜物（In）的分類準確率。

4 結束語

針對缺陷數據集中的小樣本問題，本文提出了一種結合隨機子空間（RSM）和級聯殘差網絡（MTResNet）的缺陷檢測方法。方法中采用單個樣本分解出多個隨機子空間，然后將其輸入至MTResNet 模型進行訓練，并融合了多個分類器的分類結果，理論上RSM 增加了單樣本的數量，而MTResNet 提升了網絡的特征提取能力。從實驗可以看出，相對于現有的CNN方法，本文提出的RSM-MTResNet是更魯棒、更有效的。但是本文方法所引入的RSM 方法是基于子空間方法的，所以出現如何選取合適的子塊大小的問題，有可能通過聚類或者優化搜索等方法在一定程度上克服這個問題。