基于Gaussian-yolov3的鋁型材表面缺陷檢測

文生平，李超賢

(華南理工大學 聚合物新型成型裝備國家工程研究中心,廣東省高分子先進制造技術及裝備重點實驗室 聚合物成型加工工程教育部重點實驗室，廣州 510640)

0 引言

鋁型材在日常生活和工業場景有非常重要的應用。在鋁型材的生產過程中，由于不確定因素的影響，鋁型材表面會出現各種隨機性比較強的缺陷，比如碰傷，刮花，凸粉，臟點等常見的缺陷。缺陷不僅影響到材料外觀，也影響到材料正常使用。傳統缺陷檢測方法采用人眼檢測。如果處于精力集中的緊張狀態，人眼會出現疲勞狀態,檢測效率降低。目前基于機器視覺的檢測系統不受太多客觀因素的影響，可以長時間保持較高的檢測準確性。隨著現在用人成本的逐漸增高，工廠自動化的趨勢越來越明顯[1]，制造業面臨著從勞動密集型到科技密集型的轉型[2]，在工廠自動化的轉型過程中，基于機器視覺的檢測系統更是一項很重要的技術[3]。

基于深度學習的缺陷檢測已經應用于各種工業場景。江佳佳等人利用卷積神經網絡學習鯨魚聲音數據的特征，以達到區分不同的鯨魚哨聲[4];宋李美等人通過把卷積神經網絡與傳統算法骨架提取，圖像閾值處理相結合，實現對金屬微小劃痕的檢測[5]；華南理工的文生平等人基于卷積神經網絡，設計類似于SSD算法的算法框架，實現對圓錐滾子缺陷檢測[6];冼濤等人設計多任務卷積神經網絡，以檢測彈簧線插座的缺陷識別[7]。河海大學的沈曉海等人利用faster-rcnn，分割等技術對鋁型材表面缺陷進行了檢測[8]。

目前基于鋁型材的缺陷檢測算法研究較少，河海大學等研究員的算法復雜度較高，檢測速度和精度有待提高。鋁型材表面缺陷用普通的深度學習檢測算法難以檢測，第一個原因是鋁型材的某些缺陷比如臟點，相對于擦花、凸粉等缺陷，臟點的面積過小，和背景色相似，給檢測帶來一定的難度。第二個原因是不同缺陷之間形態差異較大，臟點缺陷形態類似小圓點，擦花缺陷大多是狹長，呈線性的缺陷，擦花長度也有較大區別，嚴重的擦花缺陷橫向跨越整個圖像，輕微的擦花缺陷長度比較短，傳統的卷積層對于這種形狀的缺陷，提取能力不夠強，限制了整體的檢測效果提升。圖1是缺陷樣本圖。為了解決小缺陷檢測問題，使用Gaussian-yolov3算法模型,同時Gaussian-yolov3比yolov3的優勢在于，Gaussian-yolov3計算預測框的置信度，并且利用置信度函數計算損失，提高了整體的預測框的位置精準度。原始Gaussian-yolov3算法對鋁型材小缺陷和細條狀缺陷特征提取能力有限，所以本論文在原始Gaussian-yolov3的基礎上，使用密集連接塊技術，進一步提升對特征的利用率，提高檢測效果。為了提高狹長細小缺陷的檢測率，參考可變性卷積思想，設計出新的橫向變形卷積，以滿足檢測狹長缺陷的需求。

圖1 鋁型材表面缺陷樣本

1 基于深度學習的鋁型材缺陷檢測過程

鋁型材表面的臟點缺陷和碰傷缺陷面積相對較小，僅用最后一層特征圖檢測效果不理想。yolov3算法采用金字塔形式特征采樣，從不同的感受野范疇采集不同語義的特征，形成不同尺寸的特征圖，將不同尺寸的特征圖，通過上采樣的方式，在特征圖通道方向融合，以此提高臟點和碰傷的檢測準確率。其結構如圖2所示。

從圖2可以看到，原始鋁型材缺陷圖像經過特征提取網絡，得到3種不同尺寸的特征圖。低尺寸的特征圖包含著更多大面積缺陷，比如凸粉，擦花的隱含特征，高尺寸的特征圖包含更多小尺寸缺陷凸粉，臟點的隱含特征。

圖2 yolov3金字塔結構圖

圖3 檢測器模塊

鋁型材原始圖像經過特征提取網絡和檢測器模塊的處理，形成3種不同尺寸的特征網格圖。算法把3個不同尺寸的網格圖映射到鋁型材原始圖像上，把原始圖像劃分成不同大小的網格。算法在每一個網絡當中設定3個不同尺寸的anchor-box，并且在每一個網格當中輸出3個缺陷預測框向量，向量數值包括預測框包含缺陷的置信值，預測框相對于anchor-box的長寬偏差，中心坐標偏差，以及擦花，碰傷，凸粉，臟點出現的概率。算法根據圖像標簽以及ground-truth的坐標長寬計算誤差，Gaussian-yolov3算法在yolov3的基礎上，計算缺陷預測框長寬，中心坐標的置信度，置信度越高，預測框約準確率。損失函數當中加入置信度函數計算誤差，誤差反向反饋到卷積神經網絡當中，使用梯度下降法計算權重梯度，更新權重得到全局最優解。anchor-box的示意圖如圖4所示。

圖4 anchor-box機制

2 改進Gaussian-yolov3方案-密集連接塊

在鋁型材缺陷樣品當中，臟點缺陷的數量相對于其他缺陷少很多，只占了10%，而且臟點面積小，顏色與背景色有一定的相似度，所以為了加強模型對小缺陷的紋理特征和顏色特征的提取能力，更加充分利用卷積層的輸出信息，在Gaussian-yolov3的基礎上，本文在特征提取網絡當中加入密集連接塊，通過對特征極致的使用，提高模型對臟點缺陷的檢測準確率。密集連接塊的結構如圖5所示。

圖5 密集連接塊

在一個密集連接塊中，第L層的輸出與它之前的每一層都有關，設第L層的輸出為XL，第L層的激活函數為HL，則有：

(1)

式中，[]代表拼接操作,指將第L-1層的輸出與前面各層的輸出按照通道數維度組合在一起，再通過激活函數增加非線性。

在特征提取網絡當中。包含一個常規卷積層和5個殘差單元。特征提取網絡接受鋁型材缺陷原始圖像作為輸入，經過一個3×3卷積層的初步特征提取，形成初步特征圖，初步特征圖沿著網絡結構進入五個殘差單元結構。殘差單元由和若干個殘差塊組合而成。殘差塊設計參考了殘差網絡網絡，為了緩解梯度消失，不斷加深網絡結構深度。

本論文在8個殘差塊當中使用密集連接的方式，使每一個殘差塊之間的特征信息得到共享互補，使模型可以充分提取到臟點缺陷和碰傷缺陷的紋理特征和顏色特征。在殘差塊內部使用了殘差連接，特征融合方式是特征圖對應的像素相加，雖然生成了新特征，但是原有特征在一定程度上有損失。而密集連接的特征融合方式是在通道維度上拼接形成新特征，卷積網絡自動學習特征的組合，避免了人為干預特征融合帶來的影響，保證融合過程中沒有特征損失。

同時使用密集連接技術，加強了特征的重復使用，加強了底層特征對預測結果的影響。當網絡深度夠深，密集連接可以緩解梯度消失和梯度爆炸的問題。

3 改進Gaussian-yolov3方案-橫向變形卷積

普通卷積神經網絡模型主要依賴數據本身多樣性，克服特征圖的幾何變化。模型內部不具有適應幾何變化的機制。根據對鋁型材表面缺陷的分析，擦花缺陷大多數都是呈橫向的，細長狀的缺陷，并且長度不一致，嚴重的擦花缺陷長度較長，輕微的擦花長度較短。擦花缺陷如圖7所示。

圖6 Gaussian-yolov3中的密集連接結構

圖7 部分擦花缺陷樣本

基礎Gaussian-yolov3的卷積層都是固定的正方形形狀，對這種條狀的缺陷特征提取能力不夠強。為了解決這個不足，在Gaussian-yolov3算法的基礎上，使用可變形卷積的卷積技術[11]，改變普通卷積固有的幾何形狀。基礎的可變形卷積在X，Y方向上都會有偏移，但是從擦花缺陷的形態上分析，大部分以橫向缺陷為主，所以為了減少計算量和計算速度，本論文設計的可變形卷積只在X方向進行偏移。

普通2D卷積分兩個步驟：1)在輸入特征圖上使用固定尺寸的卷積核R進行采樣；2)使用卷積核的權重進行計算采樣，并且把計算結果相加。3*3的卷積核R的定義如下：R={(-1,-1),(-1,0),(0,0)....(0,1),(1,1)}對于輸出特征圖上的一個點p0, 特征圖輸出如下所示：

(2)

對于橫向變形卷積，在固定卷積R的基礎上，增加了偏移量Δpn，偏移量用于改變數據采集點的位置，使達到可變卷積的效果。可變卷積的計算如下：

(3)

橫向變形卷積在特征圖上的每一個位置都生成一個X方向偏移量，對于原始特征圖輸入，橫向變形卷積算法單獨學習一個位置偏移矩陣，位置偏移矩陣的尺寸與輸入特征圖的尺寸保持一致，保證輸入特征圖的每一個特征點都有橫向偏移量。位置偏移矩陣的通道數是輸入特征圖的通道數保持一致，儲存X方向的偏移。位置偏移矩陣計算如圖8所示。

圖8 橫向變形卷積輸入特征圖

經過一個額外的卷積計算操作，生成另外一個位置偏移矩陣。對于位置偏移矩陣的每一個數據點，都對應原始特征輸入的位置偏移。

4 實驗結果分析

4.1 實驗評判指標

在鋁型材缺陷檢測任務當中，使用mAP和AP來衡量算法的分類和檢測性能，把改進算法對一張圖像的檢測時間作為性能指標，衡量一個算法的效率。同時將目標檢測算法和其他傳統檢測算法做性能比較。mAP，AP公式如下：

(4)

(5)

其中:TP表示檢測出鋁型材缺陷判斷正確的數目，FP為判斷錯誤數目，FN表示沒有檢測出鋁型材缺陷的數目。針對每一種鋁型材缺陷，計算精確度和召回率，畫出PR曲線，計算PR曲線的面積便是平均精度AP。mAP是所有鋁型材缺陷的平均精度。

(6)

(7)

其中:AP是衡量某一個缺陷的分類效果的指標，p(r)表示當分類閾值取不同的值r的時候，計算出來的準確率。r的取值范圍是0,0.1,0.2....1，n=11。APi表示類別i的AP值。

4.2 不同檢測算法對比實驗

數據集包含了2 000張缺陷圖像，由于缺陷樣本數比較少，所以利用一定的數據增強技術，比如翻轉，旋轉，剪裁等，擴展數據集，并且使用遷移學習技術初始化模型權重。把缺陷圖像均勻的打亂，把整個數據集分成三部分，第一部分是訓練數據，用于訓練模型，第二部分是驗證數據，在訓練模型的時候，對驗證圖像進行預測，計算mAP或者損失函數等指標。第三部分是測試數據，用于驗證訓練好的模型的精度和性能。訓練數據占有70%，驗證數據和測試數據分別占有15%。

實驗室硬件配置CPU為Intel Core i7-7700。軟件配置系統為Ubantu16.04。深度學習框架使用Pytorch，編寫代碼的編譯環境使用Jupyter。標注數據的工具使用LabelImg。圖形處理工具使用python的集成工具opencv。編程語言使用python 3.0。

針對同樣的訓練和測試圖像數據，把常見的目標檢測算法和改進的Gaussian-yolov3進行了性能對比，對比mAP和針對每一張圖像的檢測速度。對比組實驗的算法包括SSD[12]，Faster R-cnn[13]。

從表1的數據可以看到，SSD512使用多尺度檢測方法，mAP達到了87.92%，和Gaussian-yolov3對比沒有優勢。從檢測速度可以看到，SSD512的檢測速度是Gaussian-yolov3兩倍檢測速度，SSD512是51.2 ms，改進的Gaussian-yolov3檢測算法是27.8 ms。SSD模型另外一個改進版本SSD300，檢測速度是26.4 ms，和Gaussian-yolov3檢測速度基本一樣，但是mAP是78.13%，和Gaussian-yolov3的mAP精度相差較大。Faster-Rcnn屬于two-stage目標檢測算法，所以Faster-RCNN的檢測速度慢很多，136.6 ms，精度只有82.89%mAP。從對比實驗可以看到，由于Gaussian-yolov3使用多尺度目標檢測，檢測精度對比其他目標檢測算法有很大優勢，結合殘差網絡結構，檢測速度也是優于其他算法。

表1 不同目標檢測算法實驗對比

為了驗證對Gaussian-yolov3改進策略的有效性，本實驗將原始的Gaussian-yolov3模型與通過改進的算法進行實驗對比，得到總體的檢測mAP指標，各種缺陷單獨的AP指標以及檢測單張圖像所需要的檢測時間。

表2 改進算法的mAP有效性驗證1

表3 改進算法的準確率有效性驗證2

從上表可以看出，經過密集連接算法改進，碰傷和臟點等小缺陷的檢測準確率有明顯的提高，驗證了密集連接結構的改造有效性。使用了橫向變形卷積，除了擦花缺陷檢測準確率有明顯提高，其他缺陷的檢測準確率也有明顯提高。單張圖像的檢測速度，改進的Gaussian-yolov3的檢測速度27.8 ms，能滿足工業實時檢測的需求。

4.3 不同數據增強策略對算法性能的對比實驗

在生產線上鋁型材出現缺陷的情況概率比較低，訓練圖像數量非常有限。如果訓練圖像數量不足，模型容易出現過擬合。為了避免出現過擬合的現象發生，對訓練數據進行一定程度的增強，增強目的是增加圖像的數量，同時保持原本缺陷的完整性。采用常規的數據增強的方法，圖像旋轉、圖像翻轉、圖像剪裁、增加噪音、添加模糊。

針對每一個樣本，設置初始概率30%。每一個樣本有25%的概率進行圖像旋轉10°；30%的概率進行翻轉；40%的概率進行剪裁；10%的概率進行模糊；10%的概率添加噪音。策略a是旋轉；策略b是旋轉和翻轉；策略c是旋轉、翻轉、剪裁；策略d是旋轉、翻轉、剪裁、模糊；策略e是旋轉、翻轉、剪裁、模糊、噪音。實驗結果如表4所示。

表4 不同數據增強對比

4.4 傳統機器視覺分類算法與Gaussian-yolov3算法對比實驗

設置不同的對比實驗，對比傳統的圖像分類算法與Gaussian-yolov3分類準確率，使用準確率作為評判指標。(1)GLCM：計算灰度圖像得到圖像共生矩陣，計算共生矩陣得到矩陣的部分特征值，比如反差，能量，相關性，熵，分別代表圖像的某些紋理特征。(2)HOG:HOG特征用于物體檢測的特征描述子。通過計算和統計圖像局部區域的梯度方向直方圖來構成特征。具體實現方法是：將圖像分成小的連通區域，采集連通中各像素點的梯度的或邊緣的方向直方圖；把這些直方圖組合起來構成特征描述器。

通過GLCM和HOG得到特征向量，使用SVM和MLP做多分類任務。使用SVM作為基分類器，使用一對多作為分類策略，訓練4個SVM模型，4個模型做投票分類。MLP是一個多層的神經網絡，由輸入層，隱藏層，輸出層組成。輸入層的維度由特征向量的維度決定，隱藏層有15個隱藏單元，每個單元的里面的維度和輸入層的維度保持一致。輸出層由4個輸出單元組成。實驗結果如表5所示。

表5 SVM，MLP，Gaussian-yolov3準確率實驗對比

由上表可以看出，使用HOG和GLCM作為特征提取算法，SVM和MLP作為分類算法，4種缺陷的分類準確性均比改進的Gaussian-yolov3要低。而且基于HOG和GLCM的特征提取需要大量人工設計特征，消耗大量時間成本。所以改進的Gaussian-yolov3要優于傳統的分類算法。

5 結束語

針對鋁型材表面缺陷檢測，使用Gaussian-yolov3作為基礎目標檢測算法。為了解決小缺陷檢測問題，使用密集連接的方式增強特征融合能力。為了解決鋁型材部分條狀缺陷檢測問題，使用橫向變形卷積技術，增強卷積核在特征圖上采集特征的能力。通過多組實驗對比，改進的Gaussian-yolov3算法比原始的Gaussian-yolov3算法在檢測準確度上更高。改進的Gaussian-yolov3算法檢測速度和檢測準確度均比其他主流目標檢測算法要高，該算法具有較好的實時性，不僅可以提高生產效率，降低用人成本，而且可以幫助企業實現升級改造。如果能夠獲取更多原始缺陷樣本數據，將進一步提高模型準確性。