基于GAN-UNet++的汽車鋁鑄件圖像缺陷分割算法研究

張靖， 俞錫光， 鄭東旭， 施定威， 潘洲民

（1.寧波合力科技股份有限公司， 浙江 寧波 315700； 2.浙江大學， 浙江 杭州 310058）

0 引 言

隨著國內制造業的發展，汽車中鋁鑄件的需求量也逐年攀升，在鋁鑄件生產過程中，不可避免地會出現一些缺陷，如磨損、凹陷、沖蝕等[1]。傳統鋁鑄件表面缺陷的檢測主要依賴人工，需要花費大量的成本，且存在標準不統一、識別能力有限、檢測的準確率不高等問題[2]。因此鋁鑄件自動檢測具有重要的研究意義。

隨著計算機技術的發展，機器視覺在缺陷檢測領域中的應用也逐年增長。汽車鋁鑄件圖像缺陷處理主要包括缺陷區域提取、缺陷分割、缺陷分類[3]，缺陷分割是圖像缺陷處理中的重要環節，缺陷分割質量影響對鋁鑄件的判定。

在基于圖像處理的缺陷檢測方法中，H F NG使用最大類間方差實現了基于原始圖像自動閾值化的缺陷檢測[4]。BAI X L等對原始圖像進行傅里葉變化，增強了缺陷區域的顯示，同時實現了對圖像無缺陷區域的衰減，提高了對鋁鑄件缺陷位置的定位準確度[5]。LUO X C提出了一種混合SVM-QPSO的缺陷檢測算法判斷鋁鑄件的缺陷[6]。V REBUFFEL等通過試驗證明，與二階導數和形態學操作相比，二維小波變換是一種更穩健的自動分割鋁鑄件典型內部缺陷的方法[7]。上述方法無法對缺陷區域信息進行精確提取，只能識別缺陷的大致位置、大小等信息，要求精確提取缺陷，傳統圖像處理方法一般使用背景差分法，從預處理圖像中減去背景圖像以留下包含缺陷和隨機噪聲的殘差圖像[8-10]。LI X L等將背景差分法用于焊接缺陷檢測，取得了良好的效果，但背景差分法對圖像定位及隨機圖像噪聲比較敏感[11]。

將深度學習引入缺陷檢測領域是近年來發展的一個方向，由于深度學習模型普遍泛化能力強，在不同領域圖像之間兼容性高，避免了工業生產應用中數據采集困難、數據量小的缺點，將深度學習技術引入工業領域也是當前的趨勢。劉力哲[12]、J MASCI等[13-14]提出了用于檢測鋁鑄件缺陷的卷積神經網絡，并對比了不同的池化函數，但是卷積神經網絡只能檢測鋁鑄件的表面缺陷位置信息，不能實現缺陷分割。LIU R X等提出了用于提取高位特征空間中的孔隙率信息的深度學習網絡，并引入參數傳遞機制減輕神經網絡中的過擬合現象，該網絡可以相對提高精度檢測缺陷，但需要大量原始標記數據集[15]。WANG T等[16]、YAO Y等[17]提出了可以自動從缺陷區域提取幾何特征的深度卷積神經網絡，但幾何特征提取精度低，限制了缺陷等級的判定精度。O RONNEBERGER等針對生物醫學圖像分割問題提出UNet網絡，過對稱的U形網絡結構構造對稱的編碼器與解碼器，還使用了跳躍連接，將解碼器與編碼器中具有相同分辨率的子模塊的輸出進行連接，作為解碼器中下一個采樣的輸入，該方法實現了像素的精確定位，克服了小訓練集邊緣不夠精確的難點[18]。ZHOU Z W等在UNet網絡結構的基礎上提出了UNet++結構，抓取不同層次的特征，使分割結果進一步精細化[19]。UNet系列網絡在裂紋檢測、礦石分割領域均表現優秀，但較少有研究者將其用于鋁鑄件表面缺陷分割。

生成對抗網絡（generative adversarial networks，GAN）[20]是通過生成器與判別器相互博弈對數據進行學習的方法。P LUC等提出將對抗網絡用于語義分割任務，通過判別器結果與語義分割網絡的博弈來提高分割網絡的性能，與對抗網絡結合后的語義分割網絡在查準率和查全率上均超出原方法的3%~5%，表明將GAN與原始分割結果相結合具有更好的分割精度與魯棒性[21]。汽車鋁鑄件生產過程中產生的缺陷具有邊緣復雜、不確定性強的特點，且現有公開缺陷數據集沒有圖像標記，需要手動標記，因此需要尋找一種對樣本需求量小，分割效果好的圖像分割方法。現旨在用少量樣本集獲得更精確的分割結果，提出一種基于GAN-UNet++的鋁鑄件缺陷檢測方法，首先對圖像進行預處理，并通過Labelme進行圖像分割制作標記圖，再將UNet++網絡作為生成器，將生成器結果與標簽圖同時輸入判別器網絡，通過提取圖像特征判斷圖像來源，通過生成器和判別器的相互博弈，提升圖像分割質量，通過試驗驗證并與UNet、UNet++、GAN-UNet 分割結果進行對比，表明了GAN-UNet++的可行性。

1 基于UNet++與生成對抗網絡算法

1.1 UNet++網絡生成器

UNet網絡是一種語義分割卷積神經網絡，主要由3個部分組成：編碼器、解碼器和連接底層信息與高層信息的跳躍連接，UNet網絡結構組成如圖 1 所示，其工作原理如下。

（1）將汽車鋁鑄件的缺陷圖與缺陷標記圖作為網絡的輸入進行編碼。利用卷積神經網絡提升圖像深度并提取圖像特征，再通過池化操作壓縮圖像面積，經過四層卷積池化操作后獲得最底層圖像，保留最小圖像特征。

（2）將圖像通過反卷積操作進行解碼，并與編碼過程中位于同一深度的圖像合并，再使用一定的卷積核操作進行圖像反卷積，各層操作類似，直至在最后一層輸出分割圖像。

觀察UNet網絡結構可知，UNet網絡將下采樣過程中獲得的特征圖與上采樣過程中相同深度的圖像進行跳躍連接。

圖1 UNet網絡結構

UNet++是對原UNet的優化[18]，其網絡結構如圖2所示。UNet++對UNet的改進主要體現在跳躍連接部分。以UNet網絡中X0,4為例，在UNet網絡中X0,4只與X0,0卷積單元相連接，而UNet++網絡中，X0,4同時和X0,0、X0,1、X0,2、X0,3卷積單元相連。在UNet++中，各個深度的特征都被兼顧，將判斷特征重要性的任務交給網絡。此外在UNet++網絡中，只需訓練一個編碼器，通過不同路徑的解碼還原不同層次的特征。假設Xi,j代表Xi,j節點的輸出特征圖，Xi,j的計算可表示為：

圖2 UNet++網絡結構

其中，i表示下采樣過程中的第i層；j表示相同深度的連接層中第j個卷積單元；H()表示帶有激活函數的卷積運算；u()表示上采樣過程；[]代表疊加操作。

UNet++在UNet網絡原有結構基礎上，添加了密集跳躍連接，使底層信息和高層信息之間實現多層次融合，這將使待檢測區域的細節更為完整的保留，從而被分割出來。圖像缺陷分割區域細節豐富，不同分割精度影響鋁鑄件缺陷等級判定，因此相對于UNet，UNet++網絡更適用于圖像缺陷語義分割。

1.2 生成對抗網絡

生成對抗網絡（GAN）由判別器和生成器兩部分組成。生成器用來生成擬合真實圖像，判別器用于判斷生成器產生的圖像是否真實，通過兩者之間相互博弈對抗，實現近似于真實圖像的輸出。

GAN的目標優化函數為：

其中，x為真實數據，真實數據x符合Pdata(x)分布；z為噪聲數據，噪聲數據z符合Pz(z)分布；D(x)表示x被判別為真的概率；G(z)為生成器生成數據；D(G(z))表示生成器生成數據被判別為真的概率。

在訓練開始階段，由于生成器還沒有開始訓練，生成效果較差，此時判別器D判斷真實圖像的能力強，辨別生成圖像能力弱，即此時D(x)和D(G(z))都接近于1，log(1-D(G(z)))的值趨近于負無窮大，生成器需要減小log (1-D(G(z)))的值，使生成器獲得較大的梯度來更新模型參數。生成器不斷訓練更新，生成更接近真實的圖像，判別器的梯度也相應發生改變，不斷更新模型以減小D(G(z))，由此判別器與生成器不斷博弈，形成一個對抗過程，GAN結構如圖3所示。

圖3 GAN結構

1.3 缺陷分割網絡整體構成

采用UNet++結合生成對抗網絡的優化方法，解決缺陷分割圖像中的邊緣細節錯分、缺分問題，提出基于GAN-UNet++的缺陷圖分割方法，提升了分割精確度。

將UNet++作為GAN的生成器，產生圖像分割數據。常用判別器網絡為卷積網絡，分析對抗網絡需求，選取多層卷積神經網絡作為判別器網絡。將生成器UNet++輸出圖像和標簽圖像作為判別依據分別輸入多層神經網絡判別器。采用全連接卷積分別求出生成器分割圖像和分割標簽圖像對應的判別器值，并使用交叉熵計算判別器網絡損失值，采用Adam方法進行網絡學習優化，在四層卷積網絡中選擇步長為2，長寬為4×4的卷積核。

在UNet++結構中，每層都會產生一個偽圖像，現只選用最后一層的偽圖像輸入判別器，因此判別器的主要目標函數為：

雖然UNet++其他層生成的偽圖像不需要用于訓練判定網絡，但它們仍然要用于訓練各自層的網絡。為了保證偽圖像與真實圖像更加相似，每層UNet++中都加入了L1損失，因此生成器的目標函數為：

2 試驗與結果分析

2.1 試驗數據集

首先對數據集的樣本圖進行分析，鋁鑄件缺陷處理區域集中，使用傳統的圖像處理方法對鋁鑄件圖像缺陷分割存在一定的局限性。在深度學習處理圖像缺陷分割問題時，待分割圖像需要手工標注分割區域，使用標注工具Labelme對圖像缺陷進行標注。對物體逐點標注形成分割圖像并形成json文件，對json文件轉換后得到缺陷標注圖。

隨機選取其中的90幅為訓練集，12幅為測試集，在GAN-UNet網絡訓練過程中，對預處理后的圖像進行圖像增強，擴充訓練集多樣性，圖像增強操作包括隨機翻轉、高斯模糊、仿射變換、圖像截取和填充等。

模型進行30 000次迭代訓練，每個訓練隊列使用9個樣例。整體網絡學習率為0.000 1，采用0.5的丟棄率以減少網絡過擬合現象，并使用Adam梯度下降法進行網絡訓練。

2.2 分割結果評價指標

對于分割圖像質量的評價方法，選取Dice系數、平均像素精度（mean pixel accuracy）、準確率Rprecision、召回率Rrecall、F1-score來進行評估。

Dice用于計算分割結果與參考圖像之間的相似度，取值范圍在[0,1]，計算公式為:

其中，X表示輸出結果圖像；Y表示參考圖像。

準確率Rprecision、召回率Rrecall、F1-score指標計算公式為：

其中，NTP表示正確檢測屬于缺陷區域的像素；NFP表示錯誤檢測屬于缺陷區域的像素；NFN表示錯誤檢測屬于背景區域的像素。

平均像素準確度在實際應用中更為廣泛，它通過累加每個類別的預測正確像素占比并求平均：

其中，Pii代表i類的像素被預測為i類；Pij代表i類的像素被預測為j類，k為總類別數，取值為4。

2.3 4種網絡結果比較

將缺陷圖像分別進行UNet、UNet++、GAN-UN-et、GAN-UNet++等分割，分別選取3類缺陷分割結果各1幅進行分析。

劃痕類分割結果如圖4所示，對比圖4中的試驗結果，GAN-UNet算法檢測結果與原始缺陷差異較大，如圖4中間的方框內，GAN-UNet檢測結果有明顯的粘連現象，而提出的GAN-UNet++算法檢測結果劃痕連接處更清晰。UNet算法與UNet++算法對于較小劃痕檢測能力偏弱，相較于GAN-UNet++還原度較低。

圖4 劃痕缺陷檢測結果

斑塊類分割結果如圖5所示，斑塊類缺陷邊緣較為模糊，UNet和UNet++分割時易出現過擬合現象，不利于正確判斷斑塊類型。在這一缺陷類別中，GAN-UNet++與GAN-UNet表現較好，GAN-UNet邊緣較為平滑，對于小區域識別能力偏弱。

圖5 斑塊缺陷檢測結果

夾雜類分割結果如圖6所示，同劃痕類缺陷分割結果類似，GAN-UNet檢測結果粘連現象明顯，容易誤判夾雜缺陷的數量和大小。UNet算法與UN-et++算法檢測結果較GAN-UNet好，但仍有部分粘連現象存在，二者的還原度均弱于提出的GAN-UN-et++算法。

圖6 夾雜缺陷檢測結果

根據參考文獻[22]，將Dice=0.95，Rprecision=0.90，Rrecall=0.98，Aaccuracy=0.97作為分割得分75分的參考值，根據線性插值計算4項誤差的得分Wsc，繪制標準箱體圖，如圖7所示，虛線表示75分，小正方形表示平均值Wal，UNet、UNet++、GAN-UNet和GAN-UN-et++各項指標均在75分之上，可知UNet系列網絡及變體在鋁鑄件缺陷分割領域表現良好。

圖7 采用所提方法分割結果的各項指標得分和加權總得分

對測試集的圖像分割結果進行分析，統計不同算法Dice、Rprecision、Rrecall、Aaccuracy的平均值如表1所示。由表1可知，所提出的GAN-UNet++與標記圖相似度達到了97.6%，網絡模型分割結果與參考圖相比較，Dice、Rprecision和Aaccuracy的值均優于其他3種算法，Rrecall略低于GAN-Unet。

表1 不同網絡的檢測結果

3 結束語

生產過程中缺陷對生產效率有重要影響，針對傳統閾值分割效率低，參數選擇困難的問題，通過將工業缺陷圖像進行手工標記，制作工業圖像分割數據集，提出UNet++作為生成器的生成對抗網絡模型，實現在小樣本集上的高效分割。提出的GANUNet++與UNet、UNet++、GAN-UNet等算法分割結果進行對比，表明所提出算法的Dice系數優于其他3種算法，解決了深度學習網絡圖像分割邊緣細節缺失，分割結果不夠準確的問題，為后續缺陷分級判定提供了有效判據。