基于雙線性對稱NASNet的磁痕圖像缺陷檢測

（西南科技大學 信息工程學院，綿陽 621000）

0 引言

熒光磁粉探傷技術是一種在鐵磁性材料表面缺陷檢測中廣泛使用的方法。鐵磁性材料經過磁化后，其表面缺陷處會產生漏磁場吸附大量的熒光磁粉，并在紫外光照射下發出明亮的黃綠色熒光，從而形成磁痕圖像，可通過計算機視覺技術對磁痕圖像進行處理，以實現對缺陷的檢測。受工件表面情況、探傷工藝等影響，熒光磁粉聚集成像的情況較為復雜[1]，且由于紫外光中含有紫光成分，將會在工件表面形成反光區域，如何在噪聲和反光干擾的情況下對磁痕圖像缺陷進行有效檢測是計算機視覺算法的難點問題。

目前，計算機視覺技術已被廣泛應用于熒光磁粉探傷中，并取得了不錯的研究成果。康健[2]等人通過不變矩特征匹配，實現了火車輪對熒光磁粉裂紋的識別。張靜[3]等人根據幾何特征、紋理特征、灰度特征等信息實現了對車削類工件磁痕圖像缺陷的識別。李遠江[4]等將幾何特征和支持向量機（SVM）結合，實現了對真實裂紋的識別。楊志軍[5]等通過梯度形態學和幾何特征實現了對焊縫裂紋的自動識別。牛乾[6]等人將灰度共生矩特征和多層感知機進行結合，實現了對缺陷工件的識別。游斌相[7]等提取小波特征并結合BP神經網絡，實現了對兩種裂紋缺陷的識別。馬濤[8]等人融合了圖像的幾何特征和紋理特征，并結合SVM實現了對裂紋的提取。但上述大多為基于傳統圖像處理和機器學習的方法，在實際生產的復雜環境下易受噪聲和反光影響，檢測精度不高，且算法的泛化能力較差。

近年來，隨著深度學習技術的發展，卷積神經網絡（CNN）在目標檢測上相比于傳統圖像處理和機器學習方法準確率更高，魯棒性更好，為磁痕圖像缺陷檢測提供了新的思路。本文將深度學習應用于熒光磁粉探傷中，提出一種基于雙線性對稱NASNet（BS-NASNet）的磁痕圖像缺陷檢測算法。該算法結合雙線性CNN模型和NASNet網絡形成一種新的BS-NASNet網絡模型，能夠在噪聲和反光干擾的情況下實現對磁痕圖像缺陷的高精度檢測。

1 算法原理

雙線性模型能夠對磁痕圖像中缺陷和非缺陷部分的差異進行有效檢測，NASNet網絡能夠獲得更為準確豐富的圖像特征，將兩種算法進行結合，有利于充分提取缺陷和非缺陷間的細微差異，提高磁痕圖像缺陷的檢測精度。因此，本文將雙線性模型和NASNet網絡進行結合，構建一種雙線性對稱NASNet網絡模型，稱之為BSNASNet，用于磁痕圖像缺陷的檢測。

1.1 雙線性模型

雙線性模型[8]是一種細粒度圖像分類網絡，該網絡將兩個并聯的CNN網絡作為特征函數，通過雙線性池化對提取的特征向量進行融合，再送入最后的分類器中進行識別。雙線性通過對圖像的局部特征進行建模，能夠獲得豐富的全局和局部特征，實現對不同區域差異信息的提取。

一個雙線性模型B由四元組（fA，fB，P，C）組成，其中，fA和fB表示特征函數，P表示池化函數，C表示分類函數。特征函數可表示為映射f:L×I→Rc×D，I表示輸入圖像，L表示位置，通常包含位置和尺度，c×D表示輸出特征的大小。在圖像每個位置l處，特征函數fA和fB的特征輸出通過矩陣外積進行組合，如式(1)所示：

fA和fB的特征維度c必須兼容，且要求c＞1。

為獲得圖像的特征描述，通過池化函數P對圖像中所有位置的雙線性特征進行增強，P可以定義為所有雙線性特征的加權和，如式(2)所示：

如果fA和fB輸出的特征大小分別為c×M和c×N，則的大小為M×N，經過雙線性模型后其大小變為MN×1，最后通過分類函數C即可獲得相應的類別概率。

雙線性模型通過兩個CNN作為特征函數進行特征提取，且兩個CNN網絡通過訓練能夠提取互為補充的特征信息，相比于單個的CNN網絡，雙線性模型能夠獲得更為豐富的全局和局部特征。

1.2 NASNet網絡

NASNet[9]是2018年由Google Brain團隊提出的一種網絡模型，該網絡是由神經架構搜索在CIFAR-10和ImageNet中搜索到的表現最優的卷積層進行組合而成。相對于近年人工設計的主流網絡模型，NASNet網絡具有更快的運算速度和更高的準確率。

NASNet與ResNet[10]和Inception[11]網絡的構建方式類似，通過基本單元堆疊而成，其在ImageNet上的網絡架構如圖1所示。NASNet包含Normal cell和Reduction Cell兩種基本組成單元，Normal Cell是不改變輸入特征圖大小的卷積單元，Reduction Cell是通過增加步幅使輸入特征圖的尺寸縮小為原來的一半的卷積單元。每個Cell又由若干個Block組成，每個Block是通過在搜索空間中依次選擇隱藏狀態1、隱藏狀態2、操作1、操作2和組合方法這5種方式的組合，對上述操作重復B次即可構成相應的Cell。

NASNet在ImageNet圖像分類驗證集上的識別率相較于之前所有Inception模型都更高，且對比于ImageNet上其他主流深度學習算法的識別結果也有一定程度的提升。此外，NASNet網絡可通過改變基本單元的數量調整網絡的規模大小，搭建不同的網絡模型，其輕量級網絡模型能夠在極大程度上節省運算開銷的同時仍保證較高的準確率。

2 BS-NASNet網絡結構

本文算法將雙線性模型和NASNet兩種網絡結合，提出了一種新的BS-NASNet網絡模型。

本文算法選用輕量級的NASNetMobile作為NASNet的預訓練模型。NASNetMobile采用分別由5個Block構成且在ImageNet上表現最好的Normal cell和Reduction Cell作為構建NASNet的基礎單元，對應圖2中的Normal cell的數量N=4，主要由4個Reduction Cell和12個Reduction Cell構成，網絡參數相對較少，減小了訓練的運算復雜度。

本文算法將兩個相同結構的NASNetMobile網絡融合成如圖2所示的S-NASNet網絡，代替原始雙線性模型中的VGG16作為網絡的特征函數fA和fB。若將兩個NASNetMobile網絡直接進行組合，則形成的S-NASNet網絡最后的特征輸出層的特征維數較大，會導致網絡在訓練過程中產生過擬合的情況，不適用于小樣本訓練。因此本文算法分別對兩個NASNetMobile網絡的輸出特征層通過1 ×1 卷積進行特征降維后再進行融合，可進一步減小特征維數，壓縮網絡參數，防止算法過擬合。假設特征函數輸出層的特征維數為M×N×D，1×1卷積濾波器的個數為A，則經過1×1卷積操作后，特征維數變為M×N×A，當A＜D時，即可實現特征降維的功能。相比于原始雙線性模型中的特征函數VGG16網絡模型，S-NASNet網絡能夠更為充分地提取圖像的全局特征和局部特征，檢測出圖像中的細微特征，從而對圖像間的差異進行準確的描述。

在BS-NASNet中，將兩個特征函數最后的特征輸出層融合成雙線性特征向量時，同樣先采用1×1卷積操作進行特征降維后再進行融合，以降低特征維數，進一步避免算法在訓練時發生過擬合。本文算法選擇使用加權池化作為BS-NASNet的池化函數，并且在雙線性特征向量后面使用sign平方和L2正則化操作，即從而進一步提高網絡的性能。最后將正則化后的特征向量送入到網絡最后一層的softmax分類器中，從而實現對磁痕圖像缺陷的檢測。BS-NASNet網絡的整體結構示意圖如圖3所示。

圖1 NASNet網絡結構圖

圖2 S-NASNet網絡結構示意圖

圖3 BS-NASNet整體結構示意圖

3 實驗驗證及分析

3.1 實驗平臺及數據集

本文算法在64G內存的工作站上進行實驗，并通過TITAN XP對網絡模型的訓練進行GPU加速。實驗所用圖像為生產現場采集的兩種磁痕圖像數據集，數據集1的樣本圖像中包含較強的反光干擾，數據集2的樣本圖像更為復雜，除反光干擾外還存在大量噪聲，兩種數據集的部分樣本圖像如圖5所示。其中，前兩張為缺陷樣本圖像，第三張為無缺陷樣本圖像。

第一種數據集共包含1004張無缺陷樣本圖像和804張缺陷樣本圖像，圖像尺寸為468×1324，訓練集中包含700張無缺陷樣本圖像和560張缺陷樣本圖像，測試集中包含300張無缺陷樣本圖像和240張缺陷樣本圖像。第二種數據集共包含872張無缺陷樣本圖像和914張缺陷樣本圖像，圖像尺寸為800×1536，訓練集中包含575張無缺陷樣本圖像和574張缺陷樣本圖像，測試集中包含297張無缺陷樣本圖像和340張缺陷樣本圖像。實驗中將無缺陷樣本圖像作為正樣本，缺陷樣本圖像作為負樣本對網絡進行訓練。

圖4 磁痕圖像樣本

3.2 訓練參數設置

在數據預處理階段，隨機選擇訓練數據集中的一半圖像經過水平翻轉實現數據增強，并將圖像尺寸歸一化至224×224。訓練網絡模型時，設置訓練的批次大小為32，初始學習率為0.001，學習衰減率為0.001，優化器采用Adam優化算法，并對整個網絡參數進行訓練。

3.3 實驗對比及分析

通過現場采集的磁痕圖像數據集1和數據集2對本文算法進行測試。本文算法在兩種數據集上的準確率和網絡損失變化曲線分別如圖5和圖6所示。

圖中的藍色和橙色曲線分別代表網絡在訓練集和測試集中的準確率和網絡損失的變化情況。根據網絡的準確率和損失變化曲線可以看出，對于存在反光干擾、噪聲影響不大、成像情況相對簡單的數據集1，本文算法在第3次迭代時已基本穩定，且算法的收斂速度極快，只需經過極少次的迭代訓練即可達到較高的檢測精度和較小的網絡損失。在包含反光區域和大量噪聲、成像情況相對復雜的數據集2上，本文算法也在第4次迭代時基本收斂，網絡的檢測精度仍然具有較高的水平，對于圖像中的噪聲和反光區域具有較強的抗干擾能力。

圖5 數據集1準確率和損失變化曲線

圖6 數據集2準確率和損失變化曲線

本文算法在特征融合時采用1×1卷積對特征進行降維，有效降低了網絡的過擬合風險。從曲線圖中可以看出，對于小樣本數據集訓練，本文算法的檢測精度和網絡損失曲線最終趨于平穩，并未發生過擬合的情況。

為對算法性能進行評價，本文選用準確率P、召回率R和F1值作為評價指標，準確率表示檢測正確的正樣本占所有檢測為正樣本的比例，召回率反映了檢測正確的正樣本占所有正樣本的比例，F1值是準確率和召回率的綜合指標，三者的計算公式分別如式(4)、式(5)、式(6)所示：

式中，TP表示算法檢測為無缺陷圖像且實際也為無缺陷圖像的數量，TN表示算法檢測為缺陷圖像且實際也為缺陷圖像的數量，FP表示算法檢測為無缺陷圖像但實際為缺陷圖像的數量，FN表示算法檢測為缺陷圖像但實際為無缺陷圖像的數量。

將本文算法的檢測結果與文獻[4]的幾何特征與SVM結合的方法、文獻[6]的灰度共生矩與MLP的方法、文獻[7]的小波特征與BP神經網絡結合的方法，以及單獨的NASNet網絡和以VGG16作為特征函數的雙線性模型方法在兩種數據集上的檢測結果進行比較，各算法檢測性能對比結果如表1所示。

表1 各算法性能對比

從表1中各算法的性能對比結果中可以看出，文獻[4]、文獻[6]和文獻[7]中基于傳統特征提取與機器學習結合的檢測方法易受圖像中反光和噪聲的影響，在準確率、召回率和F1值上均低于93%，檢測精度不高。相對而言，基于深度學習的NASNet和雙線性模型在準確率、召回率和F1值上均高于97%，比上面三種算法提升約5%，對磁痕圖像缺陷的檢測效果更好。相比于單獨的NASNet和以VGG16作為特征函數的雙線性模型，本文算法將兩種算法進行融合，使算法性能上有一定程度的提升，算法的檢測準確率更高。

對于包含大量噪聲、成像情況相對更為復雜的數據集2，從各算法的測試結果對比中可以看出，文獻[4]、文獻[6]和文獻[7]的檢測方法受圖像噪聲干擾較為嚴重，算法性能較差，其準確率、召回率和F1值上相對于數據集1的測試結果降低約5%。相對而言，基于深度學習的NASNet和雙線性模型方法在數據集2上的測試結果與數據集1的結果相差不大，受噪聲影響較小，算法魯棒性好。對比于其他幾種檢測方法，本文算法的在準確率、召回率和F1值上均高于其他幾種檢測算法。

4 結語

針對現有磁痕圖像缺陷檢測方法易受噪聲和反光干擾、檢測精度低的問題，本文提出一種基于BS-NASNet的磁痕圖像缺陷檢測算法。算法將S-NASNet作為雙線性模型的特征函數，能夠有效提取出缺陷和非缺陷之間的細微差異特征。算法對網絡的輸出特征層經過1×1卷積降維后再進行融合，壓縮了網絡參數，能夠有效降低網絡過擬合風險，適用于小樣本數據。實驗結果表明，本文算法能夠在噪聲和反光干擾的復雜情況下，實現對磁痕圖像的缺陷檢測。