基于卷積神經網絡的磁瓦表面缺陷識別

祝禮佳，劉桂華，林 杰

（西南科技大學 信息工程學院，綿陽 621010）

0 引言

永磁直流電機的使用的永磁材料由磁瓦加工而成，磁瓦的質量直接影響直流電機的質量[1]。在復雜的生產與加工過程中難以避免產出一些表面帶有缺陷的劣質磁瓦工件。為了保證磁瓦以及基于磁瓦二次加工產品的質量，磁瓦質量監測是磁瓦生產工藝中不可缺少的一部分。傳統人工缺陷檢測存在工作效率不高、檢測結果主觀化、工件二次損傷等問題，進而有許多學者基于機器視覺進行磁瓦表面缺陷識別與檢測。

基于傳統機器視覺的方法進行磁瓦表面缺陷檢測，檢測精度較低且通用性較差。Li X等人[2]利用快速離散曲波變換重構低噪聲圖像，并使用邊緣檢測算法在重構的低噪聲圖像上實現磁瓦裂紋缺陷檢測，該算法在圖像采集過程中需要嚴格的光照條件。Yang C等人[3]結合平穩小波變換和自適應閾值分割算法提取磁瓦表面缺陷，該算法可以應用于不同的光照條件，但是對細小裂紋缺陷檢測困難，檢測精度較低。后[4]又提出結合非下采樣的小波變換和包絡灰度梯度算法實現磁瓦裂紋檢測，只能檢測單一的裂紋缺陷。

結合手工提取特征和傳統機器學習的方法，針對不同圖像需要人為地提取不同的有效特征。劉洪生等人[5]提取圖像特征（面積、周長和中心幾何距離）并輸入高斯混合模型進行磁瓦好壞的判別，準確率為80%。杜柳青等人[6]通過提取多項特征輸入支持向量機分類器進行磁瓦表面缺陷分類，該算法平均識別精度約為92%。

卷積神經網絡具有強大的特征自主提取能力，逐漸取代了手工提取特征，并成功應用于目標檢測[7，8]、圖像識別[9，10]、圖像分割[11]等多個研究領域。王昕鈺等人通過改進VGG16全連接層實現了高鐵接觸網定位管開口銷缺陷檢測[12]。李啟南等人改進B-CNN實現了軌枕擋肩裂紋圖像細粒度分類，識別精度約93.89%[13]。目前，基于深度學習的磁瓦表面缺陷檢測研究并不多。Yibin Huang等人通過分析磁瓦圖像的缺陷特征計算顯著圖，并融合顯著圖和原圖像輸入改進的U-net網絡實現缺陷自動檢測，該算法對裂紋和氣孔兩類缺陷有較好的檢測效果[14]。孫夢鴿提出基于密集生成對抗網絡獲得缺陷語義分割圖像，并統計分割圖像中的缺陷區域面積判定磁瓦的好壞，該算法需要人為設定分類閾值[15]。劉暢等人結合改進的U-net網絡和分類神經網絡實現磁瓦裂紋、斷角等缺陷的自動檢測識別，平均識別精度為94%[16]。

針對傳統機器視覺算法檢測磁瓦缺陷類別較為單一，機器學習算法識別率低的問題，提出基于深度學習進行多類別磁瓦表面缺陷識別。深度學習應用于磁瓦表面缺陷識別存在以下兩個難點：1）磁瓦缺陷類圖像樣本量少，應用于深度卷積神經網絡容易導致過擬合現象。2）磁瓦圖像受到光照、角度、噪聲等干擾因素較大，多類別的磁瓦表面缺陷識別算法的精確度與泛化能力有待提高。針對上述問題，本文提出結合改進的輕量級NASNet網絡[16]與雙線性模型[17]構建磁瓦表面缺陷識別網絡，并且優化網絡的優化函數與激活函數提高模型收斂速度與識別精度；同時利用Dropout、樣本增強和遷移學習技術解決小樣本難以訓練深度卷積神經網絡的問題，進而提高模型泛化能力。

1 構建磁瓦表面缺陷識別網絡

1.1 網絡結構

最新提出的NASNet網絡在1000類的ImageNet數據集上可達82.7%的Top-1識別精度和96.2%的Top-5識別精度；其輕量級版本的NASNet在ImageNet數據集上也達到了74%的Top-1識別率和91.6%的Top-5識別精度[17]。表明NASNet網絡對復雜場景中的多類別目標具有較強的分辨能力。考慮輕量級網絡更加適合小樣本學習，故選擇輕量級NASNet網絡進行磁瓦表面缺陷識別研究。

磁瓦表面缺陷圖像具有缺陷區域與非缺陷區域外觀差異小的特點，存在缺陷類別之間具有高度相似性的現象，導致部分缺陷樣本識別難度大。研究表明，雙線性模型能夠捕捉細粒度圖像的類間差異，有效提高細粒度圖像的識別率[18]。為了提高磁瓦表面缺陷的識別率，在輕量級NASNet卷積網絡的基礎上，引入雙線性模型構建磁瓦表面缺陷識別網絡。

磁瓦表面缺陷識別網絡采用兩個完全對稱的、改進的輕量級NASNet網絡模型（去除頂層分類層）組成雙線性模型實現5類磁瓦圖像的自動分類，網絡結構如圖1所示，這種對稱的雙線性模型只需要進行一次卷積網絡評估，運行速度快。模型分為兩個階段，第一階段基于改進的輕量級NASNet網絡提取圖像特征，第二階段基于雙線性模型實現圖像特征交互。

圖1 磁瓦表面缺陷識別網絡結構

1.1.1 基于改進的輕量級NASNet提取磁瓦圖像缺陷特征

NASNet卷積網絡復制堆疊性能最好的卷積單元應用于ImageNet數據集，卷積單元包括普通卷積單元（Normal Cell）和下采樣卷積單元（Reduction Cell），設置普通卷積單元重復次數N=4獲得輕量級NASNet網絡模型，其網絡層級信息如表1所示，由數據輸入層、卷積層、普通卷積單元和下采樣卷積單元、全局平均池化層和全連接層構成。NASNet-A架構下的卷積單元性能最佳，如圖2所示。每個卷積單元由5個模塊組成，每個模塊包含2次基本構件操作（卷積或者池化）和1次特征圖融合操作（逐點相加或者向量拼接）。普通卷積單元輸出的特征圖與輸入圖像尺寸相同；下采樣卷積單元輸出的特征圖，其高度和寬度相比輸入圖像縮減2倍。

表1 輕量級NASNet網絡結構表

圖2 最佳卷積單元結構（NASNet-A）

為了減少磁瓦表面缺陷識別網絡的參數量，同時減少特征提取后續操作的計算量，改進輕量級NASNet網絡結構，對輸出卷積特征進行降維處理。如表1所示，在普通卷積單元12后增加一層普通卷積層，卷積核尺寸為1，卷積核的數量為512，步長為1。在卷積操作前使用激活函數激活輸入特征，在卷積操作后進行批量標準化處理。磁瓦圖像尺寸調整為224×224×3，輸入改進的輕量級NASNet卷積網絡獲得尺寸為7×7×512的磁瓦缺陷特征。

1.1.2 基于雙線性模型實現圖像特征交互

磁瓦表面缺陷識別的雙線性模型B數學表達式為一個四元數函數，如式(1)所示，其中fA和fB表示特征函數，P是池化函數，F是分類函數。

雙線性模型通過矩陣外積聚集fA和fB特征獲得圖像每一個位置的雙線性特征bilinear，如式(2)所示，I表示輸入圖像，l表示圖像上的空間位置。其中，fA和fB的特征圖尺寸必須相等且大于1。磁瓦表面缺陷識別的雙線性模型中，特征函數fA和fB是改進的輕量級NASNet網絡輸出的卷積特征，其維度是7×7×512。

為了進一步獲得圖像特征描述符，池化函數P聚集了圖像上所有位置的雙線性特征。如式(3)所示，L表示圖像的所有位置集合，求和池化函數計算圖像所有位置的雙線性特征之和。假設fA和fB輸出的特征維度分別為c×M和c×N，雙線性模型圖像特征描述符Φ(I)維度為M×N。磁瓦表面缺陷識別的雙線性模型中獲得的圖像描述符Φ(I)維度為512×512。

圖像描述符Φ(I)調整為1×5122的特征向量v，并進行有符號平方根和L2范數歸一化。最后，分類函數F利用Softmax函數實現磁瓦表面缺陷的自動分類。雙線性模型結構導致特征向量維度升高，為了避免小樣本訓練過擬合，在特征向量輸出與全連接層之間增加一層Dropout層。Dropout層在網絡訓練階段以概率p隨機失活神經元，本文p取值0.5。

從直觀的角度來看，雙線性模型利用矩陣外積使得fA和fB卷積特征相互微調，相互約束，相互補充。磁瓦表面缺陷識別網絡是對稱的雙線性模型結構，即利用卷積特征的二階信息豐富網絡的紋理等缺陷特征，提高磁瓦表面缺陷的分類精度。

1.2 優化算法

選擇一個好的優化算法可以有效提高網絡訓練階段的收斂速度與平穩性。輕量級NASNet模型的優化算法是RMSProp，具有處理非平穩目標的優點[19]。該算法引入衰減系數控制梯度平方和，避免了Adagrad算法隨著迭代次數增加梯度平方和變大造成梯度快速下降趨近0，過早結束網絡訓練的問題；但是，衰減系數通常取值接近于1，容易導致訓練初期梯度步長過大，進而造成目標損失在下降過程中產生大幅度震蕩的問題，Adam算法通過增加初始化偏差修正解決了該問題。如圖3所示，實驗對比了上述三種優化算法對磁瓦表面缺陷識別網絡性能的影響。與Adagrad算法相比，利用RMSProp算法與Adam算法網絡識別率得到提升。其次，與RMSProp算法，Adam算法相比減小了損失值訓練初期振蕩的幅度，且損失值降到更低。故采用Adam算法作為磁瓦表面缺陷識別網絡的優化算法，改善網絡訓練過程。

圖3 優化算法對模型性能的影響

1.3 激活函數

激活函數是神經網絡中非常重要的一部分，實現神經元的非線性映射。輕量級NASNet模型的激活函數是ReLU函數，該激活函數是最常用的，也是深度學習成功的重要原因之一[20]。ReLU激活函數是非飽和函數，抑制了Sigmoid和tanh激活函數容易出現的“梯度彌散”現象。其公式定義(4)，x是非線性激活函數的輸入。但是當x小于0時，ReLU激活函數無法激活神經元，進而容易導致網絡訓練不收斂。Leaky ReLU激活函數[21]利用一個較小的權值保留部分信息解決了上述問題，其定義如式(5)所示。

實驗比較了ReLU、Leaky ReLU激活函數對磁瓦表面缺陷識別網絡性能的影響，如圖4所示，與ReLU激活函數相比，Leaky ReLU激活函數在識別精度與損失值都有更好的表現，且收斂速度更快。本文選擇Leaky ReLU函數作為磁瓦表面缺陷識別網絡的激活函數，提高模型的魯棒性。

圖4 激活函數對模型性能的影響

2 實驗分析

實驗使用的計算機CPU型號是Inter(R) Xeon(R) E5-2620 v4@2.1GHz，GPU型號為TITAN Xp，顯存大小為12G，實驗采用了NVIDIA提高計算加速方案；軟件開發平臺使用PyCharm集成開發環境，利用keras深度學習框架搭建磁瓦表面缺陷識別網絡，實驗操作系統為Ubuntu 16.04 。

2.1 數據集構建與樣本增強

利用中科院自動化所收集的磁瓦表面缺陷數據集[14]，從中選取了常見的4類缺陷樣本（裂紋、斷角、氣孔、磨損）和一類無缺陷樣本，如圖5所示。原始數據集裂紋缺陷、斷角缺陷、氣孔缺陷、磨損缺陷與無缺陷樣本數量分別為57張、85張、115張、32張、952張。原始數據集磁瓦表面缺陷類樣本數量少，且存在嚴重的數據不平衡問題。

圖5 磁瓦表面缺陷示例

針對磁瓦數據集樣本量少的問題，本文選擇樣本離線增強方法。每類缺陷樣本隨機選擇翻轉、旋轉、尺度縮放、裁剪4種常用的樣本增強方式。最后，通過樣本增強技術每類缺陷樣本擴充至500張。針對數據不平衡問題，對無缺陷樣本進行欠采樣，從952張的無缺陷樣本中隨機抽取500張圖像。實驗磁瓦數據集由5類樣本組成，總共2500張樣本，隨機抽取2000張作為訓練集，剩下500張作為測試集。每類樣本訓練集400張圖像，測試集100張圖像。

2.2 基于遷移學習的網絡訓練

針對磁瓦數據集樣本數量少，深度卷積神經網絡參數量大，直接利用磁瓦圖像訓練深度卷積神經網絡容易導致網絡過擬合；進而出現在訓練集上樣本識別率高，在測試集上樣本識別率低的現象。遷移學習可以有效減少小樣本數據集應用于深度神經網絡的過擬合現象，并提高網絡的泛化性[22]。因此，提出基于遷移學習的磁瓦表面缺陷識別網絡訓練策略。

基于遷移學習的磁瓦表面缺陷識別網絡的訓練分為兩個階段過程。第一訓練階段，利用在大數據集ImageNet預先訓練得到的權重參數初始化磁瓦識別網絡的特征提取層（不包含分類頂層），并凍結特征提取層，然后利用磁瓦訓練集驅動學習網絡分類頂層的權重參數。第二訓練階段，解凍特征提取層，然后利用磁瓦訓練集微調網絡的所有參數。

網絡優化算法為Adam，激活函數為Leaky ReLU，目標函數采用交叉損失熵，學習率為0.0001，樣本批量大小batch_size為8，迭代周期epoch為50，其中第一訓練階段freeze_epoch設置為25。網絡訓練過程中的精度變化曲線與損失變化曲線如圖6所示。模型訓練過程平穩，收斂速度快，約15個周期收斂。測試集識別精度接近訓練集識別精度，未出現過擬合現象。

圖6 模型精度與損失變化曲線

2.3 模型性能比較

本文算法與VGG16[23]、BCNN[18]、輕量級NASNet[17]、輕量級NASNet結合BCNN算法進行比較。模型性能評價指標選擇精確率、召回率、F1值、模型大小和運行時間。精確率也叫查準率，表示網絡檢測正確的樣本占所有檢測為正樣本的比例；召回率也叫查全率，表示檢測正確的正樣本占所有檢測為正樣本的比例；F1值將精確率和召回率統一起來，值越大代表網絡性能越好。針對多分類任務，依次取一類作為正樣本，其余的類別作為負樣本計算性能指標，最后計算所有類別精確率、召回率和F1值的平均值和中值作為衡量網絡性能的指標。

網絡模型性能對比結果如表2所示，輕量級NASNet結合B-CNN構建的網絡模型大小為38.46M，本文算法模型大小為23.92M，模型大小降低了37.8%。本文通過改進輕量級NASNet模型結構，大大減少了模型參數量，利于小樣本學習。引入雙線性模型增強了模型特征表達力，提高了網絡的識別精度。VGG16結合雙線性模型識別率提高3.42%；輕量級NASNet結合雙線性模型識別率提高1.24%。本文算法結合改進的輕量級NASNet與雙線性模型，并進一步優化激活函數與優化算法，精確率、召回率、F1值的均值為98.80%、98.84%、98.80%，實現了多類別磁瓦表面缺陷的高精度識別。

表2 模型性能對比

磁瓦表面缺陷的分類結果如表3所示，氣孔與裂紋容易誤檢為無缺陷，這是因為部分氣孔缺陷與裂紋缺陷特征表現不明顯。本文算法在斷角、磨損以及無缺陷類別識別率都達到了100%；氣孔類、裂紋類缺陷識別率為97%。與輕量級NASNet網絡模型相比，氣孔類缺陷識別率提高了7.77%，斷角類缺陷識別率提高了2.04%，磨損類缺陷識別率提高了4.16%，算法平均識別率提升約2.49%。

算法平均一張圖像識別所耗時間如表3所示，輕量級NASNet結合雙線性模型識別一張圖像大約需要51.93ms，本文算法識別一張圖像大約需要50.01ms，大約減少了3.70%。本文通過改進NASNet模型結構降低了模型計算量，提高了模型的運行速度。本文算法識別所耗時間相比VGG16網絡較長，但滿足工業需求。

表3 算法識別時間對比

綜上所述，本文算法實現了小樣本多類別磁瓦表面缺陷的高精度識別。

3 結語

針對磁瓦表面缺陷圖像背景噪聲大，亮度不均勻，缺陷特征不明顯導致缺陷識別困難的問題，結合改進的輕量級NASNet和雙線性模型構建網絡實現磁瓦表面缺陷的自動分類。算法改進了輕量級NASNet的模型結構，模型參數降低了約37.8%，模型運行時間減少了約3.70%；并優化了網絡模型的優化算法與激活函數，改善了網絡訓練階段的收斂過程，有效提高了算法的識別精度。其次，針對數據集樣本量少，引用遷移學習、Dropout技術以及數據增強技術，實驗表明，未出現過擬合現象，本文算法在5類磁瓦數據集實現了高精度識別。