基于多尺度卷積神經(jīng)網(wǎng)絡(luò)和類(lèi)內(nèi)mixup操作的磁瓦表面質(zhì)量識(shí)別

張京愛(ài)，王江濤，2*

（1.淮北師范大學(xué)物理與電子信息學(xué)院，安徽淮北 235000；2.淮北師范大學(xué)信息學(xué)院，安徽淮北 235000）

0 引言

磁瓦是永磁體直流電機(jī)的核心部件之一，常用來(lái)代替?zhèn)鹘y(tǒng)的電勵(lì)磁。據(jù)中國(guó)磁性材料及行業(yè)協(xié)會(huì)估計(jì)，2017 年我國(guó)對(duì)磁瓦的需求規(guī)模將達(dá)50 億元以上，到2020 年該規(guī)模將達(dá)60 億元。磁瓦產(chǎn)業(yè)已成為國(guó)民經(jīng)濟(jì)中一股重要的力量。在磁瓦生產(chǎn)過(guò)程中，由于生產(chǎn)工藝或者碰撞原因，不可避免地會(huì)產(chǎn)生殘次品。因此對(duì)磁瓦質(zhì)量進(jìn)行挑選，剔除殘次品，成為當(dāng)前磁瓦生產(chǎn)中的必需工序。當(dāng)前的殘次品剔除主要依賴(lài)于人工進(jìn)行，成本高，效率低，且人工易于疲勞，錯(cuò)檢漏檢現(xiàn)象時(shí)常發(fā)生。為了克服上述困難，提高磁瓦檢測(cè)的效率和自動(dòng)化水平，機(jī)器視覺(jué)技術(shù)［1-4］被引入到各類(lèi)檢測(cè)和識(shí)別應(yīng)用中。

基于機(jī)器視覺(jué)技術(shù)的磁瓦檢測(cè)可以分為兩類(lèi)：一類(lèi)直接在圖像的灰度空間中進(jìn)行處理判斷是否存在缺陷；另一類(lèi)則首先對(duì)磁瓦圖像進(jìn)行某類(lèi)變換，然后在此類(lèi)變換下進(jìn)行缺陷判斷。胡浩等［5］在圖像的灰度空間下，綜合考慮了形狀、紋理、邊緣等特征，將磁瓦缺陷分為3 類(lèi)，采用不同的特征組合來(lái)對(duì)三類(lèi)缺陷進(jìn)行檢測(cè)。劉國(guó)平等［6］為了解決磁瓦表面灰度分布均勻、噪聲較多等問(wèn)題，從獲取掃描行更穩(wěn)定的灰度出發(fā)，提出下包絡(luò)線灰度對(duì)比度來(lái)分割出缺陷區(qū)域。李雪琴等［7］則將磁瓦圖像進(jìn)行Contourlet 變換，以變換后得到的子帶系數(shù)作為研究對(duì)象，通過(guò)對(duì)比確定是否存在缺陷。同樣從圖像變換的角度出發(fā)，文獻(xiàn)［8］則采用平穩(wěn)小波變換構(gòu)造輪廓波包，首先利用相關(guān)去噪消減圖像的噪聲，然后通過(guò)輪廓波包逆變換來(lái)得到缺陷圖像。

經(jīng)過(guò)多年的研究，盡管先后已出現(xiàn)多種不同的缺陷識(shí)別方法，然而由于磁瓦形狀的不規(guī)則性，大多數(shù)方法還是局限于實(shí)驗(yàn)環(huán)境中。首先，已發(fā)表的文獻(xiàn)中進(jìn)行實(shí)驗(yàn)時(shí)樣本量大多為幾百個(gè)，數(shù)據(jù)集規(guī)模偏小，不足以反映工廠環(huán)境下的實(shí)際性能。其次，多數(shù)算法需要人工的確定一系列的閾值，這不利于在實(shí)際多變的環(huán)境中推廣應(yīng)用。再次，磁瓦的曲面形狀給照明設(shè)計(jì)帶來(lái)困難，往往難以得到理想均勻的光照效果。

近年來(lái)，深度卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)分類(lèi)和檢測(cè)任務(wù)中都表現(xiàn)出了優(yōu)異的性能［9-10］，但在磁瓦質(zhì)量識(shí)別領(lǐng)域相關(guān)的工作較少。針對(duì)上述問(wèn)題，本文在構(gòu)造符合實(shí)際生產(chǎn)場(chǎng)景樣本集的基礎(chǔ)上，通過(guò)將深度卷積網(wǎng)絡(luò)引入缺陷識(shí)別系統(tǒng)，設(shè)計(jì)一類(lèi)端到端的，不需要人工干預(yù)，且對(duì)光照不敏感的磁瓦缺陷識(shí)別算法，以提高磁瓦缺陷識(shí)別系統(tǒng)的識(shí)別精度和推廣能力。

1 磁瓦圖像的采集及目標(biāo)獲取

通過(guò)對(duì)大量的帶缺陷的磁瓦進(jìn)行分析，發(fā)現(xiàn)絕大多數(shù)的磁瓦缺陷發(fā)生在磁瓦兩端。由于磁瓦表面形狀為凸起曲面，在采用單一相機(jī)自頂朝下進(jìn)行拍攝時(shí)，兩端邊角無(wú)法包含在視野內(nèi)，因此，本文采用了如圖1 所示的攝像機(jī)布局，通過(guò)兩個(gè)互相對(duì)角的攝像機(jī)，不但可以更加清晰地對(duì)兩端圖像進(jìn)行采集，而且利用攝像機(jī)的視場(chǎng)互補(bǔ)，也可以獲取整個(gè)凸起曲面的圖片。對(duì)于光照來(lái)說(shuō)，在這里希望所研發(fā)的缺陷識(shí)別系統(tǒng)能夠不依賴(lài)于嚴(yán)格的光照條件，因此在磁瓦工件兩側(cè)各設(shè)置一個(gè)發(fā)光二極管面光源來(lái)進(jìn)行照明，并沒(méi)有進(jìn)行更加優(yōu)化的布局設(shè)計(jì)。

圖1 攝像機(jī)布局結(jié)構(gòu)Fig.1 Layout structure of cameras

在檢測(cè)磁瓦時(shí)，難以保證所有磁瓦都處于相同的姿態(tài)，因此需要從采集圖像中得到姿態(tài)歸一化的目標(biāo)圖片。假定采集到的磁瓦工件圖像如圖2（a）和圖2（c）所示，此時(shí)為了獲取標(biāo)準(zhǔn)的磁瓦樣本。采用如下的步驟來(lái)進(jìn)行處理：

第一步 對(duì)采集到的圖像進(jìn)行閾值分割，獲得磁瓦所在的矩形區(qū)域（圖2中白色實(shí)線矩形框所示）。

第二步 進(jìn)一步尋找磁瓦目標(biāo)的最小外接矩形，如圖2中白色虛線矩形框所示。

第三步 將獲取的最小外接矩形區(qū)域進(jìn)行旋轉(zhuǎn)，得到標(biāo)準(zhǔn)的磁瓦樣本圖像，如圖2（b）和圖2（d）所示。

在訓(xùn)練和測(cè)試階段，均采用上述的方法，首先采集到原始圖像，然后獲取要訓(xùn)練或測(cè)試的磁瓦樣本進(jìn)行對(duì)應(yīng)的操作。

通過(guò)對(duì)磁瓦殘次品進(jìn)行分析發(fā)現(xiàn)，盡管缺陷發(fā)生部位集中于磁瓦兩端，但缺陷類(lèi)別多種多樣。圖3 給出了常見(jiàn)的缺陷類(lèi)型，主要包括掉塊、磕邊、裂縫、坑洞等。從圖中可以看出，不同類(lèi)型的缺陷外觀差異較大，難以采用傳統(tǒng)的圖像處理方法進(jìn)行統(tǒng)一的特征描述。鑒于此，本文不考慮缺陷的類(lèi)型，通過(guò)設(shè)計(jì)端到端的深度學(xué)習(xí)系統(tǒng)直接對(duì)磁瓦進(jìn)行表面質(zhì)量識(shí)別。

圖2 采集到的圖像及獲取的磁瓦樣本Fig.2 Collected images and corresponding megnetic tile samples

圖3 常見(jiàn)的缺陷類(lèi)型Fig.3 Common types of defects

2 多尺度深度卷積網(wǎng)絡(luò)設(shè)計(jì)

采用深度學(xué)習(xí)進(jìn)行磁瓦識(shí)別時(shí)，首先需要設(shè)計(jì)深度卷積網(wǎng)絡(luò)模型來(lái)構(gòu)建磁瓦質(zhì)量識(shí)別系統(tǒng)。當(dāng)前存在多種不同的網(wǎng)絡(luò)框架可供選擇，比如VGG（Visual Geometry Group）系列［11］、殘差網(wǎng)絡(luò)（Residual Network，ResNet）系列［12］等。考慮到系統(tǒng)的實(shí)時(shí)性、訓(xùn)練樣本集的規(guī)模、卷積網(wǎng)絡(luò)自身的性能等因素，綜合進(jìn)行衡量，選定ResNet18作為識(shí)別系統(tǒng)的主框架。

如圖4 所示，不考慮池化、批歸一化等操作，ResNet18 一共由18層網(wǎng)絡(luò)組成，其中包含4個(gè)殘差模塊，每個(gè)殘差模塊包含兩個(gè)殘差單元，其內(nèi)部結(jié)構(gòu)可參考圖5，殘差單元采用如下的形式來(lái)得到：

其中：x為模塊的輸入，y為模塊的輸出，F(xiàn)為模塊對(duì)x的映射。

圖4 ResNet18網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network architecture of ResNet18

上述模型中輸入圖像的尺度為224×224×3，整個(gè)網(wǎng)絡(luò)經(jīng)過(guò)一系列的池化和下采樣將圖像縮小至原來(lái)的1/32，殘差模塊4輸出大小為7×7×512，該輸出與全連接層相連進(jìn)行最終分類(lèi)。由于磁瓦表面缺陷可能以任意的外觀和尺寸出現(xiàn)，如圖6 所示，不同的缺陷之間存在著較大的尺度差異。因此將原圖下采樣為7×7的卷積結(jié)果不利于識(shí)別微小尺度缺陷。為了解決這一問(wèn)題，本文對(duì)原始的ResNet18 進(jìn)行微調(diào)，同時(shí)采用殘差模塊3 和殘差模塊4 的結(jié)果進(jìn)行全連接分類(lèi)識(shí)別。如圖7 所示，將殘差模塊3 的輸出結(jié)果引入分支連接一全連接層，并將該全連接層與原全連接層進(jìn)行拼接，共同進(jìn)行分類(lèi)得到識(shí)別結(jié)果。

圖5 殘差模塊結(jié)構(gòu)示意圖Fig.5 Schematic diagram of residual module architecture

圖6 磁瓦表面缺陷區(qū)域存在較大尺度差Fig.6 Significant scale differences among tile surface defects

圖7 多尺度ResNet18網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Network structure of multiscale ResNet18

磁瓦表面質(zhì)量識(shí)別問(wèn)題可以看作為二分類(lèi)問(wèn)題，因此采用兩類(lèi)交叉熵函數(shù)作為深度卷積網(wǎng)絡(luò)的損失函數(shù)，該函數(shù)如式（2）所示：

其中：z為樣本真實(shí)標(biāo)簽，p為網(wǎng)絡(luò)預(yù)測(cè)標(biāo)簽。通過(guò)損失函數(shù)就可以采用梯度下降法來(lái)更新網(wǎng)絡(luò)參數(shù)，直至收斂或達(dá)到訓(xùn)練迭代次數(shù)為止。

3 采用類(lèi)內(nèi)mixup提高樣本泛化能力

在訓(xùn)練深度卷積網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)的規(guī)模受限于樣本的數(shù)量，而訓(xùn)練樣本的多樣性則直接關(guān)系到深度卷積網(wǎng)絡(luò)的識(shí)別能力。因此，數(shù)據(jù)增廣已成為提高樣本多樣性的常用手段。數(shù)據(jù)增廣方法一般可以分為兩類(lèi)：一類(lèi)是對(duì)原樣本施加亮度偏移、色彩偏移、角度偏移等簡(jiǎn)單運(yùn)算得到增廣后的樣本；另一類(lèi)則以原樣本為基礎(chǔ)生成新的虛擬樣本。這里，同時(shí)采用了兩種不同的增廣策略來(lái)擴(kuò)充樣本，首先通過(guò)隨機(jī)偏移樣本的亮度來(lái)完成第一類(lèi)數(shù)據(jù)擴(kuò)充，因?yàn)樵跇?gòu)建樣本集時(shí)沒(méi)有對(duì)磁瓦的姿態(tài)方向進(jìn)行限制，因此不需要再進(jìn)行旋轉(zhuǎn)操作對(duì)樣本進(jìn)行增廣。對(duì)于第二類(lèi)擴(kuò)充策略，本文在構(gòu)建虛擬樣本時(shí)以Zhang 等［13］提出的mixup 方法為基礎(chǔ)，并對(duì)其進(jìn)行了拓展。傳統(tǒng)的mixup 方法使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練得以在樣本對(duì)及其對(duì)應(yīng)標(biāo)簽的凸組合上進(jìn)行，對(duì)樣本泛化能力有著明顯的提升作用。mixup采用如下的操作來(lái)生成虛擬樣本：

其中（xi，yi）和（xj，yj）為從訓(xùn)練集中隨機(jī)選擇的兩個(gè)樣本，且λ～Beta(α，α)，α∈(0，∞)。從式（3）可以看出，新生成的虛擬樣本實(shí)際上是原樣本的線性疊加，通過(guò)該方式可以讓不同樣本間的分布更為平滑。

對(duì)于本文所研究的問(wèn)題來(lái)講，由于磁瓦的缺陷可能以細(xì)小、微弱的形式出現(xiàn)，因此如果采用類(lèi)間形式進(jìn)行mixup，容易使樣本混淆。一般來(lái)說(shuō)，一個(gè)有缺陷的樣本與無(wú)缺陷的樣本疊加，得到的結(jié)果依然為有缺陷的樣本，而式（3）并不能支撐該理論。考慮到該問(wèn)題，這里對(duì)疊加樣本的類(lèi)別進(jìn)行了限制：

在式（4）中，僅當(dāng)隨機(jī)選擇的樣本屬于同一類(lèi)別時(shí)才進(jìn)行疊加，在這里將其稱(chēng)為類(lèi)內(nèi)mixup。由于僅在類(lèi)內(nèi)進(jìn)行線性平滑，可以對(duì)缺陷類(lèi)型進(jìn)行進(jìn)一步的泛化，從而有助于提升網(wǎng)絡(luò)的推廣能力。

4 實(shí)驗(yàn)及分析

為了盡可能地貼近實(shí)用場(chǎng)合，更加客觀地評(píng)估算法在實(shí)用中的分類(lèi)性能，采用實(shí)際生產(chǎn)的磁瓦構(gòu)建缺陷樣本集。該樣本集包含了7 759 個(gè)有缺陷樣本（負(fù)樣本）、4 452 個(gè)無(wú)缺陷樣本（正樣本），其中訓(xùn)練集由6 692 個(gè)負(fù)樣本和3 984 個(gè)正樣本組成，其余樣本構(gòu)成測(cè)試集。在構(gòu)建樣本的時(shí)候，為了體現(xiàn)環(huán)境的復(fù)雜性，并沒(méi)有對(duì)磁瓦的位置和角度進(jìn)行嚴(yán)格限制，因此樣本集中的磁瓦以不同的姿態(tài)和不同的反光區(qū)域呈現(xiàn)。如圖8所示給出了部分的樣本示例。

圖8 磁瓦樣本圖像示例Fig.8 Schematic diagram of tile samples

所有實(shí)驗(yàn)均在顯卡型號(hào)為GTX1080TI、內(nèi)存為16 GB 的機(jī)器上進(jìn)行，所采用的深度學(xué)習(xí)工具為Pytorch。由于本文的重點(diǎn)在于評(píng)估所提出系統(tǒng)的性能，在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)采用了通用的超參數(shù)設(shè)置，訓(xùn)練所用的學(xué)習(xí)率設(shè)為0.001，訓(xùn)練迭代次數(shù)為100 個(gè)epoch，每個(gè)batch 大小為50，采用隨機(jī)梯度下降學(xué)習(xí)到網(wǎng)絡(luò)的最終參數(shù)。為了更加直觀地觀測(cè)所研究系統(tǒng)的性能，分別對(duì)采用VGG16、ResNet18、多尺度ResNet18（本文算法）的識(shí)別系統(tǒng)進(jìn)行了對(duì)比。如圖9 所示，給出了3 種方法的訓(xùn)練loss曲線。從曲線可以看出，3種網(wǎng)絡(luò)結(jié)構(gòu)均可在最終達(dá)到收斂，但ResNet18 結(jié)構(gòu)明顯比VGG16 具有更好的收斂性能。而多尺度ResNet18和傳統(tǒng)的ResNet18具有相似的loss曲線，而多尺度的結(jié)構(gòu)可以取得更小的代價(jià)。

在訓(xùn)練過(guò)程中，每訓(xùn)練完成一個(gè)epoch 保存一次網(wǎng)絡(luò)權(quán)重文件，在訓(xùn)練結(jié)束后，在所有權(quán)重文件中選取對(duì)測(cè)試集性能最優(yōu)的權(quán)重作為最終的網(wǎng)絡(luò)參數(shù)。表1 分別采用準(zhǔn)確率（accuracy）、精確率（precision）、召回率（recall）和F1 分?jǐn)?shù)4 個(gè)指標(biāo)［14-15］對(duì)不同模型的性能進(jìn)行對(duì)比，從中可以看出3種網(wǎng)絡(luò)結(jié)構(gòu)均取得了高于90%的正確識(shí)別率，充分說(shuō)明了深度卷積網(wǎng)絡(luò)在缺陷識(shí)別問(wèn)題上的有效性，而采用ResNet 結(jié)果明顯要優(yōu)于VGG 結(jié)構(gòu)，特別的，本文提出的多尺度ResNet18 取得了最好的識(shí)別結(jié)果。另外，多尺度ResNet18 在運(yùn)行時(shí)間上一幅圖像僅耗時(shí)1.31 ms，完全可以滿足實(shí)時(shí)的需要。

圖9 不同網(wǎng)絡(luò)結(jié)構(gòu)下的loss曲線Fig.9 Loss curves with different network architectures

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)下的識(shí)別性能對(duì)比Tab.1 Comparison of recognition performance under different network architectures

除不同的網(wǎng)絡(luò)結(jié)構(gòu)外，也對(duì)采用傳統(tǒng)mixup 和類(lèi)內(nèi)mixup的數(shù)據(jù)增廣方法進(jìn)行了對(duì)比。圖10 給出了以多尺度的ResNet18 為基礎(chǔ)，分別采用兩種不同數(shù)據(jù)增廣方法訓(xùn)練時(shí)的loss 曲線，訓(xùn)練時(shí)采用與前述相同的超參數(shù)，在進(jìn)行mixup 時(shí)將α的值設(shè)為通用的1.0，λ參數(shù)則可以由對(duì)應(yīng)的Beta 分布得出。如圖中所示，傳統(tǒng)的mixup 擴(kuò)充樣本后，在訓(xùn)練的初始階段訓(xùn)練損失快速下降，但過(guò)后loss 的值陷入震蕩，無(wú)法收斂。而類(lèi)內(nèi)mixup 由于將疊加的樣本限制在類(lèi)內(nèi)，生成了更加合理的虛擬樣本，因此網(wǎng)絡(luò)可以迅速趨于收斂。

圖10 不同mixup操作下的loss曲線Fig.10 Loss curves with different mixup operations

以多尺度的ResNet18 為基礎(chǔ)，加入mixup 操作進(jìn)行樣本擴(kuò)充后的網(wǎng)絡(luò)識(shí)別性能如表2 所示。與前面相同，依然使用所保存的100 個(gè)權(quán)重文件中在測(cè)試集上性能最優(yōu)的權(quán)重參數(shù)作為最終網(wǎng)絡(luò)進(jìn)行測(cè)試。從識(shí)別結(jié)果可以看出，采用原始的mixup操作后，不但沒(méi)有改進(jìn)識(shí)別性能，反而識(shí)別率有所下降。這是因?yàn)榕c傳統(tǒng)的分類(lèi)問(wèn)題不同，由于缺陷區(qū)域往往僅占有整個(gè)樣本的微小部分，因此在不同類(lèi)樣本間進(jìn)行疊加時(shí)會(huì)引起系統(tǒng)混淆。相對(duì)而言，本文提出的類(lèi)內(nèi)mixup 則將識(shí)別準(zhǔn)確率進(jìn)一步地提升至97.9%，取得了滿意的識(shí)別效果，表明所研究的系統(tǒng)對(duì)不同的缺陷類(lèi)型、不同的反光場(chǎng)景都具備了良好的魯棒性。

表2 不同mixup操作下的識(shí)別性能對(duì)比Tab.2 Comparison of recognition performance under different mixup operations

5 結(jié)語(yǔ)

利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)生產(chǎn)工件的質(zhì)量進(jìn)行檢測(cè)是工業(yè)生產(chǎn)中的重要需求之一。本文對(duì)鐵氧體磁瓦表面缺陷識(shí)別問(wèn)題展開(kāi)研究，將深度學(xué)習(xí)技術(shù)引入到磁瓦缺陷識(shí)別中，提出一種基于深度卷積網(wǎng)絡(luò)的磁瓦表面質(zhì)量識(shí)別系統(tǒng)。該系統(tǒng)首先從抓取的磁瓦圖像中獲得磁瓦目標(biāo)，并進(jìn)行旋轉(zhuǎn)歸一化處理，然后設(shè)計(jì)多尺度卷積網(wǎng)絡(luò)對(duì)磁瓦目標(biāo)圖像進(jìn)行分類(lèi)識(shí)別。為了提高系統(tǒng)的泛化能力，訓(xùn)練時(shí)提出一種新穎的類(lèi)內(nèi)mixup方法來(lái)生成虛擬樣本，從而完成對(duì)樣本的擴(kuò)充。同時(shí)構(gòu)建了較大規(guī)模的磁瓦缺陷數(shù)據(jù)集，在該數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)的結(jié)果表明，所研究的磁瓦缺陷識(shí)別系統(tǒng)可以達(dá)到接近97.9%的識(shí)別準(zhǔn)確率，為實(shí)際應(yīng)用提供了一種可行的途徑。本文僅從工廠實(shí)用的角度出發(fā)對(duì)磁瓦是否具有缺陷進(jìn)行了二類(lèi)分類(lèi)，并沒(méi)有考慮缺陷的類(lèi)別和位置，未來(lái)將對(duì)磁瓦缺陷類(lèi)型和位置進(jìn)行標(biāo)注，進(jìn)一步深入研究磁瓦缺陷檢測(cè)問(wèn)題。