基于RetinaNet的手機(jī)主板缺陷檢測(cè)研究*

馬美榮，李東喜

(太原理工大學(xué)大數(shù)據(jù)學(xué)院，山西 晉中 030606)

1 引言

隨著智能手機(jī)的快速普及，人們對(duì)手機(jī)的品質(zhì)要求越來(lái)越高。在手機(jī)功能的實(shí)現(xiàn)中，手機(jī)主板占據(jù)著核心地位。手機(jī)主板在生產(chǎn)過(guò)程中需要經(jīng)過(guò)拋光、噴砂、板測(cè)、裝配、功能測(cè)試、包裝等加工工序，有時(shí)會(huì)出現(xiàn)焊點(diǎn)移位、尺寸不合格的現(xiàn)象，而且主板表面還會(huì)產(chǎn)生塌陷、破損、撞件、空焊等缺陷。目前檢測(cè)手機(jī)主板的缺陷主要依靠人工來(lái)完成，準(zhǔn)確率低、穩(wěn)定性差，嚴(yán)重影響手機(jī)的裝配質(zhì)量。因此，必須要研究手機(jī)主板缺陷的多目標(biāo)檢測(cè)方法，以提高手機(jī)主板的質(zhì)量和自動(dòng)化檢測(cè)的效率。

傳統(tǒng)檢測(cè)方法常需要預(yù)處理和后處理步驟，以轉(zhuǎn)換輸入圖像，增加主板之間的對(duì)比度標(biāo)記[1]。然而，這些方法僅解決了如光照、曲線或顏色強(qiáng)度等引起的問(wèn)題[2,3]，并不適用于所有的目標(biāo)檢測(cè)。目前，為解決主板缺陷檢測(cè)中的問(wèn)題，研究人員已經(jīng)提出了多個(gè)深度學(xué)習(xí)方法。這些方法在基準(zhǔn)測(cè)試和實(shí)際應(yīng)用場(chǎng)景中表現(xiàn)出很高的性能。

Figure 1 RetinaNet structure圖1 RetinaNet的結(jié)構(gòu)

深度學(xué)習(xí)中的兩級(jí)檢測(cè)器，如更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN(Faster Regional Convolutional Neural Networks)[4]、單次多盒檢測(cè)器SSD(Single Shot multibox Detector)[5]，以及一級(jí)檢測(cè)器如YOLO(You Only Look Once)[6,7]和RetinaNet[8]，在檢測(cè)精度和速度方面都有較好的表現(xiàn)。與一級(jí)檢測(cè)器相比，兩級(jí)檢測(cè)器檢測(cè)速度較慢。兩級(jí)檢測(cè)器使用外部模塊生成候選對(duì)象位置，更多地考慮了難以檢測(cè)的樣本[8]。一級(jí)檢測(cè)器RetinaNet和YOLO-v3通過(guò)引入焦點(diǎn)損失進(jìn)一步提升了其檢測(cè)精度和速度。因此，可進(jìn)一步改進(jìn)深度學(xué)習(xí)中的目標(biāo)檢測(cè)器用于解決手機(jī)主板圖像中的缺陷檢測(cè)問(wèn)題。RetinaNet有2個(gè)主要的構(gòu)建塊：特征金字塔網(wǎng)絡(luò)(FPN)[9]和焦點(diǎn)損失。前者提取出多尺度特征，用于主板缺陷的分類和定位；后者用于解決類別不平衡問(wèn)題，以增加難以檢測(cè)的小樣本的權(quán)重。在手機(jī)主板圖像中，缺陷元件的部位對(duì)姿勢(shì)和配置敏感[3,10]，由于各種分辨率的影響，同一缺陷元件的形狀是多尺度的。因此，有必要考慮缺陷部位的方差。目前，有一些研究可以解決這個(gè)問(wèn)題[11 - 17]，除文獻(xiàn)[14]外，文獻(xiàn)[11-13]僅提供單一分辨率的手機(jī)玻璃屏數(shù)據(jù)集進(jìn)行缺陷檢測(cè)。

基于上述分析可知，RetinaNet適用于手機(jī)主板缺陷檢測(cè)。本文以實(shí)驗(yàn)方式研究了包含4種類別缺陷的圖像，即塌陷、破損、撞件、空焊。為了解決數(shù)據(jù)集稀疏性的問(wèn)題，對(duì)缺陷圖像進(jìn)行對(duì)比度變換、旋轉(zhuǎn)、平移、裁剪、翻轉(zhuǎn)與亮度變換等數(shù)據(jù)增強(qiáng)技術(shù)。將所有已標(biāo)記的缺陷圖像，按照7∶2∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。本文的主要貢獻(xiàn)如下所示：

(1)基于本文的數(shù)據(jù)集可以構(gòu)建大量多分辨率的缺陷元件的圖像，我們相信這個(gè)數(shù)據(jù)集會(huì)促進(jìn)計(jì)算機(jī)視覺技術(shù)在工業(yè)目標(biāo)檢測(cè)中的應(yīng)用。

(2)將最先進(jìn)的目標(biāo)檢測(cè)器，即RetinaNet，與MobileNetV2網(wǎng)絡(luò)融合，并應(yīng)用于檢測(cè)多類別的主板缺陷圖像，實(shí)現(xiàn)了超過(guò)96%的平均精度(mAP)，與其他5個(gè)模型相比排名第一。

2 基于RetinaNet的缺陷檢測(cè)方法

2.1 RetinaNet

RetinaNet的結(jié)構(gòu)分為3部分，即用于特征提取的骨干網(wǎng)絡(luò)和2個(gè)子網(wǎng)。其中一個(gè)子網(wǎng)用于分類，另一個(gè)子網(wǎng)用于邊界回歸[8]。為了應(yīng)對(duì)檢測(cè)對(duì)象存在不同尺度的問(wèn)題，RetinaNet使用FPN來(lái)表示多尺度對(duì)象。RetinaNet使用骨干網(wǎng)絡(luò)提取更高層的語(yǔ)義特征映射，然后利用FPN來(lái)提取具有各種尺度的相同維度的特征，最后將這些特征送到用于對(duì)象分類和定位的2個(gè)子網(wǎng)中，如圖1所示[8]。

骨干網(wǎng)絡(luò)可以是殘差網(wǎng)絡(luò)ResNet[18]、VGG(Visual Geometry Group)[19]或密集連接的卷積神經(jīng)網(wǎng)絡(luò)DenseNet[20]。FPN用來(lái)獲得多尺度特征。2個(gè)子網(wǎng)包括用于分類的子網(wǎng)1和用于邊界框回歸的子網(wǎng)2。2個(gè)邊界框3是由特征金字塔網(wǎng)絡(luò)(FPN)提取的金字塔特征。

2.1.1 特征金字塔網(wǎng)絡(luò)

選取特征金字塔網(wǎng)絡(luò)作為特征提取器，主要是考慮到低級(jí)別高分辨率和高水平低分辨率語(yǔ)義含義[8]。 FPN有2條路徑，分別為自下而上的路徑和自上而下的路徑。自下而上的路徑采用卷積網(wǎng)絡(luò)從骨干網(wǎng)絡(luò)中提取高分辨率的特征作為輸入。自上而下的路徑用于對(duì)更抽象、語(yǔ)義更強(qiáng)的高層特征圖進(jìn)行上采樣，再把此特征橫向連接至前一特征，以此加強(qiáng)高層特征。自下而上的路徑通常包括卷積神經(jīng)網(wǎng)絡(luò)的一部分，如ResNet[18]、VGG16[19]和DenseNet[20]。在自上而下的路徑中，首先采用1×1卷積將特征圖的數(shù)量通道減少到256，然后使用橫向連接來(lái)組合相應(yīng)的特征圖，以幫助檢測(cè)器更好地預(yù)測(cè)位置。

Figure 2 ResNet50 structure圖2 ResNet50結(jié)構(gòu)

Figure 3 Downsampling block and residual block at different stage stages圖3 不同stage階段的下采樣塊和殘差塊

ResNet50包括2個(gè)基本的構(gòu)建塊：卷積構(gòu)建塊(Conv Block)和恒等構(gòu)建塊(IDentity Block)，分別如圖2中的Conv Block和ID Block所示。ResNet50包含了5個(gè)不同的卷積階段，如圖2中的stage1～stage5，每個(gè)階段都包括1個(gè)下采樣塊和2個(gè)殘差塊，如圖3所示[21]。其中，區(qū)域1的下采樣塊會(huì)設(shè)置最初的卷積步長(zhǎng)為1，通過(guò)該方式對(duì)特征圖進(jìn)行下采樣，使得圖像尺寸得到縮減。而在區(qū)域2及之后對(duì)特征圖進(jìn)行相加處理，可避免深層網(wǎng)絡(luò)的梯度消失和退化問(wèn)題。每個(gè)卷積階段中卷積構(gòu)建塊將圖像特征從低語(yǔ)義層提取到高語(yǔ)義層。

FPN如圖4所示[22]。顯而易見有2條主要的路徑，即自下而上的路徑和自上而下的路徑，如圖4區(qū)域1和區(qū)域2所示。 跳過(guò)conv1連接使用1×1卷積濾波器來(lái)減小深度convi(i= 2,3,4,5)到256。在自上而下的路徑中，除了特征映射M2，M3，M4和M5之外，首先，把對(duì)應(yīng)的convi(i= 2,3,4)通道數(shù)減少到256；然后通過(guò)上采樣組合相應(yīng)層到上一層；最后，使用3×3卷積濾波器來(lái)獲得用于對(duì)象分類和邊界框回歸的特征圖層Pi(i = 2,3,4,5)。

Figure 4 FPN structure圖4 FPN的體系結(jié)構(gòu)

圖4中虛線框區(qū)域1中為自下而上的路徑，虛線框區(qū)域2中為自上而下的路徑。M2～M5分別表示從conv2～conv5獲得的特征圖，而P2～P5表示用于預(yù)測(cè)的特征圖。

2.1.2 焦點(diǎn)損失

RetinaNet使用FPN來(lái)獲取多尺度特征，用于對(duì)象分類和邊界框回歸。在邊界框回歸中，借助候選邊界框與真值框的比較來(lái)獲得正面和負(fù)面子類。在訓(xùn)練期間，類不平衡和難易實(shí)例的檢測(cè)對(duì)檢測(cè)的準(zhǔn)確性會(huì)產(chǎn)生一定的影響[8]。為解決這個(gè)問(wèn)題，文獻(xiàn)[8]提出了焦點(diǎn)損失，它更加強(qiáng)調(diào)難檢測(cè)對(duì)象，并側(cè)重于在訓(xùn)練期間對(duì)損失貢獻(xiàn)大的難檢測(cè)樣本。焦點(diǎn)損失已經(jīng)應(yīng)用于改進(jìn)檢測(cè)算法中，如式(1)所示。

L(pt)=-αt(1-pt)γlog(pt)

(1)

(2)

其中,αt和γ是2個(gè)超參數(shù)，用于調(diào)節(jié)難易檢測(cè)樣本權(quán)重；pt為二分類情況下對(duì)應(yīng)的模型估計(jì)概率；p是模型估計(jì)的概率，y=1為真實(shí)標(biāo)簽。

Figure 6 Workflow of defect detection圖6 缺陷檢測(cè)的工作流程

2.2 MobileNetV2網(wǎng)絡(luò)

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，其模型訓(xùn)練的時(shí)間也相應(yīng)加長(zhǎng)，這是模型訓(xùn)練的最大缺點(diǎn)。本文利用MobileNetV2的思想對(duì)ResNet50進(jìn)行加速和壓縮。MobileNetV2將1個(gè)標(biāo)準(zhǔn)的卷積操作分解為1個(gè)深度卷積操作和1個(gè)點(diǎn)卷積操作。通過(guò)卷積核的巧妙分解來(lái)加速運(yùn)算，顯著減少了計(jì)算量和網(wǎng)絡(luò)參數(shù)。本文將ResNet50中標(biāo)準(zhǔn)3×3的卷積層替換為區(qū)域1中的3×3的卷積層和1×1的卷積層，再經(jīng)過(guò)BN和ReLU激活函數(shù)來(lái)更充分地挖掘缺陷的相關(guān)特征，擬合訓(xùn)練數(shù)據(jù)。如圖5所示。

Figure 5 MobileNetV2 structure圖5 MobileNetV2結(jié)構(gòu)

圖5中虛線框區(qū)域1表示ResNet50中替換后的標(biāo)準(zhǔn)卷積操作，虛線框區(qū)域2表示MobileNetV2的結(jié)構(gòu)。

2.3 缺陷檢測(cè)流程

缺陷檢測(cè)工作流程如圖6所示[8]，包括數(shù)據(jù)處理、模型訓(xùn)練和實(shí)驗(yàn)測(cè)試(Test)3個(gè)過(guò)程。其中，Training模塊表示模型訓(xùn)練過(guò)程；Validation表示驗(yàn)證過(guò)程，從采集的主板圖像中選擇可能包含缺陷的感興趣區(qū)域(ROI)建立數(shù)據(jù)集。這些ROI被切割成256×256像素的缺陷圖像，使用LabeImg 標(biāo)記缺陷元件在主板中的位置，最后得到所需數(shù)據(jù)集。所有缺陷圖像已標(biāo)記并按照7∶2∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集完成后，測(cè)試數(shù)據(jù)集用于評(píng)估模型的性能。

3 實(shí)驗(yàn)和結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

破損、撞件、空焊和塌陷是主板中常見的缺陷類別，這4種缺陷的特征如表1所示。

Table 1 Defect characteristics表1 缺陷特征

我們?cè)谑謾C(jī)生產(chǎn)車間搜集的數(shù)據(jù)集下使用不同的參數(shù)設(shè)置，對(duì)檢測(cè)模型進(jìn)行了訓(xùn)練和測(cè)試。對(duì)于實(shí)驗(yàn)，我們從該車間數(shù)據(jù)集中選擇了3 597幅圖像，篩選出含有4類缺陷的圖像。為了解決深度學(xué)習(xí)中數(shù)據(jù)稀疏的問(wèn)題，選取1 000幅主板缺陷圖像用于構(gòu)建訓(xùn)練集，部分缺陷圖像的采集參數(shù)如表2所示,其中拍攝角度順時(shí)針旋轉(zhuǎn);拍攝距離是指相機(jī)到主板的拍攝距離；Width是指圖像缺陷區(qū)域的寬度；Height是指圖像缺陷區(qū)域的高度。

對(duì)這些數(shù)據(jù)在拍攝角度、拍攝距離、對(duì)比度變換、旋轉(zhuǎn)、平移、裁剪、翻轉(zhuǎn)和亮度變換等方面做出多種變換，以形成更多的訓(xùn)練數(shù)據(jù)。 每個(gè)數(shù)據(jù)集的示例圖像如圖7和表3所示。

Table 2 Collection parameters of some detective images表2 部分缺陷圖像的采集參數(shù)

Figure 7 Defective component圖7 缺陷元件

Table 3 Details of defective components in Figure 7表3 圖7中缺陷元件的數(shù)據(jù)信息

表3中，damage(xmin、ymin、xmax、ymax)和size(width、height、depth)表示圖7中0000001.jpg圖像中缺陷元件的位置和該圖像的形狀。

本文采集了3 597幅圖像作為訓(xùn)練集，每一幅圖像分別含有若干不同大小的破損、空焊、撞件和塌陷。每幅缺陷圖像的大小在45×45～250×250，具體組成如表4所示。

Table 4 Composition of training set表4 訓(xùn)練集構(gòu)成

首先，將3 597幅缺陷圖像都轉(zhuǎn)換為灰度圖像。 之后，從候選子圖像中裁剪像素尺寸大于1000×1000的圖像。 然后通過(guò)滑動(dòng)窗口從這些候選子圖像中獲得尺寸為256×256像素的元件圖像。最后，用LabelImg軟件對(duì)這些缺陷元件進(jìn)行標(biāo)記[23]。 每個(gè)元件對(duì)應(yīng)于手機(jī)主板位置注釋的可擴(kuò)展標(biāo)記語(yǔ)言(XML)文件。該數(shù)據(jù)集共有4類待檢測(cè)元件。所構(gòu)造的數(shù)據(jù)集中的缺陷元件的樣本，以及標(biāo)記的缺陷元件的示例，如圖8所示。

Figure 8 Several types of defective components in the constructed training set圖8 構(gòu)建的訓(xùn)練集中的幾類缺陷元件

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)平臺(tái)配備8 GB內(nèi)存NVIDIA GTX 1070，其能夠應(yīng)用于深度學(xué)習(xí)庫(kù)Keras[24]Tensorflow[22]。為了更好地利用RetinaNet，對(duì)骨干網(wǎng)絡(luò)和焦點(diǎn)損失進(jìn)行不同設(shè)置。特別是，從Keras網(wǎng)站下載該模型以初始化骨干網(wǎng)絡(luò)，包括用過(guò)的VGG和ResNet在內(nèi)。由于式(1)中αt和γ的設(shè)置會(huì)影響實(shí)驗(yàn)結(jié)果，本文將其設(shè)置為不同值，即{(αt= 0.25，γ= 2)，(αt= 0.5，γ= 2)，(αt= 0.25，γ= 1)}，以選擇更好的模型。基于文獻(xiàn)[8],根據(jù)不同高寬比的邊界框，訓(xùn)練中將錨點(diǎn)比率設(shè)置為{1∶2,1∶1,2∶1}。特別地，Adam(Adaptive momentum)作為一種自適應(yīng)動(dòng)量的隨機(jī)優(yōu)化方法，經(jīng)常用作深度學(xué)習(xí)的優(yōu)化，本文將Adam用于模型訓(xùn)練優(yōu)化[25],學(xué)習(xí)率為0.000 01，這是一個(gè)基于文獻(xiàn)[3]的經(jīng)驗(yàn)值。其他參數(shù)的設(shè)置與文獻(xiàn)[3]中的相同。

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 RetinaNet各種設(shè)置的比較

如上所述，RetinaNet的不同設(shè)置可能會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生不同的影響。表5是設(shè)置了6種不同骨干網(wǎng)絡(luò)的RetinaNet的檢測(cè)結(jié)果。這6種模型都是基于同一數(shù)據(jù)集進(jìn)行訓(xùn)練的。這6個(gè)模型幾乎具有相同的mAP(均超過(guò)94%)。 由于RetinaNet_6比其他模型的mAP高，它將被選中進(jìn)行進(jìn)一步評(píng)估。 與RetinaNet_4相比，RetinaNet_5和RetinaNet_6具有不同的骨干網(wǎng)絡(luò)，這可能對(duì)它的mAP有所貢獻(xiàn)。 與RetinaNet_4相比，RetinaNet_5通過(guò)設(shè)置不同焦點(diǎn)損失中的超參數(shù)，得到了不同的mAP。

Table 5 Six configurations of RetinaNet and their corresponding mean accuracy in defect detection (mAP)表5 RetinaNet的6種配置及其對(duì)應(yīng)的缺陷檢測(cè)的平均值精度

3.3.2 與其他模型的比較

為了更好地評(píng)估RetinaNet的性能，本文使用Faster R-CNN、YOLO、SSD和R-FCN 4種模型進(jìn)行對(duì)比實(shí)驗(yàn)。Faster R-CNN是兩級(jí)物體檢測(cè)器,它使用區(qū)域候選網(wǎng)絡(luò)RPN[4]生成候選邊界框。與Faster R-CNN不同，RetinaNet利用FPN，此外焦點(diǎn)損失有助于進(jìn)一步解決類不平衡問(wèn)題。在訓(xùn)練期間，F(xiàn)aster R-CNN的學(xué)習(xí)策略與文獻(xiàn)[4]中的相同。YOLO是單級(jí)物體檢測(cè)器，直接應(yīng)用算法對(duì)輸入圖像進(jìn)行識(shí)別和定位。與YOLO不同，RetinaNet利用了損失函數(shù)，檢測(cè)效果明顯提升。SSD[18]是單次多盒的物體檢測(cè)器，首先，作為基礎(chǔ)網(wǎng)絡(luò)提取多尺度特征；其次采用多尺度特征對(duì)目標(biāo)進(jìn)行分類并獲取包含目標(biāo)的邊界框。RetinaNet融合了像SSD這樣的子采樣層和重構(gòu)層，以提高檢測(cè)準(zhǔn)確性。它的學(xué)習(xí)率為0.000 001，批次大小為18，動(dòng)量因子momentum設(shè)置為0.99。訓(xùn)練SSD的其他參數(shù)與文獻(xiàn)[5,13]中的相同。R-FCN和RetinaNet之間唯一的區(qū)別是損失函數(shù)。特別是，RetinaNet使用焦點(diǎn)損失作為損失函數(shù)。焦點(diǎn)損失解決了類別不平衡問(wèn)題并增大了難檢測(cè)的樣本的權(quán)重，以提高檢測(cè)精度[8]。

為了更好地評(píng)估RetinaNet的性能，本文使用Faster R-CNN、YOLO、SSD和R-FCN 4種模型進(jìn)行對(duì)比實(shí)驗(yàn)。Faster R-FCN、YOLO和SSD主要用于評(píng)估缺陷元件的多尺度特征，以進(jìn)行分類和邊界框回歸。 6個(gè)模型在整個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如表6所示。由表6可看出，RetinaNet在mAP方面實(shí)現(xiàn)最佳。改進(jìn)的RetinaNet(MobileNetV2)在檢測(cè)精度和速度方面都優(yōu)于Faster R-CNN。RetinaNet(MobileNetV2)檢測(cè)速度低于YOLO和SSD，但比RetinaNet(ResNet50)模型的mAP高4.98%，單幅圖像檢測(cè)快了0.003 s。綜上所述，RetinaNet(MobileNetV2)是一種有效的主板缺陷檢測(cè)模型。

通過(guò)比較R-FCN、Faster-RCNN和SSD，很容易得出檢測(cè)語(yǔ)義多尺度特征的mAP大大改善的結(jié)論。因?yàn)榕cSSD和Faster RCNN相比，R-FCN提取了缺陷特征以對(duì)缺陷元件進(jìn)行分類和邊界框回歸。與R-FCN相比，RetinaNet實(shí)現(xiàn)了更高的mAP。由于R-FCN和RetinaNet之間的區(qū)別是焦點(diǎn)損失，可以推斷，局部損失對(duì)mAP的貢獻(xiàn)約為1.35%。這可能是焦點(diǎn)損失解決類別不平衡和難易檢測(cè)樣本對(duì)損失貢獻(xiàn)的關(guān)鍵。

3.3.3 2種RetinaNet模型的比較

為驗(yàn)證加入MobileNetV2的RetinaNet目標(biāo)檢測(cè)模型對(duì)訓(xùn)練的加速和壓縮有一定程度的提高，本文在自制的缺陷數(shù)據(jù)集上對(duì)2種RetinaNet模型RetinaNet_6(RetinaNet(ResNet101))和RetinaNet_7(RetinaNet(MobileNetV2))進(jìn)行了訓(xùn)練和測(cè)試， 結(jié)果如表7所示。表7中，AP(L)、AP(M)、AP(S)分別表示大、中、小目標(biāo)的檢測(cè)精度，AP(50)指IoU設(shè)置為0.5時(shí)目標(biāo)的檢測(cè)精度，AP指總的檢測(cè)精度。

Table 6 mAP comparisions among six defect detection models表6 6種缺陷檢測(cè)模型的mAP比較

Table 7 Comparison of detection accuracy and model parameters between two different RetinaNet models表7 2種不同RetinaNet模型參數(shù)和檢測(cè)精度對(duì)比

由表7可知，對(duì)比RetinaNet(ResNet101)，改進(jìn)后的RetinaNet(MobileNetV2)在模型檢測(cè)率上有所提高。在IoU設(shè)置為0.5時(shí)，RetinaNet(MobileNetV2)提高了0.9%，平均檢測(cè)率提高2.6%。以MobileNetV2作為特征提取網(wǎng)絡(luò)的RetinaNet多目標(biāo)檢測(cè)模型大大減少了模型訓(xùn)練的參數(shù)，模型訓(xùn)練時(shí)間降低了22.7%，表現(xiàn)出更大的優(yōu)勢(shì)。因此，本文提出以MobileNetV2作為特征提取網(wǎng)絡(luò)的RetinaNet檢測(cè)模型能在保證檢測(cè)精度有一定提高的情況下實(shí)現(xiàn)模型的加速和壓縮。

圖9為RetinaNet(MobileNetV2)的損失函數(shù)曲線圖。從圖9中可以看出，3條損失曲線隨著迭代次數(shù)的增加均呈下降趨勢(shì)，最終，在迭代次數(shù)為70萬(wàn)次時(shí)，得到最好的結(jié)果。圖9中顯示，邊框回歸損失值在總損失值中所占比重較大，因此定位誤差的消除仍是當(dāng)前目標(biāo)檢測(cè)中需要繼續(xù)研究的方向。

Figure 9 RetinaNet(MobileNet) loss graph圖9 RetinaNet(MobileNet) loss曲線圖

(1)RetinaNet(ResNet101)的缺陷檢測(cè)結(jié)果。

Figure 10 Test results of RetinaNet (ResNet101)圖10 RetinaNet(ResNet101)的檢測(cè)結(jié)果

圖10是利用RetinaNet(ResNet101)進(jìn)行缺陷檢測(cè)的部分結(jié)果。從圖10中能夠看到，訓(xùn)練后的模型能對(duì)待測(cè)圖像進(jìn)行定位和識(shí)別，但檢測(cè)準(zhǔn)確率不高且缺陷區(qū)域并未能全部檢測(cè)到。例如，圖10a破損檢測(cè)中只檢測(cè)到局部的破損區(qū)域。圖10b空焊檢測(cè)中，左下角的邊界框?qū)儆谡`檢區(qū)域，實(shí)際上該區(qū)域不存在缺陷。圖10c撞件和塌陷檢測(cè)中，漏檢了橢圓形區(qū)域的塌陷，同時(shí)誤檢了damage 0.742缺陷邊界框所在區(qū)域的撞件。

缺陷檢測(cè)的關(guān)鍵是要精準(zhǔn)定位出目標(biāo)的邊界回歸框，因此可將IoU作為評(píng)價(jià)目標(biāo)邊界回歸框定位是否精準(zhǔn)的一個(gè)指標(biāo)。IoU是2個(gè)矩形框產(chǎn)生的重疊區(qū)域與這2個(gè)矩形框并集的比值。矩形框A、B重疊度的度量值IoU=(A∩B)/(A∪B)。記錄圖10中檢測(cè)率較高的缺陷類別的各個(gè)邊界回歸框的坐標(biāo)，計(jì)算IoU值,結(jié)果如表8所示。

Table 8 IoU values corresponding to various types of defects in Figure 10表8 圖10中各類缺陷對(duì)應(yīng)的IoU值

表8中，打標(biāo)坐標(biāo)為手動(dòng)標(biāo)注的缺陷邊框坐標(biāo)，檢測(cè)坐標(biāo)為RetinaNet_6定位出的邊界回歸框坐標(biāo)。IoU值越大，檢測(cè)算法定位出的邊界框與手動(dòng)標(biāo)注的缺陷邊框越接近，定位準(zhǔn)確度越高。對(duì)應(yīng)誤檢區(qū)域，選取邊界框包圍的缺陷區(qū)域的最大面積的坐標(biāo)值，沒有檢測(cè)到的缺陷區(qū)域坐標(biāo)取0。由圖10和表8可知，RetinaNet(ResNet101)訓(xùn)練出的模型定位精度差，只能識(shí)別部分缺陷。

113幅待測(cè)圖像的各類缺陷的個(gè)數(shù)和相應(yīng)的檢測(cè)率統(tǒng)計(jì)結(jié)果如圖11所示。

Figure 11 Statistics of defect detection results using RetinaNet_6圖11 RetinaNet_6缺陷檢測(cè)結(jié)果統(tǒng)計(jì)

從圖11可以看出，該訓(xùn)練好的模型可以檢測(cè)出部分缺陷，但對(duì)撞件和空焊的檢測(cè)結(jié)果較差，誤檢率和漏檢率都很高，整體檢測(cè)率不能達(dá)到高于95%的要求。待測(cè)圖像中缺陷部位的大小普遍在45×45～250×250內(nèi)，該檢測(cè)區(qū)域小，RetinaNet(ResNet101)的識(shí)別準(zhǔn)確率和定位精度偏低。本文對(duì)RetinaNet(ResNet101)的結(jié)構(gòu)做了改進(jìn)，用MobileNetV2代替ResNet101作為骨干網(wǎng)絡(luò)，使訓(xùn)練出來(lái)的模型能夠進(jìn)一步提升對(duì)較小的缺陷部位的識(shí)別準(zhǔn)確率和定位精度，以滿足實(shí)際要求。

(2)RetinaNet(MobileNetV2)的缺陷檢測(cè)結(jié)果。

圖12為改進(jìn)后的RetinaNet對(duì)待測(cè)圖像的檢測(cè)結(jié)果。

Figure 12 Test results of RetinaNet (MobileNetV2)圖12 RetinaNet(MobileNetV2)的檢測(cè)結(jié)果

從圖12中可以看到，改進(jìn)后的網(wǎng)絡(luò)模型對(duì)待測(cè)圖像能正確檢測(cè)出4類缺陷。記錄圖12中檢測(cè)率較高的缺陷類別的各個(gè)邊界回歸框的坐標(biāo)，計(jì)算IoU值,結(jié)果如表9所示。

Table 9 IoU values corresponding to various types of defects in Figure 12表9 圖12中各類缺陷對(duì)應(yīng)的IoU值

從表9中可以看出，IoU值提高很多。改進(jìn)后的網(wǎng)絡(luò)模型對(duì)4種缺陷都能進(jìn)行準(zhǔn)確的識(shí)別和精準(zhǔn)定位，同時(shí)定位精度也大大提高。利用改進(jìn)后的網(wǎng)絡(luò)模型對(duì)113幅待測(cè)圖像進(jìn)行檢測(cè)，統(tǒng)計(jì)各類缺陷的個(gè)數(shù)和相應(yīng)準(zhǔn)確率，結(jié)果如圖13所示。

Figure 13 Statistics of defect detection results using RetinaNet_7圖13 RetinaNet_7缺陷檢測(cè)結(jié)果統(tǒng)計(jì)

由圖13可知，改進(jìn)后的網(wǎng)絡(luò)模型誤檢率和漏檢率大大降低，大幅提升了對(duì)破損、空焊、撞件的識(shí)別準(zhǔn)確率，缺陷檢測(cè)的準(zhǔn)確率達(dá)到95%以上,且不同類別的缺陷都能進(jìn)行精準(zhǔn)定位，提高了算法的泛化能力。

4 討論

如前所示，RetinaNet_7在多類別缺陷圖像檢測(cè)中實(shí)現(xiàn)了最佳mAP(超過(guò)95%),這得益于特征金字塔網(wǎng)絡(luò)、MobileNetV2和焦點(diǎn)損失的共同作用。但是，還有許多因素會(huì)影響缺陷檢測(cè)的性能，例如圖像分辨率、拍攝角度、光照、形變、缺陷元件大小和破損位置，本文只探討了RetinaNet的結(jié)構(gòu)改進(jìn)和參數(shù)設(shè)置。其他有影響檢測(cè)目標(biāo)的因素，也會(huì)影響缺陷部位的檢測(cè)結(jié)果。另外，我們發(fā)現(xiàn)預(yù)處理也會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生一定的影響，如主板圖像被轉(zhuǎn)換為8字節(jié)的灰度圖像，這可能會(huì)降低缺陷部位的檢測(cè)性能。

5 結(jié)束語(yǔ)

本文采用基于RetinaNet的目標(biāo)檢測(cè)器來(lái)解決主板缺陷檢測(cè)中的多類別缺陷元件的檢測(cè)問(wèn)題。 RetinaNet使用特征金字塔網(wǎng)絡(luò)(FPN)提取缺陷元件的多尺度特征分類和位置，然后引入MobileNetV2以壓縮和加速RetinaNet模型,再使用焦點(diǎn)損失進(jìn)一步解決類不平衡和訓(xùn)練期間難以檢測(cè)樣本對(duì)損失貢獻(xiàn)程度不同的問(wèn)題。實(shí)驗(yàn)結(jié)果表明：(1)即使在多類別缺陷圖像中，RetinaNet也可以獲得mAP>95%的檢測(cè)精度；(2)與其他目標(biāo)檢測(cè)器相比，RetinaNet在復(fù)雜背景下具有最佳表現(xiàn)。

目前仍在探索更好的獲取缺陷部位的方法，并根據(jù)新數(shù)據(jù)集做進(jìn)一步評(píng)估。下一步我們將繼續(xù)分析其他因素對(duì)缺陷元件檢測(cè)性能的影響，未來(lái)的工作將集中在主板邊緣元件密集部位微小缺陷的檢測(cè)。