一種改進(jìn)的Faster-RCNN電路板字符檢測(cè)方法

吉訓(xùn)生，李建明

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214122)

1 引 言

目前，人工檢測(cè)與記錄電路板上的字符效率較低，通過目標(biāo)檢測(cè)技術(shù)可以極大地提高檢測(cè)效率，進(jìn)而可以實(shí)現(xiàn)檢測(cè)流程的自動(dòng)化.

字符檢測(cè)是目標(biāo)檢測(cè)［1］的一個(gè)重要應(yīng)用領(lǐng)域.近年來，字符檢測(cè)常用方法包括:傳統(tǒng)圖像處理結(jié)合淺層機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)［2］.

傳統(tǒng)圖像處理結(jié)合淺層機(jī)器學(xué)習(xí)的過程中，分類訓(xùn)練與提取目標(biāo)所需特征均為人工設(shè)計(jì)，依賴于大量的先驗(yàn)知識(shí)，且提取出的特征表現(xiàn)力弱，對(duì)于具有復(fù)雜特征的電路板圖像字符檢測(cè)效果較差.

基于深度學(xué)習(xí)的方法已成為目標(biāo)檢測(cè)的研究熱點(diǎn)，應(yīng)用在目標(biāo)檢測(cè)領(lǐng)域里的深度學(xué)習(xí)方法以卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)［3］算法為支撐.相比傳統(tǒng)算法，CNN 在對(duì)圖像的特征學(xué)習(xí)以及提取具有判別力特征中的表現(xiàn)優(yōu)異，具有更強(qiáng)的泛化能力和魯棒性.由CNN 發(fā)展而來的目標(biāo)檢測(cè)算法包括基于候選區(qū)域的方法和基于回歸的方法.基于候選區(qū)域的方法具有較高的準(zhǔn)確率，但檢測(cè)速度一般，其代表是Shaoqing Ren 等提出的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Region Convolutional Neural Network，RCNN)［4］及其優(yōu)化算法 Fast-RCNN［5］和 Faster-RCNN［6］.Faster-RCNN 由于實(shí)現(xiàn)了端對(duì)端的訓(xùn)練且檢測(cè)精度高，被加以改進(jìn)后運(yùn)用到各種場(chǎng)景，包括車輛檢測(cè)、小交通標(biāo)志區(qū)域檢測(cè)工業(yè)場(chǎng)景下中的自然場(chǎng)景文本檢測(cè)等［7-10］，效果比傳統(tǒng)檢測(cè)方法更好.基于回歸的方法無需生成候選區(qū)域，檢測(cè)速度快，但精度較低，常用的有YOLO(You Only Look Once)［11］算法和 SSD(Single Shot MultiBox Detector)［12］算法.

由于較差質(zhì)量電路板圖像中的字符難以識(shí)別，同時(shí)鑒于傳統(tǒng)圖像處理和基于深度學(xué)習(xí)方法的適應(yīng)性、準(zhǔn)確性等問題，本文提出一種改進(jìn)的Faster-RCNN 電路板字符檢測(cè)方法.為降低漏檢率，在區(qū)域提議網(wǎng)絡(luò)RPN(Region Proposal Network)中針對(duì)數(shù)據(jù)集中字符目標(biāo)的長寬比特點(diǎn)，優(yōu)化錨框的選取.在感興趣區(qū)域池化層(RoI pooling)上進(jìn)行改進(jìn)，融合多分辨率特征，提取更多的候選區(qū)域卷積特征，避免目標(biāo)相互靠近導(dǎo)致漏檢和誤檢.在模型評(píng)估階段，本文將從漏檢率、準(zhǔn)確率和整張圖片識(shí)別率3 個(gè)指標(biāo)評(píng)估算法性能.

2 Faster-RCNN 檢測(cè)方法

Faster-RCNN 的模型框架如圖1 所示.

圖1 Faster-RCNN 模型Fig.1 Faster-RCNN model

對(duì)一張輸入圖像，首先通過特征提取網(wǎng)絡(luò)進(jìn)行特征提取得到特征圖，然后檢測(cè)框的生成采用基于區(qū)域提議策略的RPN 網(wǎng)絡(luò)替代耗時(shí)的滑動(dòng)窗口加圖像金字塔［13］與選擇性搜索策略［14］.在RPN 網(wǎng)絡(luò)中，將特征提取層的最后一層特征圖的每個(gè)點(diǎn)前向映射得到k 個(gè)錨框，根據(jù)IoU 分配正負(fù)樣本，通常 IoU＞0.7 為正樣本，IoU＜0.3 為負(fù)樣本，再通過 softmax激活函數(shù)判斷錨框是前景還是背景，并回歸得到正樣本與真實(shí)框的偏移量與縮放量，接著在ROI Pooling 中，對(duì)不同尺寸的正樣本目標(biāo)候選區(qū)域所對(duì)應(yīng)的特征圖區(qū)域進(jìn)行分塊，池化成大小相同的特征圖，生成固定維度的特征向量，然后利用softmax 函數(shù)判斷對(duì)應(yīng)候選區(qū)域的目標(biāo)類別，利用Smooth L1函數(shù)優(yōu)化候選框的位置以標(biāo)記出圖像中的字符.IoU 的計(jì)算如式(1)所示:

式中 GT 表示真實(shí)框，Anchor 表示錨框.Softmax 函數(shù)定義如式(2)所示:

Smooth L1 函數(shù)定義如式(3)所示.

兩階段的Faster-RCNN 根據(jù)RPN 的初調(diào)和RoI Pooling的全連接層的細(xì)調(diào)使得字符檢測(cè)精度較高，但是Faster-RCNN 僅采用特征提取網(wǎng)絡(luò)的最后一層進(jìn)行RPN 中產(chǎn)生的提議框的特征選取，雖有效使用深層語義特征，但忽略了電路板字符的淺層位置信息.電路板字符的檢測(cè)不僅需要字符的精確，無遺漏，更重要的是整張圖片的全部字符識(shí)別準(zhǔn)確，為使字符檢測(cè)效果更好，對(duì)其進(jìn)行改進(jìn).

3 Faster-RCNN 字符檢測(cè)的改進(jìn)

Faster-RCNN 電路板字符檢測(cè)的核心過程就是通過區(qū)域提議網(wǎng)絡(luò)利用錨框擬合真實(shí)框，定位包含字符概率更高的若干區(qū)域，然后提取這些區(qū)域的特征從而檢測(cè)字符.因此，錨框以及特征選取至關(guān)重要.基于此，本文對(duì)區(qū)域提議網(wǎng)絡(luò)以及感興趣區(qū)域池化層進(jìn)行改進(jìn).對(duì)特征圖的提取，VGG-16［15］包含若干卷積層和池化層堆疊，形成較深的網(wǎng)絡(luò)結(jié)構(gòu)，低層的局部特征由于網(wǎng)絡(luò)層數(shù)的加深聚合成高級(jí)特征，更具有表現(xiàn)力，在實(shí)驗(yàn)部分，本文將 VGG-16、ResNet-50 和 ResNet-101［16］這 3種特征提取網(wǎng)絡(luò)進(jìn)行對(duì)比.雖然VGG-16 網(wǎng)絡(luò)不如殘差網(wǎng)絡(luò)ResNet50 與 ResNet-101 網(wǎng)絡(luò)深，而且 VGG-16 的參數(shù)更多，但是針對(duì)該場(chǎng)景下的字符識(shí)別，VGG-16 具有更好的效果，因而仍采用VGG16 特征提取網(wǎng)絡(luò).

3.1 區(qū)域提議網(wǎng)絡(luò)優(yōu)化

在Faster-RCNN 算法中，RPN 連接在 VGG16 的卷積層conv_5 后.特征提取網(wǎng)絡(luò)總共有四個(gè)最大值池化層，由于卷積層操作不影響特征尺度，最大值池化層使尺度減半，因此在最后一層特征每個(gè)點(diǎn)對(duì)應(yīng)原圖像的16×16 的區(qū)域.Faster-RCNN 根據(jù)Pascal VOC、MS COCO 數(shù)據(jù)集的目標(biāo)大小設(shè)置了 9 種錨框，分別對(duì)應(yīng) 3 種尺度(8、16、32)和 3 種長寬比(1∶1、1∶2、2∶1)，但針對(duì)電路板圖像數(shù)據(jù)集，F(xiàn)aster-RCNN 設(shè)置的3 種尺度和3 種長寬比顯得并不合理.為了加快收斂速度，本文從錨框尺度與長寬比的選擇出發(fā)，根據(jù)電路板圖像中字符的長寬比特點(diǎn)，在原來的長寬比不變的情況下，將錨框的尺度修改為(4、8、16)，則對(duì)應(yīng)原圖的面積是(642、1282、2562).

3.2 多分辨率特征融合

在Faster-RCNN 算法的感興趣區(qū)域池化層中，將RPN 生成的提議框從輸入圖像的坐標(biāo)映射到conv_5，然后將提取到的對(duì)應(yīng)區(qū)域水平方向和豎直方向各分成7 等份，對(duì)每份進(jìn)行最大值池化，得到7×7×512 固定大小的結(jié)果.conv_5 卷積層雖具有高級(jí)語義信息，但特征圖的分辨率低，conv_3 卷積層分辨率高且具有細(xì)節(jié)位置信息，若只在conv_5 層特征圖上提取提議框的特征，必然會(huì)浪費(fèi)conv_3 淺層特征圖中的高分辨率特征.因此，本文根據(jù)conv_5 和conv_3 卷積層提取得到特征的特點(diǎn)，對(duì)原感興趣區(qū)域池化層進(jìn)行改進(jìn).首先對(duì)conv_5和conv_3 分別進(jìn)行感興趣區(qū)域池化，分別得到7×7×512 和7×7×256 大小的特征圖，將兩個(gè)特征圖在維度上進(jìn)行拼接，得到7×7×768 大小的特征圖，再用1×1 的卷積核對(duì)拼接得到的特征圖進(jìn)行卷積操作，最后與全連接層連接.多分辨率特征融合的改進(jìn)Faster-RCNN 網(wǎng)絡(luò)模型如圖2 所示.

Concat 特征融合實(shí)現(xiàn)了維度數(shù)上的疊加，對(duì)疊加的特征圖進(jìn)行卷積操作實(shí)現(xiàn)特征融合，另一種比較常見的是ResNet中的add 特征融合，該方式是通過對(duì)應(yīng)特征圖的相加，增加每一維度下的信息量，再進(jìn)行下一步卷積操作.Concat 和add 如圖3 所示.

Concat 和add 的卷積公式如式(4)、式(5)所示.

式中，Dconcat與Dadd表示單個(gè)輸出通道，Xi與Yi表示輸入通道，Ki表示對(duì)應(yīng)通道的卷積核.

圖2 多分辨率特征融合的改進(jìn)Faster-RCNN 網(wǎng)絡(luò)模型Fig.2 An improved Faster-RCNN network model for multiresolution feature fusion

可以看出，add 特征融合共享卷積，具有更少的參數(shù)量和計(jì)算量.但是concat 維度上的增加不僅可以減輕梯度消失、加強(qiáng)特征傳遞，而且能夠?qū)崿F(xiàn)特征重用.在實(shí)驗(yàn)部分本文對(duì)add特征融合和concat 融合進(jìn)行了實(shí)驗(yàn)比較，由于concat 特征融合的效果更好，因此在感興趣區(qū)域特征融合部分采用concat.

圖3 特征融合Fig.3 Feature fusion

本文的方法將多通道卷積層感興趣區(qū)域池化，通過concat 拼接，在特征通道維度上對(duì)特征圖進(jìn)行相加，再對(duì)拼接特征圖進(jìn)行same 卷積，該卷積不僅融合了拼接特征，結(jié)合了高層語義信息與淺層細(xì)節(jié)位置信息，而且卷積后特征圖的大小不會(huì)發(fā)生改變，更好地保存了特征信息.相較于原始Faster-RCNN，本文從多分辨率角度進(jìn)行特征提取與學(xué)習(xí)，可以聚集多層信息，更好地輔助類別判別與邊框回歸.

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)硬件平臺(tái)和參數(shù)如下:Windows64 位系統(tǒng)，32GB 內(nèi)存，Inteli7-7700 3.60GHz 處理器，GTX1080 8G 顯卡，使用深度學(xué)習(xí)框架Tensorflow 結(jié)合CUDA8.0 和CUDNN5.0，代碼運(yùn)行環(huán)境為Python3.6，迭代步數(shù)40000，學(xué)習(xí)率learning rate 為 0.001，動(dòng)量 decay 為 0.0005，學(xué)習(xí)率衰減系數(shù) gamma為0.1，學(xué)習(xí)率衰減步數(shù)為30000.

4.1 電路板圖像數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中使用的電路板圖像來自現(xiàn)場(chǎng)收集，整個(gè)數(shù)據(jù)集共包含2191 張圖片，選擇其中的1576 張作為訓(xùn)練集，395 張作為驗(yàn)證集，剩余的220 張圖片作為測(cè)試集.對(duì)圖片左右翻轉(zhuǎn)，將訓(xùn)練集與驗(yàn)證集圖片擴(kuò)充至3152 張和790 張.圖片中包含28 類字符，分別為 0、1、2、3、4、5、6、7、8、9、A、B、C、D、E、F、H、I、J、K、L、N、U、V、W、X、Y、Z，人工標(biāo)注完字符邊框后，將數(shù)據(jù)集轉(zhuǎn)化為PASCAL VOC 的格式進(jìn)行訓(xùn)練.

本文采用漏檢率(Omission Ratio，OR)和精確率(Precision，PR)評(píng)估上述模型性能.除此之外，針對(duì)實(shí)際應(yīng)用場(chǎng)景，本文設(shè)計(jì)新的評(píng)價(jià)指標(biāo):整張圖片識(shí)別率(Total Image Identification Rate，TIIR).漏檢率、精確率和整張圖片識(shí)別率的公式如式(6)、式(7)和式(8)所示.

式中，tc表示正確檢測(cè)相應(yīng)字符的個(gè)數(shù)，fc表示錯(cuò)誤檢測(cè)相應(yīng)字符的個(gè)數(shù)，fm表示非字符檢測(cè)成字符的個(gè)數(shù)，nc表示未被框選出來的字符個(gè)數(shù)，IP表示完全正確檢測(cè)的圖片，NI表示圖片總數(shù).

4.2 不同特征提取網(wǎng)絡(luò)實(shí)驗(yàn)對(duì)比

為了選取適合的特征提取網(wǎng)絡(luò)，本實(shí)驗(yàn)在Faster-RCNN模的基礎(chǔ)上，分別對(duì) VGG-16、ResNet-50 和 ResNet-101 三種特征提取網(wǎng)絡(luò)進(jìn)行模型的訓(xùn)練.隨著模型迭代次數(shù)的增加，不同特征提取網(wǎng)絡(luò)在模型中的損失曲線對(duì)比情況如圖4 所示.顯然，基于VGG-16 的Faster-RCNN 收斂速度更快.

圖4 不同特征提取網(wǎng)絡(luò)的Faster-RCNN 模型整體損失對(duì)比Fig.4 Comparison of overall loss of Faster-RCNN models with different feature extraction networks

由于殘差網(wǎng)絡(luò)ResNet-50 和ResNet-101 網(wǎng)絡(luò)更深，因此需要的迭代次數(shù)更多，訓(xùn)練時(shí)間更長，本實(shí)驗(yàn)還對(duì)比訓(xùn)練了100000 次迭代的殘差網(wǎng)絡(luò)(ResNet-50 和ResNet-101 在迭代次數(shù)為100000 次時(shí)均已收斂).實(shí)驗(yàn)結(jié)果對(duì)比如表1 所示.

從表1 中可以看出，更深的網(wǎng)絡(luò)反而導(dǎo)致了性能的下降.相比較于另外兩個(gè)特征提取網(wǎng)絡(luò)而言，基于VGG-16 的Faster-RCNN 表現(xiàn)出優(yōu)異的性能，在本文后面的實(shí)驗(yàn)中均采用VGG-16 特征提取網(wǎng)絡(luò).

表1 特征提取網(wǎng)絡(luò)實(shí)驗(yàn)對(duì)比Table 1 Experimental comparison of feature extraction networks

4.3 改變錨框尺度實(shí)驗(yàn)對(duì)比

通過對(duì)數(shù)據(jù)集中3152 張圖片字符的長寬比特征進(jìn)行統(tǒng)計(jì)，有針對(duì)性地修改錨框的尺度.在長寬比為(0.5，1，2)的基礎(chǔ)上，將錨框的尺度比例修改為(4、8、16)，因?yàn)?conv_5 每個(gè)點(diǎn)在原圖上的感受野是162，最終在原圖上對(duì)應(yīng)的三種面積是(642、1282、2562).

本節(jié)在不同錨框尺度下進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示.

表2 改變錨框尺度實(shí)驗(yàn)對(duì)比Table 2 Experimental comparison of changing anchor scale

由表2 可見，修改后的錨框尺度，漏檢率有所下降，但誤檢率和整張圖片識(shí)別率變差.可以看出，改變后的錨框更加適用于此數(shù)據(jù)集，可以檢測(cè)到更多的字符目標(biāo)，但由于字符的質(zhì)量問題以及獲取圖片的環(huán)境問題使得獲取到的特征不足以正確檢測(cè)，本文在改進(jìn)錨框的基礎(chǔ)上進(jìn)行了特征融合，可以將修改錨框尺度的模型在測(cè)試集上漏檢率降低到2.19%，精確率為98.19%，整張圖片識(shí)別率為85.00%.

4.4 不同超參數(shù)的改進(jìn)網(wǎng)絡(luò)實(shí)驗(yàn)對(duì)比

實(shí)驗(yàn)過程中的一些超參數(shù)，比如:置信度閾值(conf_thresh)、非極大抑制閾值(nms_thresh)，這些參數(shù)對(duì)實(shí)驗(yàn)結(jié)果均有影響.因此，進(jìn)行了多次對(duì)比實(shí)驗(yàn)以確定最優(yōu)參數(shù)配置.

非極大抑制在檢測(cè)部分起著過濾多余窗口、提升準(zhǔn)確率的作用，而非極大抑制的前提是設(shè)置閾值獲取目標(biāo)框的置信度得分列表.因此，置信度閾值的選取十分重要.本文在不同的nms_thresh 和conf_thresh 下進(jìn)行對(duì)比實(shí)驗(yàn)，如表3 所示.

表3 不同nms_thresh 和conf_thresh 的模型實(shí)驗(yàn)對(duì)比Table 3 Experimental comparison of different nms_thresh and conf_thresh

圖像中的部分字符存在模糊、腐蝕等情況，在檢測(cè)時(shí)這些字符的置信度較低，在分類網(wǎng)絡(luò)中由于特征較弱的問題也會(huì)產(chǎn)生誤檢，表3 中的數(shù)據(jù)說明了在相同非極大值抑制閾值下，置信度閾值越高，漏檢率也就越高，誤檢率越低，這與之前的分析是一致的.在相同的置信度閾值下，較小的非極大抑制閾值會(huì)抑制掉距離相近同類字符中的一個(gè)框，從而導(dǎo)致漏檢.由于最終目標(biāo)是減少漏檢、提高整張圖片識(shí)別率，經(jīng)過對(duì)比最后選取參數(shù) nms_thresh 為 0.1 以及選取參數(shù) conf_thresh 為0.7，此時(shí)漏檢率降低到2.18%，精確率提升至99.34%，整張圖片識(shí)別率提升至89.09%.

4.5 特征融合實(shí)驗(yàn)對(duì)比

為選取合適的特征融合方式，本節(jié)對(duì)VGG-16 的conv_3+conv_5 與conv_4+conv_5 分別進(jìn)行不同的特征融合方案.對(duì)于conv_3+conv_5 采取add 特征融合，由于 conv_3 的輸出維度是256，先對(duì)其進(jìn)行1×1 卷積升維.不同特征融合實(shí)驗(yàn)對(duì)比如表4 所示.從表中可以看出，conv_4+conv_5 采取add 融合提高了精確率，但漏檢率和整張圖片識(shí)別率有所上升.conv_4+conv_5 采用concat 融合反而使各項(xiàng)性能均變差，這是因?yàn)閏onv_4 和conv_5 的concat 融合增加了背景與目標(biāo)以及類別間的相似度.conv_3 和conv_5 的concat 融合性能最好，不僅漏檢率下降，還提高了精確率和整張圖片識(shí)別率.

表4 不同特征融合實(shí)驗(yàn)對(duì)比Table 4 Experimental comparison of different feature Fusion

4.6 不同算法的比較

為測(cè)試本文所改進(jìn)的Faster-RCNN 性能，本節(jié)采用深度學(xué)習(xí)中的 Faster-RCNN、YOLOv3［18］和 SSD300 模型，分別進(jìn)行電路板字符檢測(cè)性能測(cè)試對(duì)比，不同算法的實(shí)驗(yàn)對(duì)比如表5 所示.

表5 不同算法實(shí)驗(yàn)對(duì)比Table 5 Experimental comparison of different algorithms

從表5 可以看出，針對(duì)此場(chǎng)景下的字符檢測(cè)，兩階段方法比一階段方法的性能更加優(yōu)異，缺點(diǎn)也很明顯，就是檢測(cè)速度相對(duì)較慢.本文改進(jìn)的Faster-RCNN 方法先對(duì)錨框尺度改進(jìn)，然后利用conv_3 的淺層高分辨率特征和conv_5 的深層抽象特征進(jìn)行感興趣區(qū)域池化，相比較于原始的Faster-RCNN 和其余算法，各項(xiàng)指標(biāo)均更優(yōu)，檢測(cè)時(shí)間的增加也在可接受范圍之內(nèi).

為了更加直觀地體現(xiàn)本文改進(jìn)算法的效果，隨機(jī)選取一張圖片對(duì)不同算法進(jìn)行測(cè)試比較，如圖5 所示.

圖5 不同算法檢測(cè)效果對(duì)比圖Fig.5 Comparison of detection effects of different algorithms

5 結(jié) 論

針對(duì)電路板字符檢測(cè)難度大的問題，提出了一種改進(jìn)的Faster-RCNN 電路板字符檢測(cè)方法.在VGG16 為特征提取網(wǎng)絡(luò)的Faster-RCNN 的基礎(chǔ)上，根據(jù)字符目標(biāo)的特點(diǎn)優(yōu)化區(qū)域提議網(wǎng)絡(luò)，并在感興趣區(qū)域池化階段，結(jié)合淺層高分辨率特征與深層抽象特征提取候選區(qū)域特征.在數(shù)據(jù)集中進(jìn)行訓(xùn)練與測(cè)試.實(shí)驗(yàn)表明，改進(jìn)算法減少了漏檢率，提高了檢測(cè)精度.由于仍然存在部分漏檢且檢測(cè)速度相對(duì)于較慢，在未來的工作中，漏檢率仍需進(jìn)一步降低，檢測(cè)速度有待提高，模型也有待精簡(jiǎn)，從而進(jìn)一步提高檢測(cè)效率.