基于Mask R-CNN的槍彈底火裝配質(zhì)量檢測系統(tǒng)設(shè)計

李文靜，石義官，徐 亮

(1.重慶水利電力職業(yè)技術(shù)學(xué)院智能制造學(xué)院， 重慶 402160；2.中國兵器裝備集團(tuán)自動化研究所， 四川 綿陽 621000)

底火作為槍彈中的重要部件，其裝配質(zhì)量直接影響著武器裝配的戰(zhàn)技指標(biāo)。底火裝配過程中存在一定的未知因素可能造成底火裝配缺陷的制品，主要表現(xiàn)為底火擦痕、無底火、爛底火、底火壓痕(凹痕)、橫底火、反底火等。一直以來，槍彈裝配質(zhì)量的檢測多采用人工方式進(jìn)行，其生產(chǎn)效率低，勞動強(qiáng)度大，生產(chǎn)質(zhì)量受人為影響因素較大。隨著槍彈生產(chǎn)效率的提高[1]和在線檢測質(zhì)量可追溯，現(xiàn)有的檢測方式不能滿足裝配質(zhì)量的自動化、高效在線檢測的要求。

機(jī)器視覺技術(shù)已被廣泛應(yīng)用于現(xiàn)代工業(yè)生產(chǎn)中，國內(nèi)早在2009年就由許運(yùn)來[2]提出了采用基于CCD和圖像處理的方式檢測槍彈的圓柱外表面質(zhì)量檢測。近年來，孫文緞[3-4]提出了基于線陣相機(jī)采集的槍彈表面質(zhì)量檢測技術(shù)，利用圖像處理槍彈表面缺陷進(jìn)行分類檢測。茍文韜等[5]設(shè)計了一套完整的缺陷分割及缺陷分類的槍彈外觀質(zhì)量檢測解決方案。近年來，深度學(xué)習(xí)在缺陷檢測領(lǐng)域也有迅猛的發(fā)展，李雪瑩等[6]提出了采用基于gcForest機(jī)器學(xué)習(xí)算法的彈殼檢測系統(tǒng),實現(xiàn)了尺寸測量和表面缺陷分類，實現(xiàn)了正確率為96.1%的損傷分類。利照堅等[7]提出基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)和Faster RCNN網(wǎng)絡(luò)相結(jié)合的方法實現(xiàn)子彈缺陷檢測，使得準(zhǔn)確率、召回率和mAP達(dá)90%。然而，目前的研究主要集中在槍彈表面及外觀缺陷的檢測，而對于槍彈底火缺陷檢測的研究基本空白。

本文針對槍彈底火裝配質(zhì)量的自動化、高線和在線檢測的需求，提出了采用Mask R-CNN的槍彈底火裝配質(zhì)量檢測系統(tǒng)，用于檢測底火裝配后的質(zhì)量問題(如漏裝、反裝、劃傷等)。

1 系統(tǒng)結(jié)構(gòu)

該檢測系統(tǒng)主要由設(shè)備運(yùn)行系統(tǒng)、數(shù)據(jù)交換、圖像檢測系統(tǒng)構(gòu)成，如圖1所示為系統(tǒng)組成結(jié)構(gòu)。設(shè)備運(yùn)行系統(tǒng)由控制器PLC、傳感器、電機(jī)氣缸、轉(zhuǎn)盤支架等組成，主要完成綜合管理設(shè)備的正常運(yùn)轉(zhuǎn)、與圖像檢測系統(tǒng)的數(shù)據(jù)交換、并對不合格產(chǎn)品進(jìn)行剔廢。數(shù)據(jù)交換系統(tǒng)采用以太網(wǎng)鏈接，進(jìn)行信號觸發(fā)及結(jié)果處理。圖像檢測系統(tǒng)主要由工控機(jī)、攝像頭及光源組成，主要是對槍彈底火部位進(jìn)行拍照及處理。對于該檢測系統(tǒng)，攝像機(jī)的拍攝效果直接關(guān)系到機(jī)器視覺識別算法的設(shè)計及檢測的準(zhǔn)確度，因此攝像機(jī)的選擇至關(guān)重要，本文選擇工業(yè)CCD相機(jī)技術(shù)參數(shù)如表1所示。攝像頭位于子彈轉(zhuǎn)盤的正上方，光源位于轉(zhuǎn)盤與攝像頭的正中間，確保為待檢槍彈底火提供充足的光照，如圖2所示為系統(tǒng)硬件結(jié)構(gòu)實物。

該檢測系統(tǒng)的工作流程如圖3所示，上料機(jī)構(gòu)將子彈傳送到轉(zhuǎn)盤上，轉(zhuǎn)盤運(yùn)送子彈進(jìn)入底火檢測系統(tǒng)工位。當(dāng)子彈到達(dá)相機(jī)位置時，PLC將觸發(fā)CCD相機(jī)進(jìn)行槍彈底火圖像采集，相機(jī)安裝如圖2所示。CCD相機(jī)經(jīng)光電傳感器及模數(shù)轉(zhuǎn)換等圖像采集模塊將二進(jìn)制信號送到上位機(jī)中。上位機(jī)中的圖像處理模塊采用基于Mask R-CNN的識別算法對底火質(zhì)量進(jìn)行自動檢測，判斷產(chǎn)品OK與NG。如果檢測到存在缺陷，將信號通過數(shù)據(jù)交換接口輸送到設(shè)備運(yùn)行PLC，由運(yùn)行PLC做出相應(yīng)剔廢動作。

圖1 系統(tǒng)組成結(jié)構(gòu)框圖

技術(shù)參數(shù)參數(shù)值感光芯片IMX264靶面尺寸2/3″、1/4″、1/1.8″感光芯片尺寸最大8.4 mm×7.1 mm水平/垂直分辨率最大2 448px×2 048px分辨率最大6 MP幀速率23 fps以上像素位深10 or 12 bits

圖2 圖像采集系統(tǒng)硬件結(jié)構(gòu)實物

圖3 系統(tǒng)工作流程圖

2 Mask R-CNN網(wǎng)絡(luò)模型

2.1 Mask R-CNN簡介

Mask R-CNN是一種基于深度學(xué)習(xí)的圖像實例分割算法，可對物體進(jìn)行目標(biāo)檢測和像素級分割，完成物體的圖像分割、特征點(diǎn)定位和類別檢測等。Mask R-CNN結(jié)合Faster R-CNN與全卷積神經(jīng)網(wǎng)絡(luò)( Fully convolutional networks，F(xiàn)CN)算法分別進(jìn)行目標(biāo)定位與分割[8]。Mask R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示，主要包括特征提取層、區(qū)域建議網(wǎng)絡(luò)(Region proposal network，RPN) 、ROIAlign層以及全連接層。Mask R-CNN算法首先采用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)對目標(biāo)圖像進(jìn)行特征提取并生成多尺度特征圖(Feature Map)。區(qū)域建議網(wǎng)絡(luò)(RPN)找出圖像中的候選區(qū)域( Region of interest，ROI)，將得到的候選區(qū)域映射到特征圖后傳入ROIAlign層，ROIAlign層進(jìn)一步對特征圖進(jìn)行像素校正得到固定維度的特征向量，然后將特征向量傳入全連接層來預(yù)測不同實例所屬分類，最終得到興趣目標(biāo)實例分割結(jié)果。同時，在ROI Align層后添加了一個掩碼分支(Mask branch)，生成目標(biāo)圖像的分割掩碼。

圖4 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)框圖

1) Faster R-CNN

Ross B.Girshick在2016年提出的Faster R-CNN檢測器，主要由區(qū)域建議網(wǎng)絡(luò)(RPN)和Fast R-CNN組成。Mask R-CNN使用特征金字塔網(wǎng)絡(luò)(FPN)+ResNet101進(jìn)行特征提取，將提取的特征圖輸入RPN中，RPN主要用于尋找可能包含目標(biāo)物體的最接近真實框的候選框，使得網(wǎng)絡(luò)進(jìn)一步接近實時檢測。為了獲得精準(zhǔn)的目標(biāo)位置，通過Fast R-CNN預(yù)測判斷RPN生成的每個建議區(qū)域的分類概率，從而優(yōu)化RPN的建議區(qū)域的偏移量。

2) ROI Align

獲取到候選區(qū)域之后，需要將其轉(zhuǎn)化為固定維度的特征向量，以便后續(xù)的分類和邊界框回歸。Mask R-CNN中使用ROI Align方法。ROI Align層主要通過雙線性內(nèi)插的方法計算像素點(diǎn)上的像素值，將特征聚集的過程轉(zhuǎn)換為連續(xù)過程，遍歷各個候選區(qū)域并保存浮點(diǎn)數(shù)邊界，取消了量化操作過程，提高了算法檢測分割時的精度。

雙線性插值方法保證了池化過程中像素輸入前后的對應(yīng)關(guān)系，回傳過程中，采用如下公式進(jìn)行反向傳播[9]：

(1)

其中：xi表示的是池化前特征圖上的像素點(diǎn)；yrj為池化后第r個區(qū)域中第j個坐標(biāo)點(diǎn)；i(r,j)代表點(diǎn)yrj對應(yīng)的原圖像像素點(diǎn)坐標(biāo)；Δh與Δw分別表示橫縱坐標(biāo)的梯度[10]。

3) FCN

FCN網(wǎng)絡(luò)用于預(yù)測分割，它的工作原理的是利用反卷積對最后一個卷積層的特征圖進(jìn)行上采樣以不斷擴(kuò)大特征圖，使它恢復(fù)到與輸入圖像相同的尺寸，并對每個像素值進(jìn)行分類，從而實現(xiàn)輸入圖像的準(zhǔn)確分割。Faster R-CNN為每個候選對象ROI提供了兩個輸出，邊界框偏移量(Box Regression)和類標(biāo)簽(Classification)，Mask R-CNN算法并行添加了一個用于預(yù)測分割的掩碼層(Mask Branch)，Mask Branch分支是應(yīng)用到每一個 ROI 上的一個小的 FCN，用FCN從每一個ROI中預(yù)測出一個m×m大小的mask[10]。

2.2 網(wǎng)絡(luò)訓(xùn)練

文中選用101層的深度殘差網(wǎng)絡(luò)ResNet101作為特征提取層的基礎(chǔ)網(wǎng)絡(luò)，模型超參數(shù)的設(shè)置與Faster R-CNN 基本一致[11]。網(wǎng)絡(luò)中每個樣本ROI的損失函數(shù)L為

L=Lbox+Lcls+Lmask

(2)

其中：Lbox為邊框損失函數(shù)；Lcls為分類損失誤差；Lmask為掩膜損失函數(shù)。

其中，邊框損失函數(shù)如式(3)所示，

(3)

(4)

分類層是用于分類，輸出k+1維數(shù)組p，表示屬于k類的背景和概率。對于每個ROI輸出離散型概率分布p=(p0，p1，…，pk)，通常p由k+1類的全連接層利用softmax計算得出[12]。Lcls由真實分類u對應(yīng)的概率決定：

Lcls(p,u)=-logpu

(5)

Lmask表示平均二進(jìn)制交叉熵?fù)p失函數(shù)如式(6)所示，

(6)

3 試驗驗證與應(yīng)用分析

3.1 試驗平臺

本實驗的訓(xùn)練與驗證均基于TensorFlow框架，系統(tǒng)運(yùn)行環(huán)境為Ubuntu16.04，訓(xùn)練階段 GPU：1080Ti、8G 內(nèi)存，通過Pyhon語言實現(xiàn)編程操作。

3.2 數(shù)據(jù)集的準(zhǔn)備

使用 Mask R-CNN 對底火缺陷進(jìn)行識別時，首先需要對底火圖像進(jìn)行標(biāo)注。目前，槍彈底火缺陷圖像并沒有像Image Net，MNIST手寫體數(shù)字識別等項目具有公共的圖像庫[15]，本文的數(shù)據(jù)集主要通過CCD相機(jī)拍攝來自槍彈生產(chǎn)流水線，在數(shù)據(jù)集建立的過程中，采集了槍彈不同形態(tài)、不同位置、不同角度的缺陷圖片，如劃傷、爛底、歪底、反底、側(cè)底等的圖片500張，底火缺陷示例如圖5所示。為了彌補(bǔ)訓(xùn)練樣本數(shù)量的不足，提高模型的訓(xùn)練精度，本文對原有的訓(xùn)練樣本進(jìn)行圖像水平/豎直翻轉(zhuǎn)，鏡像，平移等幾何變換，最終將樣本擴(kuò)充為2 000張，其中訓(xùn)練集為1 600張，400張為測試集。然后采用LabelMe軟件對數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注后的每張圖片都會生成一個JSON文件存放繪制點(diǎn)的坐標(biāo)信息。

圖5 底火缺陷示例

3.3 槍彈底火缺陷檢測算法流程

本文提出的基于Mask R-CNN的槍彈底火缺陷檢測方法具體的檢測算法主要有以下幾個步驟：① 獲取待檢測槍彈底火的圖像；② 對獲取的底火圖像進(jìn)行位置矯正，定位底火中間，畫定底火檢測區(qū)域。③ 把提取的底火圖像傳輸?shù)接?xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行檢測，判斷是否具有缺陷；④ 獲取模型的檢測結(jié)果，若未檢測到缺陷則為合格，若檢測到缺陷則將結(jié)果輸出到PLC以對此槍彈進(jìn)行剔除，檢測流程如圖6所示。

圖6 槍彈底火檢測算法流程框圖

3.4 算法驗證

為了驗證本文算法的可行性，利用本文所提出的算法對西南自動化研究所采集的1 000幅底火裝配現(xiàn)場樣本圖像進(jìn)行識別，圖7展示了部分檢測結(jié)果。圖中虛線邊框區(qū)域表示檢測算法標(biāo)記的缺陷存在位置，實線為手動繪制缺陷區(qū)域，如圖7可以看出采用本文的識別方法能取得較好的識別效果。利用本文檢測算法檢測結(jié)果和與人工檢測結(jié)果如表2所示。可以看出，本文檢測算法比人工檢測在正確率和速度方面均有較大幅度提升。

圖7 底火缺陷檢測結(jié)果

檢測方法缺陷底火圖像漏檢錯檢正確檢測率/%每張檢測時間/ms本文算法1731099.4400人工檢測1733496650

該系統(tǒng)已在西南自動化研究所底火裝配流水線安裝使用，整個系統(tǒng)通過測試，運(yùn)行良好。截至目前，該系統(tǒng)共檢測槍彈底火圖像6632張，其中合格底火4 992個，不合格數(shù)為1 640，圖8所示為軟件監(jiān)控界面。

圖8 軟件監(jiān)控界面

4 結(jié)論

根據(jù)槍彈底火裝配質(zhì)量在線檢測的需求，研究了基于Mask R-CNN的槍彈底火裝配質(zhì)量檢測系統(tǒng)，設(shè)計了槍彈底火裝配質(zhì)量檢測的總體方案及系統(tǒng)的硬件組成結(jié)構(gòu)，提出了基于Mask R-CNN的槍彈底火檢測算法。測試結(jié)果表明文中所設(shè)計的檢測方案能夠準(zhǔn)確、快速地檢測出槍彈底火的質(zhì)量問題，檢測準(zhǔn)確率達(dá)99.4%，平均檢測時間約為400 ms，系統(tǒng)檢測速度和檢測精度均能滿足工業(yè)生產(chǎn)的需求，為槍彈底火裝配質(zhì)量在線檢測提供了新的手段。該系統(tǒng)實現(xiàn)了底火裝配質(zhì)量的自動化檢測，有效地解決了人工檢測存在的主觀性強(qiáng)、勞動強(qiáng)度大、漏檢率高、檢測效率低等問題。