基于深度學習的陶瓷襯墊碼片識別研究

□ 魏智鋒 □ 肖書浩 □ 蔣國璋 □ 葉薈坤

1.武漢科技大學 機械自動化學院冶金裝備及其控制教育部重點實驗室 武漢 430081 2.武昌首義學院 機械與自動化學院 武漢 430068

1 研究背景

陶瓷襯墊是一種高導熱性能的材料,外觀呈純白色,質地堅硬,主要用于功率器件與散熱器之間的傳熱和電氣隔離[1],被廣泛應用于橋梁、建筑、船舶等領域的大型焊接件中。陶瓷襯墊碼片識別用于檢測陶瓷襯墊質量,提高陶瓷襯墊合格率,是陶瓷焊接生產過程中重要的一環。陶瓷襯墊如圖1所示。

對陶瓷襯墊檢測的研究目前已經取得了一些進展,陳涵[2]提出一種改進的Yolo-v3陶質襯墊缺陷檢測方法,李強等[3]提出一種基于機器視覺的陶瓷瓦表面裂紋檢測方法,李小磊等[4]提出一種基于滑動濾波和自動區域生長的陶瓷瓦表面裂紋檢測方法,周飄等[5]等提出一種基于黑塞矩陣濾波的陶瓷瓦表面裂紋檢測方法。

近年來,隨著深度學習技術的發展,卷積神經網絡(CNN)被廣泛應用于圖像識別領域,并取得了良好的應用效果。Mask R-CNN(Mask區域卷積神經網絡)是在Faster R-CNN之后提出的目標檢測方法,不僅可以輸出物體的具體類別和物體框,而且能夠對物體目標進行實例分割[6]。筆者將陶瓷襯墊碼片作為數據源,將最新的Mask R-CNN和Res Net-50特征提取網絡相結合,在主流的TensorFlow深度學習框架中進行多線程迭代訓練模型,對結果進行比較和分析。

▲圖1 陶瓷襯墊

2 數據采集及分類

筆者試驗所用的陶瓷襯墊碼片樣本均來自武漢天高熔接股份有限公司,在實驗室中搭建的模擬工廠陶瓷襯墊碼片識別圖像采集裝置如圖2所示,所采集的圖片如圖3所示。圖3為正俯視拍攝陶瓷襯墊碼片樣本得到的圖片,無法對碼片的下偏位進行有效標識,從而無法準確識別有位置錯誤的碼片。

▲圖2 陶瓷襯墊碼片識別圖像采集裝置

調整拍攝的角度,使陶瓷襯墊碼片處在自然光照條件下。筆者使用移動電話從俯視傾角拍攝得到陶瓷襯墊碼片圖片,分辨率為1 920像素×1 080像素,共拍攝2 600張圖片。

▲圖3 采集的圖片

3 數據集生成及預處理

陶瓷襯墊碼片圖片如圖4所示,三種擺放位置分別為上偏位、下偏位、正常位。筆者將擺放位置分為兩類——上偏位和下偏位,并使用Labelme標注功能軟件對圖片進行標注。為了提高訓練效果,使模型的泛化性得到提升,對數據集使用數據增強方法。鑒于更改方向和角度都不會改變圖片特征,筆者使用水平翻轉與豎直翻轉兩種數據增強方法。在標注過程中,共對2 600張圖片中的 4 750個目標對象進行標注,并將所有圖片按照COCO數據格式進行批量重命名。在訓練和測試之前,將2 600張包含各類錯位的圖片歸一化處理為640像素×360像素尺寸。數據集制作流程如圖5所示。

▲圖4 陶瓷襯墊碼片圖片▲圖5 數據集制作流程

為了生成測試集,從帶標記的圖片數據集中選取20%作為測試集。測試集包含需檢測的兩種擺放位置的圖片,且每種擺放位置的圖片數量大致相同。對標記完的圖片進行微調,將圖片信息和json格式文件分別保存,并分為訓練集和測試集。陶瓷襯墊碼片數據集數量見表1。

表1 陶瓷襯墊碼片數據集數量

4 陶瓷襯墊碼片識別模型

4.1 Mask R-CNN

Mask R-CNN是由何凱明團隊于2017年提出的一種目標檢測網絡,是基于Faster R-CNN的改進網絡架構,可以在高效完成物體檢測的同時實現高質量的實例分割。Mask R-CNN框架如圖6所示[7]。Mask R-CNN主要分為卷積層FPN(特征金字塔網絡)、RPN(區域候選網絡)、ROI(候選區域)Align和輸出分支四個方面。

Mask R-CNN相比Faster R-CNN,主要有三點不同。Mask R-CNN在基礎網絡中采用了較為優秀的的Res Net-FPN結構,多層特征圖有利于多尺度物體及小物體的檢測。在應用時,筆者將傳統的Res Net-101網絡改為Res Net-50網絡。為了解決網絡中圖像像素和興趣區域匹配產生錯位問題,Mask R-CNN將傳統的神經網絡池化層替換為ROI Align。得到感興趣的特征后,Mask R-CNN在原有分類與回歸的基礎上,增加了一個Mask分支來預測每一個像素的類別,提高了檢測效率[8]。

▲圖6 Mask R-CNN框架

4.2 FPN

FPN主要解決了目標檢測中的多尺度檢測問題。FPN采用自上而下的側向連接,將不同尺度的特征連接融合,再進行卷積以消除混疊現象,之后在不同尺度特征上進行預測。結果證明,Res Net與FPN的組合能夠達到很好的檢測效果,所以筆者在Mask R-CNN中應用了Res Net-101網絡與FPN的組合。

4.3 RPN

RPN通過倍數和長寬比例不同的窗口或錨點在特征圖上進行滑窗,從而迅速生成候選區域。RPN的錨框如圖7所示。圖7中背景圖像表示經卷積神經網絡提取后的特征圖,虛線表示窗口為基準窗口,輸入為上一階段得到的特征圖,并產生一系列錨框,各個錨框的大小由像素點數量和長寬比兩個參數決定。RPN利用8、16、32三種像素點數量和0.5、1、2三種長寬比共九種尺度窗口對特征圖進行滑窗,當交并比大于0.5時,認為屬于前景,對類別和邊框進行第一次修正。

交并比IoU為:

IoU=SA∩B/SA∪B

(1)

式中:A、B分別為RPN生成的候選框及訓練集中正確的目標框;SA∩B為A、B重疊處面積;SA∪B為A、B并集面積[9]。

4.4 ROI Align

Mask R-CNN提出的ROI Align取消了取整操作,保留所有浮點,然后通過雙線性插值方法獲得多個采樣點的值,再對多個采樣點進行最大值池化,進而得到這些點的最終值。應用ROI Align,對每個格子都取一個浮點數,對于Feature Map特征映射上的每一個候選區域,都會分割為m×m個格子,并在其中選取四個點,這四個點分別對應格子中四個部分的中點。對每個點所在格子的四個頂點進行雙線插值計算,使像素和興趣區域更匹配。由于使用了采樣點與保留浮點的操作,ROI Align獲得了更好的性能。

▲圖7 RPN錨框

4.5 損失任務設計

得到感興趣的特征后,Mask R-CNN增加了Mask分支來進行圖像分割,確定每一個像素具體屬于哪一種類別。具體實現時,采用了FCN(全卷積網絡)的結構,利用卷積與反卷積構建端至端的網絡,然后對每一個像素分類,實現了較好的分割效果。

損失函數L定義為:

(2)

分類損失為:

(3)

(4)

定位損失為:

(5)

(6)

式中:smoothL1為等價損失函數。

分割損失即二值掩碼損失,若候選框檢測出為某一類別,則使用該類別的交叉熵作為誤差值進行計算,其它類別損失值不計入,從而避免類間競爭。

(7)

對Mask分支上的每一個像素,應用Sigmoid函數送至交叉熵損失中,最后取所有像素損失的平均值作為掩碼損失函數Lmask。

5 評價指標

目前通常用均值平均精度APm來衡量檢測算法的精度,并將平均精度AP作為每一類別的檢測精度的評價指標。APm、AP與準確率P、召回率R有關[10-11],P、R分別為:

(8)

(9)

式中:TP為被模型預測為正類的正樣本數量;FP為被錯誤劃分至正樣本的數量;FN為被錯誤劃分至負樣本的數量。

對于目標檢測,每一個類別都可以得到一條準確率-召回率曲線,曲線下的面積即為平均精度AP,其積分式為:

(10)

對所有類別的AP求平均,即為APm:

(11)

式中:M為類別總數;AP(k)為第k類的AP。

速度評估指標為應用模型檢測一幅圖所耗費的平均時間,即平均檢測時間,單位為秒。

6 試驗結果

在模型預訓練過程中,初始學習率設置為0.001,動量設置為0.9,權重衰減設置為0.001,批大小設置為32,迭代次數設置為20 000次。

筆者對改進的Mask R-CNN應用兩類目標數據進行檢測,通過訓練,多輪迭代,得到最優結果。

將測試集以分辨率為640像素×360像素進行測試,陶瓷襯墊碼片分類檢測效果如圖8所示。從圖8中可以看出,碼片錯位識別都非常準確,沒有出現漏檢的情況。具體檢測結果見表2。由表2可知,改進Mask R-CNN比初始網絡在單個分類檢測上的AP高出1到1.2個百分點,APm高1.1個百分點,檢測時間縮短0.61 s。

▲圖8 陶瓷襯墊碼片分類檢測效果

表2 檢測結果對比

7 結論

筆者針對陶瓷襯墊碼片人工識別效率低的問題,采用俯視傾角拍攝采集數據集,將Mask R-CNN應用于碼片位置識別。在應用中,對Res Net-50網絡進行特征提取,利用RoI Align使圖片特征點定位精度達到像素級效果,提高了檢測精度。通過對比試驗,在不提高模型和計算復雜度的情況下,經筆者改進后的Mask R-CNN相比Faster R-CNN和傳統Mask R-CNN,精度和檢測速度都有所提高。