微型直流電機端蓋裝配質量在線視覺檢測技術

南瑞亭， 黃 堅

(1. 廣州市交通技師學院，廣東 廣州 510540; 2. 華南理工大學機械與汽車工程學院，廣東 廣州 510640)

0 引 言

中國是全球微型電機的第一大生產國，2019年中國微型電機產量達136億臺，占全球73.9%。目前微型電機產品已有數千品種，下游應用涉及各行各業。電機制造工序多，涉及精密機械、精細化工、微細加工、磁材料處理、繞組制造、絕緣處理等工藝技術，簡而言之，微型電機行業是勞動密集型、技術密集型產業。

微型直流電機配質量的在線視覺檢測，屬于微型直流電機智能制造的關鍵工序[1]。在電機裝配中，端蓋面上正負極涂裝、電機殼沖壓卡接部位、引線、插座等零部件裝配質量檢測，主要采用人工目視檢測，存在勞動強度大、效率低等問題[2]。實現微型直流電機端蓋裝配質量自動化、智能化檢測，有助于提高電機檢測技術水平。

中國電子科技集團公司(2017)突破電機鐵心的視覺識別與定位算法，提高了機器人適應復雜工況的能力，搭建的系統可實現電機鐵心的分揀、搬運和位姿調整[3]。文獻[4](2017)為實現小型電機的機器人自動裝配，以德國MVTec Software Gmb H公司開發的MERLIC圖像處理軟件為支撐，實現小型電機裝配目標零件定位、鎖緊孔位置匹配轉角計算和機器人控制三大基本功能，最終控制機器人完成小型電機的自動裝配。武漢工程大學(2018)提出了一種基于機器視覺的對比測量方法，通過對待測軸與標準軸圖像進行濾波、二值化、邊緣提取與最小二乘法擬合直線方程，計算出待測軸與標準軸的左、右邊緣差距，經過相機標定實現較高精度的軸承外徑尺寸測量[5]；文獻[6](2020)提出遷移學習和卷積神經網絡電力設備圖像識別方法，將卷積神經網絡在模擬、真實電力設備圖像中進行遷移學習，提高學習效率和精度，最終取得93.5%識別準確率。文獻[7](2021)在機器人夾持器前端安裝視覺定位裝置，并研究視覺相機標定和坐標偏移補償控制方法，提高微型電機外殼沖壓件在沖壓過程中轉送的準確度；中國計量大學(2021)采用改進Faster R-CNN實現水準泡缺陷檢測方法，改進融合遞歸特征金字塔得到多尺度的特征圖輸出，有效提高模型檢測準確度，在測試集上的均值平均準確度達96.7%[8]；中國計量大學計量測試工程學院(2021)提出一種面向滾動軸承的改進對抗遷移學習模型，在對抗遷移學習的域判別器中采用卷積結構替換全連接神經網絡，實驗證明模型具有良好抗干擾能力、更高診斷精度[9]。華南理工大學(2021)面向標準件裝配質量檢測存在的復雜背景下部件識別問題，研究深度學習實例分割技術，優化了部件裝配檢測與識別的準確度[10]、實時性能[11]。

結合基于深度學習的圖像分類[12]、目標檢測[13]、語義分割[14]相關綜述，本文在分析微型直流電機端蓋裝配質量檢測需求基礎上，提出基于Faster RCNN的微型直流電機端蓋裝配質量在線視覺檢測技術框架，實現裝配質量視覺檢測。

1 微型直流電機端蓋裝配質量檢測需求分析

微型直流電機端蓋上裝配的主要零部件有軸體、正極、負極、插座、引出線等，裝配質量要求零部件安裝到位、沖壓腳齊全、正極涂裝正確。圖1為HRS-365S-14137VC-42L的微型直流電機設計圖，合格產品上需要有軸體、紅色涂裝的正極、3個負極、2個插座以及4個沖壓腳。

圖1 HRS-365S-14137VC-42L微型直流電機設計圖

選用中長焦段鏡頭、彩色工業相機，調節使工業相機光軸與微型直流電機轉子軸重合，使端蓋位于像平面中心位置。圖2為HRS-365S-14137VC-42L的微型直流電機合格產品圖像。

圖2 HRS-365S-14137VC-42L微型直流電機合格產品圖像

可以看出，端蓋、軸體、正極、負極、插座、沖壓腳等7種零部件視覺特征各不相同，易于分辨，適合采用深度學習目標檢測方法實現端蓋及其零部件的識別與定位。考慮到視覺檢測的高準確性、在線快速需求，選用具有較高識別準確性的R-CNN系列目標檢測模型，尤其是其中實時性能較佳的Faster R-CNN目標檢測模型，設計面向微型直流電機端蓋裝配質量在線快速視覺檢測鑒別系統。

2 基于Faster R-CNN的微型直流電機端蓋裝配質量在線視覺檢測技術

微型直流電機端蓋裝配質量檢測需求主要有：端蓋裝配質量要求系統能實現7種零部件的識別與定位；在線快速視覺檢測要求系統具有快速特點，每個微型直流電機端蓋裝配質量檢測鑒別時間不超過0.5 s。圖3為基于Faster R-CNN的微型直流電機端蓋裝配質量在線快速視覺檢測鑒別技術流程框圖。基本步驟：①離線微型直流電機端蓋圖片，標注端蓋邊界框與系列、標注零部件訓練識別端蓋及其零部件的Faster R-CNN目標檢測模型；② 基于Faster R-CNN模型識別端蓋及其零部件，得到微型直流電機型號，以及質量良好的零部件數量、類型；③根據該型號微型直流電機零部件數量、類型要求，判斷零部件安裝是否到位、沖壓腳是否齊全、正極涂裝是否正確，全部符合為合格品裝箱。

圖3 基于Faster R-CNN的微型直流電機端蓋裝配質量在線快速視覺檢測鑒別技術流程框圖

2.1 基于Faster R-CNN的端蓋裝配質量關鍵特征識別技術

如表1所示，微型直流電機端蓋主要包括端蓋、軸體、正極、負極、插座、引出線、沖壓腳7種零部件。其中不同型號端蓋視覺特征、外徑明顯不同，標注端蓋的類型標簽還標注上其對應的型號，采用開源標注軟件labelme矩形標注工具(rectangle)，標注機殼沖壓腳、正極、負極及端蓋最小外接矩形作為邊界框，并為其添加類型標簽。以3系端蓋，代表著微型直流電機外徑最大值在27.0～30.0 mm間的端蓋；不同型號的軸體、正極、負極、插座、引出線、沖壓腳等的視覺特征較為相似，類型標簽直接標注為類型。

表1 端蓋裝配質量關鍵特征與類型標簽及標量對應表

圖4為微型直流電機端蓋裝配質量關鍵特征識別的Faster R-CNN模型，模型的輸入是微型直流電機端蓋圖像，輸出預測檢測到實例的關鍵特征，設對象實例數量N，第n個實例的邊界框R1-n、分數R2-n、類型標量R3-n(n=1, 2, 3,···,N)。其中：

1）預測邊界框R1-n=(u1-n,v1-n,u2-n,v2-n)、邊界框左上頂點 (u1-n,v1-n)、邊界框右上頂點 (u2-n,v2-n)。

圖4 微型直流電機端蓋裝配質量關鍵特征識別的Faster R-CNN模型

2）預測分數R2-n定義域為[0,1]，且有，線性度佳，可直接作為置信度分數使用。

3）預測類型R3-n是標量，值域為R3-n∈{0, 1, 2,3, 4, 5, 6}，

4）位置信息Pn=(up-n,vp-n)從預測邊界框R2-n中計算得到：

Faster R-CNN模型可通過訓練，學習不同質量關鍵特征，系采用隨機梯度下降(stochastic gradient descent, SGD)算法對Faster R-CNN模型調優，使其擬合到訓練數據集上，訓練采用Mini-batch策略，學習率為0.001，分批數2，結合數據量大小，迭代訓練次數為500。

訓練過程中，可觀測分類損失loss_cls、定位損失loss_box_reg、總損失total_loss是否減小，判斷Fast R-CNN、Faster R-CNN模型是否收斂；模型完成訓練后，以重疊率超過50%的平均準確度AP0.5作為主要評價指標；只要AP0.5≥90%，模型滿足應用需求。

2.2 基于Faster R-CNN的端蓋裝配質量檢測技術

清點微型直流電機正極、負極及機殼沖壓腳數量方法，具體為：設類型m判別函數fm(R2-n,R3-n)：

可見，若預測類型R3-n=m，且預測分數R2-n≥0.9，則fm(R2-n,R3-n)輸出為 1；其他情況時，則fm(R2-n,R3-n)輸出為0。則正極數量N1、負極數量N2、沖壓腳數量N3、插座數量N4、引出線數量N5、電機軸數量N6分別為：

直接以檢測出零部件數量對比裝配質量要求的零部件數量，數量全部一致則為裝配質量合格。

3 實驗研究

采集6種微型直流電機圖像共60個，其中36構成訓練集，24個構成測試集。在訓練集上訓練Faster R-CNN模型，訓練調優算法SGD、學習率為0.001、Mini-batch策略、分批數 2，迭代訓練次數500。即模型將訓練500次，每次學習是在訓練集中挑選2個圖片進行。圖5為Faster R-CNN模型訓練過程損失曲線。

圖5 Faster R-CNN模型訓練過程損失曲線

檢測例1：某型號微型直流電機，裝配質量要求為軸體1個、正極1個、負極3個、沖壓腳4個、插座2個、引出線2個。圖6為檢測例1輸入圖像與檢測結果。

圖6 檢測例1輸入圖像與檢測結果圖

圖像輸入Faster R-CNN模型中，輸出的對象數量No=14預測邊界框R1-n、預測分數R2-n、預測類型R3-n=[2, 1, 5, 5, 2, 3, 2, 3, 3, 3, 4, 0, 4, 6]。將R3-n、R2-n代入式⑶可得，正極數量N1=1、負極數量N2=3、沖壓腳數量N3=4、插座數量N4=2、引出線數量N5=2、軸體數量N6=1。

零部件安裝到位、沖壓腳齊全、正極涂裝是正確，裝配質量合格。

檢測例2：某微型直流電機裝配質量要求為軸體1個、正極1個、負極3個、沖壓腳4個、插座2個。圖7為檢測例2輸入圖像與檢測結果。

圖7 檢測例2輸入圖像與檢測結果圖

圖像輸入Faster R-CNN模型中，輸出的對象數量No=12預測邊界框R1-n、預測分數R2-n、預測類型R3-n= [0, 2, 3, 2, 3, 2, 2, 3, 3, 4, 4, 6]。 將R3-n、R2-n代入式(3)可得正極數量N1=0、負極數量N2=4、沖壓腳數量N3=4、插座數量N4=2、引出線數量N5=0、軸體數量N6=1。

零部件安裝是到位、沖壓腳齊全，但正極涂裝不正確，裝配質量不良。

4 結束語

本文提出微型直流電機端蓋裝配質量在線視覺檢測技術，主要工作為：

1）研究基于Faster R-CNN的端蓋裝配質量關鍵特征識別技術，提出微型直流電機端蓋裝配質量關鍵特征識別的Faster R-CNN模型，模型可識別端蓋、軸體、正極、負極、插座、引出線、沖壓腳等7種零部件，模型準確率達到97.3%，實現微型直流電機端蓋有關機殼沖壓腳、正極、負極等關鍵鍵制造質量特征的識別與定位。

2）研發基于Faster R-CNN的端蓋裝配質量檢測技術，通過統計關鍵特征數量，從零部件安裝到位、沖壓腳齊全、正極正確涂裝三方面評價微型直流電機端蓋裝配質量。

3）應用本文技術實現不同規格尺寸的微型直流電機端蓋裝配質量檢測，試驗結果表明，檢測時間不超過0.21 s，能滿足微型直流電機端蓋裝配質量在線視覺檢測需求。