基于YOLOv3的裝配零件多目標實時檢測

1 引言

現(xiàn)代工業(yè)高質(zhì)量生產(chǎn)的需求急速增長，自動化生產(chǎn)線的智能化轉(zhuǎn)型是制造業(yè)升級的關(guān)鍵一環(huán)。在工業(yè)領(lǐng)域中，裝配機械臂在自動化生產(chǎn)線上應(yīng)用廣泛，但是在裝配環(huán)節(jié)中，往往需要人工將零件安裝到位后方可利用裝配機器人進行下一步的裝配操作。這種依靠人力進行的裝配效率低、操作精度低，在裝配環(huán)節(jié)中成為亟待解決的問題。為提高零件等在工業(yè)產(chǎn)線上的裝配效率，需從零件識別定位、裝配測距校準及機械臂控制等多個方向進行研究。

基于機器視覺的裝配系統(tǒng)能提高生產(chǎn)自動化程度，計算機視覺算法在零件的自動分揀與裝配、機械設(shè)備及配件缺陷與磨損檢測、非接觸測量、零件圖像檢索等生產(chǎn)的各個環(huán)節(jié)應(yīng)用廣泛。國內(nèi)外學者對于將計算機視覺技術(shù)應(yīng)用于工業(yè)零件裝配及檢測也有諸多研究。李紅衛(wèi)等人

為獲取機械零件的位姿信息以控制機械臂的抓取動作，構(gòu)建了基于三維點云的語義分割算法，以實現(xiàn)機械零件位姿的三維空間區(qū)域感知。徐萬澤等人

為解決傳統(tǒng)匹配方法準確率低的問題，用若干環(huán)形區(qū)域分割待檢測零件的特征面，然后用包含最多紋理特征的網(wǎng)環(huán)區(qū)域代替特征面進行特征提取，解決了因零件不同側(cè)面而導致的模版不匹配問題。汪曉龍等人

提出一種使用MobileNet V2代替VGG網(wǎng)絡(luò)作為前置網(wǎng)絡(luò)的改進SSD模型進行目標零件檢測，該算法簡化了模型結(jié)構(gòu)，提升了特征信息的提取效率。

近年來，財會教師以財務(wù)咨詢、代理記賬、財務(wù)分析等真實項目為載體，與行業(yè)財務(wù)總監(jiān)合作，讓學生從大一開始接觸專業(yè)訓練，設(shè)置成單元項目課程項目融入財務(wù)會計課程教學中，加強理論與實際的聯(lián)系，更好地適應(yīng)社會對高素質(zhì)創(chuàng)新型人才培養(yǎng)的需要。

YOLO(You Only Look Once)是Joseph Redmon等人

在2016年提出的一種目標檢測的新模型。相比于早于其發(fā)表的目標檢測模型FasterR- CNN而言，YOLO目標檢測模型的檢測準確率在經(jīng)典數(shù)據(jù)集上的表現(xiàn)略低，但是其優(yōu)勢在于快速的檢測速率，平均可達45FPS(Frame Per Second)，是FasterR- CNN模型檢測速率的6倍。此后該作者又先后發(fā)表了YOLO目標檢測模型的算法改進版本。YOLOv3目標檢測模型

是2018年發(fā)表的改進版本，其在分類主干網(wǎng)絡(luò)上的改進使得模型的目標檢測準確率得到了進一步提升。基于YOLOv3目標檢測模型的快速性和較高的目標檢測識別準確率，本研究以YOLOv3算法作為目標檢測框架，提出一種多目標零件識別方法，完成零件分類、多目標識別、實時定位檢測，實現(xiàn)自動高效的多目標零件實時檢測。

2 YOLOv3算法原理

YOLOv3目標檢測算法是近年來在各個領(lǐng)域應(yīng)用頗多的，以深度學習為框架的單階段目標檢測算法，它將檢測問題視為回歸問題，因其模型框架簡單，識別速度快、精度高，而受到了廣泛討論與應(yīng)用。YOLOv3目標檢測模型可以分為預測部分和訓練部分。預測部分使用的主干特征提取網(wǎng)絡(luò)為Darknet-53，由52個卷積層和1個全連接層構(gòu)成，并在卷積層中添加了殘差連接。通過不斷卷積以及殘差邊的疊加，由骨干網(wǎng)絡(luò)提取出來的特征得到圖像分類特征。訓練好特征提取網(wǎng)絡(luò)后，由特征金字塔網(wǎng)絡(luò)加強特征提取。將輸入的圖像經(jīng)過主干網(wǎng)絡(luò)的特征提取器后，得到來自三個不同層次尺度的特征，不同層次尺度的特征由特征金字塔網(wǎng)絡(luò)匯總?cè)诤稀８鱾€尺度的目標檢測預測結(jié)果由輸出層獲得。每一個特征圖會根據(jù)其大小產(chǎn)生三套與之感受野相對應(yīng)的預設(shè)邊界框尺寸作為先驗框，總共產(chǎn)生10647個先驗框。如此多數(shù)量的先驗框也是YOLOv3相比于其前兩代目標檢測算法，在小目標和密集目標檢測方面所做的提升與改進。獲得的先驗框?qū)c真實框進行對比，當它們的面積交并比為最大時，這個先驗框被標記為正樣本，面積交并比小于預設(shè)的閾值時，則此先驗框被標記為負樣本，而其余先驗框則被忽略。

由于自建數(shù)據(jù)集樣本過少，為避免網(wǎng)絡(luò)過擬合而導致無法收斂，以及提高訓練效率，本研究基于遷移學習

的思想，在訓練實驗中采用了在MS COCO (Microsoft Common Objects in Context)訓練集上訓練的預訓練權(quán)重

。主干特征提取網(wǎng)絡(luò)所預學習到的表征輪廓的基礎(chǔ)特征，例如點、拐角、邊緣等是通用的，所以使用預訓練權(quán)重有利于特征提取網(wǎng)絡(luò)的訓練，以提高網(wǎng)絡(luò)訓練效率。因此，在載入預訓練權(quán)重后重新訓練網(wǎng)絡(luò)，設(shè)置網(wǎng)絡(luò)學習率為0.001，權(quán)值衰減依據(jù)YOLOv3官方配置文件設(shè)定為0.0005。

為了讓訓練網(wǎng)絡(luò)能夠得到一張圖片中的待檢測目標的位置及分類信息，需要將采集到的圖片內(nèi)的目標及其分類進行標注。本研究采用開源標注工具LabelImg對數(shù)據(jù)集圖片的零件進行標注。該工具可以對采集的零件圖像進行目標標記，并自動生成相應(yīng)的標注文件以便在訓練時使用。其標注信息包括目標文件名、文件路徑、圖像長寬信息、圖像內(nèi)目標物體的類別、位置等。實驗中訓練集(包括驗證集)圖片數(shù)量占總圖片數(shù)量的90%，測試集圖片數(shù)量占總圖片數(shù)量的10%，驗證集圖片數(shù)量占訓練集圖片數(shù)量的10%。初始新的模型訓練時，將隨機劃分訓練集與測試集。在初始化網(wǎng)絡(luò)參數(shù)后，將零件圖片訓練集及其標注信息輸入到網(wǎng)絡(luò)中進行模型訓練。網(wǎng)絡(luò)模型的學習率設(shè)定為0.001，權(quán)值衰減依據(jù)YOLOv3官方配置文件設(shè)定為0.0005，訓練epoch設(shè)定為100。為檢驗?zāi)繕藱z測結(jié)果的準確性，本研究使用mAP(Mean Average Precision)均值平均準確率作為評價指標。mAP檢測的是多個目標類別的平均準確率，且mAP的值越接近于1表明檢測效果越好。

與具象美術(shù)、意象美術(shù)不同，抽象美術(shù)完全不對應(yīng)于現(xiàn)實世界存在的一切事物，是想象的，虛擬的，裝飾形式或者畫面是來源于藝術(shù)家的精神世界。抽象美術(shù)不再是寫實寫意，他是介于自然之外的精神追求，一般是藝術(shù)家表達自己的心境，或者對宇宙浩瀚的敬畏，也可能是對社會風氣的諷刺。藝術(shù)家往往是通過裝飾形式，筆觸，色彩來表達。

（66）絨苔 Trichocolea tomentella（Ehrh.）Dumort.楊志平（2006）；李粉霞等（2011）；余夏君等（2018）

潘陽確實有女人緣，一來他確實長得帥，二來是他沒臉沒皮。潘陽說自己換女朋友的頻率是每半年一個，“半年還整不上床，那就不用再整了”，他說。

進行網(wǎng)絡(luò)初始化和參數(shù)設(shè)定之后開始訓練檢測模型。由于訓練設(shè)備配置、參數(shù)設(shè)置及訓練集的大小等因素的影響，模型訓練的時間也不同。本研究在初始化網(wǎng)絡(luò)參數(shù)后，將標注好的零件圖片訓練集輸入到網(wǎng)絡(luò)中進行再訓練。圖2為損失函數(shù)變化趨勢及目標檢測結(jié)果評價，由圖2可以看出，在訓練約40個epoch后損失函數(shù)已經(jīng)收斂，訓練停止于設(shè)定的第100個epoch。使用第100個epoch的訓練模型進行目標檢測效果測試，測試集目標檢測的評價結(jié)果如圖2右圖所示，所有10個類的mAP為84.46%，其中大號墊片(flat_pad_big)和小號墊片(flat_pad_small)的檢測AP(Average Precision)分別僅為0.50和0.13，表明其檢測準確率過低，目標檢測效果不好。另外，中號螺母(nut_medium)和小號螺母(nut_small)的檢測AP也小于0.95，其檢測準確率有待提升。

(2)

3 實驗過程及結(jié)果分析

3.1 實驗環(huán)境與數(shù)據(jù)

數(shù)據(jù)集零件樣本共10類，其圖像編號對應(yīng)的零件名稱、零件外徑尺寸及其樣本個數(shù)信息見表1。

實驗使用python3.8與Pytorch搭建檢測框架，數(shù)據(jù)集來自于本研究搭建的圖像采集系統(tǒng)收集到的零件圖像。數(shù)據(jù)圖片拍攝不同零件組合散落擺放的俯視圖，共計224張。數(shù)據(jù)集零件樣本及其編號如圖1所示。

(1)

3.2 實驗結(jié)果與討論

置信度是判斷先驗框輸出的結(jié)果是否準確的一個重要參數(shù)，其數(shù)學表示如公式(2)所示。

由表1的統(tǒng)計信息可以看出，數(shù)據(jù)集內(nèi)不同類別樣本的數(shù)量是不平衡的，其中大、小號墊片(flat_pad_small、flat_pad_big)都分別只有56個樣本，這可能是它們檢測準確率較低的原因之一。針對樣本較少的情況可以考慮數(shù)據(jù)增強，將圖片進行翻轉(zhuǎn)、裁剪等操作以增加樣本數(shù)量。另一方面，以上檢測準確率較低的零件表面及輪廓的紋理、形狀等特征都較少，因此在訓練檢測模型時提取到的特征也可能較少。對于特征提取問題而言，由于網(wǎng)絡(luò)訓練時會隨機初始化權(quán)值，而不好的隨機初始化權(quán)值會影響特征的提取效果，進而導致模型訓練的效果不好。

在訓練部分，需要利用網(wǎng)絡(luò)的預測結(jié)果和真實框的情況計算損失函數(shù)loss。損失函數(shù)由3部分組成：A. 目標定位偏移量損失，計算真實框與正樣本坐標偏差。B. 目標置信度損失，計算正樣本置信度和負樣本置信度。C. 目標分類損失，逐類別計算二元交叉熵損失。對應(yīng)的損失函數(shù)如公式(1)所示。

圖3為使用預訓練權(quán)重后的損失函數(shù)變化趨勢。由圖3可以看出，在訓練約10個epoch后損失函數(shù)已經(jīng)收斂，故在20個epoch后停止訓練。由損失函數(shù)收斂情況可以看出，訓練可以在較短的時間內(nèi)完成，其原因可能有兩點：首先是因為使用了預訓練權(quán)重，且在訓練過程中凍結(jié)了主干特征提取網(wǎng)絡(luò)的權(quán)重，只在檢測網(wǎng)絡(luò)進行了權(quán)重微調(diào)，因此加速了特征的學習及網(wǎng)絡(luò)模型訓練。其次可能的原因是數(shù)據(jù)集較干凈，拍攝的待檢測物體光照良好且沒有背景干擾信息，以及零件沒有比較復雜的特征，較易學習。

粒子更新速度加上虛擬力的調(diào)整后粒子速度能夠及時調(diào)整,避免了陷入局部最優(yōu),既具有較好的全局搜索能力,又具有較好的局部搜索能力。

使用測試集對使用預訓練權(quán)重后訓練好的檢測模型進行測試， 其中一張測試圖片的零件檢測結(jié)果如圖4所示。從圖4中可以看出，所有類別的零件都被正確檢出，且檢測框較為準確地框選住了零件的主體部分，這樣的檢測效果可以為后續(xù)零件的定位分揀抓取提供參考信息。

使用預訓練權(quán)重訓練后的網(wǎng)絡(luò)模型測試集目標檢測的評價結(jié)果如圖5所示。從圖5中可以看出，所有10個類別零件的mAP從未使用預訓練權(quán)重時的84.46%提升到了99.8%，大號墊片(flat_pad_big)的檢測AP從0.50提升到了1.0，小號墊片(flat_pad_small)的檢測AP從0.13提升到了0.99，且中號螺母(nut_medium)和小號螺母(nut_small)的檢測AP也分別提升到了1.0和0.99。測試結(jié)果表明，使用預訓練權(quán)重對網(wǎng)絡(luò)模型的訓練效率及準確率均有顯著提升，檢測結(jié)果有效。

4 結(jié)論

本研究為實現(xiàn)多目標零件檢測任務(wù)，提出通過深度學習網(wǎng)絡(luò)模型學習零件特征向量的方法，得到了基于YOLOv3目標檢測算法的零件識別檢測模型，并通過加載預訓練特征權(quán)重進行特征提取網(wǎng)絡(luò)訓練提高了訓練效率。實驗結(jié)果表明，所提出的方法識別所有10個類別零件的mAP為99.8%，識別周期小于1s，滿足實時檢測的要求。該零件識別工作的實現(xiàn)，為后續(xù)零件位姿識別及引導機械臂抓取控制奠定了基礎(chǔ)。本研究所得到的檢測結(jié)果存在部分檢測框未將零件全部框入框內(nèi)的現(xiàn)象，導致目標定位不夠準確，可能會影響后續(xù)零件位置識別；另外，本研究的數(shù)據(jù)集未考慮零件相互遮擋堆疊情況的目標檢測效果，后續(xù)研究可針對以上問題進一步改進。

[1]李紅衛(wèi), 張煜奇, 周軍,等. 基于區(qū)域感知的機械零件位姿計算方法[J]. 南京航空航天大學學報, 2021, 53(1): 78-84.

[2]徐萬澤, 李柏林, 歐陽,等. 基于環(huán)形模板匹配的金屬零件識別算法[J]. 傳感器與微系統(tǒng), 2021, 40(2): 128-31.

[3]汪小龍, 蔣永勝. 基于改進SSD的零件目標檢測研究與應(yīng)用[J]. 蘭州工業(yè)學院學報, 2021, 28(2): 49-54.

[4]Redmon J ,Divvala S , Girshick R , et al. You Only Look Once: Unified, Real-Time Object Detection[J]. IEEE, 2016.

[5]Redmon J. YOLOv3: An Incremental Improvement[EB/ OL].[2018 -03 -06].

[6]Pan SJ, Yang Q. A Survey on Transfer Learning[J]. Knowledge and Data Engineering. 2010, 22(10): 1345-1359.

[7]https://mscoco.org/