基于關(guān)鍵點(diǎn)預(yù)測的裝配機(jī)器人工件視覺定位技術(shù)

倪 濤 張泮虹 李文航 趙亞輝 張紅彥 翟海陽

(1.燕山大學(xué)車輛與能源學(xué)院，秦皇島 066004；2.吉林大學(xué)機(jī)械與航空航天學(xué)院，長春 130022)

0 引言

裝配作為產(chǎn)品生產(chǎn)的關(guān)鍵工序，實(shí)現(xiàn)其自動化能夠提高生產(chǎn)效率，節(jié)約人力成本。機(jī)器視覺以及機(jī)器學(xué)習(xí)的發(fā)展為裝配機(jī)器人的智能化發(fā)展指明了方向。裝配機(jī)器人工件的定位技術(shù)大致分為基于圖像特征、點(diǎn)云位姿以及深度學(xué)習(xí)3類。尚洋等[1]針對不同工況提出了一套完整的解決方案，在目標(biāo)物體模型已知的情況下，提出了基于直線間積分距離度量的位姿測量方法，而對于模型不確定或未知的物體，結(jié)合光束平差法的思想，根據(jù)序列圖像對物體模型進(jìn)行修正或重建，求解物體位姿。發(fā)那科公司開發(fā)的iRvision[2]機(jī)器人視覺系統(tǒng)通過多個相機(jī)獲取工件在不同維度的位置坐標(biāo)，融合成工件的整體位姿，指導(dǎo)機(jī)器人進(jìn)行作業(yè)并補(bǔ)償偏差。以上基于手工特征方法的缺點(diǎn)是對環(huán)境和光照的要求較高，檢測精度極易受到物體紋理、光照等因素的影響，算法穩(wěn)定性差。方賢根[3]采用點(diǎn)云特征提取的方法獲取工件的精確位姿。姜德濤等[4]將位姿估計過程分為粗配準(zhǔn)和精配準(zhǔn)兩部分，并提出了四叉樹逼近算法對ICP點(diǎn)云配準(zhǔn)過程進(jìn)行了優(yōu)化，并最終得到了工件位姿。DROST等[5]在2010年提出了點(diǎn)對特征(Point pair feature，PPF)算法，將物體點(diǎn)云的點(diǎn)對特征作為描述子，在已知點(diǎn)云模型的情況下，用點(diǎn)對特征作為匹配基準(zhǔn)來識別物體。HINTERSTOISSER等[6]在其基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn)，取得了較好的效果。張少杰等[7]針對匹配過程中的錯誤匹配提出了雙閾值剔除算法。LI等[8]針對點(diǎn)云模型中的不必要描述特征導(dǎo)致的匹配性能降低，提出了穩(wěn)定觀察點(diǎn)對，通過構(gòu)建全局模型特征描述子來實(shí)現(xiàn)速度匹配和精度平衡。點(diǎn)云匹配的方法雖然能夠獲得較高的檢測精度，但要求預(yù)先建立高精度的物體點(diǎn)云模型，并無法解決物體遮擋問題。

相較于圖像特征和點(diǎn)云匹配，近年來的深度學(xué)習(xí)給研究人員帶來了新的思路和方向，文獻(xiàn)[9]提出了一種位姿估計算法評估基準(zhǔn)，并對15種不同方法進(jìn)行評估，結(jié)果顯示深度學(xué)習(xí)算法在精度和計算效率上均優(yōu)于其他方法。在眾多深度學(xué)習(xí)算法中，有以LINEMOD[10]為代表的模板匹配方法，該方法的缺點(diǎn)是當(dāng)目標(biāo)物體在場景中存在遮擋時無法完成匹配，BB8[11]和SSD-6D[12]則采用端到端的方式，將輸入的圖像分割識別出目標(biāo)物體的二維包圍盒，并使用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)預(yù)測物體的三維姿態(tài)，該方法將位姿估計視為一個整體，以圖像作為輸入而直接輸出位姿，不能保證網(wǎng)絡(luò)的泛化性。PVNet[13]將基于向量場投票的思想應(yīng)用到關(guān)鍵點(diǎn)的預(yù)測上，通過投票得到物體關(guān)鍵點(diǎn)的坐標(biāo)，再使用PnP算法計算物體位姿，有效解決了目標(biāo)物體被遮擋的問題。PoseCNN[14]則是先提取出不同分辨率下圖像的特征，分割出圖像中物體的像素，再依次得到物體的平移和旋轉(zhuǎn)向量。CHEN等[15]提出了一種實(shí)時估計目標(biāo)物體位姿的網(wǎng)絡(luò)框架G2L-Net。HE等[16]提出了PVN3D位姿估計網(wǎng)絡(luò)框架，同樣以深度圖像作為輸入，由特征提取模塊融合外觀特征和幾何信息，將特征輸入三維關(guān)鍵點(diǎn)檢測模塊，通過訓(xùn)練預(yù)測每個點(diǎn)的偏移量，并最終使用最小二乘擬合算法應(yīng)用于預(yù)測關(guān)鍵點(diǎn)，估計出位姿參數(shù)，這些學(xué)習(xí)框架都是基于開源的數(shù)據(jù)集，無法保證經(jīng)過訓(xùn)練之后能夠?qū)W習(xí)到足夠的特征，對最終工件的檢測精度造成一定的影響。

本文采用深度學(xué)習(xí)的方式，對基于關(guān)鍵點(diǎn)預(yù)測的工件視覺定位技術(shù)展開研究。采集工件各個角度的彩色圖像和深度圖像的信息，計算得到工件的位姿信息，選取工件表面的關(guān)鍵點(diǎn)作為數(shù)據(jù)集。然后構(gòu)建關(guān)鍵點(diǎn)的向量場，實(shí)現(xiàn)前景點(diǎn)指向關(guān)鍵點(diǎn)的向量場預(yù)測，將其與數(shù)據(jù)集一同輸入深度網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到輸入工件圖像的關(guān)鍵點(diǎn)預(yù)測結(jié)果，以此為基礎(chǔ)實(shí)現(xiàn)工件的位姿估計，并對位姿結(jié)果進(jìn)行可視化。

1 六自由度位姿估計數(shù)據(jù)集構(gòu)建

構(gòu)建的數(shù)據(jù)集用于網(wǎng)絡(luò)模型的訓(xùn)練，直接決定了預(yù)測結(jié)果的準(zhǔn)確率，本文針對構(gòu)建位姿估計數(shù)據(jù)集時位姿數(shù)據(jù)難以測得的問題，使用ArUco位姿檢測標(biāo)識和ICP點(diǎn)云配準(zhǔn)技術(shù)構(gòu)建了一組用于訓(xùn)練位姿估計網(wǎng)絡(luò)模型的數(shù)據(jù)集。

1.1 ArUco標(biāo)識位姿解算

采用相機(jī)對標(biāo)識進(jìn)行圖像采集，并進(jìn)行閾值化處理進(jìn)而增強(qiáng)圖像主體，如圖1所示。但是，由于圖像中標(biāo)識或大或小(圖2)都會影響標(biāo)識的檢測結(jié)果，因此在進(jìn)行位姿檢測時需設(shè)定標(biāo)識角點(diǎn)到圖像邊緣的最小距離，在獲取位姿時舍棄掉角點(diǎn)超出圖像邊緣或離邊緣較接近的標(biāo)識，以獲得準(zhǔn)確的結(jié)果。檢測圖像中所有輪廓，通過輪廓濾波，剔除掉一些標(biāo)識可能較小的輪廓，丟棄掉錯誤的候選，減少候選目標(biāo)，以降低下一階段的計算消耗。過濾得到候選結(jié)果后，通過比特位提取對其進(jìn)行解碼，確定圖形是否為標(biāo)識。最后，針對每個圖形提取出的比特位序列進(jìn)行錯誤檢測，判斷是否屬于標(biāo)識字典。對于邊界寬度為1的標(biāo)識來說，邊界所對應(yīng)的比特位一定為黑色，可以直接剔除不符合條件的結(jié)果。以比特位為索引，在字典內(nèi)查找標(biāo)識，若匹配成功，則返回標(biāo)識ID。

圖1 標(biāo)識閾值化Fig.1 Signals thresholds

圖2 標(biāo)識過小(左)過大(右)Fig.2 Signs too small (left) and too large (right)

在成功匹配標(biāo)識的情況下，對標(biāo)識的位姿進(jìn)行求解，即計算從標(biāo)識坐標(biāo)系到相機(jī)坐標(biāo)系的剛體變換矩陣。假設(shè)世界坐標(biāo)系{O}在標(biāo)識坐標(biāo)系所在平面{m}上，即Z=0，并且已知標(biāo)識4個角點(diǎn)在世界坐標(biāo)系下的位置，可以通過文獻(xiàn)[17]中的DLT算法計算標(biāo)識圖形由世界坐標(biāo)系到圖像坐標(biāo)系的單應(yīng)矩陣，即標(biāo)識的齊次變換矩陣，并且這種方法能夠?qū)⒂捎诮屈c(diǎn)在圖像中的像素信息誤差導(dǎo)致的定位誤差最小化。最終得到的標(biāo)識位姿結(jié)果如圖3所示。

圖3 ArUco標(biāo)識位姿識別結(jié)果Fig.3 ArUco signals pose recognition results

1.2 工件位姿解算

通過ArUco標(biāo)識已經(jīng)計算出標(biāo)識位姿，建立起標(biāo)識坐標(biāo)系相對相機(jī)坐標(biāo)系的位姿變換關(guān)系，能夠求得每幀間標(biāo)識坐標(biāo)系的位姿變換矩陣。由于標(biāo)識和工件在同一水平面，且相對位置保持不變，則每幀圖像間工件坐標(biāo)系的剛體變換矩陣與標(biāo)識坐標(biāo)系變換矩陣相等。之后，只需要確定初始狀態(tài)的工件位置，再根據(jù)坐標(biāo)系的剛體變換，即可求得每幀圖像中工件的位姿。

本節(jié)利用ICP點(diǎn)云配準(zhǔn)技術(shù)[18]，對實(shí)驗場景進(jìn)行三維重構(gòu)，如圖4所示；獲取工件點(diǎn)云模型，如圖5所示；再次使用ICP點(diǎn)云配準(zhǔn)技術(shù)，將工件模型與初始狀態(tài)下的點(diǎn)云圖像進(jìn)行配準(zhǔn)，得到圖像中工件點(diǎn)云相對于相機(jī)坐標(biāo)系原點(diǎn)的剛體變換矩陣，即工件在初始化狀態(tài)下的位姿。

圖4 場景三維點(diǎn)云配準(zhǔn)結(jié)果Fig.4 Scene 3D point cloud registration results

圖5 工件點(diǎn)云模型Fig.5 Workpiece point cloud model

2 基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)向量場預(yù)測

由于直接預(yù)測關(guān)鍵點(diǎn)會帶來誤差，對結(jié)果的準(zhǔn)確度影響很大。而采用間接方式先預(yù)測圖像中工件區(qū)域各像素點(diǎn)指向關(guān)鍵點(diǎn)的方向向量，構(gòu)建向量場，再獲取關(guān)鍵點(diǎn)坐標(biāo)，這樣能夠獲得更好的魯棒性，能夠最大程度降低局部誤差對整體結(jié)果產(chǎn)生的影響。并且通過這種方式還能夠在物體受到一定程度遮擋或截斷的情況下，即使有些關(guān)鍵點(diǎn)無法被看到，利用剛體的特性，仍然能夠根據(jù)可見部分像素的向量場來預(yù)測出被遮擋關(guān)鍵點(diǎn)的位置，進(jìn)而估計出工件的位姿。

2.1 關(guān)鍵點(diǎn)選取

為保證求解位姿時具有更高的準(zhǔn)確度，關(guān)鍵點(diǎn)需盡量分散。本文使用最遠(yuǎn)點(diǎn)采樣(Farest point sampling，F(xiàn)PS)[19]在工件表面選取8個點(diǎn)，但是對于某些作為裝配基準(zhǔn)面的零件表面則需要更高的定位精度，因此也選定了若干點(diǎn)作為基準(zhǔn)關(guān)鍵點(diǎn)，使系統(tǒng)在位姿計算時考慮到局部信息。FPS在選取關(guān)鍵點(diǎn)時，需計算{b1,b2,…,bn-k+1}與{a1,a2,…,ak-1}間的距離，每次選取計算(n-k+1)(k-1)個距離，占用大量的計算消耗，在選取過程中包含許多重復(fù)計算，本文對計算過程進(jìn)行了優(yōu)化。

(1)

其中

式中 distance(b,a)——點(diǎn)b與點(diǎn)a間的距離運(yùn)算函數(shù)

(2)

經(jīng)過優(yōu)化，選取第k個關(guān)鍵點(diǎn)時只需計算n-k+1個距離，有效降低了計算消耗。

2.2 基于改進(jìn)的ResNet18向量場預(yù)測

向量場在PoseCNN[14]算法中首次被提出，PVNet將這種方法用于關(guān)鍵點(diǎn)的預(yù)測，本文使用改進(jìn)后的ResNet18深度殘差網(wǎng)絡(luò)[20]模型作為PVNet神經(jīng)網(wǎng)絡(luò)框架的主體實(shí)現(xiàn)目標(biāo)檢測，其結(jié)構(gòu)如圖6所示。

圖6 PVNet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 PVNet neural network structure diagram

PVNet的主要任務(wù)有：①對輸入的圖像進(jìn)行語義分割，得到工件的圖像掩碼，即目標(biāo)區(qū)域。②預(yù)測目標(biāo)區(qū)域像素點(diǎn)對于每個關(guān)鍵點(diǎn)的向量場。

圖像輸入到網(wǎng)絡(luò)模型后，首先進(jìn)行一系列的池化操作提取出圖像特征；然后對經(jīng)過卷積提取出來的抽象特征進(jìn)行上采樣操作，一般是通過反卷積來實(shí)現(xiàn)[21]；最終預(yù)測每個像素的類別標(biāo)簽并以圖像掩碼的方式輸出，得到工件區(qū)域像素所對應(yīng)的目標(biāo)區(qū)域。

ResNet深度殘差網(wǎng)絡(luò)[22]是一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，和常規(guī)的深度網(wǎng)絡(luò)最大的不同之處在于深度殘差網(wǎng)絡(luò)除了普通堆疊外還引入了捷徑，將經(jīng)過權(quán)值疊加后的輸出和輸入連接到一起組成并聯(lián)網(wǎng)絡(luò)，可使訓(xùn)練過程更加高效，如圖7所示。

圖7 殘差網(wǎng)絡(luò)基本單元Fig.7 Basic unit of residual network

2.3 模型訓(xùn)練

由于位姿估計數(shù)據(jù)集屬于小樣本數(shù)據(jù)集，隨機(jī)初始化從頭開始訓(xùn)練容易出現(xiàn)過擬合現(xiàn)象，且模型的特征提取泛化能力不強(qiáng)，本文使用經(jīng)過ImageNet預(yù)訓(xùn)練的ResNet網(wǎng)絡(luò)模型，ImageNet數(shù)據(jù)集作為圖像識別最大的數(shù)據(jù)庫，是按照WordNet架構(gòu)組織的大規(guī)模帶標(biāo)簽圖像數(shù)據(jù)集，約包含1.5×107幅圖像，2.2×104類，每幅圖像都經(jīng)過了嚴(yán)格的人工篩選和標(biāo)記。ImageNet作為執(zhí)行過大量數(shù)據(jù)特定分類任務(wù)的模型，其淺層網(wǎng)絡(luò)對于圖像特征的提取能力以及網(wǎng)絡(luò)泛化能力都有較好的提升，能夠獲得一組較優(yōu)的權(quán)重。

模型訓(xùn)練采用Adam[23]優(yōu)化器以及反向傳播算法[24]對參數(shù)進(jìn)行優(yōu)化，將參數(shù)β1和β2分別設(shè)置為0.9、0.99。初始學(xué)習(xí)率設(shè)置為0.001，權(quán)值衰減系數(shù)為0.85，每5個訓(xùn)練期衰減一次，直到0.000 01，批量設(shè)置為8，α初始值為1，每個訓(xùn)練期放大1.1倍。

3 基于關(guān)鍵點(diǎn)生成假設(shè)的位姿計算

3.1 生成關(guān)鍵點(diǎn)假設(shè)

根據(jù)隨機(jī)抽樣一致(Random sample consensus，RANSAC)[25-26]的思想，從樣本中選取初始值，作為局內(nèi)點(diǎn)估計出模型參數(shù)。對于關(guān)鍵點(diǎn)預(yù)測問題，首先生成關(guān)鍵點(diǎn)的所有假設(shè)，確定各個關(guān)鍵點(diǎn)可能存在的所有位置。

圖8 生成關(guān)鍵點(diǎn)假設(shè)Fig.8 Generating key point hypothesis

3.2 關(guān)鍵點(diǎn)投票策略及優(yōu)化

在成功得到由向量場生成的關(guān)鍵點(diǎn)假設(shè)后，對于每一關(guān)鍵點(diǎn)的所有假設(shè)，使用投票的方式計算各個關(guān)鍵點(diǎn)假設(shè)的置信度。

從關(guān)鍵點(diǎn)假設(shè)的集合中按順序每次取出一點(diǎn)作為待測試模型。然后計算前景層內(nèi)像素點(diǎn)的數(shù)量，若數(shù)量大于n則從中隨機(jī)抽選n個點(diǎn)作為測試點(diǎn)，若小于n則全部取出。之后，計算測試點(diǎn)指向關(guān)鍵點(diǎn)假設(shè)的矢量，并與測試點(diǎn)對應(yīng)的方向向量進(jìn)行比較，若兩者間誤差低于閾值，則視為該測試點(diǎn)適應(yīng)此模型，將其擴(kuò)充進(jìn)內(nèi)點(diǎn)集Pinlier，并為該關(guān)鍵點(diǎn)假設(shè)累計1投票得分，否則將該測試點(diǎn)歸為局外點(diǎn)，如圖9所示。

投票分?jǐn)?shù)ωk,i計算式為[27]

(3)

(4)

式中θ——模型閾值，用于判斷數(shù)據(jù)點(diǎn)是否適應(yīng)此模型，取0.99

在經(jīng)過一系列迭代后，根據(jù)投票分?jǐn)?shù)ω，得到最優(yōu)的關(guān)鍵點(diǎn)假設(shè)hwin，并對模型進(jìn)行更新。由于在上一步生成關(guān)鍵點(diǎn)假設(shè)時，有些像素點(diǎn)對應(yīng)的方向向量誤差較大，由這樣的點(diǎn)生成的假設(shè)也一并納入，會對估計結(jié)果產(chǎn)生影響，現(xiàn)在在將局外點(diǎn)剔除的情況下重新估計模型。首先選取擴(kuò)充后的內(nèi)點(diǎn)集Pinlier，使用2.1節(jié)的方法令各點(diǎn)方向向量兩兩相交生成關(guān)鍵點(diǎn)假設(shè)，再由內(nèi)點(diǎn)集中的各點(diǎn)對重新得到的關(guān)鍵點(diǎn)假設(shè)投票，得到最終關(guān)鍵點(diǎn)的預(yù)測結(jié)果。

n點(diǎn)透視投影(Perspective n point，PnP)[28]是一種被廣泛應(yīng)用于根據(jù)輸入點(diǎn)對來計算位姿變化矩陣的方法。選取其中最有效的有效n點(diǎn)透視投影(Efficient perspective n point，EPnP)方法對工件的位姿進(jìn)行求解，如圖10所示。最后采用基于主成分分析法[13]的有向包圍盒進(jìn)行位姿求解，結(jié)果如圖11所示。

圖10 EPnP求解Fig.10 EPnP solving

圖11 有向包圍盒的生成Fig.11 Generation of directed bounding boxes

4 實(shí)驗及分析

在Ubuntu 16.04 LTS操作系統(tǒng)下進(jìn)行各部分的實(shí)驗。硬件設(shè)備使用Intel i7-8700K處理器，16 GB運(yùn)行內(nèi)存，顯卡為NVIDIA GTX 1080，顯存為6 GB，在GTX1080ti的GPU下，以速度0.025幀/ms進(jìn)行處理。

4.1 向量場預(yù)測實(shí)驗

將測試集中的圖像輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測，本次實(shí)驗根據(jù)FPS算法選取了8個關(guān)鍵點(diǎn)，包括工件的中心點(diǎn)在內(nèi)共9個關(guān)鍵點(diǎn)，最終網(wǎng)絡(luò)輸出的各個關(guān)鍵點(diǎn)的像素點(diǎn)向量場示意圖如圖12所示。

圖12 輸出各關(guān)鍵點(diǎn)向量場示意圖Fig.12 Output vector field schematic of each key point

4.2 位姿估計實(shí)驗

在向量場已知的情況下，利用向量交叉法得到所有的關(guān)鍵點(diǎn)假設(shè)，并由投票點(diǎn)對假設(shè)點(diǎn)進(jìn)行投票，根據(jù)投票結(jié)果計算參考點(diǎn)并傳入PnP求解器，求得位姿結(jié)果由有向包圍盒顯示，并與數(shù)據(jù)集中的位姿進(jìn)行對比，如圖13所示。圖中綠色包圍盒為數(shù)據(jù)集中真實(shí)位姿結(jié)果，藍(lán)色包圍盒為系統(tǒng)輸出的位姿估計結(jié)果。根據(jù)文獻(xiàn)[28]中的ADD度量對本次實(shí)驗中810幀圖像的預(yù)測結(jié)果進(jìn)行評估，得到正確結(jié)果百分?jǐn)?shù)為86.05%。

圖13 位姿估計實(shí)驗結(jié)果Fig.13 Pose estimation experimental results

為了進(jìn)一步對工件位姿估計結(jié)果進(jìn)行評估，使用Steward六自由度并聯(lián)機(jī)器人搭建實(shí)驗平臺進(jìn)行實(shí)驗，如圖14所示。將工件連接在并聯(lián)機(jī)器人的上平臺表面，控制并聯(lián)機(jī)器人運(yùn)動，并使用視覺定位系統(tǒng)估計工件位姿。在實(shí)驗過程中，由電動缸傳感器計算并聯(lián)機(jī)器人上平臺坐標(biāo)系的位姿，進(jìn)一步計算工件位姿，并與視覺定位系統(tǒng)位姿估計結(jié)果進(jìn)行對比。結(jié)果表明，通過傳感器檢測的位姿結(jié)果精度較高，上平臺位姿定位誤差小于1 mm，上述方式能夠評估視覺定位系統(tǒng)的性能。

圖14 實(shí)驗平臺Fig.14 Experimental platform

并聯(lián)平臺位姿采樣間隔為5 ms，視覺系統(tǒng)每幀圖像的檢測周期為40 ms，工件x、y、z3軸轉(zhuǎn)角對比曲線如圖15所示。工件在穩(wěn)定狀態(tài)下轉(zhuǎn)角估計結(jié)果較為平穩(wěn)，沿某一方向開始運(yùn)動時，3軸轉(zhuǎn)角的估計結(jié)果均發(fā)生抖動，其中，在x、y軸方向上檢測誤差均值分別為2.61、3.02 mm，平臺沿z軸方向進(jìn)行升沉運(yùn)動時，檢測結(jié)果容易發(fā)生抖動，誤差均值為4.2 mm，但是總體來看，視覺識別系統(tǒng)能夠在誤差允許范圍內(nèi)估計出運(yùn)動工件的位姿。

圖15 轉(zhuǎn)角曲線Fig.15 Angle curves

4.3 遮擋物實(shí)驗

由于位姿估計過程中，通過工件的所有像素點(diǎn)投票得到關(guān)鍵點(diǎn)位置，所以即使物體局部受到遮擋，被遮擋的關(guān)鍵點(diǎn)也能由未被遮擋部分的像素點(diǎn)預(yù)測得出，使得系統(tǒng)在工件被部分遮擋的情況下依然有效。為了驗證視覺定位系統(tǒng)對于物體被截斷或遮擋情況下的識別能力，采集特定圖像作為輸入進(jìn)行了實(shí)驗，圖16為先對圖像進(jìn)行隨機(jī)旋轉(zhuǎn)和裁剪操作再輸入系統(tǒng)得到的結(jié)果，圖 17為采集圖像時對工件主體施加人為的遮擋得到的結(jié)果。由實(shí)驗結(jié)果可見，本系統(tǒng)在物體被截斷及遮擋的情況下仍具有一定的識別能力。

圖16 被截斷工件位姿估計Fig.16 Pose estimation of truncated workpiece

圖17 被遮擋工件位姿估計Fig.17 Pose estimation of occluded workpiece

4.4 魯棒性實(shí)驗

為了驗證視覺定位系統(tǒng)的魯棒性，對位姿識別的場景施加了擾動，測試了在復(fù)雜背景、干擾物多以及人為施加干擾情況下的實(shí)驗情況，如圖18所示。實(shí)驗結(jié)果驗證了視覺定位系統(tǒng)有一定魯棒性，能夠在一定程度上在工作場景發(fā)生變化的情況下識別出目標(biāo)物體。

圖18 施加擾動的工件位姿估計Fig.18 Pose estimation of workpiece with perturbation

4.5 定位精度對比實(shí)驗

目前較為成熟的基于特征匹配方法和本文所述的基于關(guān)鍵點(diǎn)預(yù)測方法的檢測誤差對比，實(shí)驗所用檢查樣本是第1節(jié)所建的數(shù)據(jù)集，如圖19、20所示，從實(shí)驗結(jié)果可以看出，除去部分采集圖像，本文所述的基于關(guān)鍵點(diǎn)預(yù)測的工件定位精度得到了一定程度的提高，尤其在容易發(fā)生抖動的z軸方向效果更為顯著。因為檢測的工件是放置在平面上，故x、y軸方向的旋轉(zhuǎn)誤差沒有考慮。

圖19 工件誤差曲線Fig.19 Error curves of workpiece

圖20 工件繞z軸旋轉(zhuǎn)誤差曲線Fig.20 Error curves of workpiece rotation about z axis

5 結(jié)論

(1)輸出的由FPS算法選出的關(guān)鍵點(diǎn)向量場表明了所搭建的PVNet深度模型框架的有效性。

(2)通過ADD位姿估計標(biāo)準(zhǔn)對定位系統(tǒng)進(jìn)行評價，對810幀圖像的預(yù)測結(jié)果進(jìn)行評估，得到正確結(jié)果的百分?jǐn)?shù)為86.05%。

(3)針對主體被截斷、遮擋以及畫面中存在干擾的情況，實(shí)驗結(jié)果表明所述系統(tǒng)具有一定的魯棒性。