基于PointNet++的焊裝夾具零件識別

徐 華,陶長城,樂鑫淼

(湖北汽車工業學院材料科學與工程學院,十堰 442000)

0 引言

不同車型的車身焊裝夾具,具體尺寸均不相同,但是具有較高的相似性。在新車型焊裝夾具的設計過程中,在夾具零件庫中調用已有的設計數據,是一種常用的提高設計效率的有效方法。夾具零件庫的搭建是實現焊裝夾具人工重用零件設計數據和自動化設計的基礎。隨著生產規模的不斷擴大,傳統的零件庫管理方式已經無法滿足工廠的生產需要以及自動化設計對數據的要求。傳統的零件庫搭建方式主要有以下研究:王方倫等[1]根據規則化、模塊化和參數化的方式搭建數據庫實現焊裝夾具的參數化建模;YANG、李堂明等[2-4]根據CATIA二次開發技術和參數化理論搭建零件庫,并搭建其零件的圖形庫;周志強等[5]通過人工的方式建立焊裝夾具零件分類準則,并開發出焊裝夾具參數化零件庫。以上研究都是通過人工的方式來完成零件庫的搭建,需要不斷的通過人工的方式向零件庫添加零件,效率低下。

隨著人工智能技術的發展,計算機視覺技術在制造業中扮演著越來越重要的角色。點云作為一種重要的3D數據類型,隨著3D采集技術的發展已被廣泛用于多個應用場景[6]。目前利用三維點云數據進行分類的深度學習研究主要有:夏緒輝等[7]運用K-Means算法對形貌特征相差較大的廢舊零件進行分類再加工,并通過PointNet網絡對同簇形貌特征相差較小的零件進行分類。該方法運行效率較高,但在處理同簇形貌差距較小的零件時,精度低于PointNet++網絡;TANG等[8]將傳統的機器學習算法與多尺度模型相結合完成輸電線路走廊點云的分類,提高了輸電線路的分類精度,但該方法分類精度仍低于深度學習方法;ZHANG等[9]提出了一種通過顯著圖來指導替換點的選擇的數據增強方法,用于提高點云的分類精度,但該方法的時間復雜度較高;SHEIKH等[10]提出了一種可直接用于原始點云的深度特征變換網絡。該方法運行效率較高,但其分類精度略低;XU等[11]根據單視角和局部實驗來完成點云分類,驗證PAPNet的優越性。但該方法無法充分利用全局信息,限制了分類精度的提高。MATTEO、SHI等[12-13]提出了一種有監督機器學習零件分類的方法和零件聚類方法,對典型的機械工業零件進行分類,取得了良好的效果。但該方法缺乏對局部特征的獲取,對形貌差距較小的零件進行分類時,精度較低。YU等[14]將三維點云轉化為無向圖結構,用于自適應獲取點云的鄰域信息,并引入殘差網絡提高分類精度,但該方法存在計算復雜度高和數據冗余的情況。

本文以歐標焊裝夾具零件為研究對象,針對傳統焊裝夾具零件識別分類過程中存在的時間成本高、效率低下以及其他機器學習方法中存在的忽略局部特征和全局特征等問題,對比各個機器學習模型的優劣,采用兼顧局部和全局特征的PointNet++深度學習網絡完成焊裝夾具零件的自動識別分類,為焊裝夾具零件庫的自動化搭建及零件設計數據的重復調用提供一種新的思路。

1 基于PointNet++網絡的零件分類設計方法

1.1 三維點云模型的獲取

點云是指目標表面特性的海量點集合,用于描述物體的形狀和輪廓特征。三維點云數據包含的屬性信息主要為點云三維空間坐標、點云法向量、色彩值和透明程度等。本文通過CATIA獲取三角網格數據(stl文件),以Pycharm為平臺,通過Python第三方包Open3D進行數據類型的批量轉換和存儲,將pcd文件轉化為txt文件來存儲點云三維空間坐標,最終搭建各類數據集進行網絡訓練并通過Pytorch框架完成模型的訓練。

本文用于訓練的樣本數據共1000條,共5個類別,各類別樣本200條。取各類別樣本總數的80%和20%分別作為訓練集數據和驗證集數據。各類別點云數據如圖1所示。

(a) 型塊 (b) 連接塊 (c) 定位銷 (d) 銷座 (e) 歐標支座

1.2 原始點云預處理方法

本文主要通過Open3D庫完成原始點云的采集和預處理操作,首先通過stl文件獲取各頂點及其三角面片,然后從三角網格的三維表面進行均勻采樣n個點,作為原始點云。通過最遠點采樣(FPS)在每個點云樣本中截取m個點作為模型的輸入,可以有效的減少計算量并保留點云樣本的主要特征。最遠點采樣步驟為:

步驟1:從原始點云中隨機選取一個點,作為初始點記為p0;

步驟2:然后依次計算剩余點距離p0的歐氏距離,按照距離p0最遠的點進行選擇,表達式如式(1)所示。

p1=argmax(d(pi,p0)),i=1,2,…,n-1

(1)

式中:argmax表示取最大值的下標,pi與p0的距離記作d(pi,p0),i為點的下標。

步驟3:對于剩下的每個點,分別計算到p0和p1的距離,并選取最短的距離作為該點到p0和p1的整體距離,計算這些距離后,選取距離最大的那個點加入集合。重復步驟3操作直到選取到m個點為止。其表達式如式(2)所示。

pm=argmax(min(d(pi,pj))),i≠j,i,j=1,2,…,m-1

(2)

對采樣所得點云進行歸一化處理,使其在XYZ三個方向上的尺度均值為0,方差為1。通過均值和方差對原始點的坐標進行處理后,獲取最終的點歸一化后的坐標,消除量綱。該算法本質上是通過均值對點云進行平移,并通過方差來實現點云的縮放,將點云數據的中心置于坐標原點,其均值計算公式如式(3)所示。

(3)

式中:μx、μy、μz為X、Y、Z三方向上的坐標均值。

將式(3)計算所得均值帶入式(4)得X、Y、Z三方向的方差σx、σy、σz:

(4)

將期望與方差代入式(5)得點云歸一化后坐標:

(5)

(a) 點云均勻采樣圖 (b) 點云FPS采樣圖

1.3 PointNet++單尺度分組策略分類網絡結構

PointNet++通過SA層(集合抽象層)對原始點云進行采樣分組,采用單尺度分組(SSG)策略和多尺度分組策略(MSG),可以更好的提取點云數據的局部特征。PointNet++相對于PointNet,更加注重于物體點云的局部結構,通過一個多層級特征提取結構,可以有效的依據不同的感受野大小來提取不同區域的局部特征,最終總結出全局特征。PointNet++的SSG分類網絡結構如圖3所示,其中N是輸入點的數量,d是坐標維度,C是特征維度,N1、N2是經過最遠點采樣后輸出的中心點的個數,K為球形區域內點的數量,C1、C2分別為經過SA1層和SA2層后每個分組點云的特征維度,C3為經過PointNet后每個分組點云的特征維度,k為所得的類別輸出。其主要由SA層和PointNet層交替堆疊構成,最后用全連接層基于采集的點云特征進行分類。其中SA層對于每一個采樣點,找到其周圍一定范圍內的點,形成一個新的點云數據,通過多層感知機(MLP)對該點云數據進行特征提取,并通過最大池化操作聚合為一個特征向量。PointNet則通過多層感知機和池化操作將一個點云的點特征映射為一個全局點特征向量來表示整個點云的特征。

圖3 PointNet++單尺度分組分類模型網絡結構

本文模型采用最遠點采樣的方法從原始點云中采集1024個點,采樣過程采用均勻采樣,并將這些點作為中心點。SA1層其輸入為X、Y、Z坐標值,輸入維度為(B,1024,3),其中B表示批處理大小,1024為輸入的點云的點數,3為點的特征維度即XYZ坐標。交換輸入數據的第2個維度和第3個維度的位置,轉換得其特征維度為(B,3,1024)。進行均勻下采樣,采樣中心點的個數為512,運用球形鄰域查詢算法(ball query)得其特征維度為(B,512,3)。設置分組半徑為0.2,設置分組內點的個數上限為32,進行分組,并增加一個維度,得其特征維度為(B,3,512,32)。再將特征輸入到(64,64,128)的多層感知機當中,對點進行特征提取,得其特征維度為(B,128,512,32)。再將所得特征輸入到最大池化層當中,最終得點云的特征維度為(B,128,512),其中128為每個中心點的特征維度,512為中心點的個數。SA1層流程圖如圖4所示。SA2層的分組半徑為0.4,分組內點的個數上限為64,其流程與SA1層一致。相對于SSG網絡,MSG網絡則采取梯度球形半徑的方式對點云進行分組。

圖4 SSG網絡集合抽象層1流程圖

(6)

group(X,Y)i,j=maxk∈SiYk,j

(7)

式中:X是輸入點云的坐標矩陣,Y是對應的特征矩陣,group(X,Y)表示將點云X分成多個局部區域,i和j表示組合數組的索引,Si表示以點i為中心的球體內所有點的索引集合。該方法會從每個組的所有點的特征向量中取出對應的k值,然后從矩陣Y中取出對應的特征向量,并取其中的最大值作為該組的輸出特征向量。該方法可以有效的提取每個組內部的特征信息,避免了不同組之間地信息混淆,從而提高模型地精度和魯棒性。

1.4 模型超參設置

超參數的設定對網絡的預測精度有較大的影響,本文對超參數的調整共分為4個部分。首先根據模型預測任務及類別個數確定損失函數和輸出層編碼方式;其次根據神經網絡的搭建規則確定卷積層和全連接層的隱藏層層數,通常情況下三隱層的全連接層具有良好的效果,再通過實驗比對確定各隱藏層神經元的個數;然后根據實驗模型在驗證集上的效果選擇正則化隨機丟掉神經元的比例,并根據實驗過程中的預測精度隨時調整學習率、衰減率;最后根據網絡在驗證集上的預測精度調整網絡訓練迭代輪數。

本文搭建PointNet++模型來完成焊裝夾具零件的分類,觀察模型在訓練集和驗證集上的效果,選取該模型最合適的超參數,最終確定各超參數分別為:訓練初始學習率為0.001,衰減率為0.01,批量處理大小為16,訓練迭代輪數為100輪,SA1層和SA2層隨機丟掉神經元的比例為0.4,選取Relu為模型的激活函數,損失函數選擇交叉熵函數,采用Log_softmax函數作為輸出層的輸出函數。

2 案例分析

2.1 網絡訓練實驗

圖5和圖6為PointNet、PointNet++的SSG和MSG模型訓練過程圖。由圖可知:隨著迭代輪數的增加,所有模型在訓練集上的準確率都有所提高,且變化趨勢相似。其中,SSG和MSG模型在訓練集和驗證集上準確率均高于PointNet分類網絡,SSG模型在訓練集上的準確率略低于MSG模型,但在驗證集上二者的準確率大致相同。

圖5 3模型訓練集準確率變化折線圖

2.2 模型對比實驗

在本文所搭建的數據集上,對SSG、MSG和PointNet的分類網絡所得的最優模型進行對比實驗,各個模型在驗證集上的實驗結果如表1和表2所示。由表可知PointNet++的SSG和MSG準確率明顯高于PointNet,且PointNet分類模型的連接塊分類準確率只有67.5%,該分類模型準確率較低的主要原因為局部特征的丟失。MSG和SSG模型各個類別準確率差異不大,且它們的平均準確率相同,分析其原因為:本文采用均勻采樣方式進行數據預處理,使得點云密度均勻。因此,SSG網絡和MSG網絡所獲取的局部特征幾乎一致,導致多尺度分組策略和單尺度分組策略的平均準確率大致相同,當點云密度不均勻時MSG要優于SSG。由模型訓練時間可知,MSG模型的訓練時間是SSG的3倍以上,模型運行速度低下,因此本文采用SSG網絡獲得的最優模型來完成焊裝夾具零件的分類。

表1 3種模型驗證集各類別準確率對比結果 (%)

表2 3種模型驗證集平均準確率和訓練時間對比結果

2.3 單尺度分組模型測試實驗

對SSG網絡訓練所得最優模型進行測試實驗。重新對焊裝夾具零件采集3組測試集數據,每組150條數據,每組測試集數據零件類別分布均勻,進行分類實驗,測試結果如表3所示。由表3可知模型在測試集上的分類結果表現良好,其中型塊、連接塊和銷座存在誤判的情況。對分類錯誤情況進行分析,主要原因為模型在對樣本進行隨機丟點和正則化過程中造成的數據丟失,導致的零件類別分類錯誤。

表3 單尺度分組(SSG)測試集實驗結果 (%)

3 結束語

針對傳統的人工搭建焊裝夾具零件庫過程中存在的自動化程度低、效率低下以及零件數模識別困難等問題,本文提出了一種基于PointNet++的焊裝夾具零件識別方法。通過對自建數據集的訓練和測試,證明了SSG網絡在該任務上的優越性。同時,本文方法也為后續零件庫的搭建、零件設計數據重用以及焊裝夾具全面智能化、自動化設計提供了良好的基礎。