基于RGB-D相機(jī)的多視角機(jī)械零件三維重建

信寄遙 陳成軍 李東年

摘? ?要：為了低成本且高效的實(shí)現(xiàn)對機(jī)械零件的三維重建和參數(shù)測量，研究了利用RGB-D相機(jī)從6個(gè)角度拍攝機(jī)械零件，獲得零件不同角度的深度圖像與彩色圖像，通過坐標(biāo)轉(zhuǎn)換將深度圖像轉(zhuǎn)換成點(diǎn)云數(shù)據(jù)。首先利用濾波算法去除點(diǎn)云噪聲，分割出機(jī)械零部件的點(diǎn)云數(shù)據(jù)，并利用PCA主成分分析法計(jì)算點(diǎn)云數(shù)據(jù)的法向量;使用最近點(diǎn)迭代算法（ICP）實(shí)現(xiàn)相鄰三視角點(diǎn)云數(shù)據(jù)的配準(zhǔn)，得到正背面的點(diǎn)云，將正背面點(diǎn)云進(jìn)行旋轉(zhuǎn)融合得到最終的目標(biāo)點(diǎn)云數(shù)據(jù);最后使用泊松重建算法得到完整閉合的零件三維模型。實(shí)驗(yàn)結(jié)果表明本文的三維重建方法具有較好的魯棒性和準(zhǔn)確性，重建得到的三維模型細(xì)節(jié)清晰，點(diǎn)云誤差較小。

關(guān)鍵詞：三維重建;點(diǎn)云配準(zhǔn);模型重構(gòu);最近點(diǎn)迭代算法;Kinect

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)識別碼：A

3D Reconstruction of Mechanical Parts Using Multi-view RGB-D Images

XIN Ji-yao，CHEN Cheng-jun?，LI Dong-nian

（School of Mechanical & Automotive Engineering，Qingdao University of Technology，Qingdao，Shandong 266520，china）

Abstract：In order to realize the 3D reconstruction and measurement of surface parameters of mechanical parts with low cost and high efficiency，the mechanical parts are taken from 6 angles by RGB-D camera，and the depth and color images of different angles of mechanical part are obtained，and the depth image is converted to point cloud data by coordinate transformation. firstly，the filtering algorithm is used to remove the point cloud noise，and segment the point cloud data of the mechanical components. And Principal Component Analysis （PCA） is ued to calculate the normal vector of the point cloud data. Secondly，by the Iterative Closest Points（ICP）method，the registration of the adjacent three-point point cloud data is realized. So the point cloud on the back side，is rotated and fused to obtain the final target point cloud data. Finally，the Poisson reconstruction algorithm is used to obtain the 3D model. The experimental results show that the proposed 3D reconstruction method has better robustness and accuracy，and the reconstructed 3D model has clear details and less point cloud error.

Key words：3D reconstruction;point cloud registration;model reconstruction;iterative closest points;kinect

三維重建技術(shù)是指通過計(jì)算機(jī)數(shù)字化手段，建立客觀世界中的三維實(shí)體數(shù)學(xué)模型的過程，在虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺等領(lǐng)域具有很多的應(yīng)用。三維重建技術(shù)通過計(jì)算機(jī)對采集到的物體點(diǎn)云數(shù)據(jù)進(jìn)行數(shù)字化建模，將物體的三維信息存儲到計(jì)算機(jī)中，通過獲取的物體三維信息可以對物體進(jìn)行精準(zhǔn)測量和建模，為進(jìn)行逆向工程或者三維建模提供數(shù)據(jù)支持[1]。利用激光掃描儀獲得目標(biāo)物體的數(shù)據(jù)進(jìn)行三維重建在古建筑、文物保護(hù)、工業(yè)零件測量等領(lǐng)域具有廣闊的應(yīng)用前景[2-6]。但是現(xiàn)今的激光掃描儀或者TOF相機(jī)在價(jià)格上非常昂貴，對于工業(yè)上單一零件的測量成本過高，所以低成本且精確的三維掃描技術(shù)就有了應(yīng)用的空間。

在三維重建方面，Nieβner[7]等實(shí)現(xiàn)了基于高效的存儲數(shù)據(jù)結(jié)構(gòu)的大規(guī)模且精細(xì)的實(shí)時(shí)三維重建系統(tǒng)，提高了三維重建技術(shù)在大規(guī)模環(huán)境中應(yīng)用的性能與質(zhì)量;Izadi[8]等實(shí)現(xiàn)了實(shí)時(shí)的三維重建系統(tǒng)Kinect Fusion，但是該方法不能適應(yīng)快速移動的應(yīng)用場景，且會產(chǎn)生較大的噪聲;Fan[9]等改進(jìn)了現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)生成三維數(shù)據(jù)的方法，提出了一個(gè)條件形狀采樣器，能夠從輸入圖像預(yù)測多個(gè)合理的三維點(diǎn)云;Tatarchenko[10]等改進(jìn)了編碼器-解碼器網(wǎng)絡(luò)構(gòu)建三維結(jié)構(gòu)的方法，建立了兩種分別執(zhí)行圖像分類和檢索的替代方法，實(shí)現(xiàn)了較好的結(jié)果。

選用的三維重建示例為減速器箱體的上殼體，箱體類零件一般是指具有一個(gè)以上孔系，內(nèi)部有一定型腔或空腔，在長寬高方向上有一定比例的零件。箱體類零件在機(jī)械、汽車、航空航天等行業(yè)受到了廣泛應(yīng)? 用，例如汽車的發(fā)動機(jī)缸體、汽車減速器的箱體;各類機(jī)床的主軸箱等。箱體類零件將機(jī)器或部件中的軸、套、齒輪等有關(guān)零件組成一個(gè)整體，使他們之間保持正確的相互位置，并且按照一定的傳動關(guān)系協(xié)調(diào)的傳遞運(yùn)動或者動力。因此，箱體的加工質(zhì)量會直接影響整個(gè)機(jī)器或部件的精度、性能和壽命。

提出了一種低成本、高精度的機(jī)械零部件三維重建數(shù)字化方法。首先固定住RGB-D相機(jī)使其不能移動，按照一定角度（60°）旋轉(zhuǎn)箱體零件，通過RGB-D相機(jī)采集到的箱體零件在六個(gè)視角下的彩色和深度圖像，對采集到的圖像進(jìn)行預(yù)處理得到六個(gè)視角下的點(diǎn)云數(shù)據(jù)，然后通過兩次配準(zhǔn)和融合點(diǎn)云數(shù)據(jù)得到完整的零件點(diǎn)云。此外，對基于該三維重建方法得到的箱體點(diǎn)云進(jìn)行泊松重建處理，得到箱體零件的三維模型。

1? ?基于RGB-D相機(jī)的重建流程

實(shí)現(xiàn)多視角機(jī)械零部件三維重建主要在于將多個(gè)視角分別配準(zhǔn)為正面與背面點(diǎn)云然后進(jìn)行二次配準(zhǔn)，整體算法的流程圖如圖1所示。

利用RGB-D相機(jī)進(jìn)行三維重建時(shí)，首先要獲取機(jī)械零部件每個(gè)視角的深度圖像與彩色圖像，然后轉(zhuǎn)換得到六個(gè)視角的三維點(diǎn)云數(shù)據(jù);分別對三個(gè)視角的點(diǎn)云進(jìn)行ICP配準(zhǔn)得到正面以及背面點(diǎn)云，計(jì)算中心點(diǎn)進(jìn)行旋轉(zhuǎn)融合得到零件點(diǎn)云;最后用泊松重建算法得到零件的三維模型。

1.1? ?實(shí)驗(yàn)設(shè)備與信息采集

使用的RGB-D設(shè)備為Microsoft Kinect V2 3D體感攝像機(jī)，以齒輪減速器箱體為實(shí)驗(yàn)對象，研究機(jī)械零部件的多視圖三維重建。

如圖2、3所示，使用Kinect V2攝像機(jī)對減速器箱體進(jìn)行拍攝，距離約為70 cm，從6個(gè)角度對減速器箱體的點(diǎn)云數(shù)據(jù)采集完成后，按確定的順序手動旋轉(zhuǎn)放置減速器箱體的底座約60°，對減速器箱體的下一個(gè)角度進(jìn)行采集，直到完成6個(gè)角度的點(diǎn)云數(shù)據(jù)采集。每個(gè)視角分別獲取5幀的深度圖像（424像素*512像素）與彩色圖像（1080像素*1920像素），處理得到點(diǎn)云數(shù)據(jù)

1.2? ?點(diǎn)云數(shù)據(jù)的獲取

1.2.1? ?采集范圍的設(shè)置

在利用Kinect傳感器采集點(diǎn)云數(shù)據(jù)之前利用PCL增加條件設(shè)置（add Comparison）過濾掉非條件設(shè)定范圍的點(diǎn)云，防止環(huán)境點(diǎn)云產(chǎn)生過多的干擾。Kinect傳感器拍攝視角的坐標(biāo)軸如圖4所示。對于Z值范圍設(shè)置為：0.001 m

1.2.2? ?深度圖像轉(zhuǎn)換為三維點(diǎn)云

如圖4所示，深度圖像轉(zhuǎn)換為三維點(diǎn)云的過程就是圖像點(diǎn)m（u，v）映射到世界坐標(biāo)系點(diǎn)M（xw，yw，zw）的過程，轉(zhuǎn)換公式表達(dá)如下：

其中u、v為圖像坐標(biāo)系下的任意坐標(biāo)點(diǎn)。u0、v0分別為圖像中的中心坐標(biāo)。xw，yw，zw表示世界坐標(biāo)系下的三維坐標(biāo)點(diǎn)。zc表示相機(jī)坐標(biāo)的Z軸值，即目標(biāo)到相機(jī)的距離。R、T分別為外參矩陣的3*3旋轉(zhuǎn)矩陣和3*1平移矩陣。

由于世界坐標(biāo)原點(diǎn)和相機(jī)原點(diǎn)是重合的，即不需要旋轉(zhuǎn)和平移，因此

由于相機(jī)坐標(biāo)系和世界坐標(biāo)系原點(diǎn)重合，因此相機(jī)坐標(biāo)與世界坐標(biāo)下的同一物體具有相同的深度，即zc = zw，所以由以上變換矩陣可以得到圖像點(diǎn) [u，v]T到世界坐標(biāo)點(diǎn)[xw，yw，zw]T的變換公式為：

由于Kinect傳感器自身噪聲和跳動的問題，導(dǎo)致同一視角采集到的深度圖像數(shù)據(jù)有不同程度的變化。在1 s內(nèi)拍攝5幀彩色與深度圖像進(jìn)行融合，可以有效地消除Kinect自身的噪聲和跳動問題，并且可以優(yōu)化點(diǎn)云數(shù)據(jù)的處理效果。本文處理融合后的深度圖像得到的點(diǎn)云數(shù)據(jù)每幅約39000個(gè)點(diǎn)。

1.3? ?濾波處理及法向量計(jì)算

1.3.1? ?地面點(diǎn)云的去除

Kinect傳感器在采集點(diǎn)云數(shù)據(jù)的時(shí)候會將設(shè)定范圍內(nèi)的地面連同減速器箱體及底座全部采集并生成點(diǎn)云，而在后續(xù)進(jìn)行點(diǎn)云配準(zhǔn)和融合的時(shí)候地面點(diǎn)云將會干擾法相計(jì)算以及配準(zhǔn)，所以需要將地面點(diǎn)云提前去除掉。選用一種簡單有效地方法去除地面點(diǎn)云，即假設(shè)Kinect為水平放置，如圖5所示。先采集一張未放置減速器箱體及底座的點(diǎn)云，該點(diǎn)云即為地面點(diǎn)云。通過遍歷點(diǎn)云中點(diǎn)的三維信息，處理得到地面點(diǎn)云中的Y值（即縱軸）最大值YMax1，即Y值小于YMax1的點(diǎn)即可判定為地面點(diǎn)云中的點(diǎn)，大于YMax1的點(diǎn)可以判定為減速器箱體及底座點(diǎn)云中的點(diǎn)。使用該種方法能夠快速有效的去除地面點(diǎn)云。

1.3.2? ?處理底座與地面的點(diǎn)云

將底座放置在設(shè)定的目標(biāo)區(qū)域內(nèi)，采集得到底座和地面同時(shí)存在的點(diǎn)云，如圖6所示，同上對地面點(diǎn)云的處理一樣，假定Kinect傳感器為水平放置，通過遍歷該點(diǎn)云中每個(gè)點(diǎn)的三維信息，處理得到該點(diǎn)云中所有點(diǎn)Y值的最大值YMax2。由此可得，Y值小于YMax2且大于YMax1的點(diǎn)為底座的點(diǎn)云，Y值大于YMax2的點(diǎn)為減速器箱體的點(diǎn)云。在后續(xù)對多個(gè)視角的點(diǎn)云進(jìn)行配準(zhǔn)時(shí)會使用到Y(jié)Max2的值。

1.3.3? ?離群點(diǎn)過濾

通過Kinect傳感器的測量誤差，獲得的點(diǎn)云數(shù)據(jù)集會產(chǎn)生稀疏的離群點(diǎn)，估計(jì)局部點(diǎn)云特征的運(yùn)算很復(fù)雜，這些離群點(diǎn)會產(chǎn)生錯(cuò)誤的數(shù)值，在后面進(jìn)行搞得點(diǎn)云配準(zhǔn)，本文采用條件濾波法：對每一個(gè)點(diǎn)的鄰域進(jìn)行一個(gè)統(tǒng)計(jì)分析，并修剪掉那些不符合一定標(biāo)準(zhǔn)的點(diǎn)。該方法基于在輸入數(shù)據(jù)中對點(diǎn)到臨近點(diǎn)的距離分布的計(jì)算，對每個(gè)點(diǎn)計(jì)算它到它的所有臨近點(diǎn)的平均距離。假設(shè)得到的結(jié)果是一個(gè)高斯分布，其形狀由均值和標(biāo)準(zhǔn)差決定，平均距離在標(biāo)準(zhǔn)范圍（由全局距離平均值和方差定義）之外的點(diǎn)，可被定義為離群點(diǎn)并可以從數(shù)據(jù)集中去除掉。

[2]? ? 張瑞菊，王晏民，李德仁. 快速處理大數(shù)據(jù)量三維激光掃描數(shù)據(jù)的技術(shù)研究[J]. 測繪科學(xué)，2006，31（5）：93-94.

[3]? ? 金濤，陳建良，童水光. 逆向工程技術(shù)研究進(jìn)展[J]. 中國機(jī)械工程，2002（16）：1430-1436.

[4]? ? 徐勝勇，盧昆，潘禮禮，等. 基于RGB-D相機(jī)的油菜分枝三維重構(gòu)與角果識別定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（02）：28-34.

[5]? ? 翟瑞芳，張劍清. 基于激光掃描儀的點(diǎn)云模型的自動拼接[J]. 地理空間信息，2004，2（6）：37-39

[6]? ? 曾月鵬. 基于三維圖像的逆向工程重構(gòu)系統(tǒng)[J]. 現(xiàn)代電子技術(shù)，2018，41（20）：176-179.

[7]? ? NIEBNER M，ZOLLHOFER M，IZADI S，et al. Real-time 3D reconstruction at scale using voxel hashing[J]. ACM Transactions on Graphics，2013，32（6）：1-11.

[8]? ? IZADI S，KIM D，HILLIGES O，et al. Kinect fusion：real-time 3D reconstruction and interaction using a moving depth camera[C]//Proceedings of the 24th annual ACM symposium on User interface software and technology. ACM，2011：559-568.

[9]? ? FAN H，SU H，GUIBAS L J. A point set generation network for 3d object reconstruction from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017：605-613.

[10]? TATARCHENKO M，RICHTER S R，RANFTL R，et al. What do single-view 3D reconstruction networks learn[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019：3405-3414.

[11]? BESL P J，MCKAY N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，1992，14（2）：239-256.

[12]? BLAIS G，LEVINE，M.D. Registering multiview range data to create 3D computer objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1995，17（8）：820-824.

[13]? KAZHDAN M，BOLITHO M，HOPPE H. Poisson surface reconstruction[C]//Proceedings of the fourth Eurographics symposium on Geometry processing，2006.