基于Kinect的實物地質標本三維重建①

喻 芹,何小海,滕奇志,楊小鵬

(四川大學 電子信息學院,成都 610065)

基于Kinect的實物地質標本三維重建①

喻 芹,何小海,滕奇志,楊小鵬

(四川大學 電子信息學院,成都 610065)

基于多視點圖像運動結構恢復的三維重建方法相當耗時且魯棒性低,針對以上問題,提出了一種基于Kinect的實物地質標本的三維重建方法. 首先使用GrabCut算法提取前景目標,結合原始深度圖像生成對應視角的點云,再基于SIFT特征利用RANSAC算法執行點云粗對準,然后在ICP算法中引入異常值拒絕方法和動態調整權重思想進行點云精細配準,最終重建出完整三維點云模型. 實驗結果表明該方法能快速重建出良好的實物地質標本三維點云模型,能有效處理標本缺少結構特征的情況,并且魯棒性高.

Kinect; GrabCut算法; 點云配準; 異常值拒絕; 動態調整權重; 三維重建

1 引言

實物地質資料是具有極大科研價值和經濟價值的不可再生資源,在地質勘探、礦產開發等研究領域中起著重要作用[1]. 通常情況下,實物地質資料標本以二維圖像形式存儲,但是二維圖像只能反映某一個特定觀察視角的二維圖像信息,不能反映出三維信息,而實物地質資料標本的三維模型可以更加直觀地反映出它在各個不同視角的信息,因此,將實物地質標本進行三維重建是一個重要的研究方向.

激光掃描儀和立體相機可用于構建三維模型. 利用激光掃描儀進行三維重建,能得到精確的結果,但是激光掃描儀價格昂貴并且其全掃描速度很慢. 立體攝像機雖然不昂貴但是其深度信息的計算復雜度很高.基于多視點圖像運動結構恢復的三維重建方法來重建實物地質標本[2],使用的是數碼相機,成本低,但是相當耗時并且算法復雜、魯棒性低、易受環境影響.Kinect相機含主動傳感器,不受環境可見光譜的干擾[3],能夠快速獲取場景的深度信息; 此外,Kinect成本低,操作簡單,易于使用,并且利用它能夠獲得比較密集的且精度良好的三維點云,故本文選擇使用Kinect來重建實物地質標本模型.

基于Kinect的三維重建算法中,比較常用的方法是依據Kinectfusion[4]系統獲取三維模型,但Kinectfusion需要性能比較強大的顯卡來實現三維重建. 在來自不同視圖的三維點云配準中,Kinectfusion使用ICP(迭代最近點)算法,此算法要求三維點云彼此接近,因此,必須緩慢移動Kinect掃描場景,以確保相鄰視圖具有很大的重疊性,從而實現點云的精確配準. 當Kinect移動速度較快或者目標處于運動狀態時,Kinectfusion 重建結果很差. 另一方面,Kinectfusion 使用的ICP算法依賴于物體的顯著特征,因此,當物體缺少突出結構特征時,其重建效果比較差. 而本文提出的基于Kinect的實物地質標本的三維重建方法在相鄰圖片具有較小重疊情況下且目標結構特征不突出時仍能得到比較好的三維點云模型,并且本文算法基于CPU進行運算,對顯卡沒有特殊要求,這降低了對計算機硬件的需求. 此外,本文方法相對于基于多視點圖像運動結構恢復的三維重建方法魯棒性更高、適用性更強、速度更快、所含的背景噪聲更少.

2 三維重建

本文的實物地質標本重建系統主要包括三個設備:一個Kinect 1代傳感器、一個電動旋轉平臺和一臺計算機. 如圖1所示,Kinect的三個攝像頭位于不同的地方,所以用Kinect拍攝的彩色與深度圖像有一定的偏差,于是本文選擇使用Openni驅動Kinect,獲取對齊(同步)的深度圖像和彩色圖像. 實驗平臺示意圖如圖2所示,將實物地質標本放在旋轉臺中,固定 Kinect,每隔一定時間間隔拍攝一幅彩色與深度圖像. 再使用GrabCut算法分割彩色圖像,提取前景目標,結合深度圖像得到相應視角的點云,然后進行點云配準得到完整的實物地質標本三維點云模型. 在點云配準過程中,由于此實驗裝置所拍攝的圖片具有較小的重疊性,若直接使用ICP算法則配準效果很不好,于是在執行ICP 算法之前,使用 RANSAC[5,6]進行初始配準,同時利用RGB圖像的SIFT[7]特征粗略記錄相鄰視圖的點云.在實物地質標本缺少結構特征的情況下,使用ICP算法配準效果很不好,于是在ICP算法中引入異常值拒絕方法,通過目標的點云結構和稀疏SIFT特征對的空間距離自適應地設置閾值[8]; 為了避免當SIFT特征不準確時而導致配準結果錯誤的情況,添加動態權重進行自適應約束[9]. 基于Kinect的實物地質標本三維重建的系統框圖如圖3所示.

圖1 Kinect 1 代實物圖

圖2 實物地質標本三維重建實驗平臺示意圖

圖3 基于Kinect的實物地質標本三維重建系統框圖

2.1 彩色圖像分割

圖像分割是將感興趣的目標區域從背景中提取出來,圖像分割質量的好壞,很大程度上決定著后續三維重建的效果. 目前,國內外雖有大量的分割算法,但是其中適用于實物地質標本的分割卻很少. 針對于實物地質標本分割,本文主要嘗試了: 基于Lab空間的顏色分割和基于圖論的GrabCut分割. 由于實物地質標本包含的顏色多樣且不同樣本之間差別很大,所以采用基于顏色的分割算法[10]效果不好且不具有適用性.GrabCut算法利用圖像的紋理,顏色和邊界信息,只需要少量的用戶交互操作則可將一幅圖像分為目標和背景兩個不相交的區域,得到很好的分割結果,所以本文選擇使用GrabCut算法進行圖像分割,提取前景目標.

GrabCut算法的主要流程描述如下:

(1) 通過用戶設定的背景區域TB來初始化圖T,背景的補集(未知區域: 可能是目標)設為TU.TB內的像素,α設為 0;TU內的像素,α設為 1.

(2) 用α=0和α=1兩個集合和K-Means聚類方法初始化前景和背景GMM模型.

(3) 求TU中的每個像素n所對應的GMM參數kn.

(4) 從數據z中獲取GMM參數θ.

(5) 對TU構建s-t網絡圖,根據最小能量得到初始分割:

(6) 重復執行 (3)到 (5),直到收斂.

(7) 邊界優化.

基于 Lab顏色空間的分割結果如圖4(a) ,GrabCut算法分割結果如圖4(b). 從圖4中可看出,當背景不單一時,基于Lab顏色空間的分割算法提取實物地質標本失敗; 而GrabCut分割效果很好,有效地提取出了實物地質標本.

圖4 兩種算法分割結果對比

2.2 點云初始配準

2.2.1 初始配準

將上述GrabCut算法分割后的彩色圖像與深度圖像結合生成相應視角的點云. 由于拍攝的相鄰圖片之間有顯著的變化,所以此時相鄰點云之間具有較小的重疊性. 若直接使用ICP算法進行點云配準則效果很不好,于是本文利用SIFT算子從相鄰RGB圖像中提取圖像特征點并將其作為點云初始配準的基準點,再使用RANSAC進行初始配準,以解決相鄰視圖具有較小重疊的情況.

SIFT(尺度不變特征變換) 算法是 David Lowe 提出的一種基于尺度空間的圖像局部特征描述算法.SIFT特征對旋轉、尺度縮放、視角變化、亮度變化等具有良好的不變性[13].

SIFT算法分為以下四步:

圖像的尺度空間L(x,y,σ)定義為高斯函數G(x,y,σ)與原圖像I(x,y)的卷積:

m,n表示高斯模板的維度; (x,y)表示圖像像素位置;σ為尺度空間因子;k為常量.

(2) 關鍵點定位: 在每個候選位置上,通過計算擬合曲面的極值來確定關鍵點的位置和尺度.

(3) 關鍵點方向參數的計算: 基于圖像局部的梯度方向,確定每個關鍵點的主方向,使特征點的描述具備旋轉不變性.

(4) 生成關鍵點描述子: 通過對關鍵點的鄰域進行分塊,在選定的尺度上計算塊內梯度直方圖,其生成的特征向量為關鍵點描述子.

RANSAC(隨機采樣一致) 算法是一種估計數學模型參數的迭代算法. 從樣本中隨機抽取一個樣本子集,利用最小方差估計算法得到此子集的模型參數,然后計算其余樣本與該模型的偏差,當偏差小于設定閾值時,將樣本判定為模型內樣本點,反之為模型外樣本點,重復此過程. 根據期望的誤差率、模型樣本點數以及所設定的迭代次數來決定迭代是否結束.

定義相鄰的兩個三維點云為:P={P1...Pm}和Q={Q1...Qn},m、n分別為P和Q的點云數. 將

2.2.2 精細配準

假設T0是RANSAC之后和基于ICP的精細配準之前的變換結果.Tk是基于ICP的精細配準算法第k次迭代后的變換結果.

對于第k(k=1,2,...)次迭代:

(1) 對于點云P中的每個點Pi,根據最短距離找到它在點云Q中相應的點Q*k,

將Pi與Q*k的歐氏距離定義為最短距離:

(3) 計算抵制異常值[14]的自適應閾值:

因為Kinect相機分辨率的限制以及RANSAC本身的局限性,在初始配準之后,仍存在一些配準錯誤的SIFT特征點. 于是在一定距離的SIFT特征對集合中,取其35%而不是全部,然后再計算其平均空間距離,命名為dmk.c為常量,在實驗中,將c設置為 28.rmk是Sk的最短距離的均方根 RMS,其中,Pi∈Sk.

(4) 定義函數f(T)

使用αi抵制異常值.

σ(*)表示表面變化[15].

(6) 當迭代次數達到所預設的值(本文設定為20)后,迭代終止.

式(17)中的函數第一項為內邊界的最短距離的加權均方. 在式(17)中,將點到點的距離作為誤差度量,抵制異常值,同時使用局部表面變化來控制權重αi(式(18)). 因為表面變化與曲率密切相關,但是計算復雜度比曲率變化低; 同時局部特征可以更好地表示表面結構,所以本文使用三維局部表面變化特征來控制權重αi. 如果最短距離的兩個點具有相似的表面變化,則權重αi增大,反之減小.

式(17)的第二項是SIFT特征對的三維空間距離的加權均方. 動態調整權重βi是SIFT特征對(PFi,QFi)的動態權重. 如果權重βi設置得太大,則變換主要取決于相對較少數量的特征對,而當特征對不完全可靠時,這將產生錯誤結果. 另一方面,因為特征點對的數量與式(17)第一部分中的三維內點的數量相比非常小,如果權重βi設置得太小,則基于特征的第二項變得無用.為了解決上述問題,根據SIFT特征對的二維匹配距離以及SIFT特征對的空間距離的均方根與最短距離Sk的均方根rmk之間的比率,自適應地設置βi. 在式(21)中,如果二維SIFT特征對匹配距離大,則意味著匹配不準確,于是權重βi減小; 如果SIFT特征對的均方根距離與Sk的均方根距離相比相對較大,說明SIFT特征對可靠,則權重βi增大.

在上述算法中,自適應閾值t利用了點云結構信息和SIFT特征,αi根據t抵制異常值,同時為了避免當SIFT特征不準確時而導致配準結果錯誤的情況,添加動態權重βi進行自適應約束,這些有效地約束ICP算法使其正確收斂. 在標本缺少結構特征的情況下仍能得到良好的實物地質標本完整三維點云模型.

3 實驗結果與分析

在白熾燈照明條件下,利用基于多視點圖像運動結構恢復的三維重建方法,使用數碼相機對每個標本拍攝40張圖片(樣本圖片如圖5(a)(c)),通過其重建實物地質標本的結果發現此算法對環境要求苛刻,耗時長,重建結果含有大量的噪聲. 此外,該算法魯棒性低,重建結果有時會有大量的孔洞,如圖6(a)左圖. 在本實驗裝置下,基于Kinectfusion重建出的結果很模糊,并且包含大量的噪聲背景,如圖6(b). 基于本文方法,在同等光照條件下使用Kinect對每個標本拍攝40張彩色圖(如圖5(b)(d))及其同步的40張深度圖,經過實驗得出本文方法魯棒性高,能快速重建出良好的三維點云模型,并且含噪聲少,幾乎無孔洞現象,如圖6(c). 從圖6中可看出: 對于結構特征不明顯的標本2,本文方法重建出的三維點云模型效果最好. 三種方法的運行時間對比如表1.

表1 三種方法的運行時間對比

圖5 使用數碼相機與Kinect拍攝的兩個標本圖

4 總結

本文提出了一種基于Kinect的實物地質標本的三維重建方法. 首先使用GrabCut算法提取彩色圖像中的前景目標,結合原始深度圖像生成對應視角的點云;再基于SIFT特征利用RANSAC算法執行點云粗對準,在ICP算法中引入異常值拒絕方法和動態調整權重思想進行點云精細配準,最終重建出良好的實物地質標本完整三維點云模型. 實驗結果表明該方法相較于Kinectfusion能重建出較好的實物地質標本三維點云模型,并且對計算機硬件要求相對較低; 相對于基于多視點圖像運動結構恢復的三維重建方法魯棒性更高、適用性更強、速度更快、所含的背景噪聲更少;此外本文方法能更好地重建出結構特征不明顯的實物地質標本.

1陳陽. 國家實物地質資料管理標準研究[碩士學位論文]. 北京: 中國地質大學 (北京),2015.

2毛國慶. 實物地質資料多視點圖像的三維重建研究[碩士學位論文]. 成都: 四川大學,2015.

3顧照鵬. 單目視覺同步定位與地圖創建技術研究[博士學位論文]. 北京: 中國科學院自動化研究所.

4Izadi S,Kim D,Hilliges O. KinectFusion: Real-time 3D reconstruction and interaction using a moving depth camera.Proc. of the 24th Annual ACM Symposium on User Interface Software and Technology. Santa Barbara,California,USA.2011. 559–568.

5Fischler MA,Bolles RC. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Readings in Computer Vision,1987,24(6): 726–740.

6Inomata R,Terabayashi K,Umeda K,et al. Registration of 3D geometric model and color images using SIFT and range intensity images. Proc. of the 7th International Conference on Advances in Visual Computing. Las Vegas,NV,USA. 2011.325–336.

7Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision,2004,60(2): 91–110. [doi: 10.1023/B:VISI.0000029664.99615.94]

8Jun X,Hsu YF,Feris RS,et al. Fine registration of 3D point clouds with iterative closest point using an RGB-D camera.Proc. of IEEE International Symposium on Circuits and Systems (ISCAS). Beijing,China. 2013. 2904–2907.

9Xie J,Hsu YF,Feris RS,et al. Fine registration of 3D point clouds fusing structural and photometric information using an RGB-D camera. Journal of Visual Communication and Image Representation,2015,32: 194–204. [doi: 10.1016/j.jvcir.2015.08.007]

10Jaiswal M,Xie J,Sun MT. 3D object modeling with a Kinect camera. Proc. of Asia-Pacific Signal and Information Processing Association Annual Summit and Conference(APSIPA). Siem Reap,Cambodia. 2014. 1–5.

11Rother C,Kolmogorov V,Blake A.“GrabCut”: Interactive foreground extraction using iterated graph cuts. ACM Trans.on Graphics (TOG),2004,23(3): 309–314. [doi: 10.1145/1015706]

12柳歡歡,姚明海,王憲保. 基于小波變換的 GrabCut圖像分割. 計算機系統應用,2014,23(8): 154–157. [doi: 10.3969/j.issn.1003-3254.2014.08.028]

13王程冬,程筱勝,崔海華,等. SIFT 算法在點云配準中的應用. 傳感器與微系統,2012,31(2): 149–152.

14Zhang ZY. Iterative point matching for registration of freeform curves and surfaces. International Journal of Computer Vision,1994,13(2): 119–152. [doi: 10.1007/BF01427149]

15Pauly M,Gross M,Kobbelt LP. Efficient simplification of point-sampled surface. Proc. of the Conference on Visualization. Boston,Massachusetts. 2002. 163–170.

3D Reconstruction of Physical Geological Specimen Based on Kinect

YU Qin,HE Xiao-Hai,TENG Qi-Zhi,YANG Xiao-Peng

(College of Electronics and Information Engineering,Sichuan University,Chengdu 610065,China)

The three-dimensional reconstruction method based on multi-view image motion structure restoration is quite time-consuming and has little robustness. Aiming at these issues,a new three-dimensional reconstruction method for physical geological specimen based on Kinect is proposed in this paper. First,the GrabCut algorithm is used to extract the foreground objects,combining with the original depth images to generate the point cloud corresponding point of view.Then,it uses RANSAC algorithm to perform point cloud alignment crudely based on the SIFT feature. Next,the ICP algorithm is improved by introducing the methods of rejecting outliers and adjusting the weight dynamically to perform fine registration of point cloud. Finally,a complete three-dimensional point cloud model is constructed. The experimental results demonstrate that the proposed method can reconstruct the three-dimensional point cloud of physical geological specimen quickly,excellently and robustly. When the specimens lack structural features,the proposed method can handle it effectively.

Kinect; GrabCut; point cloud registration; outlier rejection; dynamically adjusted weights; 3D reconstruction

何小海,E-mail: hxh@scu.edu.cn

喻芹,何小海,滕奇志,楊小鵬.基于Kinect的實物地質標本三維重建.計算機系統應用,2017,26(12):244–249. http://www.c-sa.org.cn/1003-3254/6104.html

國家自然科學基金(61372174); 四川大學研究生課程建設項目(2016KCJS5113)

2017-03-14; 修改時間: 2017-03-31; 采用時間: 2017-04-07