采用兩臺Kinect相機的三維人體數字化

陳興++梁潔++杜希瑞++閆佳++李健

摘要：三維重建技術在計算機視覺領域中一直是一個重要的研究課題。本文采用由兩臺Kinect構建的系統對人體進行三維重建，首先利用張正友方法對兩臺Kinect進行標定；其次，分別使用兩臺Kinect對人體進行上下半身全面數據掃描并獲取相應的三維點云；最后，利用ICP算法對上述兩組點云數據進行拼接以得到完整的人體三維點云模型。實驗結果表明，本文提出的方法在人體三維重建方面效果較好，具有廣泛的使用價值。

關鍵詞：三維人體重建；Kinect標定；ICP算法

中圖分類號：TP37 文獻標識碼：A 文章編號：1009-3044（2016）01-0192-04

3D Digitization of Human Body Using Double Kinects

CHEn Xing ， LIANG Jie， DU Xi-rui， YAN Jia ，LI Jian

（School of Electrical and Information Engineering， Shaanxi University of Science and Technology， Xian 710021）

Abstract： Nowadays 3D reconstruction technology is a hot issue in computer vision. In this paper， a new method is utilized to realize the reconstruction of human body in three-dimension by two Kinects. Firstly， the two Kinect cameras are calibrated using Zhangs method； Then， human body are scanned with two Kinect cameras respectively and get corresponding three-dimensional point cloud data； Finally， the 3D full-view whole body point cloud data are stitched using ICP algorithm. It is verified with experiment that the method used here can ensure good results and have the potential to be used widely.

Key words：3D human body reconstruction； Kinect calibration； ICP

隨著計算機視覺理論的發展和硬件技術的進步，三維重建技術也愈發的成熟并且已經開始應用于人們的現實生產和生活，在計算機動畫、人機交互等領域已經有一定的應用，但是傳統的三維重建技術存在設備復雜，操作繁瑣以及成本高昂等局限，導致三維重建技術的應用范圍狹隘。

2010年微軟首次推出了Kinect體感外設，這款設備的出現打破了傳統三維人體重建過程中圖像采集設備復雜、成本高昂、操作繁瑣等限制因素，使獲取人體深度信息的設備和操作變得簡單、快捷，成本也大大的被降低。

近年來，一些研究者將Kinect深度相機[1]作為掃描儀應用在三維重建領域，包括場景、人臉和人體等的重建。Bernardini歸納了基于深度圖像的三維重建流水線。Allen等從已有的三維掃描數據庫中提取數據，采用模板匹配的方法，通過解決模板頂點的仿射變換最優化問題來重建人體模型。這類方法也同樣適用于人體重建，但是存在部分數據缺失和掃描模型閉合處出現不規則形變等問題。

本文將微軟公司開發的Kinect二代體感設備應用到三維人體建模的實際應用中，相對于以往的方法具有設備體積較小、使用方便、價格相對較低的優勢。

1 系統組成與總體技術流程

1.1 kinect簡介

Kinect 是一款體積相對較小的體感外部物理設備，但它的內部結構卻是相當復雜。其主要的結構可以分成三個部分，分別是一個系統級芯片、三個攝像頭以及一組四元麥克風陣列。Kinect for windows 2.0主體結構組成如圖1所示：

圖1 Kinect for windows 2.0主體組成圖

1.2 系統平臺搭建

系統硬件組成如圖2所示，主要包括兩臺Kinect設備、一個自動轉臺（可分檔，60～120秒/圈）和計算機組成，掃描得到的點云數據經適當的處理后，可傳至3D打印機（可選）打印出個性化的三維人體模型。

圖2 實驗系統硬件組成

1.3 總體技術流程

本文總體技術流程如圖3所示。首先，利用棋盤格標定的方法對兩臺Kinect進行標定；然后使用Kinect分別對站立于旋轉臺上的被測者進行上下半身的360度點云數據采集；最后將標定結果以及采集人體三維點云數據進行ICP配準融合，以獲取完整的人體三維模型。

圖3 主要技術流程環節

2 關鍵技術

2.1 Kinect標定

Kinect包含IR攝像頭和RGB攝像頭，而點云數據的獲取主要由IR攝像頭完成。經研究發現，IR攝像頭與RGB攝像頭之間的旋轉平移參數非常小，可近似認為兩個攝像頭在同一世界坐標系，因而本文通過標定RGB攝像頭來獲得Kinect的標定信息，確保了本文實驗的準確性。

首先，選擇一個坐標系為參考來描述攝像機和物體的真實位置，則參考的坐標系叫世界坐標系。由空間幾何的知識可知，攝像機坐標系和世界坐標系經過旋轉和平移后一定能夠重合。旋轉過程用旋轉矩陣[R]來定量表示，平移過程用平移向量[T]來定量表示。圖4表示攝像機坐標系與世界坐標系的關系，則空間點[P]在攝像機坐標系和世界坐標系下的齊次坐標分別表示為[（Xc，Yc，Zc，1）T]和[（Xw，Yw，Zw，1）T]，二者存在如下關系：

[XcYcZc1=RT0T1XwYwZw1=M1XwYwZw1] （1）

其中，[R]為[3×3]旋轉矩陣，[0T=（0，0，0）T]，[M1]為變換矩陣。

圖4 攝像機坐標系與世界坐標系

2.2 Kinect Fusion 的工作原理

Kinect Fusion通過對從多個角度獲取到的深度影像數據進行融合，來重建物體的單幀光滑表面模型。當傳感器或是被測人體移動的時候，傳感器的位置以及姿勢信息被記錄下來，包括位置和朝向信息。由于我們知道了每一幀圖像的姿勢以及幀與幀之間的關聯，多幀從不同角度采集的數據能夠融合成單幀重建好的定點立方體。當我們移動傳感器或者被測物體時，深度數據信息被不斷加入。

第一步是深度影像數據的轉換。SDK將Kinect中獲取的原始深度幀數據轉換為以米為單位的浮點數據，緊接著對該數據進行優化，通過獲取攝像頭的坐標信息，將這些浮點數據轉換為和Kinect攝像頭朝向一致的點云數據。第二步是計算全局的攝像頭的姿勢信息，包括攝像頭的位置和朝向，通過使用交互型的配準算法在攝像頭移動時不斷獲取其姿勢，這樣系統始終知道當前攝像頭相對于起始幀時攝像頭的相對姿勢。第三步是將從已知姿勢攝像頭產生的深度影像數據融合為代表攝像頭視野范圍內的景物的立方體。這種對深度數據的融合是逐幀，連續進行的，同時通過平滑算法進行了去噪，也處理了某些場景內的動態變化。最后，從傳感器視點位置對重建立方體進行光線投射，重建的點陣云能夠產生渲染了的三維重建立方體。

2.3 ICP算法

ICP算法是一種基于輪廓特征的點配準方法?；鶞庶c在CT圖像坐標系及世界坐標系下的坐標點集P = {Pi， i = 0，1， 2，…，k}及U = {Ui，i=0，1，2，…，n}。其中，U與P元素間不必存在一一對應關系，元素數目亦不必相同，設k ≥ n。配準過程就是求取 2 個坐標系間的旋轉和平移變換矩陣，使得來自U與P的同源點間距離最小。其過程如下：

（1）計算最近點，即對于集合U中的每一個點，在集合P中都找出距該點最近的對應點，設集合P中由這些對應點組成的新點集為Q = {qi，i = 0，1，2，…，n}。

（2）采用最小均方根法，計算點集 U 與 Q 之間的配準，使得到配準變換矩陣R，T，其中R是 3×3 的旋轉矩陣，T 是 3×1 的平移矩陣。

（3）計算坐標變換，即對于集合U，用配準變換矩陣R，T進行坐標變換，得到新的點集U1，即U1= RU + T

（4）計算U1與Q之間的均方根誤差，如小于預設的極限值ε，則結束，否則，以點集U1替換U，重復上述步驟。

3 實驗

3.1 兩臺kinect的標定

采用MATLAB標定工具箱實現相機的標定：分別采用兩臺Kinect拍攝多幅棋盤格平面不同方向的照片，如圖5和圖6所示。將采集到的圖片分別輸入到MATLAB當中，利用張正友標定工具箱完成標定，標定結果存儲在Calib_Results_up.mat和Calib_Results_down.mat。

圖5 Kinect（上）采集標定圖像

圖6 Kinect（下）采集標定圖像

圖7為上臺Kinect的外部參數，圖8為下臺Kinect的外部參數。再通過立體定標，得到兩臺Kinect之間的位置關系，如圖9所示。

圖7 Kinect（上）外參數

圖8 Kinect（下）外參數

圖9 兩臺Kinect立體標定結果

3.2 人體數據采集

在兩臺Kinect標定完成之后，將站立在旋轉平臺上面的被測者進行人體數據的360度全面采集。被測者保持身體靜止站立，旋轉臺以每圈120秒的速度進行勻速旋轉。

對兩臺Kinect采集到的人體上半身及下半身的三維點云數據，如圖10和圖11所示，進行ICP算法的精度配準，配準結果如圖12和圖13所示。

實驗數據表明，本文提出的方法對點云數據拼接效果好，人體表面的三維重建結果誤差小，具有較高的精度。

圖10 采集到人體上半身三維點云

圖11 采集到人體下半身三維點云

圖12 ICP算法拼接后的人體三維點云（左側）

圖13 ICP算法拼接后的人體三維點云（右側）

4 結論與展望

本文利用兩臺Kinect對人體進行數據采集，基于ICP算法對人體點云進行配準以及人體三維模型進行重建。實驗結果表明，本方法計算效率高，操作簡單，極大減弱點云數據間的錯位，配準效果精確。在實際應用中，具有較好的配準精度和較高收斂速度。后續的研究方向將繼續提升點云精度，建立人體三維模型，進一步應用到3D打印領域。

參考文獻：

[1]周瑾，潘建江，童晶，等. 使用Kinect快速重建三維人體[J]. 計算機輔助設計與圖形學學報，2013， 25（6）： 873-879.