交互式投影動態捕捉下的數據采集子系統設計

陳起陽　史佩倫　陳方園　熊國瑾

摘要：本文以交互式投影動態捕捉下的數據采集子系統為研究對象，首先分析了基于kinect下的動態捕捉、語音捕捉以及基于Kinect進行圖像分割所使用的Mean Shift算法，然后建立了基于MAYA下的角色模型。

關鍵詞：交互式投影動態捕捉;kinect;算法

1基于 kinect 下的動態捕捉及語音捕捉

Kinect的構成結構是由三個鏡頭、四個內置麥克風構造而成，中間結構的鏡頭是RGB的彩色攝像機，它的作用是用來采集彩色圖像，而中間鏡頭的兩邊分別設有紅外線發射器和紅外線的CMOS的攝影機。Kinect工作原理是由將紅外線發射器投射近紅外光譜，然后照射到一些粗糙物體、或者穿透毛玻璃后，所在的光譜回發生扭曲，進而會隨機的反射斑點，之后就會被CMOS攝影機所讀取。最后CMOS攝影機分析到的紅外光3譜并且讀取它們之后生成深度圖。而對于四個麥克風，內設數字的信號處理器DSP這樣的組件， 它們所將同時收錄聲音來源，之后進行對比過濾，剔除背景噪音。

對于人體的骨骼動態捕捉，Kinect所測量的人體骨骼范圍為0.5m—4.5m，而幀數據則定為人體的25個關節點的集合數據，而幀數據中的每幀都包含了關節中的3D位置和所處的方向，而每秒掃描人體骨骼運動的幀數為30fps。

2基于Kinect進行圖像分割所使用的Mean Shift算法

2.1 Kinect深度圖獲取方式及流程

對于Kinect的RGB彩色攝像機捕捉的彩色圖通過Mean Shift算法]對彩色圖進行對于圖像的分割，之后通過散焦法對于分割的圖像進行提取及融合，最后對于融合成的深度圖進行一個三邊濾波。散焦法對于分割成的單幅圖進行提取方式：首先通過邊緣點處的LOG濾波響應的正負處的雙峰間距計算出散焦的模糊參數從而獲得了邊緣點處的深度值，最后可以使用matting Laplacian的插值從而生成稠密的深度圖。最后可以將散焦法形成的稠密深度圖和RGB彩色攝像機捕捉到的深度圖進行一個融合，達到最終的目的。通過Mean Shift算法所得的深色圖的質量遠超過通過Kinect所捕捉到的深色圖。

優先使用散焦法，將Mean Shift算法分割成的深色圖通過散焦法提取深度D2（X，Y）;

將Kinect所捕捉到的深度圖D1（X，Y）與Mean Shift算法分割成的D2（X，Y）進行融合，從而生成一個圖像的質量較好的融合型深度圖D3（X，Y）;

對于D1（X，Y）和D2（X，Y）融合成的深度圖Dy（X，Y）進行三邊濾波。

2.2 Mean Shift 算法圖像分割具體步驟及特征

第一、對于kinect的RGB彩色攝像機所捕捉到的彩色圖轉換到LUV色彩空間并且之后使用Mean Shift算法將彩色圖像進行分割并將分成c個區域p1、p2、p3……pc，之中c為通過Mean Shift算法進行圖像分割所產生的區域數目總和，也可將其稱之為類別數。

第二、我們將通過散焦法將分割成的c個區域進行深度提取，首先將分割成的區域的彩色圖進行一個轉化成為灰度圖，之后使用Canny算子方法進行檢測灰度圖的邊緣，并且計算LOG的濾波響應，之后通過邊緣處的邊緣點處的LOG濾波的響應的正負雙峰之間的距離進行計算從而得到散焦的模糊參數，最后通過模糊參數可以進而得到邊緣點處的 深度值，這樣我們就可以最后的到分割成的稀疏的深度圖。

第三、我們可以將邊緣處的分割成的稀疏深度圖（包含深度值）通過matting

Laplacian的插值從而生成稠密的深度圖。

第四、對于分割成的稠密深度圖進行一個權值的深度圖像的融合。具體方式：通過對于分割區域中p1、p2、p3……pc 等進行像素級的一個加權融合，可以根據此區域的產生的灰度值的方差和此區域處的像素到邊緣處像素的距離計算出稠密深度圖所要融合的一個權值。

第五、我們將對已經通過權值融合好的深度圖進行一個三邊濾波，而所謂的三邊濾波則是包括表征的三維空間距離、所呈現的顏色值得差異性以及深度值的差異化。

首先我們將Kinect的RGB所捕捉到的色彩圖轉化為LUV的色彩空間，而其中的L*則表示為亮度，其中所取值的區間為00到100間，而其中的V*則表示為色彩的飽和度，其中的的取值的范圍為-100到100區間，而將Kinect中的RGB色彩圖動態捕捉圖轉換為LUV空間化的轉換的公式：

通過由上式可以通過色彩圖坐標（R，G，B）從而計算出LUV的彩色空間（L*，U*，V*）坐標值，之后我們進行將每個圖之中的坐標以及色彩的信息成為一個增廣向量，即x（xs，xr），此外空間的坐標xs（x，y），而色彩的信息則為xr（l*，u*，v*），從而得到增廣的向量為x（x，y，l*，u*，v*）。

對于Mean Shift算法下的Mh（xt）而

對于計算公式中，t所代表的含義即為迭代的次數，而n則為落入到Sh中的像素的個數;而其中的K h h 則為核函數，且它的定義為

在最后，Mean Shift算法當結束時會一共呈現處c個類型的聚合，且對應著Kinect中的RGB所捕捉到的色彩圖分割成的c個區域中的p1、p2、p3……pc。

2.3散焦法下的圖像深度提取

在對于通過Mean Shift算法分割成的區域進行散焦法的深度提取，當分割成的區域化的所捕捉的模型沒有聚焦點的時候，所通過RGB捕捉到的色彩圖就會產生模糊，之后我們可以根據物體到達聚焦的平面的所處距離不同，所產生的模糊程度也會因此而不同。通 過聚散法所產生的構成原理則就是先

估算出散焦的模糊的參數，之后整合RGB捕捉的參數計算出圖像的深度值。

首先將通過Mean Shift算法分割成的散焦圖C（x，y）轉化成灰度的圖像I0（x，y），其中為散焦的參數。其下，將對于散焦參數的具體計算、通過matting?Laplacian插值生成稠密深度圖以及生成邊緣處的稀疏的深度圖。

2.4關于模擬下的Kinect所捕捉的骨骼運動及色彩圖、深度圖

3基于MAYA下的角色模型的建立

基于Kinect下的動態捕捉到的骨骼運動和深度圖片下，通過MAYA軟件進角色模型的構建，對于所構建的模型，將在模型身體控制器上設置多個骨骼運動觸發點，設置多個 面部控制器，并且建立表情的修構數據庫和角色模型數據庫。

3.1 MAYA下構建角色模型及與Kinect的綁定方法

首先通過三維人體掃描儀進行人體的掃描，之后再進行等比例的縮小并且構建虛擬化的三維數學模型，從而形成虛擬化的人體模型，在模型之中將包括多個身體控制器和多個面部控制器等，通過在身體模型上綁定骨骼運動系統，從而骨骼運動系統和身體控制器共 同的驅動者角色模型的動作。同理，我們所進行的骨骼運動系統和面部控制器共同驅動角色模型的面部發生變化。對于模型的面部表情，我們將通過關鍵幀的設置，對模型產生的一些表情進行修復化。其中具體的構造方法如下：Q1：首先進行三維人體的掃描及按比例構造出人物模型，并且在于模型中設立多個控制器進行身體以及面部的控制;Q2：在模型身上綁定骨骼系統，并且與身體控制器進行實時綁定，并驅動身體動作的進行和變化;Q2.1：將掃描到的人體骨骼導入到MAYA場景之中，并且調整每個身體關鍵的骨骼部位與身體的模型相對應齊;Q2.2：根據客戶端所要求得指令，在模型上自動綁定一些動態骨骼運動;Q3：在模型身上綁定骨骼系統，并且與面部控制器進行實時綁定，并驅動面部動作的進行和變化;Q4：通過關鍵幀的設置，我們可以通過已經形成的表情的數據庫和動作的數據庫將信息賦予到模型之中;Q4.1：通過 BlendShape[3]的變形處理將修復每個所需要的表情;Q4.2：通過關鍵幀，在身體控制器和面部控制器處的屬性中建立與表情修復的一種驅動關系;

Q4.3：調整模型的面部表情，并且修復;Q5：可以依據RBF的修復設置，將已經儲存的身體模型數據進行修復以及對所產生的動作進行修正;Q5.1：創建好每個身體模型數據，將模型數據上傳到模型數據庫中，并且利用RBF技術進行定位，對于身體骨骼和所修復的模型進行融合。

3.2構建模型及表情修復流程

第一、構建多個身體模型及在身體上綁定多個控制器并對于面部和身體動作的控制;

第二、在身體的模型之中綁定骨骼系統進行運動捕捉;

第三、在面部的模型之中綁定骨骼系統進行動態捕捉;

第四、將在表情數據庫中進行模型與表情的相匹配并且對所產生角色表情部分進行修正;

第五、將儲存在數據庫中的身體模型進行骨骼的動態融合，并且對于所產生的模型的動作進行不斷的修復。

3.3身體綁定及面部模型綁定結果示意圖

3.4 基于Unity下的場景模型的建立

參考文獻

[1] Komar，K.G，Proc.SPIE[J]，120，（1977），127.

[2] Y.Chuang，B.Curless，D.Salesin，and ?R.Szeliski.A ?bayesian ?approach ?to ?digital matting[M].CVPR，2001.

[3] 戴鵬，徐光祐.面向網上人際交流的便捷人臉動畫.計算機輔助設計與圖形學學報[J]，2008，2 0（6）：793-800.

[4] 郭海新，劉慶.虛擬現實技術在室內設計中的應用[J].大眾商務，2010（1）：15-153.