虛擬腕飾試戴系統的研究與實踐

黃 麗， 羅立宏， 湯曉穎， 鄒叢爍

（廣東工業大學藝術設計學院，廣州 510006）

0 引 言

進入21世紀以來，中國的經濟和互聯網相關技術得到了迅速發展，人們也越來越注重生活質量和消費體驗。線上購物逐漸成為主流的購物形式，與線下購物相比，線上購物的可視化體驗還有待提升，比如需要試穿的服裝和試戴的腕飾［1］，線上購物具備傳統實體店無法比擬的便利性，傳統實體店的真實化和人性化也是現階段線上購物無法企及的。隨著增強現實技術（Augmented Reality，AR）相關技術的發展，使線上購物兼具便利性和真實性［2］。近年來專門針對虛擬腕飾試戴的研究還較少，Radhika等［3］通過使用Vuforia圖像跟蹤來定位三維模型，由于識別圖像是二維的，鏡頭傾斜時會出現模型與手部錯位的問題。Günes等［4］提出了一種支持360°旋轉的無標記三維增強現實應用程序，使用Kinect傳感器捕捉RGB、深度和骨骼數據，并使用開放圖形庫（OpenGL）渲染技術，提高了模型疊加的精確性和靈活性，但使用過程需要使用kinect和顯示屏等設備，提高了虛擬腕飾的使用門檻，在生活中難以普及。

近年來，手機端性能不斷提升，使得基于移動端的AR技術研究與應用開發成為當前行業熱點，同時手機配置深度相機給腕飾佩戴系統開發提供了新的可能。本文采用具備3D深度感知相機系統的移動設備進行實驗。系統由散斑投射器、紅外補光燈、距離感應器、環境光傳感器、紅外相機等組成。通過結合視覺跟蹤算法、環境光傳感器信息和距離感應器獲取目標的位置信息和朝向信息。

1 虛擬手部模型

1.1 手勢識別模型

手勢識別分為靜態手勢識別和動態手勢識別［5］。靜態手勢識別采集手部邊界輪廓信息、膚色、幾何學位置等信息將手部進行識別和分割［6］。動態手勢識別通過每幀獲取手的位置和朝向信息，逐幀分析手部動作［7］。本研究采用動態手勢識別，通過攝像機和傳感器獲得特定的圖像序列，對圖像序列處理后使用。傳統的圖像識別一般是通過顏色和灰度值來識別物體，從而獲得物體的輪廓和紋理［8］，本文所使用動態手勢識別，通過配合深度相機可以在獲取RGB圖像的同時獲取像素的深度（Depth）信息，即深度圖像（RGBD）［9］。

1.2 建立虛擬手部模型

在三維空間中建立虛擬手部模型，主流的有4種方法：網格模型、體模型、幾何模型和骨骼模型法［10］，其中比較常用的是骨骼模型法，大量的實驗數據表明，通過識別人體骨骼關鍵節點能很好地預測人體地動作行為［11］。通過移動端的深度攝像頭逐幀采集手部各關節的3D深度數據，利用指尖位置信息搭建虛擬手部的手部邊界，通過人體手部的尺寸限制關系逆向計算出各關節點的位置信息，建立完整的虛擬手部模型［12］，如圖1所示。通過虛擬手部模型可以判斷出左、右手，并可以返回手部的21個骨骼關節特征點數據信息［13］。

圖1 手部骨骼點模型

2 虛擬腕飾試戴系統構架

系統通過手機深度攝像頭對3D手部骨骼關節深度信息進行采集，獲得手部關節的21個特征點信息，以此建立手部的虛擬模型，增強現實引擎（AR Engine）提供的手部模型算法是通過手掌方向朝向攝像機判斷左、右手的，而腕飾試戴則需要以手背對準攝像機，所以建立的手部虛擬模型左、右手判斷結果需要進行校正。得到矯正后的手部信息后，通過21個手部骨骼關節點信息建立手部的定位點和放置姿勢坐標系。將3D虛擬手表模型與定位點和姿態信息進行綁定，當攝像機檢測到手部運動信息后，獲取的手部骨骼關節特征點的信息會隨之更新，生成的虛擬手部骨骼模型會跟隨運動，最終實現3D虛擬手表跟隨使用者的手部進行相應運動，達到可以360°3D虛擬試戴效果。虛擬腕飾試戴系統整體流程如圖2所示。

圖2 虛擬腕飾試戴系統整體流程

3 腕飾疊加方法

3.1 虛擬手部模型與腕飾模型的映射

三維虛擬手表模型從物體坐標系準確定位到虛擬手部骨骼模型，達到位置和朝向姿態與之匹配，需要在虛擬手部骨骼模型上構建映射的三維坐標系。以手部骨骼點0點設為定位手表的錨點，以手腕關節點0，中指關節點9，大拇指關節點17構建與虛擬手表表盤平行的面，并通過矢量計算得到垂直該平面的法向量V1，以定位手表表盤的視圖方向1，以中指指向確定手表表盤按鈕方向，計算得到垂直按鈕和表盤的手表向上的矢量V2，以該矢量確定表盤的視圖方向2，通過垂直的2個矢量V1和V2確定以小拇指方向為正向的矢量V3，用來定位手表表盤12點鐘視圖方向3。使手表的位置和方向與手腕節點的位置及朝向保持一致，映射關系如圖3所示。

圖3 虛擬手部模型與腕飾模型的映射

為將虛擬手表模型準確地疊加在手腕處，需建立攝像機像素點位置與三維空間的映射關系［14］，這一過程稱為攝像機標定，此過程涉及多個坐標系轉換：屏幕坐標系，相機坐標系，世界坐標系，物體坐標系。

圖4 虛擬手表模型空間坐標系轉換示意圖

為一個點在物體坐標系坐標，首先定義虛擬手表模型在物體坐標系空間，根據放置位置和朝向，通過模型矩陣Mmodel變換轉換成世界坐標系［15］

通過變換矩陣Mview將世界坐標轉到相機坐標系（在此過程相機的位置和姿態決定兩個坐標系空間的轉換關系）

將相機坐標系轉換到裁剪坐標系

通過投影變換矩陣Mprogection。屏幕空間是一個二維空間，將頂點經齊次除法從剪裁空間投影到屏幕空間。在屏幕空間，左下角像素坐標是（0，0），右上角像素坐標是（pixelWidth，pixelHeight）。

3.2 程序邏輯

基于Unity平臺使用C＃語言進行開發，通過新建會話（ARSession）實時獲取相機信息，當識別到手部信息時，會根據相機獲取的手部骨骼關節點的信息建立虛擬手部模型，實現手部和手表的映射，當手部移動旋轉時，根據攝像頭返回的幀數據實時獲取手掌各關節的位置，并動態計算手掌朝向，而手表是根據虛擬手表模型進行精確定位，在實現手部移動旋轉時，虛擬手表模型隨之改變狀態，其程序邏輯如圖5所示。

圖5 程序邏輯流程圖

4 結果分析

腕飾虛擬試戴系統是基于增強現實引擎和Unity 3D實現的，需要在搭載增強現實引擎和深度相機的移動端進行使用。用戶可隨時隨地通過移動端選擇心儀的腕飾進行試戴，并可360°轉動手腕查看佩戴效果。

4.1 手部邊界定位與虛擬手部骨骼模型展示

基于手部邊界信息探測整個圖像并逐幀返回定向的手部邊界框，以識別手的整體框架和方向，考慮到本實驗是基于檢測手部關節點骨骼點展開的，為使檢測結果盡可能準確，選用手部全部伸直打開的手勢作為檢測手勢，手部邊界定位效果展示如圖6所示。

圖6 手部邊界定位效果

檢測結果包括手勢識別、左右手的識別、相機類型返回等結果，可以看到實驗機型2D相機和3D深度相機處于正常開啟狀態。本實驗采用的是深度相機是手機前置攝像頭，返回的左右手結果與實際相反。通過3D深度相機獲取右手手部骨骼關節點位置和深度信息，構建的虛擬手部骨骼關節點模型效果如圖7所示，可以清楚地看到手部的21個關節點。

4.2 最終佩戴效果展示

右手手背、手掌、側面試戴效果如圖7所示。分別使用右手的掌心與手背進行識別測試與真實環境的一致性，結果顯示能良好地識別右手的掌心和手背方向，正確地匹配模型達到與真實環境一致的效果。

圖7 虛擬手部骨骼模型效果

在手的旋轉移動過程，手表模型會實時根據手腕的位置及朝向進行調整，能較好的達到與真實環境匹配一致的效果。當手部轉動到手掌垂直手機屏幕時，手部的21個骨骼關節點部分形成重疊，相機采集的手部骨骼點數據可能存在誤差，在旋轉到側面時存在跳躍點，虛擬手表模型會出現短暫跳躍，如圖8（c）所示。

圖8 右手手背匹配狀態

5 結 語

本文研究的主要目的是實現基于深度視覺的虛擬腕飾試戴系統，使用搭載增強現實引擎和深度相機的機型進行手部彩色信息、深度信息及骨骼點信息的獲取，通過Unity 3D開發引擎實現系統架構的搭建，完成移動端和增強現實引擎的信息傳遞。當識別到手部信息時，進行左右手判斷，根據深度相機獲取的手部骨骼關節點的深度信息建立虛擬手部模型，當手部移動旋轉時，根據攝像頭的返回幀數據實時獲取手掌各關節的位置，動態計算手掌朝向，虛擬手表是根據手表模型進行定位，實現手部移動旋轉時，手表模型隨之改變狀態。

目前此虛擬腕飾佩戴系統存在旋轉到側面一定角度時虛擬模型會發生跳躍，以后將加以完善，繼續研究手旋轉的角度對虛擬模型適配的跳躍點范圍；在實驗過程中尙沒考慮環境因素對實驗結果的影響，未來希望增加環境變量比如光照強度對腕飾匹配效果影響的研究。