基于Leap Motion 手勢識別的懸浮真3D 顯示實時交互系統

林星雨，邢 妍，張漢樂，王瓊華

（北京航空航天大學 儀器科學與光電工程學院，北京100191）

1 引 言

人類生活在三維（3D）空間中，三維顯示相較于目前普及的二維（2D）顯示，能夠更高效地呈現空間信息，具有更強的真實感和沉浸感。裸眼真3D 顯示無需佩戴眼鏡等輔助設備，無立體觀看視疲勞問題，能夠提供舒適逼真的3D 圖像，應用前景十分廣闊［1］。懸浮真3D 顯示結合裸眼真3D顯示與懸浮顯示兩種技術的優勢，利用懸浮器件，將3D 圖像成像在空中，進一步增強了空間真實感。該技術與手勢交互等非接觸式交互技術結合［2］，既能進一步發揮3D 顯示自然直觀的優勢，又能使人和空間中的3D 圖像自由交互，可避免不必要的接觸，特別有利于減少疾病傳播風險，在2019 年至今的新冠肺炎大背景下有多種應用場景。

現有的懸浮真3D 顯示手勢交互主要利用全息、光場和集成成像等裸眼真3D 顯示技術實現3D 圖像的再現，配合體感檢測器件或圖像傳感器完成手勢交互功能。臺灣交通大學提出了一種嵌入式集成成像3D 顯示手勢交互系統［3］，利用嵌入在微透鏡陣列下的分布式光傳感器推算手指位置，實現了手指對3D 場景的精確控制。日本東京工業大學實現了一種基于全息3D 顯示的手勢交互系統，采用RGB 相機檢測手指散射光，對手指位置進行檢測，實現了手指與復雜場景的精確配準［4］。浙江大學提出了一種懸浮真3D 顯示系統力觸覺交互技術，通過指套振動實現力觸覺交互，提高了交互的真實感［5］。盡管目前國內外進行了一些懸浮真3D 顯示手勢交互技術研究，但多數僅考慮單個3D 物體的交互或3D 場景的整體交互，未考慮復雜3D 場景中多個3D 物體的獨立交互，不同3D 物體獨立交互存在的串擾問題亟待解決。

本文提出一種基于Leap Motion 的懸浮真3D 顯示實時手勢交互系統，可實現多個懸浮3D物體的獨立實時交互，交互幀率為30 幀/s。

2 系統結構與工作原理

2.1 系統結構

懸浮真3D 顯示手勢交互系統由集成成像3D 顯示屏、二面角反射鏡陣列、Leap Motion 和計算機組成，如圖1 所示。系統原理如圖2 所示。集成成像3D 顯示屏與二面角反射鏡陣列共同構成系統的顯示模塊。如圖3 所示，二面角反射鏡陣列是一種懸浮器件［6-8］，將其傾斜45°放置能夠使集成成像3D 顯示屏再現的3D 圖像“懸浮”于該器件前方［9］；懸浮3D 圖像相比原3D 圖像深度反轉，可抵消傳統集成成像3D 顯示的深度反轉現象，最終形成深度關系正確的懸浮3D 圖像。

圖1 懸浮真3D 顯示手勢交互系統結構Fig.1 Structure of the floating 3D display gesture interaction system

圖2 交互系統原理示意圖Fig.2 Principle of the proposed interaction system

圖3 二面角反射鏡原理示意圖Fig.3 Principle of the dihedral corner reflector

Leap Motion 連接計算機，兩者共同組成系統的交互模塊。Leap Motion 是一款體感控制器，它內置雙目相機，基于計算機視覺算法采集手的數量、各個關節節點的空間位置、手指和手掌的朝向等數據，通過應用程序編程接口（API）被計算機讀取。為充分利用Leap Motion 的探測范圍，我們將Leap Motion 水平放置在二面角反射鏡陣列底邊的正前方。懸浮真3D 顯示手勢交互系統的手勢交互流程如圖4 所示。

圖4 手勢交互流程圖Fig.4 Flow diagram of the gesture interaction

在一次交互循環流程中，計算機通過API 從Leap Motion 讀取手勢數據，然后利用交互通道機制檢查物體是否被占用。若未被占用，將讀取到的關節空間坐標映射到開放圖形庫（OpenGL）世界坐標系下，與預設手勢進行比對，確定交互類型。之后計算并更新每個參與交互的物體的空間位置與姿態，并渲染3D 片源，刷新顯示在LCD 屏上，使得懸浮3D 圖像中的物體發生位移、旋轉等變化，實現人機交互。

集成成像3D 顯示屏的3D 片源即圖像陣列。為確保實時性和手勢交互模塊設計的便捷性，采用OpenGL，通過設置多視口模擬相機陣列的拍攝，生成圖像陣列。渲染過程應用了雙緩沖和頂點緩沖對象（VBO）技術，以保證3D 片源的實時生成。

2.2 顯示空間與交互空間坐標映射

為精確模擬現實世界的“觸碰”等手勢交互動作，需要建立顯示空間與交互空間的關聯。顯示空間指懸浮3D 圖像所處的空間，交互空間指Leap Motion 可探測到的手關節所處的空間。然而手關節坐標基于Leap Motion 自身的坐標系，無法直接得到該坐標與懸浮3D 圖像之間的坐標關系。因此需要將Leap Motion 坐標映射到顯示空間，才能進行觸碰與否的判斷。根據集成成像原理可知，3D 拍攝與顯示過程互逆，顯示空間坐標系與渲染過程的OpenGL 世界坐標系統一，懸浮3D 圖像坐標與待渲染的3D 模型坐標完全一致。因此，只要確定Leap Motion 坐標系和OpenGL 世界坐標系的映射規則，即可實現顯示空間與交互空間的坐標映射。

假設OpenGL 世界坐標系O-XYZ的OX、OY、OZ軸在Leap Motion 坐標系O'-X'Y'Z'下的單位方向矢量分別為（X'X，Y'X，Z'X，）T，（X'Y，Y'Y，Z'Y，）T，（，）T，坐 標 系O-XYZ與O'-X'Y'Z'的標度比為Ks，則可計算出從坐標系O'-X'Y'Z'到O-XYZ的自由向量變換矩陣C［10］：

在Leap Motion 中經過標定得到原點O'的坐標，記作（）T，則 點O'映 射 到OpenGL 世界坐標系的變換矩陣為：

由公式（1）和（2），可將Leap Motion 坐標映射到OpenGL 世界坐標系中：

2.3 手勢交互的實現

本系統預設了3 種手勢交互方式：抓取平移、劃動旋轉和按鍵平移/旋轉。3 種手勢的交互過程均包括3 個階段：選定物體、發生運動、釋放物體。以抓取平移動作為例，人在用手移動一個體積較小的物體時，主要是單手的拇指、食指、中指彎曲并發力，夾持物體，移動一定距離后，手指略微伸直而釋放。那么手指彎曲到一定程度夾持住物體為選定對象，移動為發生運動，手指松開則為釋放對象。

本文以抓取平移為例介紹交互實現過程，其他兩種手勢原理與此類似，不再贅述。

首先選定對象，采用地球和月球兩個球體模型，兩個球體球心均位于各自模型局部坐標系的原點處，其在OpenGL 世界坐標系的坐標表示為（Xobj，Yobj，Zobj）T。當手的映射坐標處在以（Xobj，Yobj，Zobj）T為中心、半徑為df的球域內，并做出抓握動作時，視為選定交互對象。選定交互對象的位置判斷條件為：

其 中（X'f，Y'f，Z'f）T表 示 將 拇 指（X'thumb，Y'thumb，Z'thumb）T、食指（X'index，Y'index，Z'index）T和中指（X'middle，Y'middle，Z'middle）T作為整體考慮的一個加權平均坐標，其表達式為：

其中Athumb+Athumb+Athumb=1。除此之外還要滿足3 個手部形態判斷條件：

當拇指、食指和中指遠節的中心點與它們加權平均坐標的距離小于各自的給定閾值dthumb、dindex、dmiddle時，視為抓取到該物體。

在運動發生過程中，3D 圖像跟隨手部動作發生平移運動。兩幀之間的手部位移被映射到OpenGL 坐 標 系 上，位 移 值 表 示 為（ΔXf，ΔYf，ΔZf）T，對應模型跟隨手部同步運動，位移值同樣為（ΔXf，ΔYf，ΔZf）T。

最后階段為釋放對象，只需使選定物體的4個條件不同時滿足。需要注意的是，手在“抓取”和“釋放”的過程中，拇指與其余4 指的運動幅度不同，拇指運動距離明顯小于其余4 指。因此，在計算平均坐標（X'f，Y'f，Z'f）T時給予權重系數Athumb更大數值。

2.4 多物體獨立交互

多物體獨立交互指同一時刻3D 場景中的每個物體都能獨立響應一只手的手勢交互，互不干擾。當交互過程中手與手、物體與物體的空間位置非常接近甚至部分重合時，由于Leap Motion動態的手勢數據存在不可避免的漂移和抖動，即使采用物理碰撞檢測，也會出現手勢選定物體的錯亂，無法達到理想的交互效果。本文提出通道模型解決多物體交互串擾問題。如圖5 所示，每個待交互物體參與手勢交互的狀態都被儲存，稱為交互通道。交互通道在物體未參與交互時取值為-1，表示“未占用”；參與交互時取值為與物體交互的手的標識ID，表示物體被占用并正在參與交互。標識ID 在每只手進入Leap Motion 交互范圍時被自動分配。

圖5 多物體交互的通道模型Fig.5 Channel model for multiple objects interaction

當一只手進入某一物體的交互范圍時，需要遍歷所有物體的交互通道，增加額外的判斷條件決定物體是否受到該手的控制：（1）物體的交互通道如果被除當前手以外的手的ID 占用，物體不會對當前手的手勢產生響應；（2）物體的交互通道被當前手的ID 占用，物體將保持接受當前手的控制；（3）物體的交互通道沒有被任何手的ID 占用，則當前手勢圖與該物體建立新的控制與被控關系，即有可能將當前手的ID 放入對應的通道內；（4）當前手的ID 未在其他物體的交互通道里，建立一一對應的控制與被控關系；（5）多只手同時進入物體的交互范圍，按照ID 從小到大分配從高到低的優先級，這是由于先被Leap Motion 追蹤的手ID 更小，后被追蹤的更大，滿足“先來后到”的規則。

上述一系列判斷流程在交互的選定物體階段完成。只有建立物體與手的交互關系后，才會進入下一階段，計算物體對交互手勢產生的響應。

3 實驗結果

實物系統如圖6 所示。右側為懸浮3D 顯示模塊，從上至下依次為二面角反射鏡陣列和集成成像3D 顯示屏。集成成像3D 顯示屏內使用的LCD 屏與左側的便攜計算機連接。二面角反射鏡陣列傾斜45°放置。為便于展示光路，Leap Motion 被置于桌面。實際交互時，Leap Motion被水平放置在二面角反射鏡陣列底邊的正前方。懸浮3D 圖像位于二面角反射鏡陣列前方，其中心與二面角反射鏡陣列中心的距離為259 mm。實驗系統的其他參數如表1 所示。

圖6 系統實物圖Fig.6 Experiment setup of the proposed system

表1 系統關鍵參數Tab.1 Parameters of the proposed system

多物體獨立交互效果如圖7所示。懸浮3D 圖像包括“地球”、“月球”、簡易的按鍵和狀態欄。“月球”的獨立交互實驗效果如圖7（a）和7（b）所示，交互動作為劃動旋轉。從“月球”表面的紋理變化可以看出，“月球”跟隨用戶食指逆時針繞自軸旋轉，此時“地球”表面紋理未發生變化。“地球”的獨立交互實驗效果如圖7（c）和7（d）所示，交互動作為抓取平移，“地球”跟隨做出抓握動作的手自左下向右上方發生平移，此時“月球”位置未發生變化。以上實驗結果表明，所提系統可實現對3D 場景內多物體的獨立交互。在3D 片源分辨率為3 840×2 160像素下，系統交互幀率為30幀/s。

圖7 手勢交互效果圖Fig.7 Effect of the gesture interaction

4 結 論

本文提出了一種基于Leap Motion 的懸浮真3D 顯示實時手勢交互系統。該系統能夠實現不同手勢的實時交互，3D 片源分辨率為3 840×2 160 時，交互幀率為30 幀/s。系統還可滿足多手同時對多物體的獨立交互，交互動作相互不受干擾，解決了多物體獨立交互存在的串擾問題，使得交互更加靈活。所提系統為懸浮3D 顯示人機交互的應用提供了可能性。