一種新的面向電影場景搭建的自然手勢交互方法

黃東晉 陳燕敏 李金遙 雷 雪

(上海大學上海電影學院 上海 200072)(上海電影特效工程技術研究中心 上海 200072)

0 引 言

電影工作流程中的虛擬預演技術對于節省電影制作時間、降低創作成本有著重要作用[1]。圖1(a)為徐克導演的電影鏡頭手稿，圖1(b)為電影《皇室婚禮》的虛擬預演和實拍鏡頭對比圖，三維虛擬預演對比手稿往往具有更加擬真的場景。而虛擬預演中的三維場景要求初步實現導演場景構思，需要在拍攝前期緊湊的時間內完成場景搭建。目前主流的三維場景搭建還主要依賴于基于二維屏幕顯示、鼠標鍵盤操作的傳統計算機輔助設計工具。這類以計算機為中心的計算機輔助設計工具雖然具有一定的精確度和普遍性，但缺少靈活性和高效性，需要用戶花費大量時間學習如何使用工具，限制了電影制作過程中導演或其他非專業三維場景設計人士的場景搭建構思。

(b) 左手向下翻轉-收起菜單

(a) 左手向上翻轉-打開菜單

(a) 左手向上翻轉(b) 左手向下翻轉(c) 左手指向

(a) 徐克導演鏡頭手稿

(b) 電影《皇室婚禮》的虛擬預演和實拍鏡頭圖1 電影鏡頭手稿與虛擬預演對比

近幾年隨著虛擬現實技術的高速發展，二維用戶界面和三維設計空間之間固有的維數轉換被打破。虛擬現實技術創造出更自然的虛擬世界感知，讓用戶融入到三維場景之中[2]。同時，諸如Leap Motion控制器這類三維輸入設備的出現，代替鼠標鍵盤等二維接口使用戶能夠與虛擬場景進行更直接、更自然的交互。

基于上述問題，本文提出一種在虛擬現實三維空間內，徒手創建、操縱三維物體進行場景搭建的自然手勢交互方法。與基于二維圖形用戶界面的傳統計算機輔助設計工具相比，這種結合虛擬現實技術的自然手勢交互可提供額外的自由度，支持用戶專注于場景搭建交互而不是復雜的用戶界面，能夠更直觀有效地進行虛擬預演中的三維場景搭建。

1 相關工作

1.1 手勢交互三維設計工具

虛擬現實技術近年來廣泛應用于人機交互領域。隨著虛擬現實頭盔顯示器(HMD)的成本不斷下降，虛擬現實內容的研究應用也越來越豐富多樣。結合虛擬現實技術的虛擬場景搭建或虛擬繪畫建模應用也層出不窮，其中最著名的包括谷歌推出的虛擬現實繪畫應用Tile Brush、為工業設計師打造的Gravity Sketch、Facebook推出的3D動畫工具Quill等。但這些虛擬現實三維建模工具的交互都基于手柄控制器，與鼠標鍵盤等傳統輸入方式一樣，需要用戶花費大量的時間學習如何使用，具有不自然、交互自由度低、對于精確度的要求高等缺陷[3]。因此，在這一領域自然徒手手勢交互方法具有很大的研究價值及研究空間。

手勢作為一種靈活性強的輸入方式已應用在眾多領域，例如VR購物[4]、樹木交互[5]、展覽展示[6]、計算機游戲[7]、醫學可視化[8]等，在三維空間虛擬創作領域已得到了廣泛應用。Gao等[9]設計并實現了DigiClay虛擬制作陶器應用，為用戶提供一個簡單優雅的藝術創作界面。Cui等[10]設計了一個基于Web的自然手勢交互形狀建模系統，該系統含有直觀的隱喻幫助用戶自己發現交互技術。任鏷等[11]提出一種結合自然手勢和概率圖模型的古建筑構件推薦方法來實現古建筑場景的快速搭建。

1.2 手勢交互理論

人手運動可分為手勢和無意識動作。手勢是人類行為的基本組成部分，在認知和交流中都發揮著重要作用。Quek等[12]將手勢分為通信型手勢和操控型手勢。操控型手勢通過手勢運動與被操控的物體之間的關系來控制某些物體，例如看到按鈕用戶會憑經驗認知進行按壓交互。通信型手勢來自人與人之間的交流，例如OK手勢在部分文化背景下表示確認。這兩種手勢之間的一個重要區別是，通信型手勢是作為一個整體被執行和識別的，而操控型手勢需要來自動作的連續反饋。

手勢交互理論研究近年來已取得一定進展。Ren等[13]針對徒手三維選擇技術進行了實驗研究，他們發現不宜要求用戶做精度過高的動作或長時間將手舉在空中，應將用戶手的運動保持在舒適區域或方向內；即使在三維環境中，也應考慮將手勢交互映射到二維用戶界面，以實現簡單的、較少元素的用戶交互。Cui等[10]通過用戶的心理模型探索形狀建模和虛擬裝配系統的自然用戶界面的標準和建議。他們發現對于不同的手勢任務——三維物體操縱、三維物體變形和基于工具的操縱任務，用戶有不同偏好的手勢交互方式，系統有必要設計相應的交互技術以匹配這些功能；雙手交互被大多數用戶偏愛；虛擬手有助于用戶估計三維物體的大小，幫助用戶規劃和可視化任務的復雜過程。

2 交互設計

2.1 電影虛擬預演特性

目前，雖然徒手自然手勢交互研究已在國內外各領域開展，但面向電影預演三維場景搭建的研究還比較少。相較于其他三維空間虛擬創作，電影虛擬預演的三維場景搭建有以下特性在自然手勢交互設計上需要額外考慮：

(1) 虛擬預演將導演初步的創意設計以數字形式進行視覺輸出，交互界面須容易學習，需用戶記憶的手勢類型應控制數量。

(2) 虛擬預演場景搭建中對三維物體的操縱包括近距離物體操縱和遠距離物體操縱，針對這兩種不同的功能應設計不同的手勢控制來匹配。

(3) 虛擬預演包含鏡頭運動預演[14]，因此須設計手勢支持用戶視角在虛擬場景中大范圍移動。

2.2 面向電影場景搭建的手勢用戶界面

根據第1節中討論的手勢交互理論研究和上述虛擬預演特性，本文設計一組面向虛擬預演場景搭建的手勢集，如圖2所示。

(d) 右手點擊(e) 右手握拳(f) 右手揮動(g) 雙手捏合圖2 面向虛擬現實場景搭建的手勢集

2.2.1系統控制手勢

系統控制手勢包含菜單控制和用戶視角控制。由于三維物體的憑空創建并不是一種在真實世界中能找到映射的自然操作，因此本文使用平面菜單瀏覽生成對象以實現簡單的用戶界面，控制手勢數量以減少用戶記憶負荷。系統控制手勢由左手負責，左手向上翻轉打開依附在左手右邊的三維物體生成菜單，向下翻轉收起菜單。菜單打開狀態右手任意手勢觸碰，對應三維物體在用戶視角前方生成。虛擬預演包含鏡頭運動預演，場景搭建時支持用戶視角在場景內的遠距離移動實現動態觀察，因此設計左手指向手勢控制用戶視角導航，用戶視角跟隨左手指向方向移動。

2.2.2三維物體操縱手勢

提煉基本手勢交互需求后，本文針對虛擬預演場景搭建所設計的三維物體操縱手勢除了物體生成，還包括物體的選中、取消選中、移動、旋轉、縮放和刪除。物體操縱手勢分為右手單手控制和雙手控制，根據距離分為遠距離操縱手勢和近距離操縱手勢，根據操縱幅度分為粗略操縱手勢和精細操縱手勢。對于物體的遠距離粗略操縱，采用雙手捏合手勢控制移動旋轉縮放(RTS)。近距離精細操縱時，手直接觸碰近處物體來選中物體，此時物體四周觸發器被激活，在觸發器內做捏合手勢精確控制近距離物體的移動旋轉縮放。最新生成物體默認為當前被選物體，選擇狀態下根據左手平行于手掌平面的射線結合右手點擊手勢來選中遠距離物體。右手單手握拳進行精細定位。張開的右手做揮舞動作刪除選中物體。

雙手捏合手勢時，物體根據雙手掌心的中心點進行變換。兩手掌心位置在當前幀為A和B，掌心距離為d1，在前一幀掌心位置為A′和B′，掌心距離為d2，縮放矩陣的縮放因子s=d2/d1，物體位移變換：

T=(A+B-A′-B′)/2

(1)

旋轉變換：

R=R(n,θ)

(2)

式中：n為旋轉軸；θ為旋轉角。

(3)

3 實驗與分析

本實驗采用的硬件條件：配置Intel(R) Core(TM) i7-8750H CPU @ 2.20 GHz處理器的計算機，Leap Motion傳感器，HTC Vive虛擬現實頭戴顯示器。

3.1 實驗一

為驗證本文提出的手勢集的可行性，實驗一采用Leap Motion傳感器和Unity3D引擎開發基于自然手勢的虛擬預演場景搭建系統進行用戶研究。共計10名測試者參與實驗，其中：男性7人，女性3人，年齡范圍為20到33歲，測試者均有計算機專業背景，均有過虛擬現實體驗，一人有過手勢交互體驗。每個測試者重復測試5次手勢集中的每一個手勢動作，記錄其正確識別次數，得出每個手勢的識別精確率。圖3為實驗一實驗過程，顯示每個手勢及其對應的操縱前后效果。

(d) 右手點擊-選擇

(g) 雙手捏合-移動旋轉

(h) 雙手捏合-放大縮小圖3 實驗一中的手勢集及對應操縱前后效果

實驗一結果如表1所示，手勢編號對應圖3編號，可以看出手勢集中的每個手勢識別率較高，足以支持場景搭建徒手手勢用戶界面的可行性。實驗過程部分測試者反饋選擇動作可以補充視覺反饋，全部測試者認可手勢識別的靈敏度和準確性。

表1 手勢集識別率

3.2 實驗二

為驗證本文提出的手勢方法的自然性、實用性和交互效率，實驗二將基于自然手勢的虛擬預演場景搭建系統與基于二維鼠標鍵盤交互的傳統三維設計軟件Maya進行對比實驗。共計15名測試者參與實驗，其中：男性4人，女性11人，年齡范圍為22到28歲，測試者均有計算機專業背景，13人有過虛擬現實體驗，2人有過手勢交互體驗，所有人都有傳統三維設計軟件使用經驗但熟悉程度不同。測試者隨機分為兩組，一組7人采用本文自然手勢交互用戶界面進行交互，另一組8人采用傳統鼠標鍵盤進行交互。兩組測試者的實驗任務為使用對應用戶界面完成圖4中簡單、中等、復雜三種場景的搭建。

(a) 簡單(b) 中等(c) 復雜圖4 實驗任務中三種場景

以圖5(a)的簡單場景為例，如圖5(b)所示，首先生成三維物體(在Maya中為導入物體)，測試者將場景中的三維物體經過移動、縮放和旋轉操作匹配場景中的對應位置(灰色模型)，完成目標場景搭建，具體步驟如圖5(c)-圖5(e)所示。實驗過程中，記錄兩種用戶界面的訓練時間和任務的完成時間。圖5(f)記錄測試者正在進行實驗。最后，測試者填寫調查問卷，問卷設計參考系統可用性量表[15]。針對手勢用戶界面的主觀使用感受，讓測試者根據實驗過程以李克特五分量表從1至5進行打分，1至5分分別對應非常不同意、比較不同意、中立、比較同意和非常同意。

(c) 左手指向-視角導航

(e) 右手握拳-精確調整

(f) 右手揮動-刪除

(a) 目標場景 (b) 菜單-生成物體

(c) 步驟1(d) 步驟2

(e) 步驟3(f) 測試者進行實驗圖5 實驗二中簡單場景的任務設計

圖6所示為兩種用戶界面的平均訓練時間和平均任務時間對比，可以看出手勢交互組所花費時間明顯少于Maya軟件組，相較傳統計算機輔助設計工具，使用自然手勢用戶界面完成目標場景搭建的平均時間更短。其中對于用戶界面的平均訓練時間，Maya軟件為157.5 s，本文提出的徒手手勢用戶界面為94.3 s，手勢用戶界面的可學習性得到良好反饋。

圖6 平均任務時間對比

實驗過程中得到如下積極的用戶評價：三位測試者表示虛擬現實身臨其境的視角對于場景搭建中的直觀定位有幫助，一位用戶表示手勢集短時間內即可記住。此外還得到一些建議：兩位測試者提及目前的自然手勢用戶界面功能不夠豐富，一位測試者提出旋轉操作相對不夠舒適。用戶調查問卷中的問題列表如表2所示，問題一到問題五引導測試者分別對系統的易用性、舒適度、易學性、實用性和自然性進行評分。測試者的打分情況如圖7所示，最低分為問題二平均得分3.5，最高分為問題四平均得分4.2，用戶普遍認為本文自然手勢用戶界面易用舒適、交互自然，無需太多學習時間和手勢記憶負荷。

表2 用戶調查問卷列表

圖7 問卷平均評分

實驗結果表明本文方法滿足電影預演三維場景搭建的需求，用戶體驗良好，對比傳統鼠標鍵盤二維用戶界面更加易用高效、自然直觀。

4 結 語

本文提出一種直觀的面向虛擬預演電影三維場景搭建的自然手勢交互方法，該方法考慮虛擬預演場景搭建需求特性，通過三維輸入與虛擬世界建立了一個直觀的用戶界面，允許用戶直觀便捷、高效地進行三維場景搭建。下一步的研究工作有：(1) 進一步改善手勢交互用戶體驗，結合數據手套避免Leap Motion手勢識別中存在的遮擋、過熱等缺陷；(2) 擴展手勢識別類型，在合理的手勢記憶負荷下進一步加強場景搭建功能。