三維環境手勢自然交互范式研究

楊文超　吳亞東　趙思蕊　蔣宏宇

(西南科技大學計算機科學與技術學院　四川綿陽　621010)

?

三維環境手勢自然交互范式研究

楊文超吳亞東趙思蕊蔣宏宇

(西南科技大學計算機科學與技術學院四川綿陽621010)

摘要：隨著非接觸式交互設備的出現和三維界面的廣泛應用，傳統的二維交互方式已經不能滿足三維應用系統的需求，亟待研究三維界面的自然交互問題。結合用戶認知心理和三維界面的特點，提出三維界面交互通用模型GOMSS(Goals, Operators, Methods, Selection Rules and Scenes)，并將該模型應用于體感設備的手勢交互研究，設計了三維環境手勢自然交互范式。通過虛擬裝配等系統進行評估，表明該手勢交互模式在提升系統易學性和交互沉浸感方面的有效性。

關鍵詞：人機交互三維界面手勢交互語義自然交互范式

自1964年Doug Engelbart發明鼠標，鼠標和鍵盤已逐漸成為人與計算機交互最主要的方式，直到20世紀80年代，觸摸屏潮流爆發[1-2]，Multi-touch被應用到手持終端、交互式桌面等。然而人們逐漸意識到觸摸屏只是換了種形式的鍵盤和鼠標而已[3]。這些傳統的交互方式并不適用于三維界面，也難以實現自然人機交互。傳統人機交互方式在沒有計算機的情況下都不再需要，而自然人機交互不是計算機特有屬性[4]。隨著Leap Motion、Kinect等體感交互設備的不斷涌現，交互界將迎來又一次革命，最終過渡到三維空間特征的自然人機交互方式。

應用傳統的交互模式與三維界面進行交互，通常是將深度信息投射到平面上，用戶的交互轉化到二維平面上完成，降低了交互自然度。尤其在虛擬裝配等訓練系統中，采用傳統交互方式不僅給用戶帶來認知困難，而且缺乏真實感，使訓練效果受到影響。人們在三維空間交互問題上做了不少研究。馮志全等人[5]基于普通攝像機獲取手勢特征，提出一種基于自然手勢直接操作的三維人機交互范式，引入圓球“替身”實現二維到三維空間可視映射。張鳳軍等人[6]應用智能手機慣性傳感器控制輸入與三維場景交互，具有實時、快速、易學習的優點，但依賴手持終端難以實現對復雜動作的模擬。吳匯岳等人[7]基于“paint-view-correct”隱喻構建手勢界面開發工具IEToolkit，并應用于虛擬家居展示和城市漫游系統等三維娛樂體驗系統中，取得良好的三維交互效果。

目前三維交互研究已經提出很多交互模型和范式，但對三維界面交互模式和界面設計方法的探索并不多見。本文研究了三維交互界面的特點和GOMS交互模型(Goals, Operators, Methods and Selection Rules)在三維交互中的不足，提出三維界面交互通用模型GOMSS，并且分析了在該模型下三維交互界面的設計理論。最后基于GOMSS模型和體感交互設備，以人的自然手部動作控制輸入，設計了一種三維環境手勢自然交互范式。通過與傳統交互方式的效率比較、學習曲線比較和用戶滿意度調查最終表明該交互模式的易學性和易用性。

1三維界面交互模型GOMSS

三維數據模型包括面向實體型、面向關系型和混合型3種[8-9]，三維界面的交互也要包含元素的關系集合和其固有屬性兩方面。建立交互模型主要描述元素間關系，同時為了表達元素屬性和協調界面關系，提升交互效率和用戶體驗度，研究三維交互界面的認知理論和設計原則也是十分必要的。

1.1基于空間特征的GOMSS交互模型設計

對交互過程的建模分析是交互設計的理論基礎。GOMS模型是人機交互領域最經典模型之一[9]，在指導圖形界面范式(WIMP)的交互設計和評價方面具有重要意義。該模型從用戶行為分析的角度描述交互任務的實現過程：首先需要選擇一種交互規則(Selection Rules)，然后根據不同規則下的交互方法(Methods)完成不同的操作(Operators)集合，最終實現交互目標(Goals)[10]。

GOMS模型描述三維界面交互存在不足。三維交互是基于場景的，不同的場景擁有不同的交互對象。自然人機交互指出，越符合人的認知的交互方式就越自然，三維場景的設計在視覺上十分接近真實環境，減少了人的認知負荷，但是在交互上GOMS模型沒有考慮真實環境中場景交互的連續性，降低了三維界面的交互真實度。本文據此擴充GOMS模型并提出GOMSS三維界面交互通用模型，如圖1所示。

圖1　GOMSS交互模型

三維界面交互模型GOMSS描述：在三維環境下完成交互任務，首先控制視角連續變化，搜尋場景(Scenes)，轉換到交互對象可見的場景，然后選擇交互規則(Selection Rules)，規則只是適應在不同的場景下實施交互動作的評判而不會改變視角或切換窗口，比如在不同的場景有的對象可以抓取而有的對象卻不能就是一組交互規則。根據規則確定一種交互方法(Methods)，該方法可能由多個操作(Operators)組成，只有完成所有步驟才能實現交互目標(Goals)。

在GOMS描述的WIMP(Window，Icon，Menu，Pointer)交互界面中，選擇交互規則或方法的過程都可能引起窗口的切換。比如在windows8系統界面，要查看某個文件夾下的某個特定文件可以雙擊我的電腦依次點開文件目錄來找到文件或者使用快捷鍵Win+E打開資源瀏覽器然后在地址欄鍵入文件路徑并點擊回車鍵，這是完成目標(查看特定文件)的兩種方法，不管選擇哪種方法都要執行多個操作步驟才能完成交互目標。在Post-WIMP或者Non-WIMP三維界面中，運用GOMSS描述手勢交互過程如下：要查看的文件放在書桌的抽屜里，首先連續移動視角，使得場景內可觸及位置含有該書桌抽屜，然后手拿鑰匙打開抽屜找到該文件或者手指點擊鍵入密碼，抽屜自動打開找到該文件，不管選擇哪種方法都要完成多個操作步驟才能實現交互目標。如果用GOMS模型描述該三維交互過程，因為界面沒有快捷圖標，也不可能在復雜的三維環境設置大量快捷按鍵來快速跳轉界面場景，交互將會被中斷。而GOMSS描述的交互過程與真實環境十分類似，減少了用戶認知負擔。

1.2GOMSS三維交互界面的認知分析

基于場景的三維交互強調用戶視角的控制在交互過程中的重要性，不同視角對應的場景需要表達對象間的空間關系，在三維環境的交互過程中，為了更加真實地表現用戶交互實施過程，考慮了用戶手的位置與交互對象的相對深度的影響，如果與對象的距離太遠則不能發生交互動作，從而在遠處物體與近處交互對象重疊時區別交互對象與干擾項。費茨定律(Fitts’s Law)指出，在交互界面移動到目標上所需交互時間與到目標的距離和目標面積有關[11-13]，與目標中心的間距越小，目標面積越大，交互所需時間越短。在三維交互環境中，因為深度軸的影響，目標在交互界面上的相對大小會因為與目標間距的改變而改變，而當前位置到目標的距離也不是平面距離。這里對三維界面的費茨定律進行擴展定義如公式(1)：

(1)

從公式(1)中可以看出，三維交互中目標的深度距離對移動到可交互目標上的時間消耗有較大影響，應在一定深度距離范圍內，設置目標為可交互狀態，減少深度距離帶來的交互延時。

圖2　三維界面選擇物體(左)與二維界面(右)比較

2三維界面手勢交互范式

基于GOMSS交互模型，提出一種以體感手勢為基礎的三維環境手勢自然交互范式，設計了該手勢交互的語義規則庫，并用Kinect實現了該范式交互框架。

2.1手勢交互語義規則庫設計

交互語義規則庫主要定義對視角控制的所有交互動作及對象的抓取、拖動、放置動作。三維界面交互用手形“手標”借指用戶雙手，以胸前一定距離為邊界建立梯形塊有效交互區域，只有手伸出到有效交互區域內才能識別抓取、拖動、點擊等動作，梯形塊內與手標在同一深度層次的物體才能發生交互行為。基本手勢操作的語義規則庫如表1所示。

表1　交互語義庫

續表1　交互語義庫

本文為簡便示范，運用Kinect體感傳感器設計了交互原語規則庫并實現了手勢自然交互，基于該手勢交互模式開發了三維場景測試系統和虛擬裝配應用，用于系統評估。

2.2手勢交互范式的實現

2.2.1手勢交互流程

在動作識別方面，為了避免視角控制與普通操作手勢識別相混淆，造成普通手勢識別成場景交互的結果，在場景控制之前，首先檢測視角控制使能手勢，該手勢作為視角控制狀態機的開始。控制流程如圖3所示。

圖3　手勢控制流程

每個手勢循環先判定是否檢測到場景控制使能手勢，該手勢通過判斷左手、左肘關節、右手、右肘關節在空間的位置符合定義并且兩個手掌的狀態從張開變為握拳，表示識別到場景控制使能手勢。之后便處于場景控制循環，如果沒有識別到視角控制手勢則開啟2 s定時；如果正確識別到視角控制手勢則按照語義庫的定義完成場景交互并關閉定時器。定時器時間到，關閉場景控制，退出場景控制循環。如果場景控制狀態無效，則判斷抓取、拖動、放置等基本交互動作是否有效。交互動作的識別依據手勢交互語義規則庫中的定義進行識別判定。任何時候雙手垂直下放到腰部以下都將復位并結束一個手勢檢測循環。

2.2.2交互中的反饋

為了讓三維對象的交互接近于真實情況，三維環境手勢交互范式將三維環境物體與用戶手的深度信息作為交互判斷條件，因此需要讓用戶感知深度距離值，確定目標是否處于可交互狀態。由于非接觸，無法通過力反饋通知用戶，本文采用顏色光渲染場景實現提示用戶深度信息，如圖4所示。

圖4　交互中的顏色反饋

在交互手標距離最近的深度級內的物體將會被照射到黃色太陽光，表示該區域內的對象都是可交互的，而遠處對象都是灰色調，要與之交互需要移動視角至適合交互的位置。如圖4所示，在近端有黃色光照射的圓球表示可以交互，用戶可以抓取，而遠方陰暗處的小球因為深度級別限制，用戶不能抓取。具有深度限制的手勢交互可以避免遠處實物與近處交互對象重疊時影響交互。黃色光源跟隨用戶相機移動，從而跟隨場景。在深度信息檢測方面，通過手標位置往視角前方發射射線與物體發生碰撞，然后在碰撞函數里獲取碰撞體坐標從而計算相對距離。

抓放等手勢動作的反饋運用了Kinect可識別手掌張開與握拳兩種姿態的功能，讓界面上手標姿態完全跟隨用戶真實手掌張開或者握拳手勢，以提示用戶交互狀態。

2.2.3坐標矯正

通過Kinect獲取到的骨骼點坐標是傳感器坐標系下獲得的，首先將骨骼三維坐標轉換為以用戶中心為原點的自身坐標系中。轉換公式為：

(2)

(3)

其中，[x′,y′,z′]為旋轉變換后的向量坐標，[x,y,z]為變換之前的骨骼點向量坐標。cosθ和sinθ值可以從圖中方便求取。

圖5　Kinect骨骼點(左)與側位站姿(右)

圖5中，左圖為Kinect可以獲取到的所有人體骨骼點在身體上的分布，右圖所示為用戶側位站姿坐標變換示意圖，X′OZ′為旋轉過后的用戶坐標系，L為HIP_LEFT骨骼點，R為HIP_RIGHT骨骼點，O為L和R的中點。

3范式評估

為了評估本文設計的三維界面交互模式，分別對簡單動作交互效率和復雜交互的用戶學習曲線與鼠標鍵盤控制方式進行了比較，并對用戶滿意度進行分析。觸摸屏交互控制三維視角移動一般采用虛擬搖桿方式，實際上是一種對鼠標和鍵盤的模擬，所以沒有再做比較。實驗在一臺Intel酷睿i7 CPU，3.2 GHz主頻、8 GB運行內存的臺式計算機上完成。

首先，將手勢交互系統和鍵盤鼠標系統控制的移動速度設為相同，旋轉角度單位量設為相同，對幾個基本交互動作進行效率分析，記錄10次完成測試動作的平均時間，測試結果如表2。

從表2可以看出， 在定位靈活性方面，鼠標移動的距離更短，所以鼠標比手勢控制略優，但是手勢控制隨著熟悉程度的增加將會得到很大改善；在平移視角動作中，手勢控制和鍵盤控制方式都是連續動作輸入，效率相當；在旋轉視角方面，鍵盤鼠標控制需要執行的操作步驟更多，手勢交互表現優于鍵盤鼠標。綜合考慮，手勢交互在視角控制方面具有更優效率。

然后，對一個交互任務通過20次重復實驗記錄完成時間，繪制用戶學習曲線，并與鼠標鍵盤系統作比較，得到曲線如圖6所示。

表2　交互效率對比

圖6　用戶學習曲線比較

交互任務描述：按“8字形”路線避開障礙物移動視角到指定位置，然后抓取目標拖放到另一個位置。第一次測試為手勢控制，然后兩種控制方式交替重復試驗以避免任務熟悉程度不同影響實驗結果。從曲線可以看出，剛開始不熟悉環境用時較長，找到最優路徑后兩種方式用時都有減少。在一些測試中，出現撞上障礙物的情況，任務用時會突然增加，這在兩種控制方式中都有發生。兩種控制方式的最長用時表現為手勢控制最長，最短用時表現手勢控制最短，因為手勢交互存在誤識別的情況，所以交互波動會更大。兩種控制方式用時平均值近乎相等，而手勢交互方式更早到達最低點，綜合考慮，手勢交互與鼠標鍵盤交互的用戶學習過程表現相當。

最后，邀請了10名志愿者在虛擬裝配系統中分別用手勢交互方式和鍵盤鼠標方式完成一個簡單的裝配任務(圖7)，裝配過程包含目標選取、有序拖動零件并放置到正確位置、移動視角等，之后讓他們完成一份滿意度問卷，包括系統的易學習性、易使用性、交互沉浸感，最高10分。結果見表3。

圖7　虛擬裝配演示系統

用戶編號 易學習性 易使用性 交互沉浸感 手勢鍵鼠手勢鍵鼠手勢鍵鼠188789929888993888810949888985999998688889879988988987887989889710998898平均分8.68.47.98.19.08.1

從表3可以看出，應用手勢交互的虛擬裝配系統顯著提升了交互沉浸感，同時易學習性也表現出一定的有效性。易使用性方面得分比鍵盤鼠標方式略低。

4結論

本文針對當前三維界面交互使用二維交互方式表現能力有限的問題，通過對用戶認知心理的分析和對三維界面特點的分析，提出三維界面交互通用模型GOMSS，并對三維環境中費茨定律等設計理論進行了分析。然后結合GOMSS模型與體感設備，設計并實現了真實三維環境手勢自然交互范式。最后通過虛擬裝配等系統進行評估，結果表明該手勢交互范式在提升交互效率、易學習性和交互沉浸感方面表現良好。

參考文獻

[1]YEO Hui-Shyong, LEE Byung-Gook, HYOTAEK L. Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware[J]. Multimed Tools Appl, 2015, 74: 2687-2715.

[2]路璐, 田豐, 戴國忠, 等. 融合觸、聽、視覺的多通道認知和交互模型[J]. 計算機輔助設計與圖形學學報, 2014, 26(4): 654-661.

[3]曾繁江, 李濤, 黎銘. Kinect平臺上使用機器學習的非接觸式GUI操控方式[J]. 計算機科學與探索, 2014, 8(2): 171-178.

[4]KULSHRESHTH A, ZORN C, JOSEPH J. Poster:Real-time Markerless Kinect Based Finger Tracking and Hand Gesture Recognition for HCI[C]. Proceedings of the IEEE Symposium on 3D User Interfaces. Orlando, USA, 2013. 187-188.

[5]馮志全, 楊波, 徐濤, 等. 基于自然手勢跟蹤的直接操作型三維人機交互范式[J]. 計算機學報, 2014, 37(6): 1309-1323.

[6]張鳳軍, 程龍, 劉佳升, 等. 基于智能手機的三維交互技術研究[J]. 計算機輔助設計與圖形學學報, 2013, 25(1): 15-25.

[7]吳匯岳, 張鳳軍, 劉玉進, 等.基于視覺的互動游戲手勢界面工具箱[J]. 軟件學報, 2011, 22(5): 1067-1081.

[8]LOPES O, REYES M, ESCALERA S, et al. Spherical blurred shape model for 3-D object and pose recognition:quantitative analysis and HCI applications in smart environments[J]. IEEE Transactions on Cybernetics, 2014, 44(12): 2379-2390.

[9]鄭坤, 贠新莉, 劉修國, 等. 基于規則庫的三維空間數據模型[J]. 地球科學-中國地質大學學報, 2010, 35(3): 369-374.

[10] 楊海波, 汪洋, 張磊. 人機交互的GOMS模型與EPIC模型的比較[J]. 包裝工程, 2015, 36(8): 96-99.

[11] 張寧. 基于認知負荷的公共信息設備界面設計研究[D]. 遼寧大連: 大連海事大學, 2012.

[12] 唐詩斯, 秦拯, 歐露.基于席克定律與費茨定律的菜單可用性研究[J].計算機工程與應用, 2015,(2):12-16.

[13] 金昕沁, 葛列眾, 王琦君. 點擊增強技術研究綜述[J].人類功效學, 2015, 21(1): 69-73.

Study of Posture Interaction Paradigm on 3D Interface

YANG Wen-chao, WU Ya-dong, ZHAO Si-rui, JIANG Hong-yu

(SchoolofComputerScienceandTechnology,SouthwestUniversityofScienceandTechnology,

Mianyang621010,Sichuan,China)

Abstract:With the development of untouched interactive devices and 3D interfaces, it is hard to meet the requirements of 3D application systems by traditional 2D interaction. The problems in natural interaction of 3D interaction seem to be an urgent to study. In this paper, combining user’s cognitive psychology and the characteristic of 3D interface a 3D posture interaction gm model GOMSS(Goals, Operators, Methods, Selection Rules and Scenes) and its interface design theory system was proposed. Then the model to body posture interaction with somatosensory devices and create a posture interaction paradigm was applied. A virtual assembly system was projected using natural gesture communication to evaluate our work. Finally the interaction was confirmed with learnability, immersive and ease to use.

Key words:Human-computer interaction; 3D interface; Semantic of gesture interaction; Natural interaction paradigm

中圖分類號：TP391

文獻標志碼：A

文章編號：1671-8755(2016)01-0081-07

作者簡介:楊文超(1991—)，男，碩士研究生。通信作者：吳亞東(1979—)，男，教授，博士，研究方向為圖形圖像處理，可視化，人機交互。E-mail: wuyadong@swust.edu.cn

基金項目:國家自然科學基金項目(61303127)；四川省科技廳科技支撐計劃項目(2014SZ0223)；四川省科技創新苗子工程項目(2014-044)；西南科技大學研究生創新基金項目(15ycx058)。

收稿日期：2015-09-22