基于空中手勢的跨屏幕內容分享技術研究*

黃培愷,喻 純,史元春

1(清華大學 計算機科學與技術系,北京 100084)

如今在一塊公共區域中設置多塊電子顯示屏的現象愈加常見[1],具有多顯示屏的交互場景也逐漸出現在各種應用場景之中,如智能指揮室、會議室、智能展廳等等.

在一個具有多塊顯示屏的公共空間中,每塊屏幕都有不同的顯示任務.不難想象,有時需要把一塊屏幕上的顯示內容轉移到另外一塊屏幕上.例如,智能指揮室中各個分屏上顯示了不同的參考信息,有時需要將部分信息集中顯示在主屏幕上.

目前,多屏環境中傳輸屏幕內容主要依靠與硬件設備配套的切屏軟件來完成.每次屏幕內容的切換轉移都需要專門操作軟件.如果能夠做到利用空中手勢自由地在屏幕間移動內容,將會帶來全新的用戶體驗.

基于此,我們針對使用空中手勢實現屏幕間內容傳遞進行了一項調研——讓用戶設計手勢.結果主要有“抓-拖拽”和“抓-拉-放”兩種手勢.我們還專門開發出一套支持空中手勢操作的跨設備界面共享系統,從而實現多屏幕間的界面內容實時分享.在此基礎上,本文通過用戶實驗對這兩種手勢進行了評測.最后給出一個較為合理的解決方案供參考,并對多屏環境中空中手勢的設計提出了一些建議.

1 相關工作

1.1 空中手勢

空中手勢這種交互方式在多屏環境中具有顯著優勢.手勢交流是人的一種本能,頻繁應用于日常生活中,易于接受和理解.在多屏環境中顯示屏有大有小,一些現有研究表明,與大屏幕交互時采用空中手勢,可以在離屏幕一定距離的地方實現交互,從而更好地獲取概覽信息[2,3],擁有較好的用戶體驗[4],并且還支持用戶與大屏幕上任何地方的目標互動[5].空中手勢的交互模式不用佩戴額外設備,不受限制和束縛,可以自由地與屏幕交互[6].因此,使用空中手勢實現屏幕間的內容傳輸優勢顯著.

1.2 大屏幕交互

現有研究中暫未有針對使用空中手勢進行多屏幕間內容傳輸的研究.但是針對空中手勢與大屏幕交互的研究有很多,這些研究對我們設計跨屏幕內容傳輸的空中手勢提供了一些思路.Yoo 等人的工作[7]中調查了用戶在與大型公共信息顯示屏進行交互時,對于空中手勢的偏好.結果顯示,雖然“指點-停駐”的方法更準確,但是用戶傾向于使用“推”的手勢進行選擇,使用“抓住-拖拽”的方法進行導覽.除此之外,也有文章[6,8,9]討論過“指點-停駐”手勢以及其他空中手勢.但是這些研究都是針對單一屏幕或者針對特殊的應用場景.多屏環境與單一大屏幕存在區別,多屏環境中的屏幕分布于空間中的不同位置,屏幕間存在間隔,而單一大屏幕是完整的一塊.用戶在多屏環境中將一塊屏幕的內容轉移到另一塊屏幕的過程是在兩個空間上相互獨立的顯示區域間轉移目標內容,目標內容先從一塊顯示區離開再進入另一塊顯示區,然而在大屏幕中,移動內容的過程始終是在一片連貫的顯示區域中完成的.所以,相比于在單一大屏幕中移動內容,在多屏幕間傳輸內容的過程更復雜,不能簡單地把多塊屏幕看成一塊大屏幕來處理.因此,對于多屏內容傳輸的手勢還要進一步加以研究.其難點在于找到符合用戶心理預期和認知的用于完成跨設備交互的空中手勢.

1.3 跨設備內容傳輸

對于跨設備內容傳輸的研究有很多,例如在文獻[10]中,作者實現了讓電子信息平滑地流轉于個人設備、觸控桌面和公共大屏幕之間,使設備間的信息共享更加高效,類似的工作還有文獻[11,12]等.但是這些工作并沒有引入空中手勢研究.也有文章研究通過空中手勢實現跨設備內容傳輸.例如,在Makela 等人的工作[4]中,研究了通過空中手勢實現大屏幕向手持移動設備傳輸內容的兩種方式:“抓取-拉”和“抓取-放”.其中,“抓取-拉”是指用戶選擇內容后保持抓握手勢向自己拉取一段固定距離;“抓取-放”是指用戶通過抓取選定內容,拖拽放置到大屏幕下方對應自己設備的小人圖標上實現內容獲取.Makela 等人的研究結果表明,“抓取-拉”更適合用戶獲取內容到自己設備上的場景.文獻[4]關注的場景是大屏幕和移動設備間的內容傳輸,本質上還是用戶與單塊屏幕之間的交互過程.但是,多屏幕間內容傳輸的目標屏幕在遠處,傳輸過程差別較大,因此需考慮的因素也不完全相同.

綜上所述,已有研究對使用空中手勢進行跨設備屏幕傳輸的交互方式還沒有明確的研究成果.本文旨在研究基于空中手勢實現多屏環境中跨屏幕內容傳輸的解決方案,為越來越普遍的多屏環境中的人機交互設計提供參考.

2 用戶設計手勢

在設計空中手勢時,我們希望了解在多屏環境中,用戶是如何理解使用空中手勢跨屏幕傳輸內容,以及用戶對于空中手勢的心理預期是怎樣的.參考文獻[13,14]中的工作可以看出,由用戶參與設計是很好的辦法.

我們據此進行了一項調研——由用戶設計手勢.調研共有20 名參與者,其中有9 名女性.這20 人的平均年齡為31.3 歲(sd=11.5).所有參與者均慣用右手,其中10 名參與者年齡在18 歲～27 歲,另外10 名年齡在27 歲～55歲.20 名參與者中9 人了解或使用過Kinect 等體感設備.20 人中8 名為在校學生,其余參與者來自各行業,包括老師、互聯網行業、金融行業、公務員等,均有接觸到多屏環境的機會.

每次訪談首先帶參與者接觸多屏幕環境,讓其了解在屏幕間傳輸內容的任務.然后讓他們自行設計其認為最自然的一種或多種空中手勢,并詢問他們設計手勢動作的靈感來源.

結果顯示,參與者提出的空中手勢主要集中于兩種方式:(1)抓住內容移動手臂,從一個屏幕直接拖拽內容到另一塊屏幕上,本文中簡稱為“抓-拖拽”手勢;(2)抓住內容向自己提拉一段距離,轉向目標屏幕,做放置動作,本文中簡稱為“抓-拉-放”手勢.這20 人中最終有14 人提到了第1 種方法,12 人提到了第2 種方法,其中有6 人同時提出這兩種方法.這20 人中有8 人明確傾向于第1 種方法,有6 人明確傾向于第2 種方法,其余6 人覺得兩種方法均可或者表示不確定,無法給出選擇.有3 名參與者還提出了其他方法.

這一結果和我們原本的預期結果并不一致.在預期結果中,我們認為會有一些參與者提出,選取內容拖放到屏幕上固定的小圖標或按鈕上的方法,但是實際上只有一個參與者提到了這種方法.通過再次詢問,得到的反饋顯示,這種方法可以用,但是沒有前兩種方法直接、自然.另一個預期結果是,應該有一些參與者提出“指點-停駐”的方法,但是實際結果中只有1 人提到了這一方法,還有一些參與者表示抓取的方式比這種方式體驗性更好.

分析調研結果可以推測出,在采用空中手勢時,用戶看待屏幕中的內容就像看待一個真實的物體一樣,所以才提出一些抓握、拖拽、提拉等生活化的手勢.據此,我們實現并評測了“抓-拖拽”和“抓-拉-放”兩種空中手勢.

3 跨設備界面共享系統

3.1 系統簡介

跨設備界面共享系統是我們專門為實現多屏環境下的界面內容共享而開發的.系統基于C#語言開發,采用C/S 結構.客戶端程序可以通過進程句柄獲取到設備所有界面圖像,篩選后可以集中顯示,如圖1 所示.系統支持各客戶端之間實時傳輸界面內容,從而實現跨屏幕的信息共享.系統對于管理傳輸內容有一套完整的解決方案,可以在安裝客戶端的機器間自由分享界面內容.軟件除了支持鼠標鍵盤的操作外,還支持空中手勢操作.每一臺設備會連接一臺Kinect 設備,用于識別環境中的操作者,接收手勢操作信息.每臺顯示設備會通過配置文件讀取其余各屏幕的相對空間位置,用于后續空中手勢的識別.

Fig.1 The software operation screenshot圖1 軟件操作截圖

3.2 交互鎖機制

該系統支持空中手勢操作,但一臺設備同時只能有一人進行空中手勢操作.因為實際應用中一塊屏幕前可能會有多名用戶,難免會有操作上的沖突,所以為了合理地解決操作資源競爭的問題,我們借鑒了多線程同步的思路,使用鎖機制保證每臺設備同時只接受一人操作.使用者可以通過特殊動作向設備申請,如果設備處于空閑狀態,那么使用者獲得操作權,設備上鎖,此時的設備只處理該使用者的空中手勢.當使用者雙手放下時,設備判斷使用停止,解鎖并釋放資源,直到接收到新的申請.如果當前使用者正在操作,則其他人無法取得設備控制權.我們采用的申請動作是雙手舉過頭頂.軟件調用Kincet 提供的接口,獲取使用者的骨架空間坐標.令人體部分關節點相對于Kinect 的三維空間坐標為頭Thead、左手Tleft、右手Trigth、身體中心Tmid,坐標系如圖2 所示,有如下判斷.

THEN 申請控制權

THEN 釋放控制權

當取得控制權后,屏幕的左上角會顯示當前控制者的面部圖像,光標變為手型,如圖3 所示.

Fig.2 The Kinect coordinate system圖2 Kinect 坐標系

Fig.3 Interaction with the screen through gestures圖3 通過手勢與屏幕交互

3.3 手位置與光標位置映射

使用者通過空中手勢操作設備時,屏幕上的光標顯示為手的形狀.軟件調用Kincet 提供的接口,獲取使用者的骨架空間坐標.首先對頭部坐標增加一個偏移量,然后使用偏置后的頭部坐標與右手坐標,計算出頭手連線,最后計算連線與屏幕所在平面的交點坐標,通過該坐標與屏幕中的位置一一映射,移動右手控制屏幕中光標位置.

令手勢指向屏幕對應位置的空間坐標為Tpoint,屏幕中心相對于Kinect 的空間坐標為Tscreen,Kinect 提供的身體中心坐標為Tmid,頭部坐標為Thead.令操作者的中心位置其中(在取得操作權時計算得到,為了避免遮擋干擾,后續使用Tcenter而不直接使用Tmid).通過如下計算公式得到:

該公式通過空間坐標運算計算出用戶操作中心位置與右手的連線所指向的屏幕位置.令屏幕的分辨率為w×h,函數表示指點位置到屏幕具體像素的映射函數,光標相對于屏幕位置w,h).

操作時使用者只需將手臂前伸,以舒適的姿勢在胸前活動,便可以移動光標到屏幕中的任何位置.方法簡單,易于掌握,使用效果穩定可靠,在后續的用戶實驗中反饋較好.本文實現這一方法的主要目的是為了后續實驗能夠順利展開,不影響實驗效果,所以不對該方法的交互模型以及疲勞度等相關問題展開討論.

3.4 界面內容傳輸

基于前期的調研,我們為實現跨屏幕傳輸內容設計了“抓-拖拽”和“抓-拉-放”兩種手勢.這兩種手勢在使用前都需要先取得大屏幕的控制權.因為所有屏幕的位置信息提前通過配置文件寫入系統,所以空中手勢的識別均由內容發送設備完成,系統根據手勢識別結果發送相應指令到服務器完成內容傳輸.

“抓-拖拽”手勢的整體流程如圖4 所示.首先伸出右手,手掌呈自然張開姿勢,同時保證手部可以靈活移動控制光標位置;接下來移動右手位置,將手形光標移動到需要分享的界面內容上,手型由張開狀態轉變為握拳狀態,記錄此時的光標坐標為Xstart;最后保持握拳狀態,向目標屏幕方向拖拽選中內容,即可實現內容傳輸.系統根據操作者的拖拽速度和內容拖拽位置來判斷是否為拖拽動作,根據拖拽過程中手的位移方向判定目標屏幕.如果需要中途取消操作,只需松開手即可.具體判斷規則如下:其中,Xtmp表示當前光標位置,Tpoint表示當前手勢指向位置坐標,Tp′oint表示前一幀數據手勢指向位置坐標,Tscreen1表示當前屏幕位置,Tscreen2表示目標屏幕位置,w為屏幕的像素寬度,λ、θ、δ為常數,可根據實際情況加以調整.

判別條件的第1 條是對屏幕內容被移動的距離進行判斷,λ為常系數.判別條件第2 條的含義是指點位置的移動速度是否達到閾值θ.第3 條判別條件判斷了從起始屏幕位置到最終手勢指向位置的向量在起始屏幕空間位置到目標屏幕空間位置的向量上的投影長度是否足夠.

在視覺反饋方面,當抓握住目標內容時,目標內容會被放大,屏幕上顯示的其他界面內容均會隱藏,且屏幕背景由半透明灰色變為黃色.抓握處會根據選擇的界面內容復制一份半透明內容,示意抓握動作完成.在拖拽過程中,原內容不會移動,復制的半透明內容會隨拖拽過程中光標的移動而移動.當判定為拖拽動作后,半透明顯示內容會移出屏幕,目標屏幕靠近初始屏幕的一側會有內容進入動畫.

Fig.4 The“grab-drag”gesture圖4 “抓-拖拽”手勢

“抓-拉-放”手勢的整體流程如圖5 所示.與“抓-拖拽”手勢一樣,先伸出右手,保持舒適姿勢,手掌自然張開.移動光標到需要分享的界面內容上,手型由張開狀態轉變為握拳狀態,記錄此時右手坐標Tright1,保持握拳狀態先向身體方向拉一段距離,判斷規則如下.

Kinect 提供的實時身體中心坐標為Tmid,頭部坐標為Thead,右手坐標為Tright.公式中第1 條判別條件的含義是右手抓握后的移動距離超過一定閾值,該閾值大小根據使用者的身材而發生變化,身高體長的使用者對應的拉伸距離要更大一些,α為常量系數.第2 條判別條件的含義是使用者握拳拉拽的方向必須是遠離屏幕向自己拉近的,β是常量系數.

記錄“拉”動作結束時右手坐標Tright2,保持握拳向目標屏幕做放置動作,整個“抓-拉-放”手勢完成.判定規則如下.

判別條件第1 條含義為做“放”動作時,右手伸出的距離超過一定閾值,閾值隨用戶身材變化,身高體長的用戶需要的拉伸距離更大一些.第2 條判別條件的含義是使用者“放”動作的手部運動方向是遠離身體的.第3 條判別條件判斷了從起始屏幕位置到最終手勢指向位置的向量在起始屏幕空間位置到目標屏幕空間位置的向量上的投影長度是否足夠.

設備對判定“拉”動作和“放”動作的參數為α、β、γ、δ,可以根據不同情況調整.同樣地,如果要取消操作,只需在完成前松手即可.

視覺反饋方面,當抓握完成后選中的界面內容會放大,其余內容會被隱藏.隨著拉動作的完成,選取內容會再次放大片刻以示拉取成功,隨后恢復正常狀態.放置動作完成后,在目標屏幕上會有內容從起始屏幕方向進入的動畫效果.

Fig.5 The“grab-pull-drop”gesture圖5 “抓-拉-放”手勢

除了實現上述兩種手勢外,我們還設計了一整套完整的手勢交互方案,保證使用者可以通過手勢對系統進行操作,包括內容位置移動、顯示內容關閉、屏幕界面開關、界面內容放大縮小等手勢.

4 用戶實驗

4.1 參與者

為評測兩種手勢,我們進行了一項由20 人參與的用戶實驗,實驗采用受測者內設計(within-subject design)的實驗方式.20 名參與者的平均年齡為29.7 歲(sd=8.15),其中,9 名參與者為在校學生,年齡在21 歲～29 歲之間,并擁有不同學科背景,其余參與者年齡為27 歲～50 歲不等,從事各行各業,例如IT、金融、服務業、自由從業者等.參與者為11 男9 女,11 人完全沒有Kinect 或者其他類似空中手勢系統的使用經驗,其余9 人中有8 人只使用過1～2 次Kinect,只有1 人有多于5 次的使用經驗.

4.2 實驗環境

實驗使用兩臺屏幕大小為85 吋(長為1 868.3cm,高為1 054.3cm)的一體機.兩臺機器中間間隔為50cm,離地高度約1.2m,各屏幕頂端中部放置一臺Kinect 設備,如圖6 所示.

Fig.6 The experimental screens圖6 實驗屏幕

4.3 實驗設計

實驗使用跨設備界面共享系統的功能,要求參與者根據指令提示,選取兩臺設備上的目標界面,通過兩種不同的空中手勢實現跨設備的界面分享.

在實驗開始前,參與者需填寫一份統計個人背景信息的簡單問卷.在填寫完問卷后,向參與者詳細介紹項目背景以及完成跨設備界面共享的兩種空中手勢——“抓-拖拽”手勢和“抓-拉-放”手勢.參與者隨后會觀看兩種手勢的演示動作.在參與者充分了解以上內容后,會根據自己的心理預期分別填寫對這兩種手勢的評價量表(量表內容會在后文中詳細介紹).之后,參與者會在專人指導下學習如何使用系統,充分適應用手勢控制光標在大屏幕上移動,學會使用抓握動作.最后,通過一個輔助測試確保用戶能夠正確使用抓握動作在屏幕上準確拖拽界面窗口.

正式實驗要求每名參與者按照如下步驟分別實驗“抓-拖拽”和“抓-拉-放”兩種空中手勢:(1)觀看空中手勢的使用演示,學習手勢動作的基本要領;(2)學會使用空中手勢完成跨設備的界面分享;(3)按照指令提示選取目標界面內容,使用空中手勢完成跨屏幕內容共享;(4)重復完成以上任務5 次,每次完成后會稍適休息;(5)參與者自行體驗空中手勢,詢問感興趣問題;(6)填寫一份對空中手勢體驗評價量表.

按照上述過程完成對這兩種手勢的體驗后,參與者需要填寫一份比對兩種空中手勢的問卷.最后,我們會對參與者進行一個簡短的訪談.整個實驗過程中,我們還在參與者不知情的情況下記錄了每名參與者對不同空中手勢的學習時間.在自行體驗空中手勢這一環節,我們根據參與者自行體驗的次數、積極性和態度表現等因素,綜合評價了參與者對相應空中手勢的感興趣程度.

目前,對于交互設計的主觀評估并沒有統一的標準,本文研究借鑒了SUXES 方法[15],分別收集實驗參與者體驗前期望與體驗后的主觀評分,以此評估兩種空中手勢的體驗.前期的期望分數反映了參與者對于新交互方式的先驗認知,再通過與體驗后的分數比對,可以更好地理解參與者對交互技術的使用體驗.

5 實驗結果

評分結果采用箱形圖繪制,展示了“抓-拖拽”手勢和“抓-拉-放”手勢的期望評分與體驗評分的分布情況.其中,期望評分與體驗評分的公共指標有8 項,如圖7 所示,體驗評分有額外的3 項,如圖8 所示,這些評分取值為1～7 的整數.數據處理采用箱形圖的常規方法,將同一指標的數據分數按照由小到大排列,計算數據的下邊緣、下4 分位數Q1、中位數、上4 分位數Q3、上邊緣.其中,下邊緣取值為上邊緣取值為為4 分位距

Fig.7 Two gestures before and after scoring box plot圖7 兩種手勢體驗前后評分箱形圖

Fig.8 Post-score box plot for two gestures圖8 兩種手勢體驗后評分箱形圖

我們對于兩種手勢的學習速度統計結果見表1.整體上,兩種手勢都不難掌握,所有人都能在3 次以內學會.從學習的次數上看,掌握“抓-拉-放”手勢更困難一些.

Table 1 Attempts statistics of two gestures until mastering表1 掌握兩種手勢嘗試次數統計

表2 記錄了參與者在體驗時完成5 次任務過程中的失敗次數.可以看出,兩種手勢的使用出錯率都不高.通過檢查系統記錄下的失敗動作日志,發現“抓-拖拽”手勢兩次失敗,其中一次是由Kinect 識別結果意外抖動導致的,屬于特殊情況,還有一次是因為參與者手型識別不準確所致.“抓-拉-放”的失敗原因有兩個:一是因為手型識別不準確;二是參數設定不合適.出錯較多的兩名參與者均為女性,動作幅度小于其他參與者.在找到原因后,我們重新調整到合適的參數,再次邀請其中二人嘗試,出錯率明顯降低.

Table 2 Statistics of failures during 5 successful completions表2 成功完成5 次失敗次數統計

完成一次“抓-拖拽”的平均時間為3 350ms(id=699);完成一次“抓-拉-放”的平均時間為4 941ms(id=1142).表3 記錄了每名參與者使用兩種空中手勢的平均時間消耗,單位為ms.對兩組數據進行方差分析,結果顯示出顯著差異(F1,19=224.399,P<0.01).“抓-拖拽”明顯快于“抓-拉-放”.

Table 3 Average time statistics for participants to complete a gesture表3 參與者單次完成手勢的平均時間

對比選擇的結果如圖9 所示.

Fig.9 Participants propensity chart圖9 參與者傾向性統計圖

6 討 論

整體上看,兩種空中手勢的評分是正向的.無論“抓-拖拽”手勢還是“抓-拉-放”手勢,體驗后的評分均好于體驗前的期望評分.“抓-拖拽”手勢的期望評分和體驗后評分都要好于“抓-拉-放”手勢.

對比體驗前與體驗后的數據可以發現,在手勢速度快慢這一指標上體驗后的評分要明顯好于體驗前的預期.這說明,在速度方面,參與者們對空中手勢的實現很滿意,超出了預期判斷.在訪談中參與者談到為什么體驗后認為實際速度比預期要快,主要有兩點理由:一是通過抓握手勢選取內容的準確度和靈活度比預期要好,可以靈活、快速地移動光標到目標位置,完成抓取動作;二是“拖拽”或者“拉放”的動作比預期要輕松,體驗前普遍認為空中手勢需要小心翼翼地完成,動作會僵硬拘束.

實驗程序也記錄下了每種動作的時間開銷.由于個體間差異較大,例如對手勢使用的熟練度不同、使用手勢風格不同(快速嘗試或者穩保成功)、個人站位不同、傳輸內容相對屏幕位置不同等,結果存在差異.但是比對每個人的數據可以發現,結果和評分高低一致,“抓-拖拽”手勢快于“抓-拉-放”手勢.在訪談中參與者表示,“抓-拖拽”手勢在動作分解上可以理解為“抓握”與“拖拽”兩個步驟,“抓-拉-放”手勢的動作分解是3 步;放的動作和拖拽的動作感覺上開銷相似,但是相比于“抓-拖拽”,“抓-拉-放”多出了拉的動作,所以在預期評分中會更慢一些.實際體驗的評分以及數據統計結果也驗證了這一點.

除了速度快慢外,還有第5 項指標體驗后的評分也明顯好于體驗前的預期.第5 項指標意圖了解參與者對自己正確完成空中手勢是感到懷疑的還是充滿信心的.從預期評分來看,用戶對自己能力的信心一般,但是實際體驗后信心明顯有了提升.這說明,兩種空中手勢在動作的區分度上得到了參與者的認可.參與者無需擔心這兩種空中手勢會和其他操作動作混淆,例如界面內容位置移動、放大縮小等.對比兩種空中手勢,參與者對“抓-拖拽”手勢的信心更足一些.

在第3 項指標(手勢動作難易程度)以及第4 項指標(手勢是否自然)上,兩種手勢體驗后的評分都高于預期,提升幅度較大.這說明,實際體驗中的手勢動作比參與者們預期的更容易,更自然.原因與前文中提到的類似,在參與者的設想中使用空中手勢需要更小心翼翼.

在第8 項指標(是否愿意推薦給他人)上,兩種手勢體驗評分都有所提高,“抓-拖拽”手勢評分提高得更明顯.說明愿意分享“抓-拖拽”手勢的人數更多,圖9 展示的結果也證實了這一點.

第2 項指標(手勢動作含義是否清楚)和第7 項指標(體驗是否愉快)的評分體驗前后變化差異不大.這也反映出我們對于兩種手勢的實現符合參與者的想法,也可以理解為我們向參與者描述任務需求背景以及介紹空中手勢是客觀、準確的.參與者認可實驗中的實際體驗感受.

在第7 項指標(感覺無聊還是有趣)中,“抓-拉-放”手勢的分數增長更多.通過對每種手勢自由體驗環節記錄下的體驗次數進行分析,也能得出這一結論.參與者體驗“抓-拉-放”手勢次數更多.觀察發現,有些參與者明顯對“抓-拉-放”手勢思考更多.訪談時我們詢問了這些參與者為何看上去對“抓-拉-放”手勢更感興趣,根據回答總結出兩方面原因:一是有的參與者很好奇“抓-拉-放”手勢在技術上是如何實現的,怎樣把方法遷移到不同的場景中;二是一些參與者表示這種手勢實現效果高于預期,很有啟發性,所以會陷入思考.

再觀察兩種手勢體驗后單獨打分的3 項指標,可以發現,參與者們認為兩種方法都很有用,并且很新穎.視覺反饋方面,“抓-拉-放”手勢還可以進一步提高.總體上,參與者們都很認可這兩種空中手勢,并紛紛表示可以用于實際場景,效果令人滿意.

觀察對比選擇的結果,總體上,支持“抓-拖拽”手勢的人數明顯多于支持“抓-拉-放”手勢的人數.在近屏場景中,支持“抓-拖拽”手勢的人數更多;但在遠屏場景中,支持“抓-拉-放”手勢的人更多.訪談中我們也詢問了參與者相關原因.因為在近屏場景中,使用“抓-拉-放”手勢會不自覺地增大“放”這一動作的幅度(雖然系統并沒有做出這樣的要求),這就使得動作負擔增大;同時,使用“抓-拉-放”手勢時注意力需要從移動過程的起始屏幕轉移到目標屏幕(并非必然要求),不太適合近屏場景.離屏幕相對較遠時,可以更容易獲得各屏幕的整體信息,而完成拖拽動作的注意力更多地放在動作起始,所以,注意力平均分配的“抓-拉-放”手勢與遠屏場景更契合.

在其他指標的對比上(除去有趣一項),支持“抓-拖拽”的人數更多一些,每名參與者也都分別給出了理由.認為“抓-拖拽”手勢體驗感更好,操作感更好的參與者普遍認為“抓-拖拽”手勢更加簡單,上手快;有的參與者認為“抓-拉-放”手勢動作意義更明確,而且適用范圍更廣;還有一些參與者保持中立態度,認為各有優點.有很多名參與者表示,如果可以把兩種手勢結合起來,根據喜好和不同情景自由選擇更好.有6 名參與者提到,雖然“抓-拖拽”的體驗感很好,但在起始屏幕和目標屏幕中間再增加一塊屏幕會怎么樣?這種情景下視覺反饋和操作體驗都會有變化,通用性顯然不如“抓-拉-放”手勢.

最后,我們根據參與者的意見,實現了一種結合兩種操作手勢的方法.在“抓-拉-放”方法保持不變的基礎上,新增“捏合-拖拽”的方法代替“抓-拖拽”方法.“捏合-拖拽”使用捏合手勢(食指和拇指從張開到捏合)實現界面內容選取,取代了“抓-拖拽”方法中抓握手勢的功能.捏合手勢會有視覺反饋,捏合處會生成被選界面的半透明復制內容,后續過程與“抓-拖拽”一樣.這樣可以保證抓握手勢只用于界面內容位置調整和“抓-拉-放”方式.“捏合-拖拽”則既保留了“抓-拖拽”的優點,又可以與“抓-拉-放”區分開.在跨屏幕傳輸內容時,使用者可以根據具體情況選擇“捏合-拖拽”或者“抓-拉-放”,不用擔心操作產生沖突.最后我們也請參與者們來體驗這種結合后的方式,參與者均表示滿意.

未來工作可以更進一步地討論多于兩塊屏幕情景下的相關問題,甚至還可以探討更多樣環境下的類似問題,例如增加觸控桌面等.

7 結 論

我們的工作為多屏環境中的跨屏幕內容傳輸提供了一種很好的交互方式.實驗結果表明,空中手勢完成跨屏幕內容傳輸是新穎、有用、易于掌握的,并且還擁有很好的用戶體驗.對比兩種空中手勢“抓-拖拽”和“抓-拉-放”,第1 種更適合離屏幕較近的情況,推薦在屏幕相鄰且間距不大、操作距離近時使用;第2 種正好相反,適合離屏幕較遠的情況,推薦在目標屏幕間有間隔屏幕或相距較遠時使用.在整體感受上,“抓-拖拽”手勢優于“抓-拉-放”手勢,不過,“抓-拉-放”手勢對于復雜情景的通用性更好.采用兩種手勢相結合的方式是一種很好的解決辦法.