大觸摸屏上的遠端目標選擇技術

董立巖,高 洋,李永麗,謝慶軍， 池俊成

(1. 吉林大學 計算機科學與技術學院,長春 130012；2. 東北師范大學 計算機科學與信息技術學院,長春 130117；3. 中國人民解放軍裝甲兵技術學院 機械工程系， 長春 130117)

隨著觸摸屏技術的發展,大觸摸屏已作為商業產品得到廣泛應用. 盡管大觸摸屏可遠距離通過鼠標和鍵盤控制,但這種方式并不能發揮大屏幕可觸摸的特點[1].

與傳統臺式機或筆記本電腦不同,在大屏幕上操作時,圖標經常會超出用戶可接觸的范圍. 用戶常要走到遠端目標前進行選擇操作,這種不便將導致用戶的生理疲憊及工作中斷. 為了解決該問題,人們提出了許多相關技術,如使用激光棒做感應的交互方式[2]及空中點擊和拇指啟動的選擇點擊方法[3],雖然射線監測方法速度快但準確率并不好;氣泡雷達技術[4]允許用戶使用小平板電腦與大屏幕連接,操作者可使用平板電腦上的氣泡鼠標操作大屏幕的內容;拼接技術[5]使用一系列手勢動作,將筆式設備建立網絡連接并將它們與大屏幕相連,用戶可以自由移動大屏幕上的目標,完成“扔、 拉”等操作. 文獻[6-7]研究表明,把用戶的眼動視線作為考慮因素將提高目標選擇的準確率,但僅限于單手交互.

在傳統的大屏幕交互技術中,有多種方法支持直接操控大觸摸屏,如手式選擇[2]和“吸塵器”技術[3]. “吸塵器”技術是在屏幕上顯示一個圓形圖標,用戶通過操作該圖標將遠端圖標“吸”過來;手式選擇技術通過畫出與遠端目標相同的圖形選擇目標. 但這些技術都較復雜,尤其針對目標選擇等基礎操作.

本文提出一種簡單易操作的選擇技術——移動界面. 該技術采用模擬自然動作“夠”的思想,用戶只需用手向待選目標滑動,操作界面即攜帶所有目標同時向用戶的相反方向移動,當待選目標移動至用戶手邊時,用戶即可點擊選擇.

1 移動界面技術

該技術基于模仿人類“夠”的動作,應具有以下特點：1) 對最基本的選擇任務,點擊顯然是最簡單直接的操作方式,當選擇遠距離目標時,該技術將作為直接點擊操作的擴展方式;2) 用戶首先將手向目標所在方向移動,當目標移動至用戶可觸及的位置時點擊目標,這兩步操作可流暢銜接;3) 在用戶向目標移動手時,如果移動方向錯誤,則用戶可實時改變手的移動方向,從而改變目標的移動方向. 該調整方式與人類“夠”的動作一致.

該技術通過移動方向、 移動速度、 啟動方法和撤銷方法等參數控制.

1.1 移動方向

界面移動方向設定為與手移動方向相反,當用戶改變手移動方向時,界面移動方向也相應地改變. 因此,無論目標在何位置,用戶只需將手向待選擇的目標移動,其目標就會以更快的速度移動至用戶. 與傳統技術[8-9]控制方向的方法不同,用戶無需像“吸塵器”方法一樣操作桌面上的圖標或像手式選擇方法那樣重新啟動技術,而是通過改變手移動方向實時改變目標移動方向,如圖1所示.

1.2 移動速度

該技術設定界面的移動速度與手移動速度成正比,設該比值為α=Vinterface/Vhand. 因此,界面移動速度由手移動速度和α共同決定.α的設定: 一方面,界面移動速度要大于手移動速度,這樣才能保證用戶能接觸到較遠距離的目標;另一方面,如果界面移動速度太快會導致用戶無法及時反應. 為了選擇合適的比值,本文測試實驗的結果表明,用戶在α選取4∶1～8∶1時較穩定. 假設用戶所能觸及的范圍長度為d,則用戶所能選擇到的目標距離范圍L滿足L=α×d,如圖2所示. 最后跟據大屏幕的硬件條件,大屏幕對角線長度和d的比值為4.2∶1,因此設定α=5,此時用戶可將大屏幕上最遠的目標移動至手邊.

AB和BC分別與DE和EF平行.圖1 手和目標的移動方向Fig.1 Moving direction of user’s hand and target

圖2 大觸摸屏上手的活動范圍d及 可選擇到的目標距離范圍α×dFig.2 Range of activities d and the area α×d where targets can be acquired

根據文獻[10],本文將該比值設為可多點觸摸調節的,即當用戶用更多手指時,該速度比也將變大,界面移動速度同時變大. 如當使用一個手指時,速度比為5∶1；當使用2根手指時,速度比增加到6∶1,以此類推.

1.3 啟動方法

與傳統技術[9]啟動方式類似,該技術同樣使用畫線的方式啟動. 當用戶在觸摸屏上畫線超過某一長度時,界面將開始移動. 鑒于對用戶可觸及范圍內物體最好的選擇方式是點擊操作,該技術只有在用戶無法夠到目標時才啟動. 這里將畫線的長度設定為用戶觸及范圍的平均值與速度比α的商r,于是在該技術啟動的同時,潛在最近的(距離為d=α×r,見圖2)用戶不能接觸到的目標將會被移動至用戶手邊. 這里,用戶在不大幅彎腰的情況下所能夠到的距離為360 mm,因此啟動該技術時所畫線長度為72 mm.

1.4 撤銷方法

用戶在操作該技術的同時,也可能要取消移動界面的操作. 因此該技術設計了一種簡單的撤銷方法,用戶可通過雙擊沒有目標的背景區域將操作界面恢復. 一旦用戶執行了該操作,界面及所有的目標都將回到該技術執行前的位置.

2 評估實驗

為了評估滑動界面 (shiftalbe interface)技術,本文將其與手式選擇(gesture select)技術和直接選擇(unaided direct picking)技術做對比實驗. 實驗中,手式選擇技術通過“$1 recognizer”[11]模式識別算法實現.

2.1 實驗環境

選擇9名實驗者參加實驗,其中4名女性,全部為24～28歲， 所有實驗者均有鼠標操作經驗,但沒有大觸摸屏操作經驗. 實驗所用桌式大屏幕為PQ Labs多點觸摸屏,長1 328.4 mm,寬750.6 mm,像素為1 920×1 200. 實驗程序用C#語言編寫,運行環境為AMD Athlon X2處理器,2 Gb內存.

2.2 實驗方法

實驗中考慮的自變量因素：技術類型(直接選擇、 收拾選擇、 移動界面),輸入方式(筆式輸入、 手式輸入),目標方向(左、 右),干擾目標數量(9個、 49個). 本文將輸入方式作為自變量是因為Tu等[12]指出手式輸入和筆式輸入有包括速度在內很多不同的因素. 同時,3種技術在實驗中使用了3×3 拉丁方平衡實驗.

實驗過程中,實驗者首先點擊開始按鈕,然后目標將和干擾一起出現在屏幕上,開始按鈕用于控制用戶和目標間的距離. 屏幕中的目標將呈紅色,干擾呈綠色. 用戶選中目標后,一次任務才能結束,選擇的結果會在用戶每次完成操作時顯示,與文獻[9]相同,所有目標在每次任務的開始即可見.

實驗前,實驗者要做一組訓練實驗. 實驗者被要求快而準確地完成每次任務,在做完每組實驗后休息10 min. 實驗后,實驗者將填一份調查表,其內容為評估3種技術的速度、 準確率、 疲勞度、 易操作性、 易學性、 滿意度和渴望使用的程度. 用戶需要對每種技術的相關評估標準打分,1分最低,7分最高.

2.3 實驗結果

3種技術在不同參數下的選擇時間實驗結果如圖3所示. 其中對時間有決定性影響的因素包括：技術類型(F(2,16)=8.26,p<0.01)、 方向(F(1,8)=8.89,p=0.018)、 距離(F(1,8)=25.66,p=0.01)、 干擾數量(F(1,8)=41.75,p<0.001)、 技術×方向(F(2,16)=5.09,p=0.05)、 技術×干擾數量(F(2,16)=49.86,p<0.001). 滑動界面技術在所有條件下的時間均顯著優于手式選擇技術和直接選擇技術,而手式選擇技術和直接選擇技術并無明顯差異. 輸入方式對3種技術均無顯著影響. 方向對滑動界面和手式選擇均無顯著影響,但對直接選擇有顯著影響(p=0.03). 手式選擇技術明顯受干擾數量的影響(p<0.001),當干擾數量從9增加到49時,其時間增加30%. 距離對3種技術都有顯著影響,從近距離到遠距離,滑動界面、 直接選擇和手式選擇3種技術耗時分別增加7.96%,8.5%和7.94%.

技術類型對錯誤率也有顯著影響(F(2,16)=7.56,p<0.01). 滑動界面、 直接選擇和手式選擇3種技術的平均錯誤率分別為0.001%,5.6%和0.2%. 干擾數量、 距離和方向對錯誤率無顯著影響.

圖3 3種技術在輸入方式、 方向、 干擾數量和距離4個參數下的選擇時間Fig.3 Input implement,direction,distracter number or distance vs selection time of three technology

實驗者對技術類型間的評估存在明顯差異(F(2,16)=12.29,p<0.01). 對3種技術評價存在明顯差異的因素還包括疲勞程度(F(2,16)=8.03,p<0.005)和易操作性(F(2,16)=8.93,p<0.005). 其中滑動界面技術在疲勞程度、 易操作性、 滿意度和希望使用程度4個方面用戶最喜歡,而手式選擇技術在準確性和易操作性方面被排在最后.

2.4 實驗分析

由本文實驗結果可見,滑動界面技術相對其他兩種技術在時間上有明顯優勢,其簡單易操作性是可快速實現選擇任務的原因. 在錯誤率上,滑動界面技術遠優于手式選擇技術,略差于直接選擇技術. 但直接選擇技術需要用戶走到遠端目標的位置選擇,由此導致的物理疲勞和工作中斷都給選擇任務帶來很大操作負擔.

滑動界面技術最大的特點是模擬現實生活中的自然行為,簡單、 易操作. 但目前該技術只考慮了單選情況,對于目標多而分散的情況,該技術并沒有很好的解決方案. “吸塵器”技術和手式選擇技術的解決方案是將遠端目標壓縮或對其添加標號,但無法保證用戶仍能清晰地看到目標而選擇.

綜上所述,本文設計并實現了一種大觸摸屏上的遠端目標選擇技術. 該技術的設計基于模擬人們生活中的自然動作,簡單、 易操作,并有較高的準確率. 該技術很好地解決了用戶選擇遠端目標時可能帶來的疲勞和工作中斷,并克服了傳統目標選擇技術為快速選擇而導致的操作復雜等缺點. 實驗結果表明,該技術既能幫助用戶快速選擇遠端目標又能保持較高的準確率,且其具有疲勞度低、 易操作等優點.

[1] Humphreys G,Hanrahan P. A Distributed Graphics System for Large Tiled Displays [C]//Proc IEEE VIS 1999. Los Alamitos: ACM Press,1999: 215-223.

[2] Bezerianos A. View and Space Management on Large Displays [J]. Computer Graphics and Applications,2005,25(4): 34-43.

[3] Alissa N,Bevans A,Tanenbaum J,et al. Futura: Design for Collaborative Learning and Game Play on a Multi-touch Digital Tabletop [C]//Proc of the Fifth International Conference on Tanjible,Embedded,and Embodied Interaction. New York: ACM Press,2011: 93-100.

[4] Aliakseyeu D,Nacenta M,Subramanian S,et al. Bubble Radar: Efficient Pen-Based Interaction [C]//Proc of the Working Confernce on Advanced Visual Inferfaces AVI 2006. New York: ACM Press,2006: 19-26.

[5] Hinckley K,Ramos G,Guimbretiere F,et al. Stitching: Pen Gestures That Span Multiple Displays [C]//Proc of the Working Conference on Advanced Visual Interfaces AVI 2004. New York: ACM Press,2004: 23-31.

[6] Reetz A,Gutwin C,Stach T. Superflick: A Natural and Efficient Technique for Long-Distance Object Placement on Digital Tables [C]//Proc of Graphics Interface GI 2006. New York: ACM Press,2006: 163-170.

[7] NI Tao,Schmidt G S,Staadt O G,et al. A Survey of Large High-Resolution Display Technologies,Techniques and Applications [C]//Proc of IEEE Conference on Virtual Reality. Washington DC: IEEE Press,2006: 223-236.

[8] Andrew B,Hsu-Sheng K. Gesture Select: Acquiring Remote Targets on Large Displays without Pointing [C]//Proc of the SIGCHI Conference on Human Factors in Computing Systems 2011. New York: ACM Press,2011: 187-196.

[9] Bezerianos A,Balakrishnan R. The Vacuum: Facilitating the Manipulation of Distant Objects [C]//Proc of the SIGCHI Conference on Human Factors in Computing Systems 2005. New York: ACM Press,2005: 361-370.

[10] CAO Xiang,Wilson A D,Balakrishnan R,et al. Shape Touch: Leveraging Contact Shape on Interactive Surfaces [C]//Proc TABLETOP. Toronto: IEEE Press,2008: 129-136.

[11] Wobbrock J O,Wilson A,LI Yang. Gestures without Libraries,Toolkits or Training: A $1 Recognizer for User Interface Prototypes [C]//Proc of the 20th Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press,2007: 159-168.

[12] TU Hua-wei,REN Xiang-shi,ZHAI Shu-min. A Comparative Evaluation of Finger and Pen Stroke [C]//Proc of the SIGCHI Conference on Human Factors in Computing Systems 2012. New York: ACM Press,2012: 1287-1296.