體感交互在大型觸摸屏環境中的應用與研究

翟 言,趙國英,黃心淵

(1.北京林業大學信息學院,北京100083;2.奧盧大學計算機科學與工程系,芬蘭奧盧90014;

3.中國傳媒大學動畫與數字藝術學院,北京100024)

體感交互在大型觸摸屏環境中的應用與研究

翟 言1,2,趙國英2,黃心淵1,3

(1.北京林業大學信息學院,北京100083;2.奧盧大學計算機科學與工程系,芬蘭奧盧90014;

3.中國傳媒大學動畫與數字藝術學院,北京100024)

大型觸摸屏環境帶來高沉浸感的觸控體驗,然而當用戶離大屏幕過近時體驗效果欠佳。為改善其交互體驗,引入體感交互技術,基于用戶與屏幕的距離提出2種交互模式。通過設計并實現一套測試系統,將體感交互技術應用到大型觸摸屏環境中。利用該系統進行用戶測試,并對測試結果進行統計學分析。測試結果顯示,體感交互技術能有效減少大型觸摸屏環境體驗效果欠佳的局限性。體感交互技術與大型觸摸屏環境的結合有利于改善公共空間的交互體驗。

大屏幕;觸摸屏;人機交互;體感交互;動作識別;交互模式

1 概述

在觸摸屏技術日漸成熟的今天,越來越多的大型觸摸屏被用于公共交互空間［1］。這些大型觸摸屏環境在為用戶提供高沉浸感交互體驗的同時,也為人機交互帶來了一些問題。

當用戶站在一個大型觸摸屏環境中(例如寬3.5 m,高2 m的觸摸屏)進行觸感交互時,通常難以看清整個屏幕的畫面,這對于三維視圖導航,系統菜單選擇等功能會造成不便。因為大型觸摸屏寬達數米,用戶在進行一些長距離的觸摸交互時(如將物件從屏幕一邊拖拽到另一邊),需要用戶有較大幅度的動作,甚至要求用戶來回走動,這也影響到用戶的交互體驗。由于屏幕過大,用戶可能需要舉起手臂或

掂起腳尖才能觸碰到屏幕的上半部分,一些年幼的兒童或使用輪椅的用戶甚至不能觸到特定位置因而無法進行交互。

大型觸摸屏環境現存的局限性主要來源于屏幕尺寸過大,而用戶離屏幕距離過近。所以本文嘗試以用戶與屏幕間的距離為切入點進行交互模式上的討論。

文獻［2］探討了隱式交互與顯式交互之間的關系,并根據用戶與屏幕間的距離劃分出4個交互空間。文獻［3］利用不同用戶離屏幕的遠近關系,搭建了一個多用戶合作的交互空間。大型觸摸屏環境充分利用了用戶與屏幕的近距離交互空間,若能通過另外一種交互方式把遠距離的交互空間也加以利用,將有可能減少大型觸摸屏環境的局限性。

體感交互技術通過識別人體動作實現對計算機的操作,消除了接觸式交互設備帶來的硬件隔閡。隨著近年來實時深度攝像機技術［4］與體感交互算法［5］的日漸成熟,體感交互技術在學術界引起了廣泛討論［6-7］并應用在大型顯示系統中［8］。在大型觸摸屏環境中引入體感交互技術,有利于對用戶與屏幕的遠距離交互空間進行利用。文獻［9］結合觸摸屏與體感交互技術,然而只選用了普通尺寸的觸摸屏,并未討論大型觸摸屏環境所產生的問題及解決方法。文獻［10］針對大屏幕中的人體檢測與跟蹤,對雙目視覺定位、手勢識別等問題進行了研究;文獻［11］通過改進手勢識別算法來優化用戶在大觸摸屏上的選擇方式,但都沒有討論屏幕與用戶間相對距離所產生的問題。

本文分析大型觸摸屏環境中的局限性,利用體感交互技術來解決這些問題。基于用戶與觸摸屏的距離,提出2種交互模式以改善用戶在大型觸摸屏環境下的交互體驗。通過設計并實現一個測試系統,將體感交互與大型觸摸屏相結合。

2 基于距離的2種交互模式

以一個三維地圖應用程序為切入點,基于用戶與屏幕間的距離設計出2種交互模式,如圖1所示。

圖1 基于屏幕與用戶間距離的2個交互模式

2.1 遠距離模式

遠距離模式通過Kinect傳感器識別用戶的動作,從而實現體感交互。用戶在進行體感交互時需要跟屏幕保持一定距離,因此,能對整個屏幕畫面有更清楚的概觀,有利于用戶導覽視圖以及選擇菜單等。通過直觀地移動手臂,用戶即可選擇屏幕任意地方的圖標或按鈕,也能輕松地將物件拖拽到屏幕的任意地方。另外,通過體感交互技術,年幼的兒童或使用輪椅的用戶也能輕易地使用系統。遠距離模式的主要功能及實現方式如下:

(1)三維視圖導航

一般而言,視圖導航是用戶進入三維地圖服務后首先使用的功能。因此,系統通過揮手(正如向系統打招呼)的手勢來激活三維視圖導航功能。一旦用戶對系統揮手后,系統便會追蹤用戶的手掌心。隨著用戶掌心上下/左右移動,三維視圖的畫面會相應垂直/水平地平移。同時,掌心的前移或后拉可對視圖進行放大或縮小。

(2)菜單選擇

屏幕的邊緣設置了系統功能菜單(如搜索、分類、幫助、選項等)。用戶通過抓的手勢可以讓屏幕上的鼠標跟隨手勢移動,從而輕松地選擇屏幕上不同地方的菜單。因為用戶進行體感交互時離屏幕有一定距離,所以能清晰了解整個系統菜單,從而容易地實現想要的功能。

(3)拖拽物件

當用戶需要拖拽物體時(如將商品拖入購物車),可通過體感交互控制鼠標停留在物件圖標上把物件抓起,再移動手臂將物件放置在目標位置。在大型觸摸屏環境中,通過觸感交互將物件從屏幕一方拖拽至另一方,不但增加了用戶的動作,還可能因為用戶無法看到系統概況而導致操作失誤。體感交互方式對此類情況提供了一個有效的解決方案。

(4)輔助特殊用戶

在大型觸摸屏環境下,年幼的或使用輪椅的用戶可能無法觸及屏幕的上半部分而無法進行交互。然而通過體感交互技術,這些特殊用戶只需輕松地舉起手臂選擇輔助模式進行交互。在輔助模式下,用戶可以通過手臂動作實現系統的所有功能而無需再觸摸屏幕。

2.2 近距離模式

近距離模式利用觸感交互實現一些需要用戶精準操作或仔細閱讀的功能,如:點擊屏幕上跳出的窗口及按鈕;輸入關鍵字句,發表評論信息;短距離的拖拽(如控制彈出窗口的滾動條)等。

這2種交互模式并沒有一條特定距離的邊界,只要用戶的動作被Kinect識別,遠距離模式便會被

激活。因為Kinect的有效識別范圍大概為1.2 m～3.5 m,當用戶在進行遠距離模式下交互時,不會誤觸到觸摸屏;用戶在近距離模式中進行觸摸交互時也不會被Kinect識別。當用戶完成遠距離模式的交互之后,可走近屏幕通過觸摸屏進行進一步的交互。完成近距離觸感交互后,用戶也能退回到遠距離模式中繼續進行體感交互。

3 測試系統的實現

3.1 系統框架設計

測試系統嘗試將上述2種交互模式結合于大型觸摸屏環境中。如圖2所示,測試系統的頂層功能分為體感交互功能與觸感交互功能,分別實現遠距離與近距離模式。在軟件層級上,通過體感交互開發平臺OpenNI與其中間插件NITE接收Kinect獲得的人體動作數據;基于TUIO協議,可獲取大型觸摸屏上的手勢信息;最后,將人體動作數據與觸摸屏手勢信息輸入到開源虛擬現實開發平臺RealXtend Tundra SDK［12］上,搭建三維地圖應用程序,實現測試系統。

圖2 測試系統框架

測試系統的硬件層級由6塊55英寸MultiTaction觸摸屏以3×2的陣列所構成,總寬度為3.73 m,屏幕高度為1.43 m,如圖3所示。整塊屏幕放置于一個0.75 m高的鋼鐵支架上,連接著一臺高性能的電腦主機(處理器:Intel i7-3770 CPU 3.40 GHz;內存:16 GB;圖形顯卡:GeForce GTX 670 2 GB×3)。另外,一臺微軟Kinect傳感器被固定在支架與觸摸屏之間。

圖3 測試系統硬件

3.2 動作識別

OpenNI通過應用程序接口提供了人體骨骼數據,并以15個關節節點描繪出人體骨骼。利用這些節點數據可對用戶的特定動作進行識別,從而實現相應的功能。

人體的姿勢可以通過關節的張合程度來定義。某個關節相對于另一關節的位置與角度是影響用戶姿勢識別的關鍵參數。任何3個關節點可組成一個三角形,使用簡單的幾何模型便可以計算出它們之間構成的角度。知道每個節點的坐標可以計算每個邊長的值,然后使用余弦定理獲得邊與邊之間的角度。利用肱二頭肌姿勢作為例子,如圖4所示,可以演示如何使用節點三角形方法來識別姿勢。

圖4 通過節點三角形計算關節角度

在圖4中,組成三角形的3個關節點為:手腕,肘部,肩膀。根據這3個關節點的坐標可計算出3個角度。有2種使用節點三角形的方法。第1種是如上述方法使用3個節點來構造一個三角形;另一個方法就是使用2個節點,第3個節點為另外指定的一點。不同方法取決于姿勢的限制和復雜度。上述例子使用的是3個節點的方法,因為所需要的角度是由手腕、肘和肩部構成,不論其他部位如何變化,這3點所成的角度是相對不變的。

對于某個動作(如揮手),可以根據肘關節與掌心節點所構成的角度來判斷該動作是否被完成,如圖5所示。

圖5 揮手動作的識別

然而,對于這個角度判定并非精準的,因為無法確定多大的角度才能被定義為揮手。解決此問題可通過設定一個閾值范圍,若關節點移動滿足特定閾值范圍時,便可認為用戶做出了該姿勢。

揮手動作識別核心算法流程如下。首先將當前節點存入到節點點集,并記錄下掌心節點初始位置。判斷當前掌心節點是否偏離Y軸過遠,若是便拋出節點出界事件以判斷手勢超出范圍。確定手勢在偵測范圍后,記錄手勢開始時間與當前時間。若時間差大于特定閾值,拋出動作超時事件,移除該掌心節點。最后,判斷手勢的起始位置與當前位置在X軸上的距離是否超過了設定的閾值,若超過便拋出揮手動作被識別事件,判定揮手動作被成功識別;若沒有,將等待新的掌心點數據輸入,進行下一次判斷。以下為實現揮手動作識別功能的偽代碼:

通過類似的動作識別算法,可以利用骨骼節點判斷不同的動作,進而實現測試系統中的不同功能。如:通過判斷掌心關節與手臂關節所成的角度,可實現三維視圖導航功能;通過識別掌心向前推的動作,可實現菜單選擇功能等。

4 用戶測試

用戶測試邀請了14名測試者參加(8男6女, 10人年齡在30歲～34歲,4人年齡在35歲～39歲)。測試者需要分別通過觸感交互和體感交互在測試系統中完成以下任務:點擊屏幕熱點,三維視圖導航,選擇系統功能菜單,拖拽物件,點擊屏幕上半部分按鈕,坐在輪椅上進行交互。每項任務完成后,用戶都需要分別對觸感交互與體感交互進行評分。最后,測試者會被要求分別對觸感交互與體感交互的控制感、自然度、趣味性分別進行評分。

4.1 測試結果

由于測試要求同一批測試者分別對2種交互方式進行評分(5分為最高,1分為最低),即觀察值成配對關系,因此本測試在進行統計分析時選用了配對樣本T檢驗,獲得了以下的結果,如表1所示,其中,A為觸感交互,B為體感交互。

表1 2種交互方式在不同任務中得分的T檢驗結果

表1中的T檢驗結果顯示,在點擊屏幕熱點任務中,觸感交互與體感交互的得分不具有顯著性差異(T=1.332,P=0.104 9＞0.05)。在三維視圖導航(T=-2.345,P=0.019 4＜0.05)和選擇系統功能菜單任務(T=-2.000,P=0.035 4＜0.05)中,觸感交互與體感交互的得分具有顯著性差異,表明體感交互很可能在這2項任務中獲得更高分數。在拖拽物件(T=-4.324),點擊屏幕上半部分(T= -2.872),坐在輪椅上交互(T=-13.675)的任務中,得分結果具有極顯著差異(P＜0.001),顯示體感交互極可能在這3項任務中獲得更高分數。另外,對于拖拽物件和模仿特殊用戶交互任務上,2種交互方式得分的均值與T值絕對值的差異都比較大,顯示出體感交互在這2項任務中的得分可能大大高于觸感交互。

對于觸感交互與體感交互的控制感、自然度、趣味性的得分（5分為最高，1分為最低），同樣也通過配對樣本T檢驗，獲得了以下的結果，如表2所示。

表2 2種交互方式在不同參數中得分的T檢驗結果

表2的結果顯示，2種交互方式在控制感的得分上具有顯著性差異（T=3.6 3 3，P=0.0 0 20＜0.0 5），顯示觸感交互很有可能在控制感上獲得更高分數。對于交互方式的自然度，觸感交互與體感交互的得分并不具有顯著性差異（P＞0.0 5）。而在趣味性上，兩者得分具有顯著性差異（T=-2.3 9 9，P= 0.0 1 76＜0.0 5），顯示體感交互在趣味性上的得分很可能高于觸感交互。

4.2 結果分析與討論

根據上述用戶測試結果，可認為在大型觸摸屏環境中實現三維視圖導航與菜單選擇功能，體感交互相比觸感交互具有一定的改進意義。而在拖拽物件以及輔助特殊用戶的功能上，體感交互更顯示出明顯的優勢。在點擊交互熱點的任務中，體感交互與觸感交互并未在得分上顯示出顯著差異，但對于點擊屏幕上半部分的測試，體感交互卻顯示出非常明顯的優勢。以上結果證明，對于屏幕過大所產生的無法看清全局畫面、無法觸及特定位置等問題，體感交互技術提供了一個有效的解決方案。

另外，測試顯示體感交互在控制感上的得分不如觸感交互，原因可能來自目前體感交互技術還不夠成熟，以及測試系統的魯棒性不足，證明體感交互技術要真正應用于大型觸摸屏環境中還需要繼續深入研究與實踐。在自然度上，2種交互方式的均分都較高且沒有顯示出明顯差異，證明2種交互方式的自然度都能使用戶滿意。在趣味性上，體感交互的得分明顯地高于觸感交互。作為新興的人機交互方式，體感交互技術可引起用戶的興趣，有利于大型觸摸屏在公共交互空間中傳播信息。

5 結束語

本文論述了大型觸摸屏環境下現存的局限性主要來源于用戶離大屏幕過近以及屏幕尺寸過大，導致無法看清全局畫面、無法觸及特定位置等問題。通過對交互空間的研究，基于用戶與屏幕的距離提出了2種交互模式。為了對2種交互模式作進一步探討，本文設計并實現了一個三維地圖應用程序，以結合體感交互技術與大型觸摸屏環境，并以此進行了用戶測試。經過統計學分析后的測試結果顯示，體感交互技術有利于減少大型觸摸屏環境的局限性，特別在三維視圖導航、系統功能菜單選擇、拖拽物件、輔助特殊用戶等功能上有明顯的優勢。研究結果表明，體感交互技術與大型觸摸屏環境的結合有利于改善公共空間的交互體驗，具有一定研究意義與實踐價值。

［1]Hinrichs U，Carpendale S，Valkanova N，et al．Interactive Public Disp lays［J］．Com puter G raphics and Applications，2013，33（2）：25-27．

［2]Vogel D，Balakrishnan R．Interactive Public Am bient Displays：Transitioning from Im plicit to Explicit，Public to Personal，Interaction w ith M ultiple Users［C］// Proceedings o f the 17th Annual ACM Sym posium on User Interface Software and Technology．New York，USA：ACM Press，2004．

［3]Haw key K，Kellar M，Reilly D，et al．The Proxim ity Factor：Im pact of Distance on Co-located Collaboration［C］//Proceedings of International ACM SIGGROUP Conference on Supporting Group W ork．New York，USA：ACM Press，2005．

［4]Freedm an B，Shpunt A，M achline M，et al．Depth M apping Using Projected Patterns：USA，US20100118123 A1［P］．2010-05-13．

［5]Shotton J，Sharp T，Kipman A，et al．Real-time Human Pose Recognition in Parts from Single Depth Images［J］．Comm unications of the ACM，2013，56（1）：116-124．

［6]林 鵬，張 超，李竹良，等．基于深度圖像學習的人體部位識別［J］．計算機工程，2012，38（16）：185-188．

［7]曹雛清，李瑞峰，趙立軍．基于深度圖像技術的手勢識別方法［J］．計算機工程，2012，38（8）：16-18．

［8]Ren Gang，Li Chuan，O’Neill E，et al．3D Freehand Gestural Navigation for Interactive Public Displays［J］．IEEE Com puter Graphics and Applications，2013，33（2）：47-55．

［9]Bragdon A，Deline R，H inckley K，et al．Code Space：Touch＋Air Gesture Hybrid Interactions for Supporting Developer Meetings［C］//Proceedings of ITS．New York，USA：ACM Press，2011．

［10]郭 星．大屏幕人機互動中若干關鍵技術研究［D］．合肥：安徽大學，2013．

［11]高 洋．大觸摸屏上目標選擇技術研究與設計［D］．長春：吉林大學，2013．

［12]A latalo T．An Entity-com ponent M odel for Extensible VirtualW orlds［J］．Internet Computing，2011，15（5）：30-37．

編輯 顧逸斐

Application and Research on Somatosensory Interaction in Large Touchscreen Envirnoment

ZHAI Yan1,2,ZHAO Guoying2,HUANG Xinyuan1,3
(1.School of Information Science and Technology,Beijing Forestry University,Beijing 100083,China;
2.Department of Computer Science and Engineering,University of Oulu,Oulu 90014,Finland;
3.School of Animation and Digital Arts,Communication University of China,Beijing 100024,China)

While enhancing the immersion of touch-based interaction,large touchscreen yet shows some limitations due to the short distance between user and the large screen.In order to improve user experience,this paper tries to combine gesture interaction and large touchscreen with two interaction modes based on the distance between user and screen.A survey is performed through a test system which combines both gesture interaction and large touchscreen technology.Statistical results indicate that gesture interaction is beneficial to large touchscreen display,which proves the practical value and research significance of this study.

large screen;touchscreen;human computer interaction;somatosensory interaction;gesture recognition; interaction mode

翟 言,趙國英,黃心淵.體感交互在大型觸摸屏環境中的應用與研究［J］.計算機工程,2015, 41(3):317-321.

英文引用格式:Zhai Yan,Zhao Guoying,Huang Xinyuan.Application and Research on Somatosensory Interaction in Large Touchscreen Envirnoment［J］.Computer Engineering,2015,41(3):317-321.

1000-3428(2015)03-0317-05

:A

:TP18

10.3969/j.issn.1000-3428.2015.03.060

北京市科技專項基金資助項目“數字動畫創作支撐平臺的研究與實踐”;芬蘭科學院基金資助項目(251286);芬蘭FiDiPro基金資助項目(40093/12)。

翟 言(1988-),男,碩士研究生,主研方向:人機交互,虛擬現實;趙國英,副教授、博士;黃心淵(通訊作者),教授、博士。

2014-04-14

:2014-05-20E-mail:yan_chuck@hotmail.com