用于電視控制的混合式體感選單系統

金哲凡，褚少偉，潘瑞芳，張 帆，王 忠

(浙江傳媒學院 新媒體學院，浙江 杭州 310018)

用于電視控制的混合式體感選單系統

金哲凡，褚少偉，潘瑞芳，張 帆，王 忠

(浙江傳媒學院 新媒體學院，浙江 杭州 310018)

電視控制需要適合的體感選單。身體部位型選單和餅型選單各有優缺點。綜合了兩者的優勢，用身體部位型選單保證穩定的啟動，用餅型選單保證識別率，并對其改良以實現層級展開的效果。系統前處理進行數據整理，字母提取器對運動狀態作出離散描述，以正則表達式描述原子動作，通過產生式規約實現動作識別。測試結果表明有較高的識別率和很好的用戶滿意度。

體感選單； Kinect；狀態機；正則表達式；產生式

1 選單

選單，作為WIMP(窗口、圖標、選單、指針)界面模式的要素之一，是一種“深入人心”的界面元素。選單的價值在于將一組符合繼承關系的概念伴隨用戶動作按樹形結構逐層展開，這與人類認識、記憶事物的心理過程契合，因此既容易使用，也容易記憶。

選單的使用過程可分為3個步驟： 啟動、定位和選中。

1)“啟動”即向用戶展現選單，這在使用體感選單的場合是必須的步驟。

2)“定位”即用戶找到所需的選項，在普通系統中通過鼠標的“移動+停滯”實現，選單項的樹形結構同時逐層展開。

3)“選中”即用戶選擇所需項，普通通過鼠標點擊實現。

隨著HCI技術的發展，脫離傳統的鼠標、使用體感設備的體感選單逐漸出現，它們在交互設計上有3種思路：指點型、動作識別型和身體部位識別型。

指點型的想法是保留用戶使用鼠標的感受，并將其延續到體感設備上。通常假定從用戶身體某部分發出一射向屏幕的虛擬光線，產生一個光標，用戶移動此光標進行選單的選擇。Horie等實現了Xangle系統[1]，在兩個食指上各佩戴一加速感應器，每個食指控制一條直線，直線相交即達成選擇；Park[2]等通過一個安置了螺旋儀的帽子感應用戶的視線，用戶可以通過凝視一個選單項來聚焦，然后以語音確認；Yoo[3]等對各種指點型選單進行了比較，認為單手和語音結合的方案綜合效果最佳。

動作識別型的想法不再拘泥于鼠標的使用感受，它通過Kinect、加速度感應器、螺旋儀等體感設備識別用戶動作并解釋成選單選擇。Crossan[4]等將一個嵌入了加速度感應器的無線設備佩戴于用戶手腕，其轉動角度被映射到屏幕位置，用戶通過傾斜手腕達成選單選擇；之后他們又將同樣設備裝在帽子上感應[5]頭部傾斜，Dachselt[6]將同一技術用在了大尺寸遠程顯示上；Yamamoto[7]擴展了Crossan等的工作，在用戶的雙手雙足上佩戴4個感應器，用戶可通過豐富的肢體運動來選擇選單；Ni[8]等用加速感應器和彎曲感應器制作了一種手套，用戶通過傾斜和抓取動作進行選單選擇；Bailly[9-10]等則提出了“手指數數”選單，通過識別用戶雙手1～5的數字姿勢進行選單選擇。

餅型選單(也稱Pie選單)是動作識別型選單的一種。餅型界面最早由Callahan[11]提出，它將選項如切餅一般排布在一個圓上，蘋果的iPod使用了這種界面。Kurtenbah[12]提出將多個餅型界面聯用，形成了選單的概念。它最早的應用是在手持式Pad上，用戶通過手寫筆的劃動達成選擇， Zhao[13]等對Pie選單的連擊與單擊在準確率、空間要求等方面進行了比較，認為在Pad上單擊方式更優。 Lenman[14]以靜態圖像識別的手段實現了單擊的Pie選單，并總結它的優勢是平均移動距離最短。

身體部位識別型的想法比較特殊，它將選單項虛擬地放置于人體各部位，通過手或操縱桿觸碰這些部位達成選單項選擇。其理論基礎源自Easton和Sholl[15]等的一項研究，他們對人操縱靠近自己身體的物體時的心理進行了分析，結果表明空間記憶和自體感覺對高效的體感交互極有價值，繼而又將交互分為體前的和近體兩類，近體交互發展到極致，就形成了將行為與特定人體部位聯系起來的思路。

電視的功能日漸智能化，由于其特殊的歷史地位，未來將成為家庭主要的智能終端，準確好用的體感選單系統是必需的。目前在一些智能電視上出現了類似體感選單的界面，它們一般通過遙控器或語音識別啟動，選單項在屏幕上有規律地鋪展，通過全屏范圍移動手掌實現定位，通過握拳或輕擊實現選中。由于定位和選中的精度不高、使用不便，所以應用性差。一種變通的方法是以選單項的自動運動代替人手運動，人僅通過握拳、輕擊或聲音實現選中即可。這是HCI常用的巧妙設計，代價是犧牲了選單的重要價值，即逐層展開的用戶感受。

餅型選單有控制桿(或手)平均運動距離短的特點，可降低定位和選中動作的識別難度，如能使多級餅型選單呈現逐層邏輯展開的效果，將非常適合電視應用。身體部位選單具有易識別、不易混淆的特點，但由于選單項都附著于身體，其本身不可能呈現出選單展開的效果，用戶需記憶選單的層次關系，限制了應用。本文的思路是兩種體感選單結合起來：以身體部位選單作為第一層選單項，利用其特點實現穩定的啟動；之下層次選單以多擊餅型選單實現，后者有較高的識別率，且通過改良使之呈現傳統選單逐層展開的效果。實踐中，筆者選擇額、(與控制手同側)肩和腰部3處作為身體部位選單的敏感點，這基于如下考慮：

1)用Kinect進行骨架關節點鄰接判斷時，軀干邊緣部分的準確度較高，軀干中間部分準確度降低。

2)目前用戶觀看電視的習慣是持遙控器單手操作，此方案與用戶現有習慣接近。

另取餅型選單為常見的上下左右4個方向，深度為3級，則可用選單項數目為3×43=192，對電視應用來說應是足夠了。

手勢現象是參數空間的軌跡，可定義為在特定時間區間內模型參數空間中的一個隨機過程。運動手勢識別方法有有限狀態機方法、模板匹配方法、隱形馬爾科夫鏈方法和神經網絡方法等。本文使用了一種語法制導的識別方法，其本質是有限狀態機，由于使用正則表達式和產生式表示規則，可擴展性更好。測試結果表明本文的綜合性體感選單設計合理，容易記憶和使用，并有較高的識別率。

2 系統框架和前處理

圖1為本文體感選單系統框架，Kinect獲取的人體骨架數據經前處理模塊處理后保存到一環形緩存，語法制導手勢識別模塊從緩存采樣，識別出手勢信息并將其輸入反饋模塊，后者計算餅型選單項逐層展開的位置并產生視覺輸出。

圖1 系統框架

Kinect可獲得人體20個關節點的信息，精度可滿足本文系統的需要，但在少數情況下環境光等的擾動可使其輸出產生噪聲，前處理模塊首先用Kinect SDK自帶的骨骼流平滑方法進行低通濾波器，以清除數據中的毛刺。

前處理的第2項功能是進行人體坐標變換。如圖2a是應用場景的俯視圖，XOZ為設備坐標系，人體頭部位于o′(x0，z0)位置，左肩位于(xl，zl)，右肩位于(xr， zr)，面朝o′z′方向。人體正面對設備平面有α角扭曲，不便于后續識別計算，因此需將骨架數據從設備坐標轉換到X′O′Z′人體坐標。從圖2a可見這一轉換可分3步：1)z坐標倒轉；2)轉動-α角；3)從O移動到O′。如此A(x， y， z)在X′O′Z′系中坐標(x′， y′， z′)為

(1)

其中，α=arctan[ (zl-zr)/(xl-xr)]。

進而，為了消除身高等個體差異對識別算法的影響，引入長度調整系數δ

(2)

圖2 人體坐標變換

前處理模塊的第3項工作是從輸入中提取后續識別所需的特征向量，特征向量vi定義為：vi=(i,phead,pshoulder,pwaist,phand,uhand,t)。其中，i為流水號，phead，pshoulder，pwaist，phand分別為額頭、(控制手一側的)肩膀、腰部和手部的位置，uhand為控制手從i-1幀到i幀的運動向量，t為系統時間戳。

vi被保存在如圖1右上部所示的環形緩存中。該緩存順時針方向為數據加入方向，在行程、運動方向等計算中需要逆時針向后查看。實踐中取緩存容量為600，即大約20s的數據，更早的數據將被覆蓋。

3 語法制導識別

本文所用的語法制導識別方法是一個6元組合

Gram=(N， T， P， S， F， A)

(3)式中：N為非終結符集；T為終結符集；P為產生式集；S為開始符號；F為從特征向量到字母的轉換函數；A為動作集合。

非終結符集N={MenuItem， BodyMenuSelect， PieMenuSelect， Waves， OneWave， PieMenuError}，終結符見表1，產生式集P如下：

2)MenuItem→BodyMenuSelect PieMenuSelect

4)PieMenuSelect→FreezeSignal Waves LeafSelected

表1 終結符表

分類名稱含義用于身體部位識別選單EnterHeadBox手初次進入額部敏感區域SelectHead額部選中EnterShoulderBox手初次進入肩部敏感區域SelectShoulder肩部選中EnterWaistBox手初次進入腰部敏感區域SelectWaist腰部選中用于餅型選單FreezeOccur手出現低速FreezeFail懸停(低速保持到時間閾值)失敗FreezeSignal餅型選單啟動的懸停信號RunLength行程到達Up上揮Down下揮Right右揮Left左揮通用TimeOutError錯誤，計時器超時而一個動作沒有完成LeafSelected選單樹的葉子節點項被選中

P描述了系統的語法規則。選單項定義為一次身體部位選單選擇后進行一次餅型選單選擇；身體部位選單選擇定義為選擇頭部，或選擇肩部，或選擇腰部；餅型選單選擇定義為懸停(Freeze)信號后揮手，直至選單樹葉子項被選中；在懸停或揮動中出現超時則產生錯誤。上述產生式歸約成功時系統將執行相關的動作，如對產生式2)，系統將清空狀態變量并執行選單命令；產生式3)，系統產生餅型選單反饋，初始化選單識別的內部狀態；產生式6)，系統產生新的餅型選單反饋，并變動內部狀態；對產生式7)，則清空內部控制變量并回到初始狀態。

P中的終結符以系統定義的字母為基礎，后者由字母提取器產生，原理如圖3，字母提取模塊以向量緩存為輸入，不斷生成字符串c。c輸入詞法分析器，后者根據正則表達式識別詞匯token，并可能引發動作改變字母提取模塊的狀態。token輸入語法分析器，后者通過產生式集P的歸約識別選單操作，并將之輸出到后續的反饋模塊。

圖3 語法制導識別框架

字母提取模塊通過函數集合F對系統當前的各種信息包括位置、速度、計時器狀態、距離、運動方向等作出離散的描述。設字母集合Σ={a1，a2，…,an}，字符串c=b1b2…bm，其中bi∈Σ。

特征向量集合V={v1，v2，…，vi，…，vk}。F是一組子函數的集合，即F={f1，f2，…fi…fm}，有

bi=fi(V)

(4)

式中：i=1，2，…，m。本文方法的字符串長度m=5，字母集Σ及其解釋見表2。

表2 字母表

序號含義字母含義(F)1手位置h手接觸額頭s手接觸肩部w手接觸腰部0非以上任何一種2手速度f速度低于閾值0其他3計時器b身體部位選單計時滿p餅型選單啟動信號計時器滿e錯誤，動作時間超過合理時長1計時器工作中0計時器未激活4行程a手的行程到達閾值1行程記錄工作中0行程記錄未激活5運動方向u手運動方向向上d手運動方向向下r手運動方向向右l手運動方向向左

字母序列c1，c2，… ，ci輸入詞法分析器，后者識別出詞匯token。token∈T，且token=(expression，action)，其中expression為正則表達式，action∈A即動作。終結符集合T見表1。

每一個token對應一正則表達式，主要的正則表達式及相關動作如下：

1)EnterHeadBox→0.000h.000

動作：pos=c， 身體選單計時器啟動。

(EnterShoulderBox，EnterWaistBox類似)

2)SelectHead → EnterHeadBox (h.000)*(h.b00)+(0.b00)

動作：pos=-1(3，4，5三種類型字母不起作用)，身體選單計時器停止。

(SelectShoulder，SelectWaist類似)

3)FreezeOccur → 0f000

動作：pos=c，啟動餅型選單計時器。

4)FreezeFail → FreezeOccur (00100)

動作： pos=-1，停止餅型選單計時器。

5)FreezeSignal → FreezeOccur (0f100)+(0fb00)

動作：pos=c，啟動行程計算，停止餅型選單計時器。

6)RunLength → (0.110)+ (0.1a0)

動作：重啟錯誤計時器，啟動方向計算。

7)Up → RunLength (0.1au)

動作：pos=c，關閉方向計算。

(Down，Right，Left類似)

8)TimeOutError→(h|s|w|0)(f|0)e(a|1|0)(u|d|r|l|)

動作：清理所有控制變量。

詞法分析器從輸入流尋找匹配特定模式的串并對字母提取模塊的內部狀態作出相應改變。表1中最后一個終結符LeafSelected是一個特殊的token。系統內部維護了選單對象M

M={Tree， Function， Selected}

(4)

式中：M包含了選單的信息：Tree為選單樹結構，Function為選單項所關聯的電視控制命令，Selected為M當前狀態，即哪一選單項被選中。當M.Selected為一個葉子節點時，系統通知詞法分析器產生LeafSelected終結符。M對象是比較容易構建的，當需修改選單設計，或者將本文方法應用到一個新的選單樹上去時，只需生成新的M對象即可。

詞法分析產生的token被輸入語法分析器，后者通過產生式的歸約識別用戶選單操作，并激活相應的動作。本文語法制導的識別方法本質上是一種狀態機的方法，測試結果顯示識別率在95%以上。由于使用正則表達式和左遞歸文法進行描述，且字母提取基于基本計算，因此擴展方便，易于進一步開發。

4 餅型選單逐級展開

選單作為呈現給用戶的重要價值是清晰、動態的逐級展開效果。本文餅型選單若經過t次展開，系統界面由一系列半徑為r的圓的集合P=(p0,p1,p2,…，pt)構成，其中，pi=(xi,yi)，(xi,yi)是pi在屏幕上的圓心坐標。

設系統識別出用戶手勢為向量G，G∈{(0,1),(0,-1),(-1,0),(1,0)}。若當前已經顯示了s個圓，用戶的新手勢為Gs+1，則對于pi∈{p0,p1,p2,…,ps}

(5)

如圖4所示，多級餅型選單向用戶手勢相反的方向運動，新子選單出現在手勢中心位置，從而流暢地呈現出逐級展開的動態效果。

圖4 系統截圖

5 測試結果

本文體感選單系統使用了Kinect 1.0設備和1.8版本的Kinect SDK，程序以C#語言在Windows 7系統上實現。系統選單最深4級，共41個葉子選項，包括了數字電視的常見功能。身體部位選單激活的時間閾值為3 s，餅型選單啟動的懸停時間閾值為1.5 s，超時錯誤閾值為10 s。圖4為系統使用中的一組截圖，圖4a中用戶觸碰額部激活“點播”項，該項隨之展開成圖4b中包含“新聞”等4項的餅型選單，用戶在此懸停片刻表示將開始揮手，之后向右揮手激活“影視”項，該項隨之展開成圖4c所示的包含“電影”等的子選單，兩級餅型選單按照上節規則確定位置，顯示出層級展開的效果，圖4d中用戶繼續向下揮手選擇“電視劇”導致選單繼續展開，圖4e中用戶右揮選擇了葉子項“美劇”，一次選單操作結束，系統遂發出操作命令進入流行美劇縮略界面。

筆者選取了10位實驗對象，按照年齡段分為2組進行測試。每位測試者在管理員的引導下先進行3～5 min的熟悉，之后按照管理員給出的信號進行200余次的選單選擇，每個人選擇的選單項內容和順序都相同。其間實驗對象可要求休息，休息時間被扣除。實驗數據見表3，所有測試者完成一次選單選擇的平均時間為7.7 s，平均識別率為95.5%，兩者的分布見圖5。

表3 測試結果

分組序號年齡總時間/s平均時間/s失敗次數識別率/%112016646479652201427711493032217737699554221319664980522138878109502643177479597574316038011945845150975697095418528813935105619189012940

圖5 測試結果

之后，每位實驗者被要求完成一簡單的問卷，對系統的如下5方面進行評價：

1)有效性。是否有用，是否能達到目的？

2)準確性。是否能精確操作？

3)易學習。是否容易學會？

4)舒適度。是否不易疲勞？

5)趣味性。感受是否愉悅？

實驗者對每個問題按5分制打分，1分為非常不滿，2分為不滿，3分為一般，4分為滿意，5分為非常滿意。實驗者評價的均值見圖6，可見用戶對趣味性和易學習的評價頗高，對有效性、準確性和舒適度的評價也可滿意。

圖6 問卷結果

綜合起來，本文方法可以滿足電視控制的需要，有比較高的識別率，也有較好的用戶滿意度。

6 總結

選單界面的使用需要啟動、定位、選中三步驟，其重要價值是逐層展開的邏輯過程。身體部位選單想法獨特且不易混淆，但不能實現逐層展開。餅形選單在理論上有最短的平均移動距離，但需以某種方式啟動，并解決多級選單項的合理顯示問題。本文針對電視應用開發了一種綜合的體感選單系統，選取身體邊緣的少量部位作為身體部位型選單的敏感點，用身體部位選單作為頂層選單項，用餅形選單作為后續層次選單，并為后者構建了逐層展開的界面效果。系統用Kinect為體感設備，用基于語法制導的識別算法實現。系統先將數據進行前處理，去除毛刺，并在方向和長度上糾正坐標值。語法制導的識別算法先從輸入數據中提取字母，通過詞法分析產生詞匯，然后以語法分析識別有意義的動作。測試表明有較高的識別率和很好的用戶滿意度。

智能電視功能豐富，除了選單外還需要更豐富的控制界面。電視用戶處于放松狀態，動作特點不鮮明，在識別算法上也需提高精確度。在這些問題上，筆者將進一步展開研究。

[1] HORIE T， TERADA T， KATAYAMA T，et al. A pointing method using accelerometers for graphical user interfaces[C]// Proc. 3rd Augmented Human International Conference. Megève，France：ACM Press，2012：463-472.

[2] PARK G， AHN J，KIM G J. Gaze-directed hands-free interface for mobile interaction[J]. Lecture Notes in Computer Science，2011(6762)：304-313.

[3] YOO B， HAN J J， CHOI C，et al. 3D remote interface for smart displays[C]//Proc. the International Conference on Human Factors in Computing Systems，CHI 2011. Canada： ACM Press，2011：551-560.

[4] CROSSAN A， WILLIAMSON J， BREWSTER S，et al. Wrist rotation for interaction in mobile contexts[C]// Proc.Mobile HCI 2008. Amsterdam，Netherland： ACM Press，2008：435-438.

[5] CROSSAN A， MCGILL M，BREWSTER S，et al. Head tilting for interaction in mobile contexts[C]// Proc. Mobile HCI 2009. Bonn，Germany：ACM Press，2009：1-10.

[6] DACHSELT R， BUCHHOLZ R. Natural throw and tilt interaction between mobile phones and distant displays[C]// Proc. the 27th International Conference on Human Factors in Computing Systems， CHI 2009. Boston，MA，USA：ACM Press，2009：3253-3258.

[7] YAMAMOTO T， TERADA T，TSUKAMOTO M. Designing，gestures for hands and feet in daily life[C]// Proc. the Nineth International Conference on Advances in Mobile Computing and Multimedia. Ho Chi Minh City，Vietnam：ACM Press，2011：285-288.

[8] NI T， BOWMAN D A， NORTH C，et al. Design and evaluation of freehand menu selection interfaces using tilt and pinch gestures[J]. Human-Computer Study，2011(69)：551-562.

[9] BAILLY G， WALTER R， MüLLER J，et al. Comparing free hand menutechniques for distant displays using linear， marking and finger- count menus[C]// Proc. INTERACT 2011. Berlin， Germany： Lecture Notes in Computer Science，2011，6947：248-262.

[10] BAILLY G， MüLLER J， ROHS M， et al. ShoeSense： a new perspective on gestural interaction and wearable applications[C]//Proc. CHI’12. Austin， USA： ACM Press，2012：1239-1248.

[11] CALLAHAN J， HOPKINS D，WEISER M，et al. An empirical comparison of pie vs. linear menus[C]//Proc. CHI 1988. Washington，USA： ACM Press，1988：95-100.

[12] KURTENBACH G， BUXTON W. The limits of expert performance using hierarchic marking menus[C]// Proc. INTERACT 1993 and CHI 1993. Amsterdam，Netherland： ACM Press，1993：482-487.

[13] ZHAO S， BALAKRISHNAN R. Simple vs. Compound mark hierarchical marking menus[C]// Proc. the 17th annual ACM Symposium on User Interface Software and Technology 2004. Santa Fe， USA： ACM Press，2004：33-42.

[14] LENMAN S， BRETZNER L，THURESSON B. Using marking menus to develop command sets for computervision based hand gesture interfaces[C]//Proc. the Second Nordic Conference on Human-Computer Interaction 2002. Aarhus， Denmark： ACM Press，2002： 239-242.

[15] EASTON R D， SHOLL M J. Object-array structure， frames of reference， and retrieval of spatial knowledge[J]. Express Psychological Learning， Memory and Cognition， 1995(21)：483-500.

責任編輯：閆雯雯

Hybrid Motion Sensing Menu System for TV Control

JIN Zhefan, CHU Shaowei, PAN Ruifang, ZHANG Fan, WANG Zhong

(Zhejiang University of Media and Communications, Hangzhou 310018, China)

A suitable motion sensing menu system is demanded for TV control. Both body menu and pie menu have their disadvantages. The advantages of the two is synthesized. Body menu is used to insure a stable start-up, while pie menu, improved for presenting layers of expansion, is used for its high recognition ratio. The pre-processing part readies the data for further processing. Letter retrieving part describes motion states in a discrete manner. Regular expression is used to capture atomic actions. Gestures are finally recognized by production reduction. Test results show the system has good recognition ratio and a high level of user satisfaction.

motion sensing menu; Kinect; state-machine; regular expression; production

國家新聞出版廣電總局科研項目(Z412F14208)

TP391

A

10.16280/j.videoe.2015.20.025

2015-04-07

【本文獻信息】金哲凡，褚少偉，潘瑞芳，等.用于電視控制的混合式體感選單系統[J].電視技術,2015，39(20).