混合現實電子沙盤虛擬對象的手眼協同交互設計研究

胡勇，何玉振，熊夢涵，沈旭昆

【院士專欄：國防裝備設計與制造】

混合現實電子沙盤虛擬對象的手眼協同交互設計研究

胡勇ab，何玉振ab，熊夢涵ab，沈旭昆ab

（a.北京航空航天大學 新媒體藝術與設計學院 b.北京航空航天大學 虛擬現實技術與系統國家重點實驗室，北京 100191）

面向混合現實電子沙盤虛擬3D對象，開展3D交互性能與用戶體驗研究與評估，提出交互設計原則和設計建議。針對混合現實環境下雙手可觸范圍外的虛擬對象“選擇”任務開展交互設計研究，引入虛擬對象布局排列方式作為評估變量，在3種典型的虛擬對象布局情況下，分別進行手控光線、頭動、眼動與手勢協同的3種交互方式性能及用戶體驗對比研究。通過設計原型實驗系統，進行用戶體驗測試，實驗數據分析與評估，驗證交互設計原則，提出交互設計建議。實驗結果顯示眼動與捏合手勢結合的手眼協同交互方式在時間、任務負荷及用戶偏好方面都具有顯著優勢。手控光線與手勢協同交互的準確性最優，并且這一優勢在任何一種布局方式中都有所體現。建議混合現實環境下的“選擇”任務交互設計要注重功用性、持續性和愉悅性原則，提出了降低“選擇”任務交互的工作負荷與疲勞及增強新穎交互提升愉悅性的設計建議。

混合現實；3D交互；交互設計；體驗設計與評估

沙盤是地理信息的立體化展示工具，被廣泛應用于軍事指揮、城市規劃、大型賽事活動等領域，然而傳統實體沙盤已經逐漸難以滿足復雜動態變化信息的呈現需求。近年來，混合現實技術快速發展，通過在現實場景中疊加虛擬內容，令物理空間和虛擬空間相交疊，融合產生新的可視化環境，為用戶提供增強全息實時數字內容，衍生出混合現實電子沙盤的應用形態。2021年，美國軍方與微軟簽訂了4.8億美元的混合現實設備合同，從戰略決策、戰役規劃、戰術實施3個層次打造基于混合現實的新型協同作戰系統。利用混合現實技術呈現戰場的實時態勢數據，通過預估預判對實際戰爭中的部隊施加控制和調節，應用于戰役層面的指揮決策和戰術作戰訓練，未來將使戰爭進程和戰爭效果顯性化，進而輔助戰爭決策的一種新理論和新技術。混合現實電子沙盤構建虛實融合的3D物理環境，利用3D圖形進行數據信息可視化，使用戶以自然交互的方式瀏覽數據并查詢可視化的各個節點，幫助人們建立一種全新的空間信息理解與洞察。相較于傳統實體沙盤，混合現實電子沙盤作為新型可視化操作平臺，具有強沉浸式體驗、展示效果豐富、展示內容多元等優勢，以強交互性傳遞沙盤信息并為用戶提供身臨其境的體驗。

1 混合現實電子沙盤及虛擬對象交互

1.1 混合現實電子沙盤

混合現實（Mixed Reality，簡稱MR）[1]是將物理世界和虛擬世界進行融合呈現，從而創造出高沉浸感、可自然交互的虛實融合環境，物理對象、虛擬對象與人共存，并可以實時相互作用，強調虛實對象融合的一致性、空間感知與定位的準確性、多通道交互與反饋的自然性。

混合現實電子沙盤是基于混合現實技術的數字化沙盤，由表示地形數據信息的虛擬地形模型、表達動態數據信息的虛擬態勢模型、實現系統交互的3D用戶界面組合而成，通過在現實場景中疊加虛擬內容，令物理空間和虛擬空間相交疊，融合產生新的可視化環境，為用戶提供增強全息實時數字內容，并滿足多人協同的實時自然交互。混合現實電子沙盤能夠克服傳統實體沙盤的諸多局限性（只能在固定的比例下向參觀者展示，參觀者無法了解沙盤內部的信息；制作周期較長，不能隨意更改內容、不能重復利用，并且展示效果單一等），能夠更直觀地呈現空間信息，幫助用戶觀察場景方位，對地理位置形成清晰認知；能夠提供更加全面豐富的信息動態呈現與交互形式，將不同維度的抽象信息具象化，對信息進行動態可視化呈現，并可以直接與虛擬對象進行自然交互；可以打破空間限制，使身處不同空間的用戶佩戴混合現實頭盔同步協同參與沙盤信息呈現與交互；為用戶提供沉浸式體驗環境，提高用戶參與度，提升用戶愉悅度，增強用戶感知度，見圖1。

1.2 虛擬對象的3D交互

3D交互指的是一種有關用戶如何在三維環境中執行不同類型任務的交互機制[2]。虛擬現實和混合現實領域常見的3D交互任務被分為以下4類：選擇、操作、導航和系統控制[3]，見圖2。在混合現實電子沙盤環境中，用戶在物理世界中移動位置并與虛擬對象進行交互，對導航任務的需求明顯低于虛擬現實環境，且選擇任務是操作虛擬對象或系統控制對象的前提，因此文中主要針對選擇交互任務開展深入研究。

選擇是3D交互中常見的基本交互操作，其含義是一種從虛擬對象全集中識別或選取出目標對象的任務，有時也稱為目標獲取任務[4]。選擇任務的交互方式可以按照交互對象與用戶的距離分為可觸范圍內的對象交互和可觸范圍外的對象交互[5]。與可觸范圍內對象進行選擇任務交互，執行選擇任務時可以直接觸摸虛擬對象，是與物理世界相一致的最自然的人機交互方式。與可觸范圍外對象進行選擇任務交互明顯區別于物理世界中的交互，用戶需要指向并瞄準目標物體，再完成確認，見圖3。在選擇任務中，交互過程由指向瞄準、確認選擇、選擇反饋3個過程組成，目前主要的指向操作技術是基于矢量光線投射技術，光線可以從手部、頭部或眼睛投射，光線與虛擬物體相交處呈現光標；目前主要的確認操作為捏合手勢，通過捏合（或張開）手指來完成確認，見圖4。

圖1 混合現實電子沙盤的多種應用場景

圖2 混合現實環境中的3D交互任務分類

圖3 可觸范圍內和可觸范圍外的選擇任務

Fig.3 Selection tasks within and without direct touchable range

混合現實電子沙盤與一般的混合現實應用相比，更強調空間位置信息和用戶觀察方位，在用戶周邊可觸范圍內或遠處可觸范圍外，都存在較多基于空間位置的標注信息呈現與交互，單純的手部、頭部或眼部的交互都難以滿足良好的交互體驗需求。針對混合現實電子沙盤中交互對象空間分布因素的影響，從手部交互和眼部交互協同的角度出發，如何設計效率高、用戶體驗良好的手眼協同選擇任務交互方式是目前具有挑戰性的問題。

圖4 光線投射技術與捏合手勢

2 研究現狀分析

混合現實環境中的3D交互設計是連接虛實融合環境中人與虛擬對象、人與交互設備及人與人之間的橋梁。Joseph等人[3]在著作《3D用戶界面設計與評估》中從設計師和開發人員的角度，系統地梳理了3D用戶界面交互設計的相關內容，總結經過經驗驗證的設計指南，是目前關于3D交互設計較為全面的介紹。但是，混合現實3D交互技術快速發展、應用領域快速擴展，對交互方式在執行各類基礎操作時的性能與用戶體驗評估，出現了較多新的研究問題，文中將聚焦混合現實環境下的選擇交互任務，圍繞交互性能和用戶體驗評估，總結近幾年發表的最新學術成果。

在選擇任務的3D交互設計與評估中，主要涉及2個方面，一是研究對象：絕大多數評估都涉及多種交互方式的對比；二是評估的度量：系統性能度量、任務性能度量和用戶偏好度量，這3種評估度量在不同的研究中有不同的涉及，有些研究只進行其中一種度量的評估，有些研究則進行其中2種或3種度量的評估，其中任務性能和用戶體驗通常同時出現。Mutasim等人[6]從性能和用戶體驗的角度對比了執行選擇任務時的3種交互方式，分別是基于眼動的捏合手勢（Pinch）、基于眼動的單擊按鈕（Click）和基于眼動的停頓選擇（Dwell）。結果表明，作為一種選擇技術，停頓選擇誤差最小，但執行時間和吞吐量最差，單擊按鈕與捏合手勢在性能上沒有顯著差異。參與者主觀反饋更喜歡單擊按鈕，因為捏合手勢會因為識別錯誤而令人沮喪，而且似乎會導致更多的身體和精神疲勞。研究建議，對基于眼睛凝視的虛擬現實系統，當控制器不可行時，使用眼動結合捏合手勢執行選擇任務。Ryu等人[7]提出了凝視-抓握交互（gaze-grasp pose interaction）新型交互方式，并將其與光線投射交互進行對比評估。結果表明在目標對象重疊的情況下，凝視-抓握交互比光線投射提供更好的性能。就時間和錯誤率而言，對象大小的波動對凝視-抓握交互的影響比對射線投射的影響小。用戶反饋表明，凝視-抓握交互更為自然且易于使用。Blattgerste等人[8]從性能和用戶體驗的角度對基于眼睛注視的選擇和基于頭部注視的選擇這2種交互方式進行了對比評估。評估實驗中還將視野范圍和交互的UI元素作為變量條件。結果表明，在各種條件下，眼睛注視在完成任務的時間、頭部運動負荷和錯誤率方面都優于頭部注視。Chen等人[9]開展了在虛擬現實環境中的消歧技術實驗分析，從性能和用戶體驗的角度比較了3種輸入方式（頭部注視、語音和足部叩擊）與3種不同的時間選擇（交互前、交互中和交互后），研究如何解決歧義問題。結果表明，在與目標的交互過程中，使用頭部注視進行消歧效果最好。Kang等人[10]提出了微縮世界（Worlds-in-Miniature）交互技術，對選擇和操作交互，對比了眼動、直接抓取和在微縮世界里交互3種方式，其中微縮世界交互表現出最好的可用性和交互性能。但是，微縮世界中手部對虛擬物體的遮擋會降低交互性能，且不適用于只需要選擇不需要操作的遠距離虛擬對象交互。Linda等人[11]針對基于屏幕的視窗交互系統應用，對比了眼動交互與手勢交互在選擇任務中的性能，眼動交互效率更高且身體疲勞度較低。Kyto等人[12]從交互速度和準確度方面對比分析了頭動和眼動2種交互方式，眼動交互速度更快，更符合人體工程學，但會受設備校準誤差和眼動傳感器的漂移誤差的限制。其中，被選擇對象的尺寸對兩種交互均具有重要的影響。Weise等人[13]對虛擬現實環境中的選擇和操作交互按照技術維度進行了分類，并從可用性和用戶體驗的角度進行了評估，對比分析了多種選擇交互技術，并提供了一個工具幫助設計師根據應用場景確認合適的選擇和操作任務交互技術。

目前，選擇任務瞄準的方式主要有手部瞄準、頭部瞄準和眼睛瞄準等，確認方式有注視時間、捏合手勢和利用控制器設備等。其中捏合手勢在大部分評估結果中具有優勢，瞄準方式的評估結果則各不相同。因此文中將捏合手勢作為確認方式，關注不同瞄準方式性能與體驗評估。同時，被選擇對象物體的空間布局對選擇任務的影響尚未被研究，因此文中歸納現有的空間布局方式，并將其作為變量條件加入到評估實驗中。

3 手眼協同的“選擇”任務交互設計與評估

針對混合現實環境中的選擇任務，設計原型實驗，結合被選擇對象的空間布局，進行手眼協同的交互性能和用戶體驗評估，以探究文中所提出的設計原則能否適用于各種空間布局類型的應用場景，以及不同的空間布局對交互方式的性能和用戶體驗的影響。實驗設置了3種主流的選擇任務交互方式：手控光線與捏合手勢協同交互、頭動與捏合手勢協同交互及眼動與捏合手勢協同交互；同時針對選擇的對象設置了垂直布局、水平布局和分散布局3種不同的布局方式。將上述6個條件交叉組合成9個任務并進行對比實驗研究（見圖5），關注每種布局方式中3種交互方式的性能和用戶體驗。

圖5 任務交互方式

評估標準：選擇任務作為混合現實交互中最主要的任務，包含2種行為，一是瞄準，二是確認。如何提升人們執行選擇任務時的性能及用戶體驗，需要從交互的功用性、持續性和愉悅性3個角度進行考慮，設計相應的瞄準和確認交互方式。功用性較高的交互方式能夠在選擇目標對象的準確性和效率上展現出優勢，通過降低技術性疲勞提高完成選擇任務效率；持續性較長的交互方式能夠降低用戶操作時的疲勞感，通過降低姿勢性疲勞，較長時間保持舒適的交互狀態，提升用戶完成任務的概率；愉悅性較強的交互方式能夠有助用戶在進行選擇交互時改善主觀感受，通過選擇新穎趣味的交互方式，調動積極探索情緒，增強用戶體驗感。

3.1 實驗設計

1）手眼協同交互方式。此實驗使用Hololens 2搭建混合現實環境。使用手控光線與捏合手勢協同交互時，會有一條射線從用戶手掌中心射出，將光標附著到光線的末端，以指示光線與目標對象相交的位置，見圖6a。使用頭動與捏合手勢協同交互時，光標隨著用戶頭盔的旋轉而移動，并且仍然使用捏合手勢來選擇目標對象，見圖6b。使用眼動和捏合手勢協同交互時，光標跟隨眼睛的凝視位置，并且仍然配合捏合手勢合作來選擇對象，見圖6c。

2）被選擇對象布局。三維交互對象的布局可分為兩類：集中布局和分散布局。前者是指信息集中在某一區域，其兩種主流的空間布局方式是：垂直布局和水平布局。此試驗將垂直布局、水平布局和分散布局作為變量進行研究，見圖5d、圖5e、圖5f。選擇12個長、寬、高都是32 cm的立方體作為被選擇對象，進行不同的布局測試。垂直布局：12個立方體三行四列排列，相鄰間距為8 cm，整個矩陣與地面垂直，距離相機2.7 m。水平布局：12個立方體左右相鄰間距為8cm，整個矩陣與地面平行，由近及遠每行立方體與相機的距離分別為2.4 m、2.8 m和3.3 m。分散布局：將12個立方體隨機分布在垂直面和水平面上。

圖6 手勢協同交互

3）參與者。共有14名參與者參加實驗，其中6名男性和8名女性。參與者年齡在18～45歲，平均22歲（SD＝6）。參與者包括13名藝術設計、計算機和自動化專業的本科生和研究生，1名IT從業者。2名參與者沒有使用AR或MR的經驗，4名參與者幾乎沒有使用AR的經驗，8名參與者有使用AR或MR的經驗。

4）任務與程序。參與者的任務是按照語音指令完成8個目標對象的選擇。在每個布局中，參與者被要求分別使用3種交互方式完成選擇任務，即每個參與者都需要進行九次任務。為了防止學習效應，每個參與者所執行任務的3種布局條件與交互方式的順序均為隨機設定。

5）實驗評估方式與數據的采集。完成任務所需的總時間作為效率指標進行測量，選擇目標對象的錯誤數被測量作為準確度的指標，每完成一種布局下的3種交互后，參與者通過回答問卷進行一次評估互動，包括SUS[14]、SEQ[15]、NASA-TLX[16]及關于享受和興趣的問題（采用擴展技術接受模型[17]），共進行3次。完成所有任務和問卷后，參與者被邀請進行半結構化訪談，包括選擇最喜歡的交互方式和最喜歡的搭配及其他感受。每位參與實驗的用戶參與過程大約花費50 min。

通過測量完成每項任務所需的時間檢驗交互模式的效率，通過誤差數檢驗交互的準確性。為了更好地了解參與者在3種交互設計方面的經驗，進行了半結構化訪談。訪談問題主要包括5個項目：你最喜歡哪種交互方式，為什么你更喜歡這種交互方式，你喜歡或不喜歡其他交互方式的哪些方面，你最喜歡哪種搭配，哪種搭配最難使用。

3.2 實驗數據定量分析

按照布局條件，對每種交互方式的數據進行方差分析，并對重點數據進行配對t檢驗，設置95%置信區間，數據處理分別見表1—3。可得出以下結果。

表1 垂直布局條件下的實驗數據分析

Tab.1 Analysis of experimental data under vertical layout

注：*<0.05 **<0.01。

表2 水平布局條件下的實驗數據分析

Tab.2 Analysis of experimental data under horizontal layout

注：*<0.05 **<0.01。

表3 分散布局條件下的實驗數據分析

Tab.3 Analysis of experimental data under discrete layout

注：*<0.05 **<0.01。

1）任務完成時間。方差分析表明在水平布局和分散布局中，不同交互方式對任務時長有顯著影響。在水平布局中，交互方式對時間呈現出顯著差異（(2,39)=22.819，<0.001，2=0.539），以及具體對比差異可知，眼動+手勢交互比手控光線+手勢交互的用時更短（眼動+手勢=27.73，眼動+手勢=6.41；手控光線+手勢=35.05，手控光線+手勢=7.35；頭動+手勢=47.08，頭動+手勢=8.98）。在分散布局中，交互方式對時間呈現出顯著差異（(2,39)=8.389，<0.001，2=0.301），眼動+手勢交互比手控光線+手勢交互的用時更短（眼動+手勢=40.99，眼動+手勢=10.01；手控光線+手勢=46.08，手控光線+手勢=9.4；頭動+手勢=56.13，頭動+手勢=10.41）。在垂直布局中，3種交互方式的用時排序是眼動+手勢交互的用時最短，頭動+手勢交互的用時中等，手控光線+手勢交互的用時最長。分析結果，見圖7。值得注意的是，眼動+手勢交互無論在哪種布局中，耗時都是最短的。

2）錯誤率。方差分析表明，不同交互模式對垂直布局和分布式布局的準確性有顯著影響（垂直布局(2,39)=4.75，=0.014，2=0.494；分布式布局(2,39)=5.364，=0.009，2=0.524）。盡管手控光線與捏合手勢交互的速度很慢，但準確度在任何布局中都是最高的。眼動與捏合手勢交互的穩定性較差，垂直布局中的平均錯誤次數為0.86，分布式布局中的平均錯誤次數為0.71，分析結果，見圖7。

3）任務負荷。方差分析結果，見圖8。在垂直布局中，交互方式對體力負荷有顯著影響（(2,39)=6.799，=0.003，2=0.259），眼動+手勢交互呈現明顯的優越性（眼動+手勢=2.29，眼動+手勢=1.64）；在水平布局中，受挫程度（(2,39)=3.529，=0.039，2=0.153），體力負荷（(2,39)=5.359，=0.009，2=0.216），時間負荷（(2,39)=4.976，=0.012，2=0.203）都具有顯著差異，值得注意的是“眼動+手勢”交互在這3個方面都呈現明顯的優越性；在分散布局中，努力程度（(2,39)=5.033，=0.011，2=0.205），體力負荷（(2,39)=3.380，=0.044，2=0.148），時間負荷（(2,39)=3.392，=0.044，2=0.148）存在顯著差異，眼動+手勢交互在體力負荷方面呈現明顯的優越性，頭動+手勢交互在努力程度和時間負荷方面均呈現出明顯的劣勢。

圖7 完成任務的時長和錯誤次數的數據可視化

圖8 任務負荷量表結果的數據可視化

4）愉悅性。方差分析的結果，見圖9。在垂直布局中，愉快（(2,39)=6.746，=0.003）和有趣（(2,39)=14.208，<0.001）都呈現出顯著差異。在水平布局中，交互模式在愉快（(2,39)=8.333，<0.001）和有趣（(2,39)=6.755，=0.003）也呈現出顯著差異。無論在哪種布局方式中，眼動+手勢交互的得分都是最高的，并且在垂直布局和水平布局中有顯著的優越性。這與訪談的結果一致。

圖9 愉快和有趣結果的數據可視化

3.3 實驗過程定性分析

1）交互方式分析。在整個交互過程中，記錄了參與者在每個任務中做捏合手勢的動作特點。結果發現瞄準方式對捏合手勢的執行有一定影響。手控光線瞄準僅需要較少次數的捏合手勢就能完成任務。導致這種現象的原因是為了用手控光線來指示方向時，參與者始終將手放在手跟蹤識別較準確的范圍內。然而當參與者用頭或眼睛進行瞄準時，通常會忽略手的位置，經常還沒有把手移動到手跟蹤識別的有效范圍內就不停地做捏合手勢，從而產生無效的動作。有一名參與者認為，水平布局中的立方體都是位于視平線以下，需要低頭去看，手的自然位置也位于視平線以下，所以手始終在有效跟蹤識別范圍內，不會出現手丟失的情況。

2）半結構化訪談。后續訪談更深入地回顧了每種交互方式的優缺點。超過1/3的參與者表示，他們最喜歡眼動與捏合手勢協同交互，因為他們幾乎不需要移動頭和手。一些參與者認為“如果識別非常準確，我認為眼動與捏合手勢協同交互是一種非常好的互動”。此外，3名參與者更喜歡頭動與捏合手勢協同交互，因為他們認為頭部定位準確，并且很容易找到光標位置。然而，超過1/3的參與者會遇到頭部疲勞的問題。雖然數據分析的結果顯示，手控光線與捏合手勢協同交互的準確度最高，但只有2名參與者選擇它作為他們最喜歡的互動方式。他們大部分不喜歡的原因是手疲勞，手的位置讓他們感覺不自然。

4 手眼協同選擇任務交互設計原則與建議

根據“選擇”任務交互方式在不同對象布局方式中的性能和用戶體驗數據分析與評估結果，文中給出了下列具體的設計建議。

1）眼動與捏合手勢協同交互提供最快速的選擇，手控光線與捏合手勢協同交互提供最高的準確性和流暢性。在任務時間方面，眼動與捏合手勢協同交互有絕對優勢，這可以體現在用眼睛瞄準的效率高于頭或手瞄準的效率。在錯誤率方面，手控光線與捏合手勢協同交互的錯誤率最小。一方面是因為人們對手的控制最好，另一方面的原因是用手瞄準時會有一條射線從手中發出，就像手的延長，這使用戶非常清楚地知道自己正在瞄準哪個物體。綜上可知，眼動與捏合手勢協同交互在效率方面具有優勢，以及手控光線與捏合手勢協同交互在準確性方面的優勢適用于多種對象布局方式，在混合現實環境中的適用性比較廣泛。

2）眼動與捏合手勢協同交互的任務負荷最小，且隨虛擬物體布局越分散其優勢越顯著。在任務負荷方面，通過對交互方式進行了精神負荷、體力負荷、時間負荷、自我滿意度、努力和挫敗六個維度的衡量，結果發現無論在哪種布局中，眼動與捏合手勢協同交互在精神負荷方面都有顯著的優越性。在水平布局中眼動與捏合手勢協同交互帶給用戶的挫折感最小。在水平布局中，立方體之間有明顯的遠近距離差異，遵循近大遠小的規律，并且近處的立方體對遠處的立方體有遮擋，這導致遠處的立方體可被瞄準的范圍較小。此時用頭或手去瞄準就變得困難，因為用戶需要將頭或手的移動控制在微小的范圍內。用眼睛瞄準是人們自然的行為，在瞄準小物體時優勢更明顯。在分散布局中，頭動與捏合手勢協同交互在努力和時間負荷方面有顯著的劣勢。有參與者說，人們在環顧四周尋找目標物體時，很不容易找到頭部的光標。光標是頭部指示方向與物體的交點，物體離自己有近有遠，所以光標也時近時遠。參與者還表示他們認為用頭瞄準非常不自然，并且感覺不夠智能。分散布局比垂直布局和水平布局更接近現實世界物體的布局方式，但同時在分散布局中進行交互的整體任務負荷量更大，只有眼動與捏合手勢協同交互在體力負荷這個單一維度上有顯著優勢，因為移動頭或手比移動眼睛需要更多的能量。一個合理的預期是隨著物體布局范圍的增大，用眼睛瞄準的優勢將會更加顯著。

3）眼動與捏合手勢協同交互的用戶偏好最強。大多數參與者更喜歡眼動與捏合手勢協同交互，并且表示用眼睛進行交互最符合他們對未來交互的想象。然而他們也指出了眼動追蹤器的追蹤質量問題，這在一定程度上影響了他們的問卷答案。

5 混合現實電子沙盤應用

文中將手控光線、頭動、眼動與捏合手勢協同3種交互方式的性能及用戶體驗評估結果，應用于“科技冬奧”重點專項課題“基于混合現實的冬奧會態勢可視化與會商技術”所研發的“混合現實電子沙盤協同會商系統”，構建了單人、本地多人協同、異地多人協同3種應用模式，見圖1。在混合現實電子沙盤協同會商系統中，可觸范圍外的可交互虛擬對象有兩大類，一類為與地形數據有關的態勢數據，屬于分散布局，一類是與地形數據無關的浮動面板信息，屬于垂直布局分布，見圖10。

圖10 混合現實電子沙盤協同會商系統中可交互對象的布局示意

基于文中對交互方式的研究和冬奧混合現實電子沙盤這一場景的需求，最終選擇用直接觸摸交互的方式選擇可觸范圍內的虛擬對象。面向不同的用戶群體，分別選用眼動與捏合手勢協同或手控光線與捏合手勢協同，完成系統中所有的可觸范圍外的對象選擇任務。

1）眼動與捏合手勢協同的交互方式具有操作速度快，任務負荷低的優勢，在混合現實復雜的虛擬環境中仍能帶來較為愉悅的用戶體驗，因此這種交互方式適用于已經具備了混合現實設備使用經驗的用戶和需要長期使用設備的用戶，這類人群追求高效的操作和流暢的體驗，同時能夠長時間工作而不感覺疲勞。

2）手控光線與捏合手勢協同的交互方式符合用戶的認知，易學性較好，且無需進行任何校準設置就能保持比較穩定的準確率，因此適用于初次使用混合現實設備的新用戶和臨時使用設備的用戶，這類人群的訴求是能夠快速掌握操作方法，并自行使用。他們追求高準確性和低挫敗感，但是使用系統的時間不會持續太久。

6 結語

混合現實環境下的3D交互設計研究，主要解決用戶在混合現實環境下執行任務時的交互方式設計及用戶體驗評估，交互對象和交互技術受到空間屬性和人體因素的影響，且硬件技術更新更快。隨著混合現實應用場景的拓展和人機交互技術的發展，人機交互工程師和設計師迫切需要對混合現實環境下的3D交互進行設計與評估，豐富3D交互設計經驗，引導3D交互技術研發，改善混合現實應用場景中3D交互方式的可用性和用戶體驗。文中以混合現實電子沙盤為應用場景，針對混合現實電子沙盤中的虛擬對象選

擇任務，結合被選擇對象布局方式，開展選擇任務交互方式的性能與用戶體驗評估。設計并開展實驗對手控光線與手勢協同交互、頭動與手勢協同交互及眼動與手勢協同交互這3種交互方式，執行選擇任務時的性能和用戶體驗進行對比評估。實驗創新性地融入了空間布局方式這一變量，評估結果顯示眼動與捏合手勢協同交互在時間、任務負荷及用戶偏好方面都具有顯著優勢，尤其體現在分散布局的環境中。手控光線與手勢協同交互的準確性最優，并且這一優勢在任何一種布局方式中都有所體現。文中提出的是具有普適意義的設計原則與建議，對各種類型的混合現實系統的交互設計都具有參考價值。對設計師而言，此研究能夠幫助設計師對種類繁多的交互方式進行快速且準確的篩選，在交互方式的選擇層面最大程度上實現系統目標和滿足用戶需求。對用戶，3D交互方式能夠在非常大的程度上影響混合現實系統的使用體驗，適宜的交互方式可以提高用戶的操作能力和興趣，激發用戶持續使用混合現實的欲望，開啟用戶對未來人機交互的展望。

此研究針對混合現實電子沙盤中不同3D對象的布局開展了手眼協同交互模式的研究，然而在不同的應用中，布局會表現出多樣性，一些布局的變化或各種布局的組合可能會影響交互效果。此研究提出的設計建議可供混合現實3D交互設計參考，當涉及特定的應用場景時，需要進行更有針對性的用戶研究，以選擇最合適的交互方式。此外，實驗的參與者大多從未使用過混合現實設備，只是在完成任務前進行了短暫的學習。當參與者有足夠的時間學習使用混合現實設備，或者邀請一些有混合現實體驗經驗的參與者進行實驗時，結果可能會有所不同。另外，此研究只對“選擇任務”進行研究，交互方式在導航和操作中可能呈現不同的結果，因此未來的研究將進一步關注混合現實交互操作的全過程交互體驗設計。

[1] MILGRAM P, KISHINO F. A Taxonomy of Mixed Reality Visual Displays[J]. IEICE TRANSACTIONS on Information and Systems, 1994, 77(12): 1321-1329

[2] ResearchGate. User Interface Constraints for Immersive Virtual Environment Applications[EB/OL]. (2014-11- 22)[2020-04-21]. https://www.researchgate.net/pub-li-ca-tion/27521594_User_Interface_Constraints_for_Immersive_Virtual_Environment_Applications.

[3] 約瑟夫·小拉維奧拉, 恩斯特·克魯伊夫, 瑞恩·克馬漢, 等. 3D用戶界面設計與評估[M]. 北京: 機械工業出版社, 2019. LAVIOLAJR J J, ERNST K, MCMA-HAN P R, et al. 3D User Interfaces Theory and Practice[M]. Beijing: China Machine Press, 2019.

[4] ZHAI Shu-min, BUXTON W, MILGRAM P. The "Silk Cursor": Investigating Transparency for 3D Target Acquisition[C]. New York: Association for Computing Machinery, 1994.

[5] ResearchGate. Virtual Environment Interaction Tech-niques[EB/OL].(2013-06-23)[2020-03-22]. https://www. researchgate.net/publication/2812583_Virtual_Environ-ment_Interaction_Techniques.

[6] MUTASIM A K, BATMAZ A U, STUERZLINGER W. Pinch, Click, or Dwell: Comparing Different Selection Techniques for Eye-Gaze-Based Pointing in Virtual Reality[C]. Germany: ACM Symposium on Eye Tracking Research and Applications, 2021.

[7] RYU K, LEE J J, PARK J M. GG Interaction: A Gaze–Grasp Pose Interaction for 3D Virtual Object Selection[J]. Journal on Multimodal User Interfaces, 2019, 13(4): 383-393.

[8] BLATTGERSTE J, RENNER P, PFEIFFER T. Advantages of Eye-Gaze over Head-Gaze-Based Selection in Virtual and Augmented Reality under Varying Field of Views[C]. New York: Association for Computing Machinery, 2018.

[9] CHEN D L, BALAKRISHNAN R, GROSSMAN T. Disambiguation Techniques for Freehand Object Manipulations in Virtual Reality[C]. Atlanta: IEEE, 2020.

[10] KANG H J, SHIN J H, PONTO K. A Comparative Analysis of 3D User Interaction: How to Move Virtual Objects in Mixed Reality[C]. Atlanta: IEEE, 2020: 275-284.

[11] SIBERT L E, JACOB R J K. Evaluation of Eye Gaze Interaction[C]. New York: Association for Computing Machinery, 2000.

[12] KYT? M, ENS B, PIUMSOMBOON T, et al. Pinpointing: Precise Head- and Eye-Based Target Selection for Augmented Reality[C]. New York: Association for Computing Machinery, 2018.

[13] WEISE M, ZENDER R, LUCKE U. How can I Grab That?: Solving Issues of Interaction in VR by Choosing Suitable Selection and Manipulation Techniques[J]. I-com, 2020, 19(2): 67-85.

[14] JORDAN W P, THOMAS B, MCCLELLAND L I, et al. Usability Evaluation In Industry[M]. Boca Raton: CRC Press, 1996.

[15] SAURO J, DUMAS J S. Comparison of Three One-Question, Post-Task Usability Questionnaires[C]. New York: Association for Computing Machinery, 2009.

[16] HART S G, STAVELAND L E. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research[J]. Advances in Psychology, 1988, 52: 139-183.

[17] DAVIS F D, BAGOZZI R P, WARSHAW P R. User Acceptance of Computer Technology: A Comparison of Two Theoretical Models[J]. Management Science, 1989, 35(8): 982-1003.

Hand-Eye Collaborative Interaction Design of Virtual Object in Mixed Reality Sand Table

HU Yongab, HE Yu-zhenab, XIONG Meng-hanab, SHEN Xu-kunab

(a.School of New Media Art and Design, Beihang University b. State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing 100191, China)

This paper studies the 3D interaction performance and user experience evaluation of the virtual 3D object in the mixed reality sand table, and puts forward interaction design principles and design suggestions. The interaction design is carried out for the "selection" task of virtual objects outside the touchable range of both hands in the mixed reality environment. The layout mode of virtual objects is creatively introduced as an evaluation variable. And under the three typical virtual object layouts, a comparative study on the performance and user experience of three interactive modes of hand-controlled light, head movement, eye movement and gesture coordination is carried out. Through the design of an experimental prototype system, user experience test, experimental data analysis and evaluation, we verify the principles of interactive design, and put forward interactive design suggestions. The experimental results show that the hand-eye collaborative interaction mode combined with gaze and pinch gesture has significant advantages in time, task load and user preference. The accuracy of point and pinch interaction is the best in all the three layouts. It is suggested that the design of "selection" task interaction in the mixed reality environment should pay attention to the principles of functionality, continuity and pleasure, and put forward some design suggestions to reduce the work load and fatigue of "selection" task interaction and adopt novel interaction to improve pleasure.

mixed reality; 3D interaction; interaction design; user experience design and evaluation

TB472

A

1001-3563(2022)06-0001-10

10.19554/j.cnki.1001-3563.2022.06.001

2022-02-20

國家重點研發計劃資助（2019YFF0301305）

胡勇（1981—），男，博士，副教授，主要研究方向為VR/AR內容智能生成與交互設計。

沈旭昆（1965—），男，博士，教授，主要研究方向為數字媒體/虛擬現實研究與設計。