面向混合現實的人機界面設計研究

顏克彤， 邵 將， 劉 珂

（中國礦業大學， 江蘇 徐州 221116）

0 引言

近年來， 隨著計算機技術和信息控制理論的發展與突破， 基于混合現實 （Mixed Reality， MR） 技術的交互界面逐漸成為研究熱點， 廣泛應用于醫學圖像、 航空航天、 控制系統、 教育教學等領域。 借助混合現實系統信息， 既能有效提高系統性能， 也能擴展用戶的認知能力， 輔助人類決策， 提高解決問題的能力。 在混合現實系統中， 多源、 實時、 動態的海量信息最終是以交互界面的形式呈現給用戶， 交互界面信息的可視化呈現， 對于混合現實系統的功效、 可用性以及用戶獲取信息的效率都有著舉足輕重的作用， 已成為信息科學、 智能科學、 系統科學、 工效學等學科和領域共同關注的問題。如何在混合現實界面中科學呈現數據信息， 使用戶更好的觀察現實信息、 搜索信息、 獲取信息， 更有效的實現信息的識別、 判斷并做出正確決策已經成為了混合現實界面的可視化呈現研究的焦點問題。 尤其在軍事領域、航空航天領域， 不僅需要用戶在復雜繁多的信息中找到目標， 還要求精準、 快速做出決策， 因此， 對混合現實系統界面進行研究， 并提出界面信息呈現準則與界面設計原則， 是十分必要的。

1 混合現實定義

提及混合現實， 就會想到虛擬現實 （Virtual Reality，VR）和增強現實（Augmented Reality，AR），三者相互區別又相互聯系。 混合現實是在虛擬現實與增強現實基礎上的進一步發展。 虛擬現實呈現的是一個三維的虛擬空間， 用戶看到的是虛擬的空間。 增強現實是把虛擬信息疊加到真實空間內， 既有虛擬空間又有真實世界， 而混合現實是真實世界與虛擬世界的無縫連接， 在現實世界、 虛擬世界和用戶之間搭起了一個交互反饋的信息回路。對于混合現實的定義，Milgram 等[1]提出“虛擬連續統一體”的概念， 解釋了虛擬現實、 增強現實與混合現實三者之間的區別與聯系， 并對MR 概念做出了定義。 在連續體的一端顯示真實環境， 在另一端顯示虛擬環境， 而MR 是在這兩個極端之間的部分。 可以看出， 混合現實是包含增強現實與虛擬現實以及之間的所有組合。

2 混合現實及界面相關研究

隨著混合現實技術的發展， 越來越多的學者針對混合現實展開了相關研究。李暢等[2]針對航天員混合現實系統艙內環境智能理解任務的需求， 構建了一種航天員混合現實空間場景理解原型系統架構， 提出了基于深度學習的空間場景理解方法， 并通過實驗驗證了方法的有效性。 李喆等[3]基于微軟HoloLens 混合現實設備，提出了利用混合現實技術的核電站設備維修輔助系統解決方案。張馨文[4]提出博物館混合現實導覽系統界面呈現原則，并實現了一套基于用戶行為引導功能的混合現實博物館導覽系統。 張旭輝等[5]借助HoloLens 設計了一種基于混合現實的礦用設備維修指導系統， 維修人員可通過視線跟蹤、語音交互、手勢識別等方式與HoloLens 交互。 紀連恩等[6]研發了一個基于混合現實界面的下頜運動仿真系統，使用戶可以與其進行多感知系統交互。 Ko 等[7]在之前的可用性相關研究的基礎上， 提出了智能手機AR 應用的可用性原則，并進行了可用性測試，以驗證可用性原則的適用性。 Dυ··nser 等[8]結合一些已知的以用戶為中心的設計原則和AR 系統的需求總結了8 個較為通用的AR 界面設計原則。黃進等[9]總結了混合現實中使用最多的幾種用戶界面形態，分別為實物用戶界面（TUI）、觸控用戶界面、3D 用戶界面、 多通道用戶界面與混合用戶界面。 但是，在實際應用中這些界面之間會有交集，很難劃分清楚這幾種界面。 目前國內外混合現實技術的研究熱點主要集中于核心的算法與軟硬件系統平臺等方向， 較少針對混合現實用戶界面信息呈現及其界面設計原則的研究，因此，本文以混合現實人機界面為研究對象，重點分析其界面特點，得出適用于混合現實系統界面的設計原則。

3 混合現實界面特點

從信息科學的角度，混合現實是一種多層次、多源的數據處理過程，系統對來自不同信息源的數據進行檢測、識別、跟蹤、映射等處理，從而能夠獲得比單信息源數據更詳細、更精確的推理。虛實融合、實時交互、三維注冊是混合現實的主要特征[10]。 用戶通過混合現實界面交互可以更好地實時獲取事物（包括實體、關系和時間）的認識或相關知識，以促進有效決策。相比較傳統數字界面使用情境的單一性、局限性，交互方式的固定性，可視化呈現的低維性，混合現實界面信息在數據來源上具有多源性；在信息特征上具有實時性、動態性；在信息呈現方式上具有重疊性、多維性、空間性。

但是相比較傳統數字界面， 混合現實界面受限于軟硬件平臺技術與用戶的視覺認知，通常呈現低分辨率性、視場局限性、易干擾性等特征，造成目前混合現實界面在多源信息融合、虛實信息疊加、色彩飽和度、背景亮度控制、 信息提示形式、 圖標符號語義等方面存在標準不統一、呈現不科學、用戶認知負荷過載等設計問題。因此，研究混合現實界面信息呈現方式與界面設計原則具有重要意義。

4 混合現實界面設計原則

用戶需要借助混合現實交互界面進行實時交互、自然交互，因此在混合現實情境下，其界面信息呈現需要充分考慮到混合現實技術的虛實結合的呈現特點和混合現實自然行為的人機交互方式。 傳統的用戶界面設計原則雖然可以用在混合現實界面設計中，但是范圍較為廣泛，還是應在傳統界面設計原則基礎之上， 結合混合現實界面的虛實融合和軟硬件技術的限制等特點， 提出面向混合現實系統的界面設計原則。 結合已有混合現實與界面設計研究基礎，針對混合現實界面特點，主要總結出以下六點MR 界面設計原則。

（1）一致性。混合現實界面信息呈現首先應保持界面風格、界面視覺要素的一致性，相同類別或者任務的交互方式也要保持一致性，不能讓用戶感到困惑或者歧義。界面設計還要考慮用戶的認知特性和認知習慣， 與用戶認知保持一致，從而使用戶快速上手，減少學習成本。另外，在多通道用戶界面中，還要保持各個通道（視覺、聽覺、觸覺等） 之間的一致性， 讓用戶在不同通道得到的反饋一致，避免產生混亂。

（2）可辨性。傳統數字界面的可視化呈現只是停留在數據的可視化階段， 而混合現實系統界面的可視化呈現需要上升到數據挖掘與知識發現過程可視化的層次，界面中所呈現的數據信息結構需要與實景進行重疊匹配，因此要考慮混合現實界面信息的遮蔽關系， 其信息呈現要具有可辨性。首先界面信息結構層次要分明，目標信息呈現要突出，與其余信息有所區別，方便用戶搜索查找；其次界面信息不能遮蓋或干擾實景， 不僅要能夠協助用戶觀察， 還要能夠讓用戶在虛實信息中快速準確的分辨出來。

（3）簡潔性。混合現實界面可視化呈現不同于傳統數字界面，其信息是多源和動態的，根據用戶的需求，界面需要在海量數據信息中只呈現與當前現實情境相匹配的信息，并且有時要求用戶快速做出決策，因此，在界面設計時要盡量簡潔，目標呈現方式盡量突出，便于用戶查找以便精準決策。另外界面之間的層級跳轉方式要簡潔，跳轉數目要精簡，保證用戶交互過程中的流暢度，提高用戶體驗。

（4）容錯性。混合現實技術可以將現實世界與虛擬世界融合在一起，相比傳統界面，用戶與界面進行交互時可能會造成出錯。 另外，作為一種新興的人機交互技術，混合現實還取決于硬件設備與交互方式， 硬件設備的不穩定性也會造成誤差與不準確性，因此，混合現實界面設計時應考慮一定的容錯性， 從而讓用戶有更好地用戶體驗與沉浸感。

（5）易學性。 混合現實技術的發展與成熟，促進了其界面范式與交互技術的發展。 在MR 下，用戶可以通過手勢、語音、眼動跟蹤、觸覺等不同的交互技術進行交互。在未來，用戶可能會使用更新穎更先進的交互技術，在更新迭代較快的情境下， 界面設計與交互方式更要易于用戶學習，減輕用戶的學習負擔，這樣才能使用戶更能接受和使用MR 界面，實現實時交互、自然交互。

（6）低負荷性。這里的低負荷包括用戶的認知負荷和體力負荷。在混合現實界面中，不合理的信息呈現方式會增加用戶的外在認知負荷， 用戶在界面交互過程中盡可能的減少認知資源的消耗， 避免不必要的信息跨層和跨域搜索，以提高混合現實系統的人機交互效率。界面信息的設計還要符合用戶的經驗和認知習慣， 讓界面設計去適應人，減輕用戶的內在認知負荷。 另外，有些混合現實場景的實現還需依托一些穿戴設備， 會造成一定的生理負荷，在界面交互方式上也要盡量減輕用戶的生理負擔。

5 結束語

混合現實技術已經廣泛應用于各個領域， 但是研究的重點主要集中于技術層面， 很少關注混合現實交互界面設計研究。文章以混合現實交互界面為對象，結合混合現實相關研究及已有界面設計基礎， 針對混合現實界面特點，提出六點混合現實界面設計原則。雖然硬件設備與交互技術會導致不同的MR 系統界面有所差異， 但是在界面和交互方面還是具有一些相同的特性， 在研究具體的MR 界面信息呈現方式和界面設計時，較為通用的MR界面設計原則可為具體MR 界面設計提供一定的參考和借鑒。