增強現實人機交互技術研究

王凌云 楊世康

摘要：人機交互技術是增強現實的重點，屬于計算機、人類工程學、認知學等多學科交叉的研究領域。近年來，增強現實中的人機交互技術一直在探索更加智能化、自然化以及高效化的交互方式，成了國內外研究的熱點。文中調研了人機交互技術發展歷程，指出了增強現實人機交互技術存在的問題，最后做出了總結。

關鍵詞： 增強現實; 人機交互; 增強虛擬

中圖分類號：TP39? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）14-0179-02

Abstract：As the crucial support of augmented reality ，human-computer interaction is an important research field of multidisciplinary research，such as computer， ergonomics， cognition science. In recent years， the human-computer interaction technology in augmented reality is tending to be intelligent， natural and efficient ， and hitting the research area in the world. This paper surveys the development process of human-computer interaction technology， points out the problems of human-computer interaction technology in the augmented reality， finally makes a summary.

Key words：augmented reality; human-computer; augmented virtuality

1 引言

早在二十世紀，人們開始對事物平面展示的形式不滿足，隨之應運而生的增強現實技術利用計算機技術無縫融合虛擬場景與真實世界，在用戶視野中實時可視化虛擬場景，發展潛力巨大。增強現實技術從最初的軍用，到逐漸的商用，最后到現在的民用，用于軍事、娛樂、展覽、古跡再現、文化遺產保護等多方面，用途十分廣泛，具有較強的實用性和交互性[1]。增強現實技術目的在于對真實世界的增強，關鍵支撐技術有三維注冊技術、場景渲染技術和人機交互技術。

2 人機交互發展歷程

人機交互技術是指用戶以便捷、自然的方式與智能設備生成的虛擬場景進行信息交換的技術[2]。理想狀態下的人機交互技術可以不依賴于鍵盤、鼠標以及觸摸屏等外界設備，人與計算機隨時隨地自然交流，從而最終實現虛實場景的無縫融合。目前理想狀態尚未達到，只能通過現階段智能化的計算機和移動設備，將用戶的行為狀態，例如用戶的肌肉運動、姿勢或語言等多種行為狀態輸入信息轉換成一種智能設備能夠理解和操作的信息，并通過對用戶多個感知進行模擬刺激，為用戶提供實時的交互信息。人機交互技術的發展好壞很大程度影響了用戶的體驗以及增強現實技術的應用領域，是重點支撐技術[3]。如圖1所示，為人機交互技術的發展歷程。

2.1 傳統交互技術

使用傳統硬件設備進行人機交互的交互工具包括鼠標、鍵盤等。鼠標鍵盤在計算機中，可以選中顯示系統縱橫坐標系的某一點，通過進行按鍵、拖動等操作選中、拖拽、放大、縮小該點。這類方法簡單易操作，但是需要外部設備的支持，降低了交互體驗的沉浸感，無法很好適應在三維空間實時人機互動的應用場景。

2.2 觸控交互技術

觸控交互技術以人手為主要的輸入方式，仍需要與設備進行接觸，但是相較于傳統硬件設備更為人性化，既可以作為輸入設備捕捉用戶的動作，也可以作為輸出設備為用戶提供觸覺體驗，讓用戶有真實的沉浸感。觸控交互技術從單點觸控發展到多點觸控，實現了單一手指點到多手指點甚至是多用戶交互的轉變，更容易被用戶認可。在識別指令方面，除傳統交互技術外，觸控交互技術現階段的準確率相較于其他的交互技術是最高的，只需要用戶在對的地方使用對的方式進行操作即可。目前具有代表性的觸控交互技術有3D觸覺反饋觸摸屏、TouchSense?觸覺反饋技術等[4]。

2.3 語音交互技術

語言是最自然直接的方式。語音識別技術已經成為目前增強現實系統中應用較成熟的人機交互技術，在某些無法使用傳統鍵盤輸入信息的環境中，語音是首選的友好方式。在增強現實中，語音一方面可以直接交互，另一方面可以輔助用戶交互。語音交互的重點在于語音識別引擎，現有的引擎包括Speech API、Via Voice和國內的科大訊飛均有很好的性能，為人機交互技術的發展提供了有力的平臺。

2.4體感交互技術

體感交互技術利用傳感器或基于計算機視覺，使用人體手勢識別或動作捕捉等作為交互策略，追蹤人體如手、頭或腿等關鍵部分的位置，分析獲取用戶在現實世界的運動姿態數據作為交互信息輸入[5]。Kinect體感設備動態捕捉能力強，能夠進行精確跟蹤骨骼以及映射關節肢體活動，為體感交互帶來了革命性的進展。此外Leap Motion、Hololens和Magic Leap等體感設備的出現普及了娛樂互動的增強現實應用。體感交互方式符合人類的自然習慣，是目前人機交互技術關注的熱點之一。

2.5 生理交互技術

生理交互技術即指通過實時測量如腦電信號、呼吸信號、心電信號和肌電信號等人體生理信號，分析識別用戶心理狀態和交互意圖并反饋的交互方法。加拿大Thought Technology公司研究的多參數生物反饋儀具有豐富的專注度反饋訓練系統[6]。目前，生理交互技術對系統硬件軟件都有一定要求，操作復雜，價格昂貴，加大了開發難度，限制了部分人群研究和使用增強現實設備，但對豐富增強現實設備的交互方式至關重要。

2.6 混合交互技術

混合交互技術是近年人機交互和增強現實研究的主要方向之一。混合交互技術支持用戶使用多種交互方式與計算機進行交互，可以發揮出各自交互方式的獨有優勢，豐富交互信息。混合交互利用交互信息互補的靈活性提高用戶的感知效率和與計算機的交互效率，用戶減輕了單一的交互方式產生的認知負荷，計算機也不會因單一的交互方式負擔過重，以此改善交互效果。混合交互技術中交互信息如何整合一致，獲取用戶真實交互意圖，以及交互融合機理等問題研究較少，是目前研究關鍵問題[7]。

3 增強現實人機交互技術存在的問題

3.1 交互視野問題

目前，增強現實設備的交互界面雖然可以將整個真實世界的場景作為交互的背景，但交互界面為設備的視窗，分辨率低，容易出現成像效果是視窗疊加在現實世界中，突兀感強。其次目前的交互僅局限于近距離的視野，遠處的視野并不能很好的融合虛擬對象的數據信息，一定程度影響了用戶分析。最后，增強現實設備不能獲取其他用戶的交互場景，減少了群體交互體驗感。

3.2交互技術問題

增強現實技術的目的在于對真實世界的增強，然而現在大多數系統在數據處理上存在較大差距，虛擬物體在注冊上的延遲和錯誤率都較高，影響了交互表現。其次傳統交互方式雖然只有點擊、拖拽或滑動等操作，但仍需要學習和理解成本，導致用戶無法正確理解交互場景。體感、生理等交互方式符合人類習慣，但是研發費用昂貴，操作復雜，影響了增強現實設備的開發研究。目前的大多數增強現實技術只有一種交互方式，忽略了其他感知和交互技術，傳感器技術的發展也制約了混合交互技術的設計和發展。

3.3社會接受度問題

大部分的增強現實應用還處于實驗階段，在實際場景的應用效果尚未確認，并且大多是增強現實技術應用在專用交互工具上，如頭盔顯示器、手持設備和投影設備上。在工作場所、大街上佩戴頭盔顯示器揮舞手臂，時刻舉著手機觀察每一件事物，或者在墻壁上、桌面上投影自己感興趣的內容等行為，其他人對這樣的個人行為接受程度以及用戶個人隱私保障，都是人機交互設計的關鍵挑戰。

4 結論

在計算機視覺與人工智能技術的推動下，面向增強現實的人機交互技術展現了強有力的發展勢頭，同時也尚有許多問題有待解決，一方面是交互設計原則的制定，一方面是協調虛擬對象和真實世界的融合。發展的總目標是“以人為本”，避免特殊培訓和記憶，利用已有的經驗就能實現人機對話，即更為自然、直觀、友好以及支持多用戶的增強現實交互技術仍是目前研究的熱點和必然趨勢。在未來，面向增強現實的人機交互技術能很大程度的改變人類生活，會有更為廣泛的應用，是科技發展的必然趨勢。

參考文獻：

[1] 王宇希，張鳳軍，劉越.增強現實技術研究現狀及發展趨勢[J].科技導報，2018，36（10）：75-83.

[2] 黃進，韓冬奇，陳毅能，等.混合現實中的人機交互綜述[J].計算機輔助設計與圖形學學報，2016，28（6）：869-880.

[3] 侯穎，許威威.增強現實技術綜述[J].計算機測量與控制，2017，25（2）：1-7，22

[4] 張鳳軍，戴國忠，彭曉蘭.虛擬現實的人機交互綜述[J].中國科學：信息科學，2016，46（12）：1711-1736.

[5] 郭娜，王田苗，胡磊，等.ACL重建手術增強現實導航系統的人機交互技術[J].計算機工程與應用，2020，56（21）：224-230.

[6] 馮韶文. 基于腦電波的青少年專注度訓練系統設計[D].山東理工大學，2020.

[7] 高翔，安輝，陳為，潘志庚.移動增強現實可視化綜述[J].計算機輔助設計與圖形學學報，2018，30（01）：1-8.

【通聯編輯：唐一東】