增強現實中的空間深度感知問題

陳東義

多年來，對頭戴式增強現實（AR）的研究得到了諸如手持式AR和投影攝像機系統等新平臺研究的補充。隨著手機應用的快速發展，AR應用概念已逐漸成為市場新興增長點。然而，研究人員和從業者仍在嘗試解決AR設計開發中的許多根本問題。目前，眾多研究人員正在解決由跟蹤注冊算法引起的定位精度問題，但在AR應用中正確地感知仍然是AR應用中的一個關鍵挑戰。這些障礙可以追溯到增強顯示中相互關聯的深度感知和照明感知問題，或是與環境感知有關的問題。這些問題均可能會導致場景感知失真和深度感知失真的情況。雖然其中的一些問題源于技術限制，然而許多是由于有限的理解或顯示信息方法的不足所造成的。

感覺刺激的識別和解釋是一個復雜的構造過程。我們經常從觀察到的環境中獲得不同的線索，并嘗試匹配那些線索。線索提示可以是互相重疊，或者是互相沖突的。其中重要的是，不正確的感知通常是線索提示沖突的結果。在文中，我們僅關注與視覺感知相關的問題，而忽略與其他感知的相互作用。感知問題涉及對生成的虛擬世界以及現實世界在觀察和解釋時出現的一些問題，不僅可能由真實信息和虛擬信息的組合引起，也可能源自于現實世界本身的表現。

針對深度感知失真的問題，目前的研究大多是針對深度相關線索進行修正以達到增強的目的。Christoph等人[1]通過增加景深和選擇性的局部對比度提升來對單目深度線索進行增強。Athena等人[2]指出運動視差等動態透視線索能夠提升深度感知。Chiuhsiang等人[3]調查了使用立體眼鏡觀看近場增強現實虛擬目標的中心距離感知精度，指出當目標是垂直放置，靠近觀察者位置并且目標間隔較小時精度會有提高。Ernst等人[4]詳細探討了增強現實應用過程中與感知相關的問題，并按各種感知類別給出了總結。Chen等人[5]給出了一種感知導向的深度線索增強方法，該方法展示了一種非線性視差映射，能增加觀察者關注的深度范圍。劉自強[6]研究了增強現實中深度一致性問題，并提出了一種基于雙目攝像機的深度計算方法來解決深度一致性問題。鄭毅[7]則介紹了增強現實應用中存在的虛實遮擋問題。相比前述工作，文中我們提供了一種感知問題分類方法，將信息增強作為一個感知理解管道從而對各個環節分別組織闡述，圖1給出了感知理解管道中存在的影響因素的分層關系。

1 增強現實中感知問題的

來源

我們可以從影響感知的因素入手，了解增強顯示時用戶對內容不正確感知的幾個問題。對于某一些任務，不正確的增強現實感覺可能沒有影響，而對于其他一些任務，這類問題是至關重要的。這些問題大致可分為3類：

（1）場景扭曲和抽象。場景增強可能會出現扭曲和部分抽象變形，使得對象識別、尺寸感知、對象分割或對象內部關系的感知變得困難。

（2）深度失真和物體排序。與上一個問題相關，不正確的深度解釋是AR應用程序中最常見的感知問題。AR中的深度是指第一人稱視角，視野中的物體與重疊的信息之間在空間關系上的解釋和相互作用。深度失真和物體排序問題使用戶無法正確地將重疊的信息匹配到現實的世界中。

（3）能見度。用戶可能無法查看內容本身，主要是由屏幕問題引起的，例如：屏幕大小、屏幕反射和亮度，或環境干擾中顏色和紋理圖案。

AR中的目標是將真實世界對象和數字內容之間在感知上正確連接，正確地解釋真實和虛擬對象之間的空間關系。不正確的深度感知是AR應用程序中最常見的感知問題，妨礙了第一人稱視角下視圖中的真實對象與疊加（嵌入）信息之間的空間關系理解。

1.1 增強疊加

增強是指在光學圖像或視頻圖像上注冊數字內容，并可能因技術水平限制而產生一系列相關的深度感知問題。

（1）注冊錯誤。精確注冊依賴于跟蹤設備的正確定位和方向信息（姿勢）。當前的手機具有相對不精確的位置和方位傳感器，導致跟蹤精度和方向測量存在顯著漂移。所需的跟蹤精度取決于所觀察對象的環境和距離要求：較低精度跟蹤對于距離較遠的大型環境中的物體可能是可以接受的，即使產生偏移也不太明顯，而對增強設備附近物體準確地增強則顯得較為困難。

（2）視覺遮擋。物體視覺上被遮擋。與遮擋相關的主要問題是前景和背景的分割不正確：需要在特定對象后面呈現對象，而不是出現在特定對象的前面，否則會導致不正確的深度排序，使得對象看起來像它們不屬于當前場景。自AR出現以來，研究人員試圖使遮擋或隱形物體再次可見，主要是利用稱為X射線視覺的疊加顯示技術，允許用戶通過前面的對象來查看遮擋對象。然而，X射線視覺也容易發生深度排序問題，因為重疊的順序是相反的。

（3）層間干擾。環境物體的排列組合模式會限制增強感知和識別。根據環境背景和增強后的特征，感知干擾可能發生在圖形相交或者是視覺合并的地方，并因此導致前景背景的視覺解釋問題。這些特征受到圖案的方向、透明度、密度和規律性以及使用的顏色方案的影響。另外，前景背景圖案問題與在多層AR系統中發生的問題有關，其中多層AR是指多個虛擬對象被渲染在彼此之上。這帶來的問題是容易出現層間干擾，這取決于虛擬對象的數量及各自的不透明度。一旦層數太大，對象可能會重疊，這可能會降低環境增強信息的可讀性。

（4）渲染質量。渲染質量定義了屏幕上顯示數字對象的保真度。在保真度和數字再現圖形中的深度判斷之間沒有發現直接的關系。除了渲染質量之外，照明可以影響增強物體的保真度及其正確的感知。在分辨率和清晰度之間的差異可能導致不正確的立體感知。

1.2 顯示裝置

顯示裝置向用戶顯示增強的環境，并且像其他階段一樣可以引起空間感知問題。大多數問題可能與屏幕相關聯，但是還有一些問題來自于處理器和圖形單元。

（1）立體顯示。主要存在于頭戴顯示器（HWD），典型的問題包括實際和預設瞳孔間距的差異、視力和對比效應，對齊和校準問題以及與瞳孔匯聚有關的問題。然而，當使用HWD來查看完全人工合成的虛擬環境時出現的一些感知問題可以用AR來減輕。目前來說，立體顯示問題對于手持設備和投影攝像機系統來說還不重要。endprint

（2）視野角（FOV）。FOV是指可觀察世界的角度。在視頻透視顯示中，FOV顯然限制了現實世界中可以看到多少內容。盡管人類視網膜視覺分辨率不到1°，但人類還依賴于非焦點的視力，而有限的FOV使許多視覺任務變得非常困難。目前研究來看有限的FOV不一定會導致深度估計錯誤。在光學透視和手持設備中，問題則變得更加復雜，因為信息空間不再是統一的。人類具有超過180°的水平FOV，而視頻透視HWD通常支持30°～100°水平FOV（盡管有些達到近180°）。光學透視顯示器和手持設備使用相對較小的FOV。在一些光學透視顯示器中，光學器件無框架或被非常薄的框架包圍，用戶可以觀察現實世界中FOV的大部分，而不是重疊的圖形：用戶以正確的尺度看現實世界兩部分。同樣，大多數手持式視頻瀏覽顯示器允許用戶查看顯示器邊框周圍的真實世界。然而，在這些顯示器中，相機使用的寬FOV鏡頭與顯示器中心的偏移相結合，通常會在小且不正確縮放的增強視圖中產生明顯感知差異。

（3）角度偏移。HWD是直接放置在眼睛的前方，因此在被觀察的現實世界和被看見的增強顯示之間通常存在相對小的角度偏移。這種偏移還會通過由連接到顯示器的相機引起可能的進一步偏移強化。根據設備重量，此角度偏移量可能會隨著時間的推移動態增加。偏移影響了用戶對增強后真實世界的間接觀察。這種問題也可以稱之為對齊問題，用戶不能很容易地直接看到現實世界中內容之間的關系，以及在屏幕顯示時兩者的比較關系，這需要用戶經歷一個困難的心理旋轉和縮放適應過程。另外，相機相對于顯示器的角度和放置位置可能會使視角偏移進一步出現惡化。

（4）顯示屬性。當與環境光混合時，顯示亮度和對比度會影響內容的可視性。顯示亮度是指顯示器的亮度，大約在250～500燭光/平方米（cd/m2）之間變化。對比度可以由顯示能夠產生的最亮顏色（白色）的亮度與最暗顏色（黑色）的亮度的比率來表示。特別是在戶外應用中，由于環境光的影響，顯示器對比度受到很大限制，環境光將降低顯示屏的對比度，這導致人類視覺系統無法區分更細微的顏色。

（5）色彩保真。在AR中，色彩保真度是指現實世界與屏幕上顯示的顏色相似度。而在打印介質中，不同設備的顏色表示之間存在標準轉換，目前的做法通常不涉及采樣的真實世界顏色之間的映射。色彩空間轉換使用色域映射方法將顏色轉換為可在給定設備上顯示的范圍。自然色彩的全系列不能忠實地表現在現有的顯示器上，特別是不能再現高度飽和的色彩。這可能扭曲基于顏色的感知線索，并影響對顏色編碼信息的解釋。戶外環境中的色彩保真度是一個非常復雜的問題。更改戶外條件會影響光學透視顯示器，因為在視頻透視顯示器中，現實世界和重疊式顯示在相同的色域中。在投影機相機系統中，投影面上的紋理變化可能會干擾色彩表現。

（6）鏡面反射。反射是擾亂AR內容感知最重要的影響因素。在HWD中，閃亮的物體可能會擾亂感知。在具有暴露屏幕的手持AR系統中，內容可能幾乎看不見，這通常取決于環境條件，例如朝向太陽或人造燈的亮度和方向以及被反射的物體之間的相對觀察位置。反射也引入了多個視差平面的問題，因為反射物體通常與屏幕內容不同。當內容投射在鏡面反射面上時，投影機相機系統中的反射也是一個問題。

（7）系統延遲。延遲涉及捕獲或顯示內容的延遲，并且直接取決于顯示設備能夠產生的每秒幀數。大多數情況下取決于處理器和圖形卡的性能，并與內容的復雜性直接相關。硬件性能可能會影響內容的捕獲和渲染質量。延遲包括動態注冊延遲、相機圖像更新和渲染覆蓋延遲。延遲影響用戶與內容的直接互動。延遲對正在觀看的內容的感知影響較小，例如：許多AR應用程序涉及靜態或至少緩慢變化的內容，渲染速度對這類內容影響程度較小。依賴于快速圖形生成（如游戲）或依賴于重疊圖形的靈巧運動類應用程序的可用性也存在受到延遲引起的感知限制的影響。

1.3 用戶感知

用戶是感知流水線的最后階段，受到各種平臺的不同影響。

（1）個人差異。在顯示屏幕上呈現的數字內容的最終感知受到用戶之間個體差異的高度影響。這些差異可能需要對我們表示信息的方式進行明顯的修改，例如圖標或文本。個體差異體現在用戶感知細節的能力，包括眼睛視力、色覺能力和空間分辨能力等差異。

（2）深度提示。深度線索在解釋增強內容中起著至關重要的作用。圖形深度線索是圖像中的特征，給人以物體的不同深度的印象。這些線索包括遮擋、視野中的高度、相對尺寸、空中視角、相對密度、相對亮度和陰影。動態深度提示可以通過視點位置動態變化而獲得深度信息，例如相對運動視差和運動視角。生理深度提示來自眼睛的肌肉控制系統，包括會聚（相反方向的眼睛旋轉以固定在一定深度）、調焦（通過改變眼睛的晶狀體形狀來抵消模糊）和瞳孔直徑（通過改變眼睛的景深來抵消模糊，但是也受環境照明水平的影響）。最后，雙目視差通過組合由眼睛提供的場景的兩個水平偏移視圖來提供深度線索。在所有這些深度線索中，遮擋是最主要的，這驅動了AR中最普遍的深度提示問題：空間距離上不正確的深度排序。當只有有限數量的深度線索可用時，這個問題變得更加成問題，這可能導致物體深度不足，甚至出現矛盾。

（3）視差平面。現實世界和虛擬物體都會有不同的雙目差異，并導致與視差平面和視差區域相關的知覺問題。在雙視AR系統的中，經常會出現深度差異：增強信息存在于一個區域，而現實世界存在另一個區域。由于這些區域處于不同的焦點深度，所以用戶可能需要在這些區域之間持續地切換其聚焦（眼睛旋轉）來比較內容，或者因為注意力被吸引到其他區域。此外，在HWD中，在視錐的前平面中呈現的用戶界面元素與實際AR內容之間可能存在深度偏移。當用戶經常需要使用界面時，會導致這些不同深度平面之間的定期切換，這將導致視覺疲勞。

（4）瞳孔調節。立體顯示器的用戶通常會遇到所謂的會聚調節沖突。當眼睛收斂于提供給左眼和右眼兩個空間偏移視圖中的觀察物體時，就會發生這種沖突。人類視覺系統一般具有容忍這種不匹配的能力，但深度感知會被扭曲。在單視鏡和投影攝像機系統中，所有內容都在單一深度平面上顯示和觀看，因此不存在這個問題（以損失會聚調節深度線索為代價）。投影機相機系統可能沒有焦平面（差異）問題。然而，由于除激光投影機之外的所有焦點都具有固定的焦點深度，因此不同的多個非連續深度面將產生深度感知問題。endprint

2 增強現實中感知問題的

解決思路

研究人員提出了各種方法來解決增強現實中感知渠道的問題。在本節中，我們概述除用戶之外的主要解決思路。

2.1 環境分析

物體在雜亂場景中的增強通常需要使用一種視覺輔助機制，來對物體進行獨特的增強綁定。具體來說，當增強信息重疊在幾個對象上時，正確的對象布局判斷可以輔助正確的增強疊加，可以使用計算機視覺分析方法來分離前景和背景層。增強也可能需要一些顏色上的拮抗，以避免增強信息與被覆蓋物體的出現視覺融合現象。然而，如果對象顏色發生改變，則對象和增強信息可能會出現分離的情況。

2.2 捕獲設備

捕獲受到鏡頭和攝像機參數兩者的限制。然而，解決由鏡頭引起的問題通常很困難，目前只有少數解決方案存在。對于廣角鏡頭，觀察者不一定會注意到廣角引入的扭曲，而雙重視圖條件下真實世界的視圖可以糾正包括由低分辨率引起的線索提示之間的潛在沖突。然而，雙重觀圖的情況會增加視差平面切換和認知負荷，并且當對象快速移動時無效。

2.3 增強提示

對于與遮擋對象相關的問題，大多數研究人員通過避免對象裁剪來糾正深度排序問題。此外，已經出現了許多技術能夠改善被遮擋對象的X射線可視化。正確的光照渲染也有助于與遮擋物體相關的深度排序，例如使用陰影信息能夠提供重要的深度提示。正確的光照渲染也可以使場景深度更加可信，防止增強的虛擬物體看起來像一個突兀的平面模型。此外，可以使用諸如網格或深度標簽（距離指示器）的人造深度提示來直接向用戶提供深度線索判別。

2.4 顯示設備

目前的顯示技術水平不斷提高，預計將出現新的顯示技術，以更好地應對亮度和對比度問題。盡管顯示內容在陽光充足的條件下還難以清晰呈現，但目前顯示技術經常使用背光和抗反射涂層使內容更加可見。可以通過增加涂層來最小化反射光，但這也可能降低屏幕的亮度。類似地，在HWD殼體的內部應避免設計反射表面。匹配環境光照的動態范圍同樣是一個問題。飛機中使用的平視顯示器可以匹配該動態范圍，并且基于激光的顯示技術具有匹配該動態范圍的應用潛力，但是目前還沒有被廣泛使用。

3 結束語

文章中，我們概述了主流AR平臺上影響用戶正確感知增強信息的主要問題來源，特別是影響空間深度感知的一些因素。總而言之，除去對內容主體增強，如何使用戶在感知上也獲得正確的增強仍然是一個困難的問題，并對AR平臺的用戶體驗構成了潛在困擾。從技術和方法看，還有很大的改進空間。由于涉及到人的主觀感受，通過改進的硬件和軟件來實現感知正確的增強是非常具有挑戰性的研究方向。相關技術平臺開發也是未來研究的基礎方向。endprint