頭戴式增強現實顯示設備技術綜述

王文曉張 謙徐國祥

（1.國家知識產權局專利局專利審查協作河南中心電學發明審查部，河南 鄭州 450000；2.國家知識產權局專利局專利審查協作北京中心電學發明審查部，北京 100000）

頭戴式增強現實顯示設備技術綜述

王文曉1張 謙1徐國祥2

（1.國家知識產權局專利局專利審查協作河南中心電學發明審查部，河南 鄭州 450000；2.國家知識產權局專利局專利審查協作北京中心電學發明審查部，北京 100000）

隨著增強現實（AR）技術的逐漸成熟，頭戴式顯示設備將會是增強現實顯示設備中最具有市場前景的交互界面呈現設備。基于此，主要論述AR顯示設備的基本類型，重點介紹頭戴式（Head-Attached）顯示設備的分類、運作原理及相關的代表產品，最后對當前最新的頭戴式AR顯示設備的產品進行總結，并給出幾個需要解決的問題。

虛擬現實；增強現實；混合顯示；3D

虛擬現實（Virtual Reality，以下簡稱VR）技術最早在20世紀80年代提出，利用計算機生成的虛擬多源信息進行融合交互式的三維動態視景和實體行為的系統仿真，使用戶在該虛擬環境中與物體進行沉浸式行交互。隨后在VR技術的基礎上又出現了多種VR增強技術。在20世紀90年代設計一個輔助布線系統時，波音公司的考德爾及其同事首次提出［1］：通過實時地計算攝影機影像的位置及角度并加上相應圖像的技術，將虛擬環境與現實環境進行匹配合成以實現增強，這種使三維虛擬對象疊加到真實世界顯示的技術稱為增強現實（Augmented Re?ality，以下簡稱AR）。

保羅·米爾格拉姆（Paul Milgmm）和岸野文郎（Fumio Kishino）于1994年提出：現實-虛擬連續統（Milgmn’s Re?ality-Virtuality Continuum），將現實世界（Real Environ?ment，以下簡稱RE）和VR分別作為連續統的兩端，位于它們中間的統稱為“混合實境（Mixed Reality,以下簡稱MR）”，靠近真實環境的是AR，靠近虛擬環境的則是擴增虛境（Augmented Virtuality，以下簡稱AV）。

本文主要論述了AR顯示設備的基本類型，重點介紹頭戴式（Head-Attached）顯示設備的分類、運作原理及相關的代表產品，最后對當前最新的頭戴式AR顯示設備的產品進行總結，并給出幾個需要解決的問題。

1 AR顯示設備的分類

Bimber和Raskar按AR圖像的形成位置不同，將AR顯示設備分為頭戴式（Head-Attached）、手持式（Hand-Held）和空間式（Spatial）3種。

1.1 頭戴式（Head-attached）顯示設備

也稱作近眼顯示設備（Near-Eye Display，NED），包括視網膜掃描顯示（Retinal Scan Display，以下簡稱RSD）、頭戴式顯示器（Head-Mounted Display，以下簡稱HMD）、頭戴式投影顯示器（Head-Mounted Projector，以下簡稱HMP）3種主要形態，屬于可穿戴式顯示設備，固定在人體頭部，通過相應的光學組件使得虛擬圖像可以疊加顯示在肉眼觀察的真實物體（Real Object）上，從而實現AR效果。

頭戴式顯示設備受限于體積、成本及相關技術等方面的因素，目前還存在有重量大、舒適性差、續航時間短等缺陷，相關研究主要集中在優化系統性能和能耗、改善光學組件結構與重量、提高使用舒適度等方面。

1.2 手持式（Hand-held）顯示設備

手持式AR顯示設備借用手持式移動終端（如手機、平板電腦等）的顯示屏幕作為AR圖像的顯示設備；或者采用帶有分束器（Beam Aplitter）的手持鏡等設備通過光學合成器融合反射圖形，在投影面上顯示AR圖像；近年來，Raskar等人還提出將投影機作一種手電筒，以交互的方式生成虛擬物體并直接投射到真實物體上，可以應用于建筑的維護等工作中。

手持式顯示設備所生成的圖像可以在手臂伸展的范圍內自由移動，顯然需要占用至少一只手，將會對使用者的操作與控制帶來不便。在使用移動終端顯示屏幕作為AR顯示設備時，還對移動終端自身的性能和能耗都提出了較高的要求，在當前高密度二次電池技術沒有突破性進展的情況下尚未得到很好的解決。

1.3 空間式（Spatial）顯示設備

空間式顯示設備通過多種技術使得用戶可以直接參與到三維空間中的AR交互中，具體包括有基于屏幕的視頻穿透顯示、空間光學穿透顯示和基于投影的空間顯示等。

空間式顯示設備由于其體積龐大，只能應用于固定顯示領域，缺乏沉浸式體驗，但對于演示三維模型等應用具有突出的優勢，目前該技術還處于研究狀態，尚未進入廣泛的商業化應用。

2 頭戴式AR顯示設備

依據圖像生成技術可以將頭戴式AR顯示設備分為三類：利用低功率激光將圖像直接透射到視網膜的視網膜顯示技術RSD、利用設置在眼睛前方的微型顯示器的頭戴式顯示器HMD，以及使用微型投影儀或透射式LCD使得生成的圖像可以同時疊加顯示在真實環境上的頭戴式投影顯示器HMP。

2.1 視網膜掃描顯示（RSD）

視網膜掃描技術的研究源自于20世紀80年代初由Webb R所設計的掃描激光檢眼鏡（Scanning Laser Oph?thalmoscope，以下簡稱SLO）。SLO采用特殊設計的掃描裝置控制激光束按照時序掃描以實現對人眼視網膜的均勻照明，通過對眼底反射光進行探測成像以重構二維的視網膜圖像，該系統已廣泛應用于醫學獲取眼底的視網膜圖像［2］。

目前應用RSD技術的主要有Magic Leap公司的頭戴式AR顯示設備（尚未有明確產品名稱）及Avegant公司的頭戴式VR顯示設備Glyph等。

MagicLeap公司成立于2011年，是一家位于美國的增強現實公司，2014年MagicLeap公司聯合華盛頓大學的研究人員共同申請了發明名稱為超高分辨率掃描光纖顯示系統，這種掃描光纖顯示的技術優勢在于分辨率相當高，并且可以通過圖象調制實現光場（Light Field）的顯示效果。但是，其依然存在較為明顯的技術缺陷，光源調制系統過于復雜導致其很難實現可移動化，據稱其附加設備可能同冰箱一樣大小，顯然離產品成熟面向市場還具有一定的距離。

2.2 頭戴式顯示器（HMD）

HMD是目前最常見的AR顯示設備，一般分為光學透射式（Optical See-Through，以下簡稱OST）頭盔和視頻透視式（Video See-Through，以下簡稱VST）頭盔。OST是指用戶可以直接透過透明鏡片看到真實世界，并通過反射或投影方式看到虛擬環境或對象；而VST則是指將頭盔上集成攝像頭采集的外部圖像與虛擬場景相合成，然后輸出到用戶眼前的小屏幕上。

2.2.1 VST頭盔。應用于AR的VST頭盔是在原單純的HMD顯示器上進一步結合了攝像頭和相關圖像技術而得來的。應用于AR的VST頭盔利用設置在頭盔上的攝像頭拍攝現實世界的圖像，與虛擬圖像合并后將混合圖像顯示在頭盔內，為用戶提供臨場感，該技術已經比較成熟，市場應用比較廣泛，當前市場中的代表產品有Sony Playstation VR、Oculus Rift、HTC Vive等。

VST頭盔的優點是技術成熟可靠，視網膜顯示屏（Retina）和相關傳感器技術已經相當成熟。然而，由于該類型技術依靠于對現實世界的拍攝-識別-轉換的過程，無法做到極高的真實度，影響交互效果，同時無法很好地解決重量問題和續航，導致佩戴舒適感差，容易造成VR臉（即長時間佩戴該設備導致雙眼周圍部分會產生明顯壓痕），并且易引起3D眩暈等癥狀。

2.2.2 OST頭盔。OST頭盔是基于平視顯示器（Head Up Display，以下簡稱HUD）技術延伸和發展得來的。HUD是目前普遍運用在航空器上的飛行輔助儀器，也可以理解為最早的AR顯示設備。OST利用了HUD的投影原理，利用特定角度的半透鏡或者透明液晶顯示器反射投影儀投射的虛擬圖像，人眼通過半透鏡或者透明液晶顯示器就可以同時觀察到現實世界和虛擬圖像。

谷歌眼鏡已經將體積和重量盡可能縮小，然而因為顯示原理的限制，會導致用戶長時間觀看顯示圖像信息后視覺疲勞，顯示的圖像信息不夠真實，同時由于大幅度縮小體積的原因導致谷歌眼鏡的顯示范圍非常小（僅在視線中心上方的一小塊區域），因此也幾乎喪失了AR系統的交互功能，僅僅能提供顯示提示信息的功能，因此市場接受度很低，谷歌公司已經于2015年1月19日停止了該項目的所有研究工作。

2.3 頭戴式投影顯示器（HMP）

HMP最大的特點是使用了覆蓋于整個視線范圍內的透明輕薄的光波導元件，投影光束經過光束分離器（Beam Splitter）后照射到全反射表面（Retro-reflective Sur?faces）的光波導后反射進入人眼，因此投影圖像與現實世界疊加在一起，共同組成了AR顯示畫面。

以微軟公司的Hololens全息眼鏡（http://www.micro?soft.com/microsoft-hololens）為例，Hololens是美國微軟公司于2015年1月22日與Windows 10共同發布的全新產品，是微軟公司基于美國奧斯特豪特集團有限公司（Os?terhout Group，INC）的一系列相關技術而進一步優化整合的產物。

該產品包括有兩組深度相機、一組手勢相機、兩組顯示鏡片及麥克風等相關傳感器，可以偵測并創建環境模型，識別環境中的可交互對象，并在用戶視線范圍內展現一幅栩栩如生的混合圖像，各種傳感器可以追蹤用戶的移動，通過層疊的彩色鏡片創建可以從不同角度進行交互的對象，使用聲控或者手勢控制與交互對象產生任何的交互動作，同時該設備作為一個完整的設備而無需連接到任何計算機主機中即可使用。

由于Hololens也使用了透射式鏡片，為了解決鬼影現象，可以在透鏡靠近現實世界一側設置可以區域阻光的材料，如電致變色透鏡、透明式液晶、電子墨水等，使得在需要顯示高對比度或純色區域時得到較好的效果。

通過基于深度識別的SLAM（實時定位與地圖構建）技術，通過發射IR光線投射網格或條紋圖案到場景當中，檢測變形的圖案來分析、確定目標或物體上特定位置的物理距離，通過2組不同朝向的深度相機，可以創建超過人眼視線范圍的環境模型，以提前預測人體動作。用戶也可以通過光學手勢識別系統來主動輸入操作命令，與交互物體產生交互。在左右雙眼旁各設置一個眼睛跟蹤相機，通過識別肉眼反射的紅外光線來跟蹤眼球指向，通過處理單元分析視線焦點來對虛擬圖像進行顯示調整。基于陀螺儀、加速度計或磁力計的數據來細化或更新設備（或用戶）的位置和取向數據，以確定潛在的視角。

Hololens可以說是當前最成熟、最完善的AR顯示設備，同時也是一個完整的AR系統，雖然受限于成本和重量，目前的版本還存在有視角優先、虛擬圖像質量不高、系統性能不足等問題。但是，微軟公司的一系列專利文件證明，隨著技術的不斷進步，這些問題都隨之迎刃而解，毋庸置疑Hololens在短時間內是最好的AR設備。

3 結語

綜合以上技術原理及產品技術的分析來看，當前唯一實現了量產的產品只有微軟公司的Hololens，并已經開始就商業化應用開展各類應用程序，其實現了在一個輕便頭戴式眼鏡形態的獨立設備中，常規續航時間5.5h，高負荷續航時間2.5h，可以與任何支持WiFi或藍牙通訊的設備進行聯網的高度成熟系統，具有佩戴舒適、顯示延遲低、支持手勢操作等功能，已經與MagicLeap公司的概念化產品產生了巨大的差距。MagicLeap公司的產品雖然具有比3D顯示效果更佳的優勢，但由于其自身的原理導致其很難微型化，不利于其消費產品的推廣和使用。在可以預計的短期時間內，微軟公司的Hololens將成為增強現實技術的最佳交互界面。

［1］朱淼良，姚遠，蔣云良.增強現實綜述［J］.中國圖像圖形學報，2004（7）：767-774.

［2］呼新榮，劉英，王健，等.基于視網膜掃描的頭戴顯示器研究現狀［J］.紅外與激光工程，2014（3）：871-878.

Review of Head-Attached Augmented Reality Display Devices

Wang Wenxiao1Zhang Qian1Xu Guoxiang2
（1.Patent Examination Cooperation Center of the Patent Office，SIPO，Henan，Department of Electrical Invention and Examination，Zhengzhou Henan 450000；2.Patent Examination Cooperation Center of the Patent Office，SIPO，Beijing，Department of Electrical Invention and Examination，Beijing 100000）

With the gradual maturity of augmented reality(AR)technology,the head mounted display device will be the most promising interactive interface presentation device in reality display devices.Based on this,this paper main?ly discussed the basic types of AR display equipment,the classification,operation principle and the related represen?tative products of the head wearing type(Head-Attached)display device were mainly introduced.At last,the prod?ucts of the latest AR display device were summarized,and some problems that need to be solved were also given.

virtual reality；augmented reality；mixed display；3D

TN873

A

1003-5168(2016)09-0090-03

2016-08-19

王文曉（1985-），男，本科，助理研究員，審查員，研究方向：計算機輸入輸出設備與技術，防偽印刷技術，靜態存儲器驅動電路技術等領域發明專利申請實質審查；張謙（1979-），男，本科，副研究員，部門主任，研究方向：電學領域發明專利申請實質審查（等同于第一作者）。