增強現實技術簡述

朱 杰

中國美術學院上海設計學院，上海 201203

增強虛擬現實技術（Augmented Reality，AR）通過計算機實時產生三維信息來增強人對真實世界的感知。雖然來源于虛擬現實技術(Virtual Reality，VR)，但AR的偉大之處在于把計算機、網絡和用戶都帶回了真實世界。它利用計算機系統產生現實環境中并不存在的虛擬信息，這些虛擬信息可被用戶以視覺、聽覺、觸覺、嗅覺等各種方式感知，成為周圍真實環境的組成部分。

1 簡介

上世紀90年代初期，波音公司的Tom Caudell和同事最早提出了“增強現實（以下簡稱AR）”。在他們設計的系統中，把由簡單線條繪制的布線路徑和文字等提示信息，實時地疊加在機械師的頭盔顯示器上，而這些信息則可以幫助機械師一步一步地完成拆卸過程。AR系統的目標就是這樣，借助光電顯示技術、交互技術、計算機圖形技術和可視化技術等，產生現實環境中不存在的虛擬對象，并通過注冊技術將虛擬對象準確地“放置”在真實環境中，使用戶處于一種融合的環境中，不能區分真實和虛擬，用戶所感知到的只是一個真實和虛擬相融合的唯一存在的世界，并能與之交互。

AR是一個多學科交叉的新興研究領域，該領域的權威學者北卡大學Ronald Azuma提出 AR系統包含三個內容：真實世界和虛擬世界的信息集成，即虛實融合；具有實時交互性；三維尺度空間中定位增添虛擬物體，即三維跟蹤注冊。其中，尤以實時的人機交互最為重要，因為沉浸感和感知的增強皆源于此。人機交互是一門包括計算機視覺、心理學、人工智能等多學科交叉的技術，隨著傳感器、力反饋等硬件設備的發展，以及對人的個體差異、感知研究以及認知科學的發展，人機交互已成為世界各國信息產業競爭的一項關鍵技術，并逐漸實現向“以用戶為中心”的轉變。

另一種定義是1994年保羅?米爾格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出的現實-虛擬連續統（Milgram's Reality-Virtuality Continuum）。他們將真實環境和虛擬環境分別作為連續統的兩端，位于它們中間的被稱為“混合實境（Mixed Reality）”。其中靠近真實環境的是增強現實（Augmented Reality），靠近虛擬環境的則是擴增虛境（Augmented Virtuality）。

2 技術原理

2.1 顯示技術

用于AR 的顯示器有頭盔顯示器( Head-Mounted Displays, HMD) , 手持顯示器( Hand-Held Displays) 和投影顯示器( Pro jection Displa ys) 。

2.2 跟蹤和定位技術

為了交互, AR 需要進行定位, 因而準確地跟蹤用戶的位置和視域方向是十分重要的。 對于室內環境, 通常預先在已知的位置上放置基準的標記, 通過跟蹤這些標記跟蹤真實對象,從而擴大跟蹤范圍。 目前在準備好的室內環境中, 能夠實現魯棒性定位。 對于室外、移動的AR 應用, 一般使用GPS 或Dead Reckoning 技術跟蹤計算對象在戶外的實時位置。 但這也有很大的局限性， 如GPS 需要天空能見度很高。另外，還可以跟蹤可見的自然特征( 如環境中已有的、不變對象)。 如果有環境數據庫, 那么就可以根據跟蹤可見的水平輪廓或已繪制的周圍建筑物的預知視圖, 與視頻進行匹配。另外， 給定有限的一組已知特征點, 跟蹤系統能夠自動地選擇和測量環境中新的特征點。但是， 目前這些方法還不支持實時運行, 而更適于特效和后期制作的應用。

完全控制定位錯誤比較困難， 因為應用需要的精確度越高, 引起錯誤的源就越多. 我們把這種源分成兩類: 靜態的和動態的。 靜態源是指當用戶的視點和環境中的物體保持靜止時引發的錯誤, 主要有: 光學的變形, 跟蹤系統誤差, 機械誤差和視覺參數誤差。 動態源是指錯誤由用戶的視點或環境中的物體移動引起的, 主要是延遲錯誤和預測位置錯誤。

2.3 界面和可視化

2.3.1 錯誤估計的可視化

AR 系統定位錯誤很難避免, 解決的方法有兩個: 一是根據預測的跟蹤和測量錯誤, 在屏幕中可視化地顯示一塊區域,以繪制對象。 二是當繪制被真實對象遮擋的虛擬對象時, 沿著遮擋區域的邊緣, 逐漸地淡出隱藏的虛擬對象, 使定位錯誤減少。

2.3.2 數據密度..

如果用大量的虛擬信息增強真實世界, 那么顯示就會變得混亂和不易讀。 Julier使用基于空間交互模型, 把所顯示的信息量減少到最小, 只在視圖中保留重要的信息。

2.3.3 真實感繪制

在AR 應用中, 改善虛擬對象繪制質量的關鍵是能夠自動獲取環境的光照和反射信息。 目前有三個方法: 使用模型估計光照參數, 基于圖像的繪制, 以及動態范圍的光照獲取。

2.3.4 調節現實

為了刪除真實對象系統必須能夠分割場景中的單獨對象Lepet it論述了一個半自動的方法, 通過輪廓區分對象和它們在場景中的位置, 在某些情況下, 無需對環境進行3D 重構, 就能夠插入虛擬對象以及刪除真實對象。

2.4 標定技術

為了生成準確的定位, AR 系統需要進行大量的標定. 測量的值包括: 攝像機參數, 視域范圍, 傳感器的偏移, 對象定位以及變形等. 目前AR 標定使用攝像機標定原理, 以及許多手動AR 標定技術. 避免進行標定的一個方法是開發標定自由的繪制器. Kutulako s 和Vallino提出基于弱透視投影模型的標定自由AR 方法, Seo 和Hong把這個方法擴展到覆蓋弱透視投影, 支持傳統的光照技術。 另外, 為了減少標定需要,必須自動標定, 這需要使用冗余的傳感器信息, 自動地測量和補償變化的標定參數。

3 特點及優點

3.1 特點

3.1.1 Combines real and virtual（虛實結合）

虛擬現實技術依靠三維軟件構建出虛擬世界，通過各種輸出方式讓人在軟件所創建的世界里有非同尋常的體驗，好的虛擬現實作品具備浸沒感、交互性和構想性。而AR技術，將這種特性帶回真實世界，讓計算機創造出來的虛擬世界與真實世界合為一體，帶來前所未有的感官沖擊。

3.1.2 Interactive in real time（即時交互）

即時交互是虛擬現實的主要特點，源于虛擬現實的AR技術同樣具備這一特點。實時的三維交互是構建優秀虛擬環境的基礎。同時，AR系統的即時交互與現實環境結合在一起，效果要優于依靠硬件環境的虛擬現實。

3.1.3 Registered in 3-D（3D定位）

AR技術與真實環境相結合主要體現在所讀出的3D模型可以由目標圖片或物體來控制移動旋轉，以及通過更多的方式來做更多的交互。AR技術區別于目前相當流行的二維碼技術的重要一點，二維碼對于手機、攝像頭之類的讀取設備有嚴格的角度和距離要求，而AR系統在同樣的問題上則自由很多。

3.2 優點

AR系統的優點主要包含兩方面：

1）AR技術能夠實現虛擬事物和真實環境的結合，讓真實世界和虛擬物體共存；

2）AR實現虛擬世界和真實世界的實時同步，滿足用戶在現實世界中真實地感受虛擬空間中模擬的事物，增強用戶體驗效果。

4 硬件

4.1 顯示設備

4.1.1 頭罩式裝置HMD（Head-Mounted Display）

技術大概分成光學式（Optical）與影像（Video）兩種，前者是一種透明裝置，使用者可以直接透過這層看到真實世界的影像，然后會有一些另外的投影裝置把虛擬影像投射在這層透明裝置上。另外一種是不透明裝置，使用者看到的是由電腦處理好、已虛實結合的影像。

圖1

4.1.2 智能手機

最近幾年開始流行起來的智能手機，改變了AR的樣貌。頭戴式的HMD還是太麻煩了，而智能手機同時具備電腦計算能力、錄影、影像顯示，還有GPS、網路連線、觸控、傾斜度偵測等等的額外功能，價格也逐漸平民化，于是在智能手機為平臺的AR研究越來越多。

圖2

4.2 攝像頭

Occipital聯合創始人Vikas Reddy在郵件訪談中談到，AR技術尚未發揮出它全部的潛力。這是由于目前追蹤和測繪現實的技術水平有限。但Reddy預測，隨著計算機視覺算法和硬件設備的發展，攝像頭將成為最重要的傳感器和輸入設備，這不僅僅是AR實景技術方面的趨勢，也是整個計算機產業的趨勢。

圖3

4.3 傳感器

在AR系統中眾多的傳感器是實現交互的硬件基礎。運用比較多的是紅外傳感器、壓力傳感器、溫度傳感器、光電傳感器等，比較具有代表性的例子是微軟開發的基于XBOX 360的Kinect。Kinect是微軟在2009年6月2日的E3大展上正式公布的XBOX360體感周邊外設，它徹底顛覆了游戲的單一操作，使人機互動的理念更加徹底的展現出來。

圖4

4.4 存儲傳輸

作為承載系統主體文件和承接輸入設備及輸出設備的重要中轉站，AR系統對于計算機的硬件要求相對較高。

4.5 操控設備

虛擬現實系統與AR系統基于展示內容的特點會有針對性的操控設備。目前運用比較多的是數據手套與頭部跟蹤設備，其中頭部跟蹤設備主要是眼鏡和頭盔。數據手套主要依靠在指關節處的傳感器來識別各種手勢，不同的手勢分別代表各種指令會讓系統作出相應的反應。頭部跟蹤設備主要依靠電磁感應技術或紅外捕捉技術，都是通過識別頭部運動來達到控制目的，其中紅外捕捉技術的敏感度與刷新率要優于電磁感應技術，谷歌新推出的谷歌眼鏡就運用了該技術。

圖5

5 應用現狀及展望

5.1 谷歌眼鏡

圖6

谷歌眼鏡(Google Project Glass)是由谷歌公司于2012年4月發布的一款“拓展現實”眼鏡，它具有和智能手機一樣的功能，可以通過聲音控制拍照，視頻通話和辨明方向以及上網、處理文字信息和電子郵件等。

硅谷的未來可穿戴設備資深研究人員邁克爾?萊候德（Michael Liebhold）預計，下一步的技術突破將是模糊現實世界和虛擬世界的界限。Google眼鏡所代表的可穿戴式設備將成為科技界的“下一件大事情”。用布林的話說，在溝通的終極形式里，技術應當是隱形的。Google眼鏡展示了未來的一種形態，它可能是我們未來搜索的入口，革新互聯網和現實中人際交流的方式。“當技術開始隱身時，我們將不再受技術的限制。可穿戴電腦技術可以讓我們不再從4英寸屏幕中去窺探生活。我們再也不用時不時地看看手機，相反的，這些可穿戴設備會回望著我們。”

5.2 IPhone Apps

1） “紐約近在咫尺”：這款應用讓你發現一個你從未發現的紐約。只要將鏡頭對準紐約街頭的指路牌，相關街道的信息與真實畫面疊加讓你對每條街道都“一覽無遺”，保證不會讓你在“大蘋果”中迷路。當然你換個城市就需要換一個當地版本。

圖7

2） “全景透視”：這是一款很有意思的AR應用，它用二維圖形以具有透視感的畫面為你提供關于你所在地的四周地理信息，例如告訴你周圍有幾座山峰以及他們的名字，讓你在野外露營的時候不至于迷失。

圖8

3） “增強虛擬現實指南針”：這款應用不僅可以告訴你方向，還可以告訴你所處的經緯度以及計算你的營地與目的地之間的距離。

圖9

4） “機器人視角”：一款為iPhone設計的AR應用，讓你在街上走著就能看到想要的商業、餐飲與服務設施的信息。對于中國的朋友來說就可以不用撥打電話導航熱線了。

圖10

5） “百科全書”這款AR應用基于維基百科信息庫。當你到一座名城游歷，只需要拿出手機，用攝像頭對準感興趣的建筑和物體，屏幕就會出現有關的介紹和背景資料。

圖11

5.3 未來展望

5.3.1 空間計算

Occipital 的創始人 Vikas Eddy 認為，相機已成為采集信息量最大的傳感器，但受一些計算機視覺算法和移動設備硬件的限制，目前增強現實技術的潛力還遠遠沒有發揮出來。隨著這兩個問題的逐漸改善，我們所能體驗到的視覺空間將得到極大延展——從設備屏幕上解脫出來。

5.3.2 互動游戲

Sharky the Beaver是由Sphero剛剛推出的游戲，首席執行官Paul Berberian認為現實和虛擬的結合游戲將是一種完全不同的體驗。在這款游戲中，用戶通過藍牙設備控制一個球型機器人，在屏幕上這個球型機器人顯示為小海貍的形象，用戶會看到小海貍Shaky在自己身邊跳來跳去，還可以喂它吃蛋糕。通過創造兩個數據流，用戶可以無縫穿梭于真實和虛擬世界。這款游戲也可以作為軟件開發包工具（SDK）供開發人員使用，其結果很可能會產生一個形象庫，用戶可以通過球型機器人控制不同形象。

5.3.3 感知人腦

InteraXon推出了一款腦電波感應頭帶，佩戴上這款頭戴，用戶可以通過腦電波來控制窗簾以及燈光。首席技術官Chris Aimone認為，設備通過智能的方式感知人腦將帶來巨大的方便，比如根據人的意識自動調節信息的顯示，根據人的心情給出生活建議。這種技術與增強實現的結合可以讓設備更好地感知用戶的狀態，從而使得增強現實技術更加實用。

5.3.4 交互提升

Geoloqi的聯合創始人Amber Case認為，只要使用增強實現技術創作內容、動畫的障礙降低，增強實現就會變得有趣起來，從而交互將發生實質的改變。大片中懸浮在房間里的菜單界面，如果能將其實現將是一個巨大的飛躍。未來AR技術的發展應更多著眼于日常的切實有用的應用。

[1]崔振明著，孔紅艷譯.有無之間----虛擬現實的哲學探險.北京大學出版社，2007：1-2.

[2][法]莫里斯·梅洛-龐蒂著，姜志輝譯.知覺現象學.商務印書館，1997：155.