增強現實的系統結構與關鍵技術研究

麻興東

摘要：首先概要介紹了增強現實技術的概念、相關特性，并總結了增強現實系統的總體結構，概略介紹了各組成部分的功能以及對應的關鍵技術。然后在此基礎上論述了關鍵技術中的顯示技術和跟蹤注冊技術，最后對增強現實的當前應用和未來趨勢做出了概要總結。

關鍵詞：增強現實；跟蹤注冊；實時跟蹤；虛實配準

1引言

增強現實技術AR（Augmented Reality）是在虛擬現實VR技術（Virtual Reality）的基礎上發展起來的典型的交叉學科，具有十分廣泛的研究和應用范圍，涉及到諸多技術領域，如計算機圖形和圖像處理、人機界面交互設計、移動計算、計算機網絡技術、信號處理技術、以及新型顯示器和傳感器的設計等。

與傳統虛擬現實技術所要達到的完全沉浸的效果不同，AR將計算機生成的虛擬影像實時準確地疊加在實景對象上，從而允許用戶使用實景對象與虛擬的影像進行實時無縫交互。AR技術需具有3方面的特點：（1）真實與虛擬圖像的結合，（2）實時互動，（3）根據實景物理對象對虛擬影像進行定位。由于增強現實具有將真實場景同虛擬物體加以融合并實現實時交互的特性，能夠增強用戶對現實環境的理解和認知。

本文首先討論增強現實系統的總體架構，在此基礎上著重論述增強顯示的關鍵技術，即：顯示技術、跟蹤注冊技術、相關方法及其各自的特性，在本文的最后，對增強現實應用和未來趨勢概要地作出總結。

2增加現實系統架構

增強現實的整體系統通常由場景采集、跟蹤注冊、虛擬場景發生器、虛實合成、顯示系統和人機交互界面等多個子系統構成，如圖1所示。

增強現實系統中，通過處理現實實景的圖像建立起實景空間，根據跟蹤注冊技術確定攝像機的姿態以及虛擬圖像的空間定位，虛擬圖像與實景圖像通過配準排列，合成未虛實融合的增強現實環境，這個環境再輸入到顯示系統呈現給用戶，最后用戶通過交互設備與場景環境進行互動。其中，讓虛實準確結合的注冊步驟非常關鍵，和最后的顯示輸出端一起，決定了用戶對增強現實環境的最終感知效果，

3增強現實系統的顯示技術

增強現實系統的能夠利用融合計算機視覺、顯示技術、多傳感器等技術對真實場景進行擴展和增強，根據Eitoku提出的標準，AR的顯示裝置的設計應該有4個準則：（1）虛擬信息與現實世界共存；（2）支持協同工作；（3）不給用戶增加特殊儀器的負擔用戶；（4）支持顯示自然的三維圖像。主要集中在3種類型：透視式的頭部佩戴顯示器，基于投影顯示器和手持式顯示器。

3.1頭部配戴顯示設備

透視式HMDS通過光學或視頻技術，使用戶看到將虛擬物體與現實實景融合后的場景。這類顯示器又可分為光學透視OST（Optical See Through）和視頻透視VST（Video See Through）的HMD。

用戶通過OST HMD可以直接看到現實實景與虛擬信息疊加融合后的場景。例如Google正式發布的眼鏡項目“Google Glass”，這款眼鏡集智能手機、GPS、相機于一身，所有的信息都能即時展現在眼前，比以往的設計頭盔式顯示器更小更薄的頭部佩戴裝置。

OST HMD對真實環境幾-乎無損顯示。用戶獲得的信息比較可靠全面，對真實環境與虛擬圖像融合匹配的精確度要求較高。首先由攝像機攝取實景圖像，然后將生成的信息或虛擬影像圖像疊加在攝像機視頻上，通過顯示系統呈現給用戶。VST HMD的優點在于較好地處理諸如被遮擋場景、色彩強度等問題，以保持真實場景與虛擬圖像的一致性。

3.2投影顯示設備

基于投影技術的顯示，不需要用戶佩戴設備，對用戶的體驗保持最低限度的侵擾。現有多種投影顯示技術，將圖像信息直接投射到真實物體的表面，通常是在固定的物體的表面。投影設備同時能夠將圖像投影到更大范圍的環境中。

投影顯示設備更加適合室內增強現實環境，生成圖像的焦點不隨用戶視角的改變而改變。投影顯示設備與固定的跟蹤定位設備相配合，將虛擬物體投影到真實世界中的相應位置。例如大眾研究集團與大眾服務學院聯合開發的投影式增強現實系統，可用于新車型的開發與技術創新的培訓。

3.3手持顯示設備（Hand Held Device）

手持設備的增強現實應用不需要額外的設備和應用程序的能力，對用戶體驗沒有侵擾，易于攜帶和高度移動自由度等優點，廣泛為社會所接受，因此經常被用于在廣告，教育和培訓吸引用戶注意的重要設備。

Layer App是典型的智能手機上的增強現實應用程序之一。用戶在指定的位置，使用手機內置羅盤以確定鏡頭所指的方向，在手機顯示屏上即可顯示出場景中的細節信息，當用戶平移其設備的攝像頭左右，屏幕上會填充不同的景點信息，包括快速通道的可用性，景點的描述等等。

4增強現實系統的跟蹤注冊技術

跟蹤是指跟蹤3D空間中的一點或幾點的3D坐標與6DOF的姿態信息，注冊即是虛擬物體和真實場景在三維空間中位置的一致性，即在空間上的整合，跟蹤注冊是一個持續的動態過程。跟蹤注冊是增強現實系統中的緊密相關的關鍵技術。目前廣泛應用的注冊跟蹤技術可以分為3類：基于傳感器的注冊跟蹤技術、基于視覺的跟蹤注冊技術、和基于傳感器與實際的混合跟蹤注冊技術。

4.1基于傳感器的跟蹤注冊

基于傳感器的跟蹤注冊技術，首先記錄實際場景中用戶的方向和位置，在便保持虛擬空間和真實空間連續性的基礎上，實現虛擬對象與實際場景的精確配準融合。常用的傳感器技術主要有：磁場（magnetic）跟蹤注冊、聲學（acoustic）跟蹤注冊、光學（ortic）跟蹤注冊、慣性（inertial）跟蹤注冊。

磁場跟蹤注冊系統，由控制器、磁場發射器和接收器組成，利用磁場相關的參數，從而確定用戶的位置和方位。例如徐彤等設計的六自由度電磁跟蹤系統。

聲學跟蹤注冊系統包括超聲波發射器、接收器、和處理單元。利用同一聲源到達不同地點或者不同聲源的超聲波到達同一地點的時間差、聲壓差等參數進行跟蹤注冊。超聲波跟蹤注冊系統成本低，抗電磁干擾能力強，但是非常容易受周圍環境的噪聲、溫度、濕度以及遮擋問題的影響。

光學跟蹤注冊系統使用感光設備，接受發光元件產生的光線，用以測量目標的方位。該類系統的精度高，不受噪聲和電磁場影響。主要缺點是易受視線和遮擋的影響，而且設備昂貴。

慣性跟蹤注冊系統使用慣性傳感器，獲取用戶或攝像機的運動方向和姿態，獲取攝像機的運動位置和速度。使用慣性跟蹤注冊技術存在著漂移和誤差累計，因此精度不高，必須與其他注冊跟蹤技術聯合使用，才能達到較高的精度。

基于傳感器的跟蹤注冊系統，可以記錄真實場景中用戶的方向和位置，在此基礎上保持虛擬空間和真實空間的連續性，實現精確配準與虛實圖像的融合。

4.2基于視覺（vision-Based）的跟蹤注冊

基于視覺的跟蹤注冊基于視覺跟蹤的跟蹤注冊則不需要使用傳感器設備，由于硬件成本相對低廉，而受到越來越多地關注。

基于視覺的跟蹤注冊過程為：首先根據攝像機攝入的圖像或視頻流進行處理，檢測圖像中目標物體的特征，并欲與預存的場景圖像的特征進行匹配。若匹配成功，通過圖像特征可以獲得攝像鏡頭的單應性矩陣，據此可以計算出攝像鏡頭相對于場景中物體的位置及姿態。跟蹤注冊主要是基于標識的跟蹤和無標識的跟蹤。

基于標識的跟蹤注冊技術，由于標識是人工放置，由此根據計算機視覺中的透視投影算法，即可獲取攝像機相對于標識的轉換矩陣，從而獲得注冊信息。目前基于標識的跟蹤注冊系統，已有ARToolKit，ARTag等。ARToolKit較為適用小規模的應用，而ARTag在處理較大規模的應用時則處理速度更快。基于標識的跟蹤注冊計算復雜度較低，具有較好的精確性，但同時也易受遮擋的影響。

無標識跟蹤注冊技術，又稱為基于自然特征點的注冊跟蹤技術，是直接利用場景中存在并且容易識別的實景物體的自然特征，提取識別的基準點。經典的算法有Ferns算法、SURF算法、和SIFT算法。在手持設備上運用時，由于真實的場景往往比較復雜無標識跟蹤注冊的計算量較大，實時性較差。

4.3混合跟蹤注冊技術

混合跟蹤注冊是指在同一增強現實系統中采用兩種以上的跟蹤注冊，以實現各種跟蹤注冊的優勢互補。基于傳感器的跟蹤注冊技術跟蹤需要較為昂貴的硬件設備，易受外部環境變化的影響，但是實時性好，魯棒性高。基于標識的跟蹤注冊的主要性能特點是精度高，實時性較差。把這兩種注冊跟蹤技術相結合，則可以綜合各自的優點，彌補各自的缺點，使其成為一個魯棒性較強、實時性較好、精度較高并且受外界干擾較小的綜合跟蹤注冊系統。例如Azuma等在1998年提出的將GPS、視覺跟蹤注冊技術和慣性傳感器三種技術綜合戶外增強現實系統。

5結語

增強現實技術雖然和虛擬現實技術可以追溯至同一個起源，但對它的研究要比虛擬現實技術落后很長的時間。盡管如此，增強現實一經出現就引起了國際工業界和學術界的極大重視，國際上眾多科研機構、學術組織，商業公司，如波音、索尼，羅克韋爾都競相展開對它的研究。

實時視頻圖像處理技術、計算機圖形系統以及新的顯示技術和觸覺技術的發展使得虛擬圖形與3D真實場景的結合，增強環境的創造成為可能。在這一增強環境之中，三維的虛擬物體圖像能準確的與用戶周圍的三維環境視圖進行配準，同時用戶可以以自然的方式與虛擬物體交互。在醫學成像、機械設計與制造、軍事應用、機器人遙控、新聞娛樂等各行業，增強現實技術正在逐步從實驗性研究轉化到商業性開發，在有著巨大的發展前景。