移動增強現實應用及進展

潘志庚　高翔　丁丹丹

1 移動AR簡介

虛擬現實（VR）是一種對現實世界的數字化模擬技術，包括對于環境的視覺、聽覺、觸覺等方面的感覺模擬。用戶通過使用必要的交互設備，最終獲得身臨其境的感受。VR涉及多個學科，包括心理學、計算機科學、電子學、多媒體等，具有極強的學科交叉性，目前已經成為了科研中一種常用的輔助手段。VR 的典型特征，即沉浸感、交互性和構想性。沉浸感指的是用戶在虛擬環境中，得到了視覺、聽覺、嗅覺、味覺、觸覺等多種感官刺激，仿佛身臨其境的感受。交互性是指在VR環境中用戶能夠擁有人性化的人機交互方式和操作。構想性指的是通過前兩個特性，用戶能夠根據環境變化和交互變化而激發出更大的創意和想法。圖1是我們開發的虛擬健身系統。

增強現實（AR）是VR的技術拓展，它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，將真實環境和虛擬物體實時地疊加到了同一個畫面或空間中。AR強調的是現實世界疊加虛擬世界，從而實現“虛實結合”。移動AR技術是AR的一個分支。目前主要有傳統移動AR技術和基于移動終端的移動AR技術兩種。圖2是我們開發的AR樂器虛擬教學系統。

傳統移動AR技術主要依靠PC機、頭盔顯示器或者全球定位系統（GPS）、磁傳感器等一些外接設備來完成系統。該類系統具有設備昂貴，不便于長期攜帶，維護成本較高等局限性。美國哥倫比亞大學研制的戶外AR導航系統，也是世界上第一個移動AR系統。它使用視頻透視式頭盔顯示器和方向跟蹤器，用戶身后的背包里面裝有計算機、GPS以及無線電，手上是一個具有觸摸筆的可觸屏的手持設備。

而基于移動終端的移動AR技術近幾年發展迅速，為人們的生活娛樂等帶來極大的便捷和樂趣。圖3所示為谷歌眼鏡，是谷歌公司2012年4月發布的一款“AR”眼鏡。它同智能手機一樣，主要采用音頻交互的方式，可以控制拍照、視頻通話和導航以及網上沖浪、處理文字信息和電子郵件等。2013年11月12日，谷歌公司發布一系列新功能，包括搜索歌曲、掃描已保存播放列表，以及收聽高保真音樂等。在某種程度上，谷歌眼鏡改變了人們的生活方式。

移動AR技術最重要的特征是移動，它的應用場景更加廣大，不僅僅只是局限在桌面上。因此移動AR技術將會是未來發展的主流趨勢，尤其是基于移動終端的移動AR技術。雖然AR技術的應用在硬件設備以及發展形式上發生了變化，但是AR技術的關鍵問題和關鍵技術依然沒有改變。而且，隨著移動設備的硬件與軟件條件越來越高端，移動AR技術也得到了迅飛猛進的發展。

2 移動AR的應用

移動AR的應用面很廣，限于篇幅無法一一列舉，重點介紹幾類。

2.1教育與娛樂

相對于傳統的教學方式來說，移動 AR 能幫助學生更加高效學習，直觀的演示和生動的場景更是提升了知識吸收率和留存時長。早在 2001 年，Billinghurst 等人[1]發明了一種“魔法書（MagicBook）”（如圖4所示），將可交互的數字內容覆蓋到真實書本上，為讀者提供了一種在真實書本和沉浸式虛擬環境的過渡效果。Dünser 在2007年[2]和2008[3]年分別做了實驗證明魔法書確實能提升學生的閱讀體驗和復述效果。自此之后，AR圖書開始大力發展，現在市面上已經有很多這樣的產品。AR圖書是將文本內容進行了增強，還有很多產品是將圖形內容進行增強。Feng等人[5]發明的 MagicToon 可以將紙上的畫轉化成栩栩如生的卡通形象。通過簡單便捷的點擊拖拽交互即可編輯生成的 3D 模型。

Fonseca等人[6]觀察學生用傳統和移動 AR的方式去學習建筑學知識，發現學生用后者學習對“空間”的理解更深刻，直接導致他們的課程評估分數變高。可以看出：在需要立體模型或強交互的教學場景中，移動AR可以幫助人們更形象、直接地觀察3D結構，從而使學習更加有效。因此在天文學、化學、生物學、建筑學、工程學、設計和幾何學等學科，移動AR都已經有類似的應用。Nguyen等人[7] 設計了一個用戶可交互、可編輯的說明書，生動地教用戶操作。

2.2 建筑工程

傳統的建筑圖或工程圖通常都是2D 視圖，從不同角度繪制的視圖或電腦輔助設計建模視圖等。2D 視圖雖然利于工程計算，但是通常需要工程師有非常強的空間想象能力才能在腦海中構建出大致模型，3D 視圖則有可能導致失真、比例不對和丟失了真實建筑的細節等問題。此外，這些工程制圖大部分都需要專業人士去解讀，不同的水平也容易產生誤解。如果使用移動AR，這些問題都可以充分解決。Velasco等人[7]提出了一種在移動 AR中通過交互來規劃建筑的設計方式。文獻[8-9]評估了移動 AR 在建筑規劃方面的優勢，一致認為移動AR的直觀性促進了決策制定和對規劃的理解。不僅如此，通過結合傳感器收集的數據、開發者提供的數據，可以將生成的各類3D模型疊加到現實場景中，使建筑規劃、維護、勘探和裝配都更加高效。

Schall等人[10]開發了一個手機應用，可以生成像X光一樣的視圖，用于展示建筑或設施內部的框架結構，幫助現場勘探人員之間觀察建筑內部結構。Schall等人[11]還提供了一個增強現實的測繪工具，通過讓有經驗的工程師使用傳統技術和完全沒經驗的工程師使用該系統進行對比，最后發現其在交互性方面勝過傳統技術。Lee等人[12]開發了一個能快速搜索鉆井日志并用增強現實可視化出來的系統。Kollatsch等人[13]則用增強現實可視化出了裝配流水線相關的信息。此外移動 AR 在災后（如地震）建筑勘察和檢測方面也有應用。Behzadan等人[14]開發的視覺避撞系統可以幫助挖掘機操作員在工程實施時看到埋在建筑中的東西避免造成破壞或人員傷亡，如圖 5所示。如圖6所示，可在 AR 幫助下將先前存儲的建筑物基線疊加到現在的建筑物上，實現對建筑物損壞程度的評估。

2.3 地理與導航endprint

導航一直是增強現實的一個重要應用。傳統的導航都是在2D地圖上，缺乏三維信息和對真實世界的感知。在移動 AR中，可以直接在視野中添加方向注釋（箭頭、路徑跟隨等）或一些必要的提示（交規、停車場位置等）， 如圖 7所示。典型的應用有飛機飛行導航和汽車駕駛導航等。通過對視野內事物的識別和追蹤，動態地將需要的信息圖像疊加到真實場景上。除了交通方面，移動AR在旅游景點、博物館、圖書館或商場的瀏覽和探索方面也有應用。這類導覽式的應用都大同小異，如博物館中，參觀者可以通過移動AR和工藝品進行轉動等交互，更好地觀察工藝品的全貌，還可以通過AR展示出工藝品的數據信息等[4]。商場中可以直接通過移動AR展示商品的信息，不用親自動手去貨架上查看，甚至可以在移動 AR 中比貨。

2.4 醫療

移動 AR 可以將電子計算機斷層掃描（CT）或磁共振成像（MRI）等醫學三維重建得到的虛擬模型圖像融合到病人相應的部位、器官，使醫生的視角得到增強[15]，在看到真實身體部位的同時，還能看到器官內部的具體信息。這對于醫學手術計劃制定、手術演練、手術教學和術前對話等都提供了巨大的便利。典型的工作有用移動AR幫助驗尸[16]，通過將 CT 圖像疊加到尸體上，可以保證法醫在不丟失真實傷口信息的情況下，觀察分析肉眼不可見的內傷，而且不會對尸體造成破壞，從而保護了證據（如圖 8所示）。Soeiro等人[17]開發了一款增強現實 Android 應用來指導醫生進行經顱磁刺激技術（TMS）治療。其中增強現實部分用來顯示虛擬的病人腦模型，以便醫生了解目前病人腦中的脈沖變化。Hansen等人[18]開發了一種減少三維規劃模型復雜性的視覺算法，將 3D 模型更好地可視化到真實器官上，并在外科手術中運用。

3 移動AR的應用前景

3.1 移動AR的商業應用模式

根據網易科技報道[19]，移動AR技術的應用前景多種多樣。雖然目前有很多頂尖的AR企業提供一系列的產品、服務和更多其他的東西，但歸納起來基本上屬于5種基本類型的公司，他們“錢”景無限。提供的技術產品或服務（也稱為商業模式）如表1所示。

3.2 移動AR的市場預測

根據VR網報道[20]，AR/VR已經成為一個雙速前進的市場，其中移動AR在2021年的安裝基數將超過2017年總AR/VR市場的2倍。蘋果ARKit、谷歌ARCore和Facebook Camera Effects平臺的推出改變了整個市場的軌跡，到2018年有可能獲得9億安裝基數。Digi-Capital已經徹底修改了關于AR/VR市場的分析和預測報告。

l由于移動AR的出現，VR的市場潛力減弱，移動AR在未來將支配AR/VR市場；

l智能手機仍然是AR/VR的未來，但可能需要10年時間才能成為一個大眾消費市場；

l直到第2代VR一體機（無需連接PC或移動設備）在2019—2020年期間爆發之前，高端VR的發展可能不會提速；

l由于頭顯廠商和開發者正在轉向移動AR，到2021年，移動AR的安裝基數將增長至30億以上；

l智能眼鏡、高端VR和移動VR的組合在同一時間段內可能達到1億（即每個平臺數千萬），這使得移動AR的安裝基數超出所有AR/VR頭顯的25倍以上。

在2021年，主導AR/VR安裝基數的移動AR將占據總市場營收的2/3。移動AR軟件的體量跟總移動市場的體量接近，盡管每用戶平均收入（ARPU）較低，但巨大的用戶基數將能帶來高增長和高盈利。得益于硬件銷售，智能眼鏡、高端VR和移動VR的ARPU更高，但較小的安裝基數限制了其非硬件營收的潛力。在2018年，移動AR的營收將達到智能眼鏡的4.8倍，高端VR的1.3倍，以及移動VR的1.5倍；而2021年將增長至智能眼鏡的3.9倍，高端VR的4.8倍，以及移動VR的9.6倍。

鑒于移動AR的安裝基數和轉換率的提高，電子商務在2021年可能成為AR/VR的最大營收來源。Houzz已經通過移動AR實現了11倍的銷售轉換，所以移動AR電子商務可以進一步鞏固亞馬遜，eBay和阿里巴巴的主導地位。硬件銷售（特別是消費類智能眼鏡和第二代高級VR一體機）為第二營收來源；其次是廣告、游戲和非游戲應用收入。AR將成為企業/B2B營收的主要驅動驅動，而視頻和線下娛樂（主題公園）營收則處于較低水平。

4 結束語

從前面的介紹可知，移動AR的應用已經擴展到我們生活的多個方面。AR和VR的發展一開始受5G網絡的限制。5G網絡被視為解鎖市場機會的關鍵，擁有低延遲、高可靠和網絡統一性的優勢，能夠應付VR和AR對網絡日益增長的速度和容量的需求。對于移動AR應用擴展的速度以及應用的廣度，讓我們拭目以待。

參考文獻

[1] BILLINGHURST M， HIROKAZU K， POUPYREV I. The Magicbook： A Transitional AR Interface[J]. Computers & Graphics， 25（5）：745-753， 2001

[2] DUNSER A， HORNECKER E. Lessons from an AR Book Study[C]//In Proceedings of the 1st International Conference on Tangible and Embedded interaction. USA：ACM， 2007： 179-182

[3] DUNSER A. Supporting Low Ability Readers with Interactive Augmented Reality[J]. Annual Review of Cyber Therapy and Telemedicine， 2008， 12（1）：41-48， 2008endprint

[4] WHITE M， LIAROKAPIS F， DARCY J， et al. Augmented Reality for Museum Artefact Visualization[C]//Proceedings of Irish Workshop on Computer Graphics， Eurographics Ireland Chapter. UK： Northern Ireland， 2003：75-80， 2003

[5] FENG L， YANG X， XIAO S. MagicToon： A 2D-to-3D Creative Cartoon Modeling System with Mobile AR[C]//Virtual Reality. USA：IEEE， 2017：195-204

[6] FONSECA D， VILLAGRASA S， MARTI N， et al. Visualization Methods in Architecture Education Using 3D Virtual Models and Augmented Reality in Mobile and Social Networks[J]. Procedia - Social and Behavioral Sciences， 2013， 93（1）：1337-1343

[7] VELASCO R， BRAKKE A P， CHAVARRO D. Computer-Aided Architectural Design Futures[M]. The Next City - New Technologies and the Future of the Built Environment. Germany： Springer-Verlag

[8] OLSSON T D， SSAVISALO A T， HAKKARAINE M， et al. User Evaluation of Mobile Augmented Reality in Architectural Planning[J].eWork and eBusiness in Architecture， Engineering and Construction， Gudnason G. & Scherer R. （Eds.）， 2001：203-211. DOI：10.1201/b12516-116

[9] LEE G A， DUNSER A， KIM S， et al. Cityviewar： A Mobile Outdoor AR Application for City Visualization[C]// In Mixed and Augmented Reality （ISMAR-AMH）， 2012 IEEE International Sympo- sium on. USA：IEEE， 2012： 57-64

[10] SCHALL G， MENDEZ E， KRUIJFF E， et al. Handheld Augmented Reality for Underground Infrastructure Visualization[J]. Personal & Ubiquitous Computing， 2009， 13（4）：281-291

[11] SCHALL G， ZOLLMANN S， REITMAYR G. Smart Vidente： Advances in Mobile Augmented Reality for Interactive Visualization of Under- Ground Infrastructure[J]. Personal & Ubiquitous Computing， 2013， 17（7）：1533-1549

[12] LEE S， SUH J， PARK H D. BoreholeAR： A Mobile Tablet Application for Effective Borehole Database Visualization Using an Augmented Reality Technology[J]. Computers & Geosciences， 2015， 76：41-49

[13] KOLLATCH C， SCHUMANN M， KLIMANT P， et al. Mobile Augmented Reality Based Monitoring of Assembly Lines [J]. Procedia Cirp， 2014， 23：246-251

[14] BEHZADAN A H， DONG S， KAMAT V R. Augmented Reality Visualization： A Review of Civil Infrastructure System Applications[J]. Advanced Engineering Informatics， 2015， 29（2）：252-267

[15] 張軍毅， 羅述謙. 醫學增強現實建模方法研究[J]. 系統仿真學報， 2009， 21（12）：3658-3661

[16] KILGUS T， HEIM E， HAASE S， et al. Mobile Markerless Augmented Reality and Its Application in Forensic Medicine [J]. International Journal of Computer Assisted Radiology & Surgery， 2015， 10（5）：573-586

[17] SOEIRO J， CLAUDIO A P， CARMO M B， et al. Mobile Solution for Brain Visualization Using Augmented and Virtual Reality[C]//International Conference Information Visualisation.USA： IEEE， 2016：124-129.DOI：10.1109/IV.2016.18

[18] HANSEN C， WIEFERICH J， RITTER F， et al. Illustrative Visualization of 3D Planning Models for Augmented Reality in Liver Surgery[J]. International Journal of Computer Assisted Radiology & Surgery， 2010， 5（2）：133-141

[19] 移動AR才是未來？細數AR公司的五種商業模式.（2016-11-01）[2017-11-10].http：//tech.163.com/16/1101/13/C4PR76NP00097U7U.html

[20] 移動AR未來將支配AR/VR市場.（2017-10-10）[2017-11-10].https：//www.hiavr.com/news/industry/40232.htmlendprint