移動增強現實關鍵技術綜述

溫洪念 劉 洋 韓朵朵

（石家莊鐵路職業技術學院 河北石家莊 050041）

移動增強現實關鍵技術綜述

溫洪念 劉 洋 韓朵朵

（石家莊鐵路職業技術學院 河北石家莊 050041）

移動增強現實將虛擬的增強現實信息應用到真實世界，改變用戶觀察周圍世界的方式。傳統的基于文本輸入的WEB頁面瀏覽查詢模式，將轉變為基于加載在移動智能終端的多種傳感器進行熱點捕獲，將熱點的增強信息疊加在真實場景上的下一代信息展現模式，極大提升用戶體驗。

移動增強現實 視覺搜索 目標注冊與跟蹤 內容渲染

1 引言

增強現實（Augmented Reality，簡稱AR）是在虛擬現實（Virtual Reality，簡稱VR）技術基礎上發展起來的一種綜合了計算機視覺、圖形學、圖像處理、多傳感器技術、顯示技術的新興計算機應用和人機交互技術[1]。

隨著無線互聯網技術的發展，帶寬不斷増加，移動智能終端的處理能力越來越強，越來越多的互聯網用戶開始習慣于使用移動智能終端訪問互聯網。多種傳感器裝備到手機上為 AR業務的普及提供了終端基礎，為分層次打造個性化的信息服務提供了必要的支撐條件。AR技術的普及為傳統的業務領域巧展出了很多創新業務，同時促進移動互聯網在教育、社交網絡、旅游、游戲等業務的創新。

“增強現實”技術的應用與推廣，將激發用戶對內容的潛在需求，如大型場景的三維虛實融合等，從而對無線網絡的帶寬資源提出更高的要求，促進LTE的產業化進程。因此，對增強現實的深入研究可以很好地拓寬無線移動通信網業務的應用，讓無線移動通信網參與人們生活學習和工作的方方面面，從而提高無線移動通信網在人們生活中的重要性。而只有對應用變得廣泛和迫切，才會對無線移動網絡的其它方面提出更多的需求：比如需要LTE等更快更可靠的傳輸方式，以及新型無線技術作為補充，應付更大帶寬更大容量的媒體展示。同時又要求更加寬廣的覆蓋范圍，做到可以隨時隨地提供服務，所寬帶無線接入與短距離互聯技術也有需求。而且基于物聯網和泛在網技術的近場通信（NFC）是對AR的定位和身份識別的有力支撐。

2 基本概念

2.1 虛擬現實

虛擬現實涉及計算機圖形學、人機交互技術、傳感技術、人工智能等領域，利用電腦繪制三維虛擬世界，并對視、聽、嗅覺等感覺進行高真實感模擬，使用者通過虛擬現實設備，自然地與虛擬世界進行交互，其如同身歷其境，可化及時、沒有限制地觀察三度空間內的事物。

2.2 增強現實

增強現實是利用計算機產生的虛擬信息對用戶所觀察的真實環境進行融合，真實環境和虛擬物體實時地疊加到了同一個畫面或空間同時存在，拓展和增強用戶對周圍世界的感知。增強現實的目的在于將計算機生成的虛擬物體準確地疊加到真實場景中并實現真實與虛擬場景無縫融合，進而完成對真實場景的增強。

2.3 混合現實

混合現實（Mixed Reality，簡稱MR），即增強現實和增強虛擬)指的是合并現實和虛擬世界而產生的可視化環境，其中物理世界真實對象和數字世界虛擬對象共存，并實時互動。

2.4 移動增強現實

隨著iOS、Android等智能終端及寬帶移動通信技術的成熟和商用，增強現實技術開始走進人們的生活之中，以移動定位與狀態感知、多媒體技術、3D渲染為基礎的增強現實應用開始出現，這就是移動增強現實（Mobile Augmented Reality，MobAR）應用。MobAR一經出現，就成為技術研究和標準化的熱點[2]。

3 移動增強現實關鍵技術

隨著移動增強現實市場規模不斷擴大，用戶對增強現實的應用體驗要求日益提高：流暢展現、實時交互、持久運行，都對移動終端設備的計算能力、媒體處理能力等提出挑戰。然而，如何高效調用移動終端硬件能力，如何在不同業務執行環境中迅速識別和捕捉增強現實目標，如何實時疊加并流暢展現各種媒體類型的增強現實內容，這些都極大影響用戶體驗，并最終決定市場成敗。為增強現實應用提供技術支撐的增強現實關鍵技術，包括：視覺搜索技術、目標注冊跟蹤技術和內容實時渲染技術。

3.1 視覺搜索技術

移動視覺搜索技術屠指以移動智能終端側的攝像頭作為信息捕獲設備，以實時獲取圖像或視頻作為查詢對象去搜索用戶感興趣的關聯信息的檢索技術[3,4]。隨著無線互聯網技術的發展以及移動智能終端的處理能力越來越強，這使得在移動終端進行一些復雜的圖像處理工作成為可能。在移動終端側進行特征點提取、描述子生成以及描述子編碼，向服務器端上傳描述子信息，而在服務器端進行描述子解碼和圖像檢索。然而實際應用中由于無線網絡環境的帶寬有限、帶寬不穩定化及時延等問題，需要在不損失檢索性能前提下如何實現快速、低內存開銷以及緊湊的描述子聚合方法。視覺搜索按照樣本集規模的不同可以分為兩類，對于規模較小的情況可以采用窮舉法或暴力匹配法，即將每個圖像的特征數據與樣本圖像特征逐一進行距離比較，對于局部特征計算成功匹配的特征數目占樣本圖像特征數目的百分比，對于全局特征計算特征向量間的歐式距離、余弦距離等相似性度量方法，然后進行排序，獲得搜索結果，這種方法的優點是沒有離線訓練過程，操作也很簡單，有效識別率很高，但耗時會隨著樣本圖像的增多而近似線性增加，檢索效率比較低。對于擁有海量樣本集的視覺搜索應用，業界普遍采用 BOW（Bag Of Words）算法來進行系統實現，該算法的主要優點就是其提取特征后檢索時間比較快速，并且檢索時間不會隨著樣本數目增加而發生大幅波動。算法分為離線訓練和在線檢索兩個階段，離線訓練階段主要進行碼本的訓練，其碼本的訓練過程訓練時系統內存占用較高，且由于算法本身不利于并行化處理導致耗時較長，同時碼本訓練不支持增量訓練，每新加入圖像，都需要對碼本進行重新訓練，在線檢索階段主要的問題是其召回率不高。

3.2 目標注冊跟蹤技術

增強現實的最終結果就是將虛擬信息準確地注冊到真實場景中，為實現虛擬信息與真實場景的完美融合，必須實時地跟蹤攝像機與真實物體間的位姿信息，建立觀測模型，進而通過動態三維顯示技術迅速地將虛擬信息疊加到真實物體之上，這就是跟蹤注冊技術[5-7]。跟蹤注冊技術可分為基于標識物的跟蹤注冊技術和無標志點跟蹤注冊技術。

基于標識物的跟蹤注冊技術是當前增強現實系統中最為成熟和實際應用最為廣泛的注冊技術,技術成熟度較高，但是其需要事先在真實環境中事先放置特別制作的標識物，這導致了其應用場景及其有限，且用戶體驗并不好。

無標識點跟蹤注冊技術指的是直接利用攝像頭實時獲取的視頻傾進行跟蹤注冊，實時獲取位置信息，完成虛擬物體與真實場景的疊加，可以應用于戶外自然場景下的增強現實應用中。目前無標識點跟蹤注冊技術的發展仍停留在實驗階段，并沒有非常完善的、廣泛的應用。主要問題和難點有以下幾方面：首先，由于無標注冊算法的技術難度非常大，算法復雜，其運算效率是一個重要的問題，很多無標注冊算法的效率較差，很難達到實時運行，即使可以實時運行的算法,留給 3D渲染的時間往往也很少。其次，無標注冊中往往需要利用場景中的對應特征集合進行計算，而特征匹配很難避免外點，因此算法的魯棒性也是一個難點。很多算法都無法在復雜多變的場景中運行，當背景過于復雜、運動過于劇烈、光照條件變化顯著時，很多算法會失敗，因此無標注冊對魯椿性要求很高。最后，無標注冊算法往往需要很多復雜的預處理操作，如基于模型的注冊算法需要事先對場景準確建模，基于特征的算法往往需要在算法初始化時給出初始估計等。目前業界比較常用的無標識點跟蹤注冊技術有光流法、基于場景平面的増強現實跟蹤注冊方法、基于模型和關鍵憤的跟蹤注冊方法、基于SIFT特征匹配的跟蹤注冊算法等，均面臨在移動智能終端側實時性和魯椿性不能兼得的問題。

3.3 內容實時渲染技術

增強渲染是在真實場景中疊加增強顯示的三維物體，幫助用戶理解周圍環境[8,9]。由于智能移動終端存在帶寬和計算能力這兩個因素的限制，要保證流暢的 AR體驗，需要輕量高效的渲染引擎支持。增強現實系統中渲染模塊的主要功能是完成對增強內容進行增強渲染，渲染模塊相對于其它模塊是一個比較獨立的模塊。輸入為位置矩陣，輸出為渲染效果。對于2D圖像、簡單3D模型和文字等增強內容，一般使用OpenGLES進行移動增強現實繪制，對于復雜3D模型或者動畫、視頻等増強內容，一般采用專業的渲染引擎來處理。目前業界主要是應用一些性能較好的開源或商業引擎來進斤3D模型等增強內容的渲染，如 Total Immersion使用的渲染引擎為開源渲染引擎 OGRE，通過 ARSDK和MetaioSDK提供Unity3D的擴展可以進行增強內容的渲染。

4 結論

隨著寬帶移動通信技術的發展以及IOS、Android等移動智能及智能應用的出現，曾經局限于實驗室的增強現實技術開始走進大眾視野，一大批以終端定位、圖像識別為技術特征的移動互聯網增強現實應用開始涌現。本文介紹了移動增強現實的關鍵技術，為移動增強現實的實現和廣泛應用提供必要的理論和技術支撐。

[1]David G L. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision, 2004(60): 91-110.

[2]Hebert B, Andreas E, Tirme T. SURF: Speed Up Robust Features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[3]Li F F, Perona P. A Bayesian Hierarchical Model for Learning Natural Scene Categories[J]. Proc. of IEEE Computer Vision and Pattern Recognition, 2005: 24-31.

[4]Andrew D, Reid L, Nicholas M . Mono-SLAM: Real time single camera SLAM[J]. IEEE Transaction on Pattern Analysis and Machine Intelligent, 2007: 1052-1067.

[5]Georg K, David M. Parallel tracking and mapping for small AR workspaces[C]. In Proc. of International Symposium on Mixed and Augmented Reality, 2007: 225-234.

[6]Tamar S, Dro G, Sharon C . A novel perceptual image quality measure for block based image compression[J]. Image Quality and System Performance, 2011, 8(8): 156-175.

[7]Ding S H, Huang F Y, Xie Z F. A Customized Framework to Recompress Massive Internet Images[J]. Journal of Computer Science＆Technology, 2012, 27(6): 1129-1139.

[8]Brown M, Hua G, Winder S A. Discriminative learning of local image descriptors[J].IEEE Trans. Pattern Analysis and Machine Intelligence, 201l, 33(l); 43-57.

[9]Chen D. Residual enhanced visual vector as a compact signature for mobile visual search[J]. Signal Processing, 2013, 93(8): 2316-2327.

[10]劉洋,鄭華,李筱楠.基于人工神經網絡的茶葉鑒定專家系統設計與研究[J].福建茶葉,2016,08:13-14.

[11]齊會娟,李德雄,張詣.基于物聯網的多目標物流調度系統優化設計[J].物流技術,2015,12:173-175.

[12]齊會娟,李德雄.計算機圖像處理技術在茶葉感官品質檢測中的應用研究[J].福建茶葉,2016,05:18-19.

Review of the Key Technology of Mobile Augmented Reality

WEN Hong-nian LIU Yang HAN Duo-duo
(Shijizhuang Institute of Railway Technology Shijizhuang Hebei 050041 China)

The MAR applies the virtual augmented reality information to the real world, which has changed the way users observe the world. The traditional WEB page query mode based on text input in the browser will be changed to the next-generation show mode that the hotspot information captured by a variety of sensors is loaded into the real scene in the screen of the mobile, and which will enhance the user experience greatly.

Mobile Augmented Reality Visual Retrieval Registration Tracking Content rendering

A

1673-1816(2017)01-0071-04

2016-03-19

溫洪念（1985-），女，漢，貴州遵義人，碩士，助教，研究方向計算機軟件。

2016年河北省高等院校科學技術研究項目：ZC2016109; ZC2016137; ZD2016057

2016河北省科技計劃自籌經費項目： 15210149; 15270330

河北省教育廳2016青年基金項目：基于B/S結構的BIM服務器中間件技術研究，基金號：QN2016215河北省人力資源和社會保障課題：JRS-2016-1043