增強現實室內導覽系統應用設計

陳寧凡 何 成 鐘 璐 雷炳成

（中山職業技術學院，廣東 中山 528404）

0 引言

隨著移動智能手機技術的迅速發展，導航系統已經相當的成熟，特別是室外導航系統，高德地圖、百度地圖等都能滿足用戶的日常需求。然而室內的導航系統，大部分采用的是二維地圖來做指引，相對滯后。

這些年來，增強現實（AR）技術逐漸進入公眾視野，增強現實技術的目標是將計算機生成的虛擬環境與用戶周圍的現實環境融為一體，讓用戶從視覺上認為虛擬物體就是真正存在于客觀真實世界當中的。隨著移動通信和5G技術的快速發展，增強現實技術毋庸置疑地成為當今最具影響力的技術之一，它能夠將瞬息萬變的信息實時地展現在人們面前。

基于移動端的AR技術的導覽系統具有非常重要的意義，借助AR技術，可以讓導航更直觀和更有趣味，AR導航把虛擬路標“添加”到現實世界當中，使導航過程更為直觀。利用EasyAR的運動追蹤功能，EasyAR會檢測捕獲的攝像頭圖像中的視覺差異特征（稱為特征點），并使用這些點來計算其位置變化。移動終端設備IMU的慣性測量結果和視覺信息相結合，共同用于估計攝像頭隨著時間推移而相對于周圍世界的姿態（位置和方向）。這樣可以解決用戶在很小的室內范圍內難以判斷高度和找到方向的問題，可以很好彌補傳統導航方法的不足。另一方面，傳統的導航借助AR技術可以改善用戶體驗，充分利用AR技術虛擬物體映射到真實世界的特點，增強移動設備導航應用的趣味性。本文基于Unity/EasyAR的增強現實室內導覽系統應用設計進行探索。

1 基于EasyAR的室內導覽系統

EasyAR是國內很常用的一款免費增強現實引擎，也是國內AR開發常用的工具。從版本4開始，發布EasyARSense，是一個獨立的SDK，提供感知真實世界的能力。本項目使用EasyARSense Unity Plugin提供EasyARSense功能在Unity中的封裝。EasyARSense 4.5帶來了全新的算法組件和平臺支持，包括稀疏空間地圖（掃描環境實時生成稀疏3D點云地圖），稠密空間地圖（掃描環境實時生成3D網格地圖），運動跟蹤（獲取設備相對現實世界的位置和姿態），表面跟蹤（獲取設備相對于環境表面的位置和姿態），3D物體跟蹤（對日常生活中富紋理3D物體進行識別與跟蹤），平面圖像跟蹤（對平面圖像進行實時識別與跟蹤）等功能。

1.1 系統設計

通過3d Max對場景進行建模、貼圖及制作動畫、特效。3d Max是一種多邊形對象建模方式，可以對其點、邊及元素進行獨立編輯，場景及實體的材質通過質地顏色和紋理貼圖設計、參數修改達到表現物體特質效果。

Unity技術。利用Unity3D渲染技術及碰撞檢測功能，實現增強現實導覽系統中需要對3D虛擬場景進行渲染、交互功能，并把虛擬物體映射到相應跟蹤的真實場景中。

EasyAR的運動跟蹤功能。當手機在現實世界中移動時，Easy AR會通過并行測距與映射的過程來理解手機相對于周圍世界的位置。EasyAR會檢測捕獲的攝像頭圖像中的視覺差異特征（稱為特征點），并使用這些點來計算其位置變化。移動終端設備IMU的慣性測量結果和視覺信息相結合，共同用于估計攝像頭隨著時間推移而相對于周圍世界的姿態（位置和方向）。用這種特性來解決導覽系統中短距離的定位和方向判別問題。

利用EasyAR的環境理解功能制作AR導航標記。EasyAR可以查找看起來位于常見水平或垂直表面（例如，桌子或墻）上的成簇特征點，并讓這些表面可以由應用用作平面。EasyAR也可以確定每個平面的邊界，并將該信息提供給應用。可以使用此信息將虛擬物體（AR導航標記）置于平坦的表面上。開發AR導覽系統的總體流程圖如圖1所示。

圖1 開發AR導覽系統的總體流程圖

實現中山職業技術學院AR導覽系統各功能模塊。UI界面，AR識別圖庫，AR跟蹤識別、導航，AR核心模塊，模型顯示，AR疊加融合，交互體驗。增強現實導覽系統總體框架如圖2所示。

圖2 增強現實導覽系統總體框架

1.2 EasyAR實現AR導航

平面圖像跟蹤（Planar Image Tracking）用于跟蹤與檢測有紋理的平面物體。“平面”的物體，可以理解為一張名片、一個二維碼、一張海報，或者是一面涂鴉墻這類具有平坦表面的物品或事物。這些物體應當盡量具有不重復且豐富的紋理。在本項目中，使用二維碼作為平面圖像，進行輔助跟蹤定位。模板圖像準備妥當之后，將文件放置在正確的資源文件夾（assets）目錄下。隨時可以開啟整個平面圖像跟蹤。目標物體的數據會在Tracker啟動時自動進行計算生成，檢測與跟蹤的過程也將在那之后自動運行。

運動跟蹤（Motion Tracking）用于持續追蹤設備在空間中的六自由度位置和姿態。通過運動跟蹤，虛擬物體和真實場景實時對齊到同一坐標系，可以體驗到虛擬內容和真實場景融合在一起的感受。運動跟蹤通過視覺慣性同步定位和建圖（VISLAM）技術，計算設備相對于真實空間的位姿關系。在設備移動過程中，通過識別相機圖像中顯著特征點并跟蹤其位置變化，結合設備的IMU數據信息，實時計算當前設備相對于真實世界的位置和姿態。

MotionTrackerCameraDevice實現了一個真實尺度6DOF運動追蹤的camera設備，輸出InputFrame（包含圖像、攝像機參數、時間戳、6DOF位置信息和跟蹤狀態）。MotionTrackerCameraDevice通過inputFrameSource輸出InputFrame，應將inputFrameSource連接到InputFrameSink上進行使用。

EasyAR表面跟蹤（Surface Tracking）實現輕量級的持續跟蹤設備相對于空間中選定表面點的位置和姿態的能力。為了在真實空間和虛擬空間之間建立對應關系，表面跟蹤利用相機和慣性測量單元的數據。表面跟蹤識別相機圖像中的重要特征，使用連續視頻幀和IMU數據跟蹤這些特征的位置。虛擬物體被放置在相應的特征點的位置并持續跟蹤。啟動時虛擬物體默認被放置在屏幕中間附近的特征點表面，并將虛擬物體的位置視為世界坐標系的原點。在移動設備期間，相機圖像中的特征深度會不斷更新，虛擬物體持續貼合在相應的特征點表面。如果虛擬物體所對應的特征點丟失，系統自動選擇新的特征點并輸出設備相對于該特征點的位置和姿態。

SurfaceTracker實現了對環境表面的跟蹤。SurfaceTracker通過inputFrameSink輸入InputFrame，應將InputFrameSource連接到inputFrameSink上進行使用。

1.3 中山職業技術學院AR導覽系統

開發基于Unity/EasyAR的中山職業技術學院AR導覽系統，系統具有位置定位功能，方向姿態判別功能，以及目的地導航、目的地介紹等交互功能。打開App會看到一個掃描二維碼的界面，用戶通過掃描指定的二維碼進行定位。當掃描到二維碼并且一切正常的話就會進入一個平面地圖。當選中目標點后點擊預覽路線將會在平面地圖上顯示一條路線，實現了AR室內導覽功能。中山職業技術學院AR導覽系統應用功能展示如圖3所示。

圖3 中山職業技術學院AR導覽系統應用截圖

2 結語

本文提出利用EasyAR的運動跟蹤功能實現導覽系統中短距離的定位和方向判別問題，擺脫導航系統對衛星導航依賴的同時提高室內導航精度。EasyAR會檢測捕獲攝像頭圖像中的視覺差異特征（稱為特征點），并使用這些點來計算其位置變化，從而實現精確穩定的室內導覽，達到研究增強現實技術可如何有效運用于室內導航的目的。同樣技術可應用于醫院、公園、圖書館、博物館等各種室內公共設施，為人們提供便利。