基于視覺跟蹤的沉浸式數字旅游系統設計

石路云

【摘 要】隨著現代旅游的發展，以增強現實為基礎的虛擬旅游得到了廣泛應用，促使文化旅游產品得到推廣和應用。針對增強現實技術在文化旅游資源方面的應用，沉浸式數字旅游系統以旅游特色明信片為基礎，結合基于SIFT自然特征的增強現實技術，在真實的明信片上疊加虛擬場景以達到虛實融合的效果。同時，利用Unity3D處理在移動設備上的觸控操作，實現單指旋轉、雙指縮放等交互操作，最后達到能夠在真實場景中對數字文化內容進行智能交互的效果。

【關鍵詞】增強現實；尺度不變特征變換；數字旅游

中圖分類號： TP391.41 文獻標識碼： A 文章編號： 2095-2457（2018）11-0011-004

DOI：10.19694/j.cnki.issn2095-2457.2018.11.004

【Abstract】With the development of modern tourism，virtual tourism based on augmented reality has been widely applied，which has promoted the promotion and application of cultural tourism products.In view of the application of augmented reality technology in cultural tourism resources， immersive digital tourism system is based on the postcard with the characteristic of tourism，combined with augmented reality technology based on SIFT natural features，adding virtual scenes to real postcards，to achieve integration of virtual and real.At the same time，using Unity3D to handle the touch operation on the mobile device，realize the interactive operation of single finger rotation and double finger zoom， and finally achieve the effect of intelligent interaction of digital culture content in real scene.

【Key words】Augmented reality；Scale invariant feature transform （SIFT）；Digital tourism

0 引言

增強現實（Augmented Reality，簡稱AR）是一種基于虛擬現實發展的新技術，是透過攝影機影像的位置及角度精算并加上圖像分析技術，在屏幕上把虛擬世界套在現實世界中的技術，這種虛實結合的技術可以支持對各種信息的可視化解釋和表現，并能實現用戶與其之間的交互。增強現實技術因為其虛擬和真實相結合的特點，具有廣闊的應用前景，并在工業設計、醫療技術、軍事訓練等領域得到了廣泛的應用[1]。

隨著現代旅游業的發展，以增強現實為基礎的虛擬旅游得到了廣泛應用。在國內，主要有利用增強現實技術重建圓明園景觀，基于增強現實技術的虛擬雕塑實景顯示，非物質文化遺產內容的博物館數字化展示等方面的應用；在國外，有德國Metaio機構開發的基于文化旅游資源的AR互動雜志，日本公司結合增強現實技術開發的旅游景點紀念讀本，東京大學的“虛擬飛鳥京”等等應用[2]。旅游文化是現代旅游不可或缺的組成部分，同時也是旅游發展趨勢的主導，因此基于增強現實技術的文化旅游資源開發，能夠促使文化旅游產品得到推廣和應用[3]，具有非常廣闊的發展前景。

使用增強現實技術將虛擬場景實時疊加在相關的文化旅游商品、手工藝品和其他現實環境中是一種新的開發思路和技術應用方法。AR文化旅游商品能夠將景區的特色文化以可交互模型、視頻等形式傳遞給用戶，使得用戶能夠直接參與互動，更直觀地感受景區文化內涵。因此本文運用增強現實技術設計介紹旅游景點、歷史文化的旅游特色明信片，以移動智能終端為載體，游客們通過下載APP，再通過APP掃描明信片便能在智能終端上再現旅游景點的3D模型[3]，并能在智能終端上展示其歷史文化的宣傳片，同時游客們也能與3D模型進行交互，達到了能夠在真實場景中對數字文化內容進行智能交互的效果。

1 基于視覺跟蹤的沉浸式數字旅游系統設計

系統是在明信片的基礎上，以綿陽本地特色景區越王樓為例，將明信片作為目標圖像，結合增強現實技術與Unity3D平臺開發，將虛擬的越王樓主樓模型及宣傳視頻疊加到真實的明信片上，實現對現實的增強。

該系統以移動智能終端為載體，用戶進入系統后，系統會自動打開攝像頭，當識別到目標圖像（即具越王樓特色的明信片）后，系統會在目標圖像中心渲染出一個越王樓主樓的模型，同時在目標圖像下方會渲染出一個播放視頻的按鈕，表明系統已經識別到目標圖像。在交互方面，用戶用手指觸摸屏幕，手指向左右移動，越王樓主樓模型也會對應向左右旋轉；用戶用兩根手指觸摸屏幕，聚攏兩根手指則是縮小模型，散開兩根手指則是放大模型；另外，點擊目標圖像下方的視頻播放按鈕則會播放越王樓宣傳視頻。

該系統首先對越王樓景區進行實地考察，利用3D Studio Max建立越王樓主樓模型，然后以Unity3D作為開發平臺，結合增強現實開發技術，將虛擬的越王樓模型疊加到真實的明信片上，最后利用Unity單指與雙指Touch事件捕獲實現與模型的交互。系統整體框架如圖1。

2 增強現實技術基本架構

該數字旅游系統是基于視覺跟蹤，在增強現實識別與展示方面必須保證高準確率、高效率以及高穩定性，以保證系統的可靠性。

增強現實，簡單地來說，就是在真實的場景的基礎上覆蓋虛擬的影像。本文研究的增強現實系統是基于視覺的跟蹤注冊技術，通過普通的攝像頭就能夠實現對真實場景中關鍵幀的跟蹤和定位[4]。系統主要通過SIFT算子進行特征提取與匹配，主要由以下環節組成[5]：（1）獲得真實場景圖像；（2）特征提取與描述；（3）特征匹配；（4）計算變換矩陣；（5）虛實場景融合。

系統首先對目標圖像進行SIFT關鍵點檢測，并生成特征描述向量，再通過攝像頭獲取真實的場景圖像進行特征點提取并描述，然后和目標圖像的關鍵特征向量進行匹配，估計目標圖像和真實的場景圖像之間的單應性變換[5]，計算變換矩陣，從而更新真實場景的位置和姿態估計。最后，在此基礎上將虛擬場景疊加到真實場景上，實現虛實融合，達到對現實增強的效果。所以在實現增強現實的整個流程中，最關鍵的技術在于目標的識別與跟蹤，即SIFT目標檢測和跟蹤算法，其實現過程可用圖2表示。

SIFT（Scale-invariant feature transform）算法是由David G.Lowe提出的一種從圖像中提取獨特不變特征的方法[6]。該算法提取的特征對于圖像尺度和旋轉具有不變性，并在光照變化和三維相機視點變化的情況下具有部分的不變性。主要分為以下步驟：

2.1 特征提取

SIFT算法是通過在圖像的多尺度空間查找其特征關鍵點，首先需要建立高斯尺度空間，由于LOG算子（Laplacian of Gaussian，高斯拉普拉斯函數）具有真正的尺度不變性，同時DOG（Difference of Gaussian，高斯差分函數）與LOG近似，所以可以利用DOG算子來構建圖像的尺度空間，也能達到降低計算量的效果。尺度空間是利用尺度可變的高斯函數與輸入圖像卷積得到：

不同尺度空間相減即可得到DOG尺度空間，達到了降低計算量的效果。在構建DOG尺度空間之后，利用DOG尺度空間計算極值點，同時通過對DOG尺度空間函數進行曲線擬合以精確關鍵點的尺度和位置，進而提高匹配的穩定性。然后基于圖像局部的梯度方向，分配給每個關鍵點位置一個或多個方向，最后就確定了每個關鍵點的位置、尺度和方向。后面對圖像的操作會相對于關鍵點的位置、尺度和方向進行變換（平移、縮放和旋轉），因此確定了每個關鍵點的位置、尺度和方向就為這些變換提供了不變性。

2.2 生成特征描述子

在通過特征提取尋找好特征關鍵點后，需要利用特征關鍵點處鄰域內的像素信息來對特征關鍵點進行描述，即生成特征向量，以提高匹配的高效性和穩定性。首先需要確定特征點主方向，采用梯度直方圖統計法對特征關鍵點處鄰域采樣，并用直方圖統計鄰域像素的梯度方向，由梯度直方圖峰值表示的方向就是特征處鄰域梯度的主方向，即特征點主方向。之后，為了確保特征向量具有旋轉不變性，需要將坐標移至特征點主方向，并且計算特征點鄰域內（以特征點為中心取16×16像素點的鄰域作為采樣窗口）各個像素點的梯度大小和方向。

完成以上步驟后，接下來就是生成特征描述子。可用圖3表示生成特征描述子的過程，圖左部分的中央的圓點為當前特征點位置，每個小格代表特征點處鄰域內的一個像素點，箭頭長度用于表示像素點梯度大小，箭頭方向用于表示像素點梯度方向，再進行高斯加權。然后計算每個4×4的像素小塊上8個方向的梯度方向直方圖，計算每個梯度方向的值的總和，即形成一個種子點，每個種子點都有8個方向的向量，一共16個種子點，如圖右部分，即特征描述子采用4×4×8=128維向量表示[7]。最后，將128維向量規范化，SIFT特征向量生成。

2.3 特征匹配

目標圖像和通過攝像頭獲取的關鍵幀圖像的SIFT特征向量集合生成后，則需要完成兩者之間的特征匹配。此處利用特征點的特征向量的歐式距離來度量目標圖像和關鍵幀圖像中特征點的相似性。最后，利用基于特征點最近鄰和次近鄰距離比的BBF搜索算法搜索SIFT特征點的最近鄰點[8]。

3 模型交互方案

為了使用戶能夠與虛擬景象進行交互，本文中利用Unity3D處理在移動設備上的觸控操作。基于iOS和Android設備能夠支持多點觸控，在Unity3D中可以通過Input類中的touch實現與模型的交互，即通過對單指和雙指touch事件的捕獲來對模型做出相應的角度或者大小的調整。

移動智能設備可以追蹤許多與觸摸屏上的觸摸有關的不同數據，包括觸摸所處的階段（例如，觸摸開始、觸摸中或者是觸摸結束）、觸摸的位置以及觸摸是單點觸摸或者是多點觸摸。相應地，在Unity3D中，可以通過Input.touches屬性集合訪問在最近一幀中在屏幕上觸摸的每一根手指的狀態數據。表1中列出了該系統中用到的與觸摸相關的API（Application Programming Interface，應用程序編程接口）。

表1 與觸摸相關的API

在本文中，主要定義了兩種交互操作。一種是單指滑動模型的操作，另一種是雙指觸控縮放模型的操作。具體邏輯如下流程圖。

4 系統結果與分析

根據本文的思路，以Unity3D作為開發平臺，結合增強現實開發技術，完成了基于視覺跟蹤的沉浸式數字旅游系統。該系統以APP的形式搭載在智能移動設備上，如圖5，將該系統搭載在手機上的運行結果。

該系統能夠以增強現實技術展現較為真實的越王樓主樓，并支持觸摸點擊、單指旋轉、雙指縮放等交互。系統適用于安裝有Android 4.0以上或iOS 8.0以上系統的智能移動設備，系統的識別距離、識別速度以及識別的穩定性都能夠滿足需求，同時也支持對目標圖像的局部識別。除此之外，該系統在測試設備上的運行平均幀率大于60 FPS，滿足手機應用流暢性標準。

5 結束語

針對增強現實技術在文化旅游資源方面的應用，本文以明信片為基礎，結合增強現實技術與Unity3D平臺構建基于視覺跟蹤的沉浸式數字旅游系統，將虛擬場景疊加到真實的明信片上，將本地文化特色以數字化的形式傳遞給受眾，實現了增強現實與文化旅游的良好結合；此外，友好的交互設計也使得用戶能夠參與互動，直觀地感受景區文化內涵，讓用戶感受到一種在文化消費過程中的快樂。隨著增強現實技術的加入，結合明信片，通過動畫、視頻等數字化的形式增加了用戶的交互式體驗，帶給消費者嶄新的視覺體驗，同時也呈現出了更多的創新。

【參考文獻】

[1]王涌天，鄭偉，劉越，等.基于增強現實技術的圓明園現場數字重建[J].科技導報，2006，24（3）：36-40.

[2]余日季，唐存琛，胡書山.基于AR技術的文化旅游商品創新設計與開發研究[J].藝術百家，2013（4）：181-185.

[3]魏三強，王兵.AR技術在非物質文化遺產及文化旅游業中的應用[J].江漢大學學報：社會科學版，2016，44（4）：364-368.

[4]肖慧，陸奎.基于SIFT自然特征的AR系統研究和實現[J].計算機應用與軟件，2014（5）：244-246.

[5]邵文堅.面向增強現實的目標檢測和跟蹤算法研究[D]. 西安電子科技大學，2014.

[6]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[7]松子茶.尺度不變特征變換（SIFT）特征提取分析[EB/OL].https：//blog.csdn.net/songzitea/article/details/13627823， 2013-11-25.

[8]Friedman J H，Bentley J L，Finkel R A.An Algorithm for Finding Best Matches in Logarithmic Time[J].Acm Transactions on Mathematical Software，1977，3（3）：209-226.