增強現實技術的虛擬景區信息系統

蘇會衛，李佳楠，許霞（.桂林旅游學院旅游與休閑管理系，廣西桂林54004；.貴州財經大學管理科學學院，貴州貴陽55005）

?

增強現實技術的虛擬景區信息系統

蘇會衛1，李佳楠2，許霞1
（1.桂林旅游學院旅游與休閑管理系，廣西桂林541004；2.貴州財經大學管理科學學院，貴州貴陽550025）

摘要：針對傳統旅游模式智能化問題，設計并實現基于增強現實技術的虛擬實境空間系統，利用增強現實技術，將二維設計操作移植到三維環境中形成三維交互建模，實現三維虛擬環境定位實體場景和人機交互體驗.結果表明：該系統為用戶創造了新的旅游體驗方式與平臺，也驗證了基于增強現實技術的虛擬景區信息系統的可行性，改進了增強現實技術中存在的技術瓶頸.

關鍵詞：增強現實；虛擬景區；三維建模；用戶體驗

旅游業被確定為我國國民經濟中的朝陽產業，是國家戰略性支柱產業.日本東京街頭的ibutterfly虛擬游覽項目［1］、美國的迪斯尼樂園，以及手機上的增強現實程序都出現各種立體的動畫人物，并可進行互動［2］.圓明園采用增強現實技術（augmented reality technique，簡稱AR）完成建筑物的虛擬重建，用戶在園中戴上特殊三維眼鏡能夠觀覽到當年皇家園林原貌［3］.在景點入口處，游客通過使用移動終端可以下載基于增強現實技術的景區虛擬信息系統，系統帶有景區導航功能.在景區特定的區域設置大幅圖形標記或小型二維碼識別標簽，游客可以通過掃描標簽自動激活虛擬導游講解系統，觸發文物三維360°展示功能［4］.游客還能直接和增強現實景區系統的虛擬人物或物體等進行方便有效的交互，并能與其他游客進行基于景區SNS（social networking services）的智能化聯系［5］，讓游客置身于數字化環境中，真實場景與虛擬信息相得益彰，刺激創新型旅游增長點.我國在AR領域的研究起步較晚，集中在配準技術和系統應用，學術層次有待拓展、涉及領域相對局限，未實現流程標準化.AR技術仍未系統地基于游客旅游角度開發便于操作的、能虛擬場景順暢交流的信息系統，只有個別景區的應用性研究.從專利申請的情況看，全球共有108個［6］，其中，我國僅有北京理工大學開發出相關系統［7］.本文研究了改進型增強現實的關鍵技術，構建了基于云計算三維素材的大數據量存儲和高速傳輸，實現了增強現實技術的虛擬景區信息系統.

1　增強現實理論

增強現實技術是一種通過計算機技術實時地將不同的3D虛擬對象整合到真實的三維空間中的技術，加強用戶在真實的環境中感受虛擬世界中的信息［8］.增強現實是虛擬環境（virtual environments，VE）的一種變化.增強現實技術能夠通過將虛擬物體與真實物體相互疊加，令用戶不僅能夠體驗到虛擬環境，而且能夠感受并看到真實的環境.這種交互式方式使得虛擬世界和真實世界的聯系更加緊密，用戶的體驗也更加滿足.

增強現實讓人們能以普通方式運用自己所熟悉的日常對象，而不是鍵盤輸入、凝神屏幕.醫生可以觀察添加的醫藥圖像，兒童可以為壘高（LEGO）玩具編程，建筑工程師可以運用普通的紙面工程畫和遠方同事交流.增強現實不是讓人們沉浸在人工創造的虛擬世界中，而是通過以豐富的數碼信息與交流能力來增強物理世界中的對象.

1.1 技術支持

增強現實體現在它將虛擬世界與真實世界緊密相連，支撐VR的技術有以下3種.

1）計算機圖形圖像技術（computer graphics technology）.在真實世界中，該項技術能夠讓使用增強現實的用戶借助透明的護目鏡看到投影，并疊加于真實物體上的虛擬對象，令用戶感受到物理世界之外的景象.

2）空間定位技術（space positioning technology）［9］.空間定位技術通過三維環境注冊系統，實現虛擬物體跟隨用戶的身體移動，改變相應的位置，增強用戶的體驗效果.

3）人文智能（humanistic intelligence）［10］.人文智能是一種反饋回路中人和處理設備的信號處理框架，將自然賦予人的能力與處理設備交織在一起.人們可以利用人文智能獲取自己的生活見識，并與他人進行更有效的交流.

1.2 技術問題

1）增強現實需要的3D素材缺乏，沒有一個統一的素材云平臺［11］.

2）定位標記的微小抖動就會影響到增強現實的三維坐標和實物坐標融合.3）用戶與虛擬物體的手勢交互的靈敏度不高，有待改進.

1.3 技術創新

1）采用對人眼透明的水印基礎場景上添加現實物體定標.

2）根據讀者所在環境的光照情況，系統分析采集的實物圖像灰度分布，自動調整三維素材色彩，達到虛實光照一致性.

3）系統支持虛實碰撞檢測的手勢交互及手機觸摸交互［12］.增強觸摸的連貫性、真實性，能帶來很好的用戶使用體驗.1.4 應用拓展

1）在傳統的旅游項目引進虛擬體驗技術［13］，以全新的3D立體展示方式為觀光模式注入新生活力.突破性應用形態的涌現創造全新的用戶觀賞體驗.

2）新的數字講解方式，用戶與虛擬景區進行主動交流而非被動信息接受.增強現實技術可以預先設計一些場景人物進行虛擬投影，游客可以通過虛擬設備觸發系統［14］和虛擬人物進行對話.

3）用增強現實技術可很好地對少數民族文化遺產進行保護.把少數民族文化遺產于旅游業發展聯系起來，在一定程度上“活化”傳統文化.

2　技術方法及實現

系統利用識別圖像匹配技術獲得注冊信息，使其成為適用于旅游景點的增強現實系統.系統將移動終端作為圖像顯示和獲取設備，將攝像頭拍攝到的圖像與事先存儲的識別圖在移動終端中進行匹配分析運算，獲取輸入圖像注冊信息.據此，對事先已經渲染過的虛擬三維模型進行信息的調用.將其與移動終端的視頻輸入設備獲取真實的畫面進行疊加，最后，將完成虛擬與現實融合的增強畫面顯示于移動終端的屏幕上.這一方法允許用戶在任何環境下進行操作，從而不受諸如天氣、地理位置等外界因素的影響.系統將移動終端作為圖像采集與顯示設備，其便攜的特點促成了系統導航功能的誕生.

2.1 建立三維旅游素材服務平臺

對紙面印刷二維碼的快速識別，讀取三維素材標記等數據，查找或下載對應的素材到移動終端.

1）采用python腳本語言［15］，可以實現服務器的快速開發，具有高速和高并發的優秀特性.同時采用3DMax制作三維素材［16］，并將它們通過服務器后臺批量導入素材庫，自動產生標記，導出二維碼提供印刷，為終端獲取信息提供支持.

2）在掌握二維碼邊緣的圖形特殊性的情況下，采用特征識別的方法［17］，在設備的拍攝畫面中完整獲取二維碼圖像，并將二維碼圖像以外的內容清空.

3）對圖像進行二值化處理，得到黑白的畫面，再結合Unger提出的平滑算法去除圖像上的雜散的點［18］，對圖像進行降噪，得到比較清晰的二維碼.

4）對處理后的圖像再次進行特征識別，主要為了獲取二維碼的偏轉角度，并對圖像進行旋轉，獲得了較為精確的二維碼圖像.

5）對二維碼進行譯碼，獲取其中包含的信息.

2.2 三維注冊

以虛實融合的方式，使用實時跟蹤攝像機，完成三維虛擬環境定位，實體場景中的注冊位置是AR中一個關鍵三維注冊技術.采用改進的三角點Mark識別法［19］，主要利用Mark圖像信息，結合攝像頭參數采用透視投影成像原理來獲得變換矩陣信息，從而進行三維坐標在二維實物坐標上的注冊.然而，顯式的Mark圖像將會對雜志內容產生較大程度上的影響，借鑒以圖像為載體的數字水印技術，將“看不見的”Mark圖像信息加入到雜志圖像上，終端通過規定的規則對圖像進行處理識別出Mark圖像.2.3 素材亮度值和陰影的添加

基于Mark識別法完成精確注冊，確定虛擬場景和真實環境相互的陰影、遮擋與光照的一致性效果.為了使設備生成的虛擬場景更加真實地與周圍環境融合，需要對嵌入的虛擬場景進行真實感渲染.2.4 手勢交互和人機交互體驗

為了使真實場景中的虛擬信息更加自然地交互，擬采用手勢識別交互和碰撞檢測的結合技術增強用戶的體驗.對人手進行三維建模，選取27維的一只人手，將其分解成15個6維的指節，別具匠心地“拆零”人手，進而，依照指節與指節的綁定關系，“組裝”匹配人手，即達成對人手每根手指的精準追蹤.為確保動態手勢識別和人手跟蹤能在低維的層級潛變量空間順利開展，采用基于三維人手運動的層級潛變量空間研究，增強手勢跟蹤和識別精確度.建立手勢數據庫記錄系統中可能出現的手勢模型，通過對人手手勢的正確識別，并結合碰撞檢測技術，產生對應的三維動畫效果增強用戶的體驗.

2.4 原始內容圖像的處理

首先，確定將要添加Mark圖像的的區域，分析區域圖像獲取亮度分步信息.然后，添加Mark圖像的區域內多對特征點（以中心對稱），將每對點中一個亮度值加一，另一個減一，不影響整個圖像平均亮度.最后，將處理后的圖像存儲印刷到紙面，用于提供Mark標示.

設備識別是分析處理圖像，獲得亮度分布，再根據上面二維碼中記錄的特殊規則定位出Mark圖像的位置，獲取Mark圖像.在識別出Mark圖像后，獲取特征圖的4個頂點，計算變換矩陣h，擬合初始特征模板.

假設所有頂點均被定位，則遵從初始算法，開展識別跟蹤.假設小于兩個頂點被定位，那么識別不成功；若是3個頂點被定位，則特征圖形只可見一部分，另需計算特征圖形坐標系與顯示器屏幕坐標系和攝像機坐標系之間的變換關系，以下是詳細步驟：

1）選擇羅伯特.哈拉利克提出的算法［20］，獲得3個點在顯示器坐標系中的坐標，并計算3個頂點位于攝像機坐標系中對應點的坐標，獲取4組大致的對應點坐標集合.

2）依此對4組可能的解計算對應的投影變換矩陣，特征圖形坐標系與顯示器屏幕坐標系的變換關系公式為式（1）中：矩陣C為攝像機的內部參數矩陣，攝像機定標后為已知參數；矩陣T為待求的變換矩陣.

借助平面幾何原理，構建3個定位點組成平面坐標系.顯示器屏幕坐標系與特征圖形坐標系的變換矩陣為T1，T1可以表示為

同理，可以求得攝像機坐標系與特征圖形坐標系的變換矩陣T＝T2T1－1.

3）應用最小二乘法，求解4組可能的解，計算出的4個變換矩陣，還原4組特征圖形頂點的坐標.采納精確度最高的矩陣，形成目前圖像對應的變換矩陣.依據圖像分析，獲取最小的圖像頂點與恢復的頂點之間的距離的平方和.

3　開發實例

對于原始算法，使用Matlab等建模工具進行模擬仿真.對于軟件原型，最初可以通過打印在紙質上的二維碼，通過電腦攝像頭進行試驗；后期可對有圖形標記的印刷品，通過蘋果手機、Android手機等設備進行實驗和測試.

測試人員模擬游客游覽，使用安卓平板電腦，運行恐龍公園景區增強現實移動APK程序.使用攝像頭對準恐龍二維圖形標記進行掃描，如圖1所示.系統自動定位到圖形標記，并現實虛擬的三維恐龍模型，疊加到真實的攝像頭場景中.單移動設備平移或旋轉時，三維恐龍會跟隨圖形標記一起旋轉，燈光和顏色會調整到最佳狀態，如圖2所示.三維模型在展示的同時能嵌入音樂或語言解說，對恐龍的種類、特性、生活場景等進行詳細介紹.游客還能通過平板電腦的觸摸屏選中恐龍模型，放大、縮小、360°旋轉模型，閱讀介紹文字，添加標注等，實現與增強現實場景的交互，大大提高游覽的樂趣，豐富游客的信息獲取量.

圖1　制作二維圖形標記Fig.1　Make 2Dgraphics Mark

圖2　立體恐龍投影Fig.2　Stereo projection of dinosaurs

在景區內的特色服裝拍攝區，游客通常或穿上少數名族服裝、歷史朝代服裝或動漫主題服裝等進行拍攝.通過開發的增強現實系統的服裝試穿模塊，游客可以使用移動終端攝像頭進行自拍，使用觸摸式交互組件.各種景區主題相關的3D素材都會存儲在系統云端服務器，游客可以從海量的素材中選擇自己喜歡的帽子、衣服、道具等進行拍攝，增加了旅游的樂趣，給顧客帶來全新的體驗.

4　結束語

從虛擬景區的角度出發，改進了增強現實技術中的標記定位技術、圖形現實算法以及虛擬交互模塊，重點探討虛擬物體與實景空間合成的一致性問題.游客置身于數字化環境中，真實場景與虛擬信息交相輝映，增強現實系統可很好地對文化遺產進行保護.另外，社交網絡技術SNS也被融入到系統中，增強游客和導游之間的互動是虛擬現實應用研究領域中一種新的嘗試.結果表明：增強現實技術將民族文化遺產與旅游業發展聯系起來，在一定程度上“活化”傳統文化，并在在航天、軍事、建筑規劃等領域有著廣泛的應用前景.未來將進一步研究虛擬與真實物體之間的遮擋、碰撞，以及虛擬物體的光照、陰影等問題，使得虛實進行更好地結合.

參考文獻：

［1］李季，楊長青.故宮博物院近期對外及港澳臺地區的文化交流［J］.故宮博物院院刊，2012，55（3）：6－15，160.

［2］郭葆鋒.建設設計中的虛擬現實［J］.華僑大學學報：自然科學版，2001，22（3）：284－287.

［3］范承嘯，韓俊，熊志軍，等.無人機遙感技術現狀與應用［J］.測繪科學，2009，34（5）：214－215.

［4］王聰華，林宗堅.UAVRS影像空中三角測量實驗研究［J］.測繪科學，2007，32（4）：41－43.

［5］高宇，鄧寶松，楊冰，等.基于增強現實的虛擬實景空間的研究與實現［J］.小型微型計算機系統，2006，30（1）：146－150.

［6］陳新璽，李浩，張曼祺.普通數碼相機構像畸變差兩種檢校模型的比較［J］.北京測繪，2005，48（4）：50－54.

［7］羅自榮，常明，肖人彬.面向虛擬環境的場景管理關鍵技術及其實現研究［J］.系統仿真學報，2003，15（6）：891－894，897.

［8］張岸，莊劍順，齊清文，等.基于增強現實技術的紙質地圖增強表達與交互［J］.熱帶地理，2012，32（5）：476－480.

［9］連鎮華.無人機航攝相片傾角對立體高程扭曲的影像分析［J］.地理空間信息，2010，8（1）：20－22.

［10］常勇，施闖.基于增強現實的空間信息三維可視化及空間分析［J］.系統仿真學報，2007，19（9）：1991－1995，1999.

［11］蘇會衛，何原榮，聶菁，等.基于物聯網的綠色建筑在城市碳減排的應用研究［J］.自然災害學報，2014，23（6）：88－94.

［12］石勇，許世遠，石純，等.基于情景模擬的上海中心城區居民住宅的暴雨內澇風險評價［J］.自然災害學報，2011，20 （3）：177－182.

［13］汪永旗，王惠嬌.旅游大數據的MapReduce客戶細分應用［J］.華僑大學學報：自然科學版，2015，36（3）：292－296.

［14］王峰，劉仁義，劉南.WebGIS和虛擬現實技術在旅游業發展中的應用研究［J］.浙江大學學報：理學版，2005，32 （6）：706－710.

［15］符慧蘭.虛擬旅游與現實旅游的有機對接模式與功能互補性探討［J］.旅游縱覽：行業版，2013，2（5）：54－56.

［16］李志飛.論旅游景區的e化管理［J］.華僑大學學報：哲學社會科學版，2006，24（4）：73－77.

［17］孫敏，陳秀萬，張飛舟，等.增強現實地理信息系統［J］.北京大學學報：自然科學版，2004，40（6）：906－913.

［18］胡芬，張進.虛擬旅游體驗者滿意感影響因素研究［J］.湖北大學學報：哲學社會科學版，2013，40（3）：129－132.

［19］郭艷華.基于信息依賴的旅游體驗增強技術研究［J］.經濟論壇，2011，25（8）：147－149.

［20］陳靖，王涌天，林精敦，等.基于增強現實技術的圓明園景觀數字重現［J］.系統仿真學報，2010，22（2）：424－428.

（責任編輯：陳志賢 英文審校：吳逢鐵）

Virtual Scenic Spot Information System Research Based on Augmented Reality Technique

SU Hui－wei1，LI Jia－nan2，XU Xia1
（1.College of Tourism and Recreation Management，Guilin Institute of Tourism，Guilin 541004，China；2.School of Management Science，Guizhou University of Finance and Economics，Guiyang 550025，China）

Abstract：In view of the traditional tourism mode intelligence problem，design and implement of virtual reality space system based on augmented reality technique.Migrating 2Ddesign operation into 3Denvironment to form 3Dinteractive modeling by augmented reality technology，and realize 3Dvirtual environment to locate entity scene and human－computer interactive experience.Results show that the system creates a new way of tourism experience and platform for user，and also verify the feasibility of the virtual scene spot information system based on augmented reality technology.

Keywords：augmented reality；virtual scenic spot；3Dmodeling；user experience；user experience

通信作者：蘇會衛（1980－），男，副教授，主要從事計算機應用技術、物聯網的研究.E－mail：76908345＠qq.com.

中圖分類號：TP 391

文獻標志碼：A

文章編號：1000－5013（2015）04－0432－05

doi：10.11830/ISSN.1000－5013.2015.04.0432

收稿日期：2015－06－15

基金項目：廣西教育廳科研項目（TB2014481）；廣西桂林旅游高等專科學校重點項目（2013ZD02）；廣西桂林市科學研究與技術開發項目（20140302－3，GXRCGD201402）