移動AR+VR支持下旅游GIS系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

， ，，， ，

(1. 中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266000； 2. 青島海洋科學(xué)與技術(shù)國家實(shí)驗(yàn)室區(qū)域海洋與數(shù)值模擬實(shí)驗(yàn)室，山東 青島 266000; 3. 聯(lián)想(北京)有限公司,北京 100089； 4. 中車青島四方機(jī)車車輛股份有限公司，山東 青島 266000)

當(dāng)今世界信息技術(shù)發(fā)展迅猛，綜合利用地理信息系統(tǒng)(GIS)、大數(shù)據(jù)、云計(jì)算等先進(jìn)技術(shù)，研發(fā)智能化、多維度、全方位的旅游管理信息系統(tǒng)，已成為旅游信息化的發(fā)展趨勢[1-3]。移動互聯(lián)網(wǎng)的發(fā)展大大提升了智能設(shè)備的便攜性和高速網(wǎng)絡(luò)的普及性，智能手機(jī)與信息搜索、通信、娛樂、社交等功能的整合，可以為用戶提供動態(tài)信息服務(wù)和個(gè)性化推薦服務(wù)[4-6]。然而，傳統(tǒng)基于GIS的旅游信息管理系統(tǒng)受限于數(shù)據(jù)組織方式和承載平臺，存在使用靈活性差、信息展示維度單一、用戶體驗(yàn)性差等問題，已無法滿足用戶的多元化需求，制約了旅游信息化服務(wù)水平的進(jìn)一步提升。近年來虛擬現(xiàn)實(shí)(virtual reality，VR)和增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)技術(shù)的迅速發(fā)展，不僅為用戶提供高沉浸感的交互操作，還在多時(shí)空維度上展現(xiàn)用戶所需信息，為旅游業(yè)的進(jìn)一步發(fā)展提供了新的思路[7]。虛擬現(xiàn)實(shí)以其身臨其境的視覺感，為用戶提供逼真的場景展示；增強(qiáng)現(xiàn)實(shí)在虛擬現(xiàn)實(shí)的基礎(chǔ)上融入真實(shí)的場景或要素，將虛擬事物與真實(shí)場景相融合，借助文字、圖形、語音等信息，強(qiáng)化用戶對現(xiàn)實(shí)環(huán)境的感知與認(rèn)識，實(shí)現(xiàn)對現(xiàn)實(shí)的擴(kuò)張和補(bǔ)充[8]。另外，隨著智能設(shè)備性能的提升，基于移動平臺的AR+VR技術(shù)開始興起。移動AR+VR不僅滿足傳統(tǒng)AR+VR虛實(shí)融合和實(shí)時(shí)交互的需求，更具有較強(qiáng)的靈活性和便攜性，受空間環(huán)境的約束較小。現(xiàn)階段基于移動平臺的AR+VR技術(shù)已在安全、教育、城市管理等多個(gè)領(lǐng)域成功應(yīng)用，并取得了較好的應(yīng)用效果，為解決目前旅游信息服務(wù)中存在的問題提供了重要借鑒。綜上所述，將AR+VR技術(shù)和移動智能終端有機(jī)整合，研發(fā)基于移動AR+VR的旅游GIS系統(tǒng)具有重要意義。

對于傳統(tǒng)的旅游GIS系統(tǒng)，目前國內(nèi)相對成熟的旅游應(yīng)用包括“愛旅游(iTravels)”“杭州智慧旅游”和“武漢智慧旅游”軟件。這幾款軟件均以二維地圖為背景實(shí)現(xiàn)基本導(dǎo)覽功能，但體驗(yàn)性和交互性較差，信息獲取及空間分析功能需進(jìn)一步完善。“VR+旅游”改變了傳統(tǒng)以照片文字獲取景點(diǎn)信息的方式，使用戶以最直觀清晰的三維視角對旅游景區(qū)有初步了解，同時(shí)還為游客提供更多的景區(qū)體驗(yàn)。如首都博物館推出VR觀展模式，游客通過VR頭盔近距離走進(jìn)商代婦好墓，切身感受考古、挖掘、整理的全過程；暴風(fēng)平臺上線全景的澳旅風(fēng)光VR視頻，用戶可以身臨其境體驗(yàn)澳旅人文風(fēng)情及旅游美景。“AR+旅游”則能把旅游目標(biāo)物的歷史、故事、文化等虛擬出來，疊加在現(xiàn)實(shí)場景中，用戶能夠與實(shí)時(shí)空間中的虛擬信息進(jìn)行交互，為游客提供與環(huán)境相關(guān)的多媒體旅游服務(wù)[9]。如倫敦的Street Museum軟件，利用增強(qiáng)現(xiàn)實(shí)技術(shù)使游客通過手機(jī)攝像機(jī)獲取景點(diǎn)的相關(guān)信息，獲得與現(xiàn)代倫敦景點(diǎn)相匹配的歷史圖像[10]；希臘研究人員開發(fā)的基于AR的雅典古神廟的漫游導(dǎo)覽[11]系統(tǒng)Archeoguide，極大提高了用戶的旅游體驗(yàn)性；搭載在諾基亞Lumia 920機(jī)型下的“城市萬花筒”應(yīng)用，利用AR以全新的方式感受周圍事物與信息。

綜上所述，目前的旅游信息服務(wù)主要存在以下幾方面問題：①部分旅游服務(wù)仍以網(wǎng)頁形式停留在電腦端，靈活性差，無法實(shí)現(xiàn)實(shí)時(shí)旅游服務(wù)；②現(xiàn)有移動端旅游服務(wù)系統(tǒng)大多只能滿足單一的導(dǎo)航功能或單一的場景重現(xiàn)功能，其直觀性、全面性和交互性較差。因此，本文在移動平臺上將AR和VR進(jìn)行整合，研發(fā)基于移動AR+VR的旅游GIS系統(tǒng)，極大地提高系統(tǒng)的直觀性和交互性。主要從以下3個(gè)方面進(jìn)行突破：①提供基于三維景觀地圖的線路規(guī)劃、路徑導(dǎo)航；②利用VR技術(shù)進(jìn)行旅游景區(qū)的虛擬漫游，實(shí)現(xiàn)“身臨其境”的真實(shí)感；③利用AR環(huán)境識別技術(shù)，將虛擬的物體、場景或信息疊加到真實(shí)場景，為游客提供大量的相關(guān)信息，實(shí)現(xiàn)對現(xiàn)實(shí)的增強(qiáng)，增加用戶對真實(shí)世界的感知。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)采用網(wǎng)絡(luò)GIS架構(gòu)，以旅游景區(qū)地理空間數(shù)據(jù)和三維景觀地圖為基礎(chǔ)，實(shí)現(xiàn)線路規(guī)劃并進(jìn)行虛擬漫游，讓用戶身臨其境，提前了解路線及景點(diǎn)信息。利用基于位置的服務(wù)技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)將虛擬的環(huán)境、圖形和文字標(biāo)簽深度融合到游客所看到的現(xiàn)實(shí)環(huán)境中，為游客提供認(rèn)知的全新視角，帶來傳統(tǒng)軟件不能提供的互動應(yīng)用體驗(yàn)。系統(tǒng)架構(gòu)如圖1所示。

(1) 用戶層。系統(tǒng)功能主要分為3部分：導(dǎo)航模塊，以三維景觀地圖為地圖底圖，實(shí)現(xiàn)虛擬漫游、路徑導(dǎo)航、路徑規(guī)劃等功能。智能服務(wù)模塊，以AR技術(shù)為支撐，實(shí)現(xiàn)周邊環(huán)境識別、物體三維模型查看；同時(shí)利用GPS定位和數(shù)據(jù)挖掘分析，對景區(qū)人流量以熱力圖形式展示。社交模塊則主要為用戶提供社交分享功能，包括好友足跡、個(gè)人足跡查看及微信分享等。

(2) 技術(shù)層。系統(tǒng)主要技術(shù)包括4部分：基于位置與多傳感器的跟蹤注冊技術(shù)為空間數(shù)據(jù)獲取提供服務(wù)，實(shí)現(xiàn)空間分析及時(shí)空數(shù)據(jù)挖掘；瓦片地圖技術(shù)為三維景觀地圖呈現(xiàn)提供技術(shù)支撐，有效提高地圖加載速度[12]；基于三維景觀地圖的三維虛擬導(dǎo)航，利用GIS空間分析和數(shù)據(jù)調(diào)度，實(shí)現(xiàn)三維地圖上的虛擬導(dǎo)航和線路規(guī)劃；移動增強(qiáng)現(xiàn)實(shí)虛實(shí)疊加技術(shù)則在多傳感器融合的基礎(chǔ)上，通過環(huán)境識別、三維注冊、虛實(shí)疊加和圖形渲染等手段實(shí)現(xiàn)了虛擬物體和現(xiàn)實(shí)世界的疊加。

(3) 數(shù)據(jù)層。系統(tǒng)數(shù)據(jù)中心包括2部分：GIS空間數(shù)據(jù)庫，主要為針對景區(qū)搭建的空間環(huán)境數(shù)據(jù)中心，包括軌跡數(shù)據(jù)、路網(wǎng)數(shù)據(jù)、景點(diǎn)位置等；屬性數(shù)據(jù)包括文字、圖片、視頻等形式的景點(diǎn)信息、建筑信息、三維模型等。移動端數(shù)據(jù)存儲采用Android系統(tǒng)的SharedPreferences、文件存儲、SQLite數(shù)據(jù)庫存儲3種方式。

2 關(guān)鍵技術(shù)

2.1 基于位置與多傳感器的跟蹤注冊技術(shù)

系統(tǒng)的環(huán)境識別功能模塊采用基于位置與多傳感器的跟蹤注冊技術(shù)[13-14]實(shí)現(xiàn)。由GPS確定用戶位置與周圍環(huán)境，通過移動終端相機(jī)等傳感器數(shù)據(jù)融合實(shí)現(xiàn)對終端姿態(tài)的監(jiān)聽，最后對兩種數(shù)據(jù)進(jìn)行計(jì)算處理，得出與真實(shí)環(huán)境相匹配的虛擬數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)虛實(shí)場景的結(jié)合。

獲取定位功能首先要在系統(tǒng)的配置文件中聲明權(quán)限，必要的屬性聲明包括：ACCESS_FINE_LOCATION、ACCESS_COARSE_LOCATION。定義LocationManager對象，通過設(shè)定LocationProvider選擇GPS定位方式。通過調(diào)用onLocationChanged()方法的location.getLongitude()與location.getLatitude()方法獲取用戶經(jīng)緯度。

通過注冊和監(jiān)聽加速度傳感器與磁場傳感器，可以獲取傳感器數(shù)據(jù)，當(dāng)手機(jī)姿態(tài)發(fā)生變化時(shí)獲取傳感器旋轉(zhuǎn)矩陣M。

當(dāng)M為3×3時(shí)，矩陣原型為

(1)

當(dāng)M為4×4時(shí)，矩陣原型為

(2)

最終通過矩陣的值獲取移動設(shè)備的方位參數(shù)信息(value[0],value[1],value[2])。

當(dāng)M為3×3時(shí)

value[0]=(float)Math.atan2(M[1],M[4])

(3)

value[1]=(float)Math.asin(-M[7])

(4)

value[2]=(float)Math.atan2(-M[6],M[8])

(5)

當(dāng)M為4×4時(shí)

value[0]=(float)Math.atan2(M[1],M[5])

(6)

value[1]=(float)Math.asin(-M[9])

(7)

value[2]=(float)Math.atan2(-M[8],M[10])

(8)

將value數(shù)組的值轉(zhuǎn)換為角度，可得到移動設(shè)備正確的姿態(tài)信息。

2.2 瓦片地圖技術(shù)

系統(tǒng)采用瓦片地圖技術(shù)實(shí)現(xiàn)三維景觀地圖的呈現(xiàn)，地圖投影方式為墨卡托投影[15-16]。

(1) 瓦片切割。采用虛擬現(xiàn)實(shí)技術(shù)對八大關(guān)景區(qū)進(jìn)行建模，以獲得完整景觀地圖。對景觀地圖與下載的谷歌整體地圖進(jìn)行比對矯正，并切割為邊長為2n×256像素的正方形圖片，進(jìn)而對圖片進(jìn)行瓦片切割。

(2) 數(shù)據(jù)調(diào)度。將切割完成的地圖瓦片按層級建立索引，并按照網(wǎng)絡(luò)地圖服務(wù)(web map service，WMS)接口標(biāo)準(zhǔn)發(fā)布，服務(wù)器端通過解析移動終端發(fā)送的數(shù)據(jù)，返回與接收到的數(shù)據(jù)范圍相匹配的瓦片數(shù)據(jù)。移動端通過瓦片信息緩存，進(jìn)行實(shí)時(shí)拼接渲染顯示，實(shí)現(xiàn)地圖的完整調(diào)度。

(3) 坐標(biāo)變換。由于三維景觀地圖渲染后為固定側(cè)視圖視角，為實(shí)現(xiàn)正確的導(dǎo)航功能，需將真實(shí)的經(jīng)緯度進(jìn)行公式變換后投影到景觀地圖上。

在圖2中，正方形A0B0C0D0表示瓦片原型，正方形A1B1C1D1表示過度圖形，正方形A2B2C2D2表示最終變換結(jié)果。橫軸X代表經(jīng)度，縱軸Y代表緯度。可得經(jīng)緯度變換公式為

(9)

通過上述經(jīng)緯度轉(zhuǎn)換公式可得到實(shí)際經(jīng)緯度坐標(biāo)，將其進(jìn)行差值計(jì)算后根據(jù)墨卡托投影方式進(jìn)行坐標(biāo)轉(zhuǎn)換即可得到真實(shí)的對應(yīng)坐標(biāo)，如圖3所示。

2.3 基于三維景觀地圖的三維虛擬導(dǎo)航

本系統(tǒng)將傳統(tǒng)的二維矢量地圖導(dǎo)航應(yīng)用到三維景觀地圖中，采用GIS空間分析及弗洛伊德最短路徑算法[17]實(shí)現(xiàn)導(dǎo)航功能，并為用戶提供虛擬漫游模式。同時(shí)在三維景觀地圖的俯視圖下，系統(tǒng)通過移動傳感器實(shí)時(shí)監(jiān)聽移動設(shè)備的方向傳感器數(shù)據(jù)，確定移動設(shè)備的朝向，以此動態(tài)調(diào)整地圖的旋轉(zhuǎn)視角，使移動終端屏幕內(nèi)的地圖方向和范圍與用戶當(dāng)前視角范圍一致，如圖4所示。

2.4 移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)虛實(shí)疊加技術(shù)

為實(shí)現(xiàn)移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)的真實(shí)性和實(shí)時(shí)性，本系統(tǒng)在移動增強(qiáng)現(xiàn)實(shí)模塊采用了基于定位識別的移動終端戶外三維注冊技術(shù)[18]。該技術(shù)提升了三維環(huán)境注冊技術(shù)的實(shí)時(shí)性、穩(wěn)定性和穩(wěn)健性，增強(qiáng)了虛實(shí)結(jié)合場景的真實(shí)性、融合性，讓用戶具有更真實(shí)的視覺體驗(yàn)[19]。主要包括攝像機(jī)的空間定位和虛擬物體在真實(shí)空間定位兩方面內(nèi)容[20]，在此基礎(chǔ)上實(shí)現(xiàn)對虛擬物體的渲染繪制，如圖5所示。

(1) 用戶空間定位。通過GPS實(shí)現(xiàn)用戶實(shí)時(shí)定位，同時(shí)利用多傳感器融合，實(shí)時(shí)跟蹤用戶在真實(shí)場景中的位置及視線方向，獲取用戶所在位置的周邊信息，實(shí)現(xiàn)對終端姿態(tài)的監(jiān)聽。

(2) 虛擬物體空間定位。根據(jù)獲取的位置信息，通過GIS空間分析方法從空間數(shù)據(jù)庫和屬性數(shù)據(jù)庫中讀取對應(yīng)位置的空間和屬性信息，計(jì)算周圍景點(diǎn)的虛擬標(biāo)簽在用戶觀察坐標(biāo)系中的坐標(biāo)，實(shí)現(xiàn)景點(diǎn)虛擬標(biāo)簽與真實(shí)場景的精準(zhǔn)匹配。

(3) 虛實(shí)融合。在移動終端使用OpenGL ES對虛擬物體進(jìn)行繪制渲染。通過監(jiān)聽方向傳感器的數(shù)據(jù)變化來獲取手機(jī)實(shí)時(shí)方位信息，將方位數(shù)據(jù)實(shí)時(shí)映射到OpenGL ES的三維坐標(biāo)系中，使信息標(biāo)識根據(jù)手機(jī)姿態(tài)的變化而變化，實(shí)現(xiàn)虛擬物體與真實(shí)場景更逼真地?zé)o縫融合[21]。

3 系統(tǒng)實(shí)現(xiàn)

3.1 導(dǎo)航模塊

(1) 三維景觀地圖。在景觀地圖模式下，八大關(guān)景區(qū)全貌以三維景觀地圖的方式呈現(xiàn)，同時(shí)配有地圖縮放、移動、信息查看等功能。

在漫游模式下，實(shí)現(xiàn)景觀地圖的旋轉(zhuǎn)與漫游角度的調(diào)節(jié)，景點(diǎn)標(biāo)簽隨旋轉(zhuǎn)角度旋轉(zhuǎn)，用戶視角始終為正面視角。

(2) 路線導(dǎo)航。通過景點(diǎn)標(biāo)簽確定起始點(diǎn)進(jìn)行路線規(guī)劃，也可以實(shí)現(xiàn)多景點(diǎn)路線規(guī)劃，在漫游模式下提前對游覽路線進(jìn)行漫游操作，如圖6所示。

3.2 智能服務(wù)模塊

(1) 環(huán)境識別。利用手機(jī)相機(jī)對周圍環(huán)境進(jìn)行拍攝，景點(diǎn)信息以三維標(biāo)簽的形式顯示在屏幕上。點(diǎn)擊景點(diǎn)標(biāo)簽，可查看景點(diǎn)信息詳情，如圖7所示。

(2) 熱力圖顯示。選擇熱力圖可查看實(shí)時(shí)人流熱力圖，為游客避開擁擠景點(diǎn)和管理部門調(diào)流提供決策依據(jù)，如圖8所示。

(3) 三維建筑查看。通過環(huán)境識別功能獲取景點(diǎn)三維建筑模型，可對模型進(jìn)行旋轉(zhuǎn)、漫游等操作，如圖9所示。

3.3 社交模塊

社交模塊為游客提供旅游數(shù)據(jù)共享服務(wù)。

(1) 好友足跡：獲取用戶的好友信息，并可顯示好友的軌跡及照片信息。

(2) 個(gè)人軌跡：系統(tǒng)記錄用戶的軌跡信息，并實(shí)現(xiàn)軌跡重現(xiàn)，如圖10所示。

(3) 微信分享：將個(gè)人旅游游記或景點(diǎn)照片等信息通過微信分享，如圖11所示。

4 結(jié) 語

本文設(shè)計(jì)和實(shí)現(xiàn)了基于移動AR+VR的旅游GIS系統(tǒng)，重點(diǎn)突破了基于位置與多傳感器的跟蹤注冊技術(shù)、瓦片地圖技術(shù)、三維景觀地圖技術(shù)和移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)虛實(shí)疊加技術(shù)，實(shí)現(xiàn)了一個(gè)多維度、全方位的智能化移動旅游信息服務(wù)系統(tǒng)。該系統(tǒng)在傳統(tǒng)旅游GIS系統(tǒng)的基礎(chǔ)上，融入了AR+VR技術(shù)，以三維形式極大地提高了系統(tǒng)的直觀性和用戶的交互式體驗(yàn)；同時(shí)系統(tǒng)加入了數(shù)據(jù)共享機(jī)制，滿足了新技術(shù)條件下數(shù)據(jù)交流共享的要求，提高了用戶使用群體間的溝通交流和共享。系統(tǒng)的主要創(chuàng)新之處在于：實(shí)現(xiàn)了移動端的虛擬三維景區(qū)導(dǎo)航服務(wù)和虛實(shí)結(jié)合的景區(qū)信息服務(wù)。

雖然本系統(tǒng)基本實(shí)現(xiàn)所需功能，并且能較好地提高用戶的交互體驗(yàn)，但仍然存在一些問題需要進(jìn)一步完善：

(1) 本系統(tǒng)中基于位置的服務(wù)主要依靠GPS系統(tǒng)，其定位精度不高。在下一步的工作中考慮選用輔助定位或差分GPS等方式提高系統(tǒng)的定位精度，使軌跡數(shù)據(jù)更加準(zhǔn)確。

(2) 地圖瓦片數(shù)據(jù)是指定視角的景觀地圖，具有一定的視角局限性，在下一步的開發(fā)中可選擇多個(gè)視角，使地圖具有動態(tài)效果。