單人背包式三維全景技術(shù)在室內(nèi)虛擬三維場(chǎng)景中的應(yīng)用

胡宇楠，陶永亮，胡曉明，關(guān)鴻亮

(1. 首都師范大學(xué)三維信息獲取與應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室，北京 100037；

2. 縱橫皆景(北京)信息技術(shù)有限公司，北京 100037)

HU Yunan，TAO Yongliang，HU Xiaoming，GUAN Hongliang

單人背包式三維全景技術(shù)在室內(nèi)虛擬三維場(chǎng)景中的應(yīng)用

胡宇楠1，陶永亮2，胡曉明2，關(guān)鴻亮1

(1. 首都師范大學(xué)三維信息獲取與應(yīng)用教育部重點(diǎn)實(shí)驗(yàn)室，北京 100037；

2. 縱橫皆景(北京)信息技術(shù)有限公司，北京 100037)

Application of Single Knapsack Three-dimensional Panorama Technology in Indoor Virtual 3D Scene

HU Yunan，TAO Yongliang，HU Xiaoming，GUAN Hongliang

摘要：近年來，三維全景技術(shù)發(fā)展如火如荼，許多互聯(lián)網(wǎng)公司紛紛推出自己的街景地圖服務(wù)。這些街景數(shù)據(jù)大多是利用車載平臺(tái)上搭載的CCD傳感器采集得到的。在汽車無法駛?cè)氲牡胤剑绐M窄的街道、胡同，以及酒店、博物館等室內(nèi)場(chǎng)景，全景數(shù)據(jù)是無法采集到的。針對(duì)當(dāng)前車載全景采集平臺(tái)的不足，本文提出了單人背包式全景采集方式，介紹了該采集方式的特點(diǎn)和應(yīng)用，描述了通過krpano利用背包采集的影像數(shù)據(jù)創(chuàng)建北京某主題酒店室內(nèi)虛擬三維全景的全過程，并將三維全景技術(shù)與GIS和主流的虛擬現(xiàn)實(shí)技術(shù)(VR)進(jìn)行了比較和探討。

引文格式： 胡宇楠，陶永亮，胡曉明，等. 單人背包式三維全景技術(shù)在室內(nèi)虛擬三維場(chǎng)景中的應(yīng)用[J].測(cè)繪通報(bào)，2015(9)：68-71.DOI:10.13474/j.cnki.11-2246.2015.0282

關(guān)鍵詞：背包式；三維全景技術(shù)；GIS；虛擬現(xiàn)實(shí)(VR)

中圖分類號(hào)：P237

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2015)09-0068-04

收稿日期：2014-07-28

作者簡(jiǎn)介：胡宇楠(1990—)，男，碩士生，主要研究方向?yàn)槿S全景技術(shù)在GIS中的應(yīng)用。E-mail：13464890486@163.com

一、引言

近年來，三維全景技術(shù)發(fā)展迅速，國內(nèi)外許多互聯(lián)網(wǎng)公司紛紛推出了自己的街景地圖服務(wù)，如國外的谷歌街景和微軟Bing街景。谷歌街景的采集范圍最廣，已覆蓋了全球50多個(gè)國家，3000多個(gè)城市。微軟的Bing街景數(shù)據(jù)采集范圍相對(duì)較小，但采用了創(chuàng)新性的Street Slide技術(shù)，使用遠(yuǎn)景視角將街道縮放成絲帶狀，能更好地看清街道立面的布局，而且還提供街道標(biāo)注，如門牌號(hào)、公司名和Logo等。國內(nèi)提供街景服務(wù)的主要有騰訊地圖、百度地圖、高德地圖和天地圖等公司。

三維全景技術(shù)是目前迅速發(fā)展并逐步流行的一個(gè)虛擬現(xiàn)實(shí)分支，它是一種桌面虛擬現(xiàn)實(shí)技術(shù)，并不是真正意義上的三維圖形技術(shù)[1]。三維全景技術(shù)交互性強(qiáng)，相對(duì)于之前的地圖展現(xiàn)方式，是一個(gè)很大的進(jìn)步，給用戶帶來了照片級(jí)的真實(shí)感，提升了用戶體驗(yàn)。該技術(shù)廣泛應(yīng)用于空間信息服務(wù)的諸多方面，如景區(qū)游覽、智能交通、房產(chǎn)展示、酒店介紹等，但其在數(shù)據(jù)采集方面存在一些缺陷。由于受采集設(shè)備體型龐大的限制，一些狹窄的街道、公園、小區(qū)、景區(qū)、室內(nèi)場(chǎng)館等場(chǎng)所，采集車無法進(jìn)入。采用支架式相機(jī)360°環(huán)繞拍攝固然是一種解決辦法，但是效率不高，無法滿足大范圍數(shù)據(jù)采集的需求。單人背包式全景數(shù)據(jù)采集系統(tǒng)彌補(bǔ)了上述不足，且具有便攜、輕巧、實(shí)用性強(qiáng)等特點(diǎn)，適用于室內(nèi)場(chǎng)景和狹窄街區(qū)等類似場(chǎng)所的數(shù)據(jù)采集。圖1為單人背包式全景數(shù)據(jù)采集設(shè)備的結(jié)構(gòu)圖，將全景相機(jī)盒固定在背包架上，采用與采集車相同的固定方式來確保拍攝的穩(wěn)定性。

圖1　單人背包式全景數(shù)據(jù)采集設(shè)備的結(jié)構(gòu)

二、室內(nèi)三維全景制作流程

數(shù)據(jù)采集的地點(diǎn)為北京某主題酒店。通過創(chuàng)建的室內(nèi)虛擬場(chǎng)景，可以直觀地了解酒店的情況，并提供相關(guān)的熱點(diǎn)鏈接，實(shí)現(xiàn)了三維全景與二維地圖的聯(lián)動(dòng)，協(xié)助用戶進(jìn)行空間導(dǎo)航。具體的制作過程分為數(shù)據(jù)采集、拼接、切片、交互4個(gè)步驟。

1. 數(shù)據(jù)采集

拍攝前收集好酒店及其周邊環(huán)境的相關(guān)資料，對(duì)酒店格局作大概了解，并根據(jù)酒店消防圖預(yù)先規(guī)劃好拍攝路線，在采集圖上做好標(biāo)注。設(shè)備經(jīng)檢查無誤，相機(jī)參數(shù)配置好后即按照制定好的采集路線進(jìn)行數(shù)據(jù)采集。需要注意的是，由于單人背包式采集設(shè)備不像云臺(tái)三角架式采集設(shè)備那樣有穩(wěn)定的支撐，因此，采集時(shí)必須調(diào)整好姿勢(shì)，使電子羅盤保持水平，身體盡量不要晃動(dòng)。采集過程中在圖紙上實(shí)時(shí)標(biāo)注已經(jīng)采集的點(diǎn)。采集數(shù)據(jù)后進(jìn)行數(shù)據(jù)的檢查和整理，如果存在虛焦、污點(diǎn)的現(xiàn)象，需要重新進(jìn)行數(shù)據(jù)采集。

2. 圖像拼接

圖像拼接是三維全景技術(shù)的關(guān)鍵，它是將一系列有重疊邊界的普通圖像進(jìn)行無縫拼接以得到全景圖。通過球面投影，將框幅式像片投影到以焦距為半徑的球面坐標(biāo)系中。最后，將投影后的影像進(jìn)行拼接，并對(duì)重疊區(qū)域進(jìn)行加權(quán)融合形成全景圖。圖2為全景圖像拼接流程。

SIFT是計(jì)算機(jī)視覺中最流行的特征提取和圖像匹配方法。基于SIFT的拼接參數(shù)解算方法是通過提取重疊圖像部分具有很強(qiáng)魯棒性的 SIFT 特征點(diǎn)，并在這些對(duì)圖像變換具有不變性的特征點(diǎn)基礎(chǔ)上，運(yùn)用 RANSAC算法不斷提純，同時(shí)優(yōu)化特征點(diǎn)間的變換關(guān)系，并使用Levenberg-Marquart非線性估計(jì)算法，最終確定穩(wěn)定的變換矩陣，作為相鄰圖像間的轉(zhuǎn)換關(guān)系，即拼接參數(shù)。

圖2　全景圖像拼接流程

根據(jù)拼接參數(shù)，將源圖像經(jīng)過投影變換，渲染在全景影像上。但在圖像拍攝的過程中，由于視差效應(yīng)、拍攝環(huán)境變化及配準(zhǔn)誤差等因素的影響，圖像間難免會(huì)存在光照、色彩等差異，若直接拼合在一起，會(huì)出現(xiàn)明顯的痕跡。因此，要采用合適的融合策略，使拼接后的圖像具有視覺一致性，而且盡量保持原有的分辨率。考慮到全景圖像需要為用戶提供清晰美觀的圖像，圖像質(zhì)量必須達(dá)到很高的標(biāo)準(zhǔn)才能在網(wǎng)絡(luò)上發(fā)布。因此，圖像融合算法對(duì)圖像拼接效果至關(guān)重要，本文采用當(dāng)前融合效果最好的多分辨率樣條曲線融合算法。該算法可以將兩張或以上的圖像MASK融合進(jìn)一個(gè)更大的圖像MASK中。其簡(jiǎn)化過程為：

1) 首先將圖像分解成一系列帶通濾波分量圖像。

2) 然后將每個(gè)空間頻率波段中的分量圖像放置到相應(yīng)的帶通MASK中。在此步驟中，分量圖像利用一種加權(quán)平均算法融合在一個(gè)轉(zhuǎn)化區(qū)中，這個(gè)轉(zhuǎn)化區(qū)是由代表波段的波長(zhǎng)按尺度比例構(gòu)造的。

3) 最后將這些帶通MASK圖像合成在一起，便可獲得最終的圖像MASK。

通過這種方法可以平滑拼接圖像之間的明顯邊界而不出現(xiàn)模糊重影現(xiàn)象，同時(shí)可以保留較好的圖像細(xì)節(jié)。多分辨率樣條算法是一種既實(shí)用又通用的算法，對(duì)于那些差別非常大、沒有重疊區(qū)、邊界不規(guī)則的圖像都能得到較好的融合效果。

3. 全景切片

一幅全景圖像是由設(shè)備的呈六面體狀放置的7個(gè)鏡頭采集的圖像拼接而成的，圖像的質(zhì)量較高，文件較大，需要對(duì)拼接好的全景圖片進(jìn)行切割處理，這樣后期進(jìn)行酒店室內(nèi)場(chǎng)景虛擬瀏覽時(shí)會(huì)大大提高圖像的加載速度，從而提升交互體驗(yàn)。

全景圖像切片必須使用立方體投影(cubic projection)。但一般全景圖像使用的是球形投影，這就需要進(jìn)行投影轉(zhuǎn)換。首先將全景球投影到其外接正方體上，然后對(duì)立方體全景6個(gè)面分別進(jìn)行金字塔劃分，根據(jù)所需分辨率切片成等面積切片。如圖3所示，將一幅球形投影平面展開圖轉(zhuǎn)換成立方體投影6個(gè)面展開圖。

4. 場(chǎng)景交互

酒店室內(nèi)虛擬場(chǎng)景由一層服務(wù)大廳，五層和七層的個(gè)別不同類型的房間組成，逼真地展現(xiàn)了酒店的環(huán)境情況。設(shè)計(jì)之初還考慮了瀏覽的視角問題，因此設(shè)置了自動(dòng)瀏覽的功能，方便用戶以最佳的視角觀察；并提供相關(guān)的熱點(diǎn)鏈接和箭頭指示，通過點(diǎn)擊熱點(diǎn)可以查看墻上畫框，通過點(diǎn)擊箭頭可以前進(jìn)瀏覽。除此之外，實(shí)現(xiàn)了二維地圖與三維虛擬場(chǎng)景的聯(lián)動(dòng)，通過瀏覽二維地圖，可以熟悉酒店內(nèi)部的結(jié)構(gòu)，點(diǎn)擊二維地圖上的點(diǎn)，即可跳轉(zhuǎn)到相應(yīng)的三維虛擬場(chǎng)景。酒店室內(nèi)虛擬場(chǎng)景瀏覽采用krpano編寫實(shí)現(xiàn)，效果如圖4所示。

圖3　球形投影與立方體投影之間的轉(zhuǎn)換

圖4　酒店室內(nèi)虛擬場(chǎng)景效果

5. 全景引擎

全景引擎開發(fā)的主要目的是為了實(shí)現(xiàn)對(duì)全景圖像的渲染。本文中使用了縱橫皆景(北京)信息技術(shù)有限公司的全景引擎，通過該引擎，能夠動(dòng)態(tài)地加載圖像碎片，節(jié)省內(nèi)存，渲染效率高。全景中的道路指示線、指示箭頭、距離指示標(biāo)志等全部三維化，具有良好的顯示效果，提升了用戶體驗(yàn)。全景中還提供了大量的興趣點(diǎn)(point of interest，POI)，可以方便地查找、定位全景中的興趣點(diǎn)。除此之外，全景引擎具有豐富的擴(kuò)展性，在網(wǎng)頁端提供了豐富的API接口，可以利用JavaScript充分拓展已有的功能。結(jié)合SWC格式的接口庫文件，可以方便地調(diào)用引擎的API，快速開發(fā)出功能強(qiáng)大的實(shí)用插件。目前已經(jīng)有標(biāo)繪、激光測(cè)量、道路熱點(diǎn)顯示、三維實(shí)體模型街景展示等插件。酒店室內(nèi)虛擬場(chǎng)景的瀏覽即通過全景引擎實(shí)現(xiàn)了較好的渲染效果，同時(shí)也為開發(fā)人員提供了一定的拓展空間。

三、與傳統(tǒng)GIS和虛擬現(xiàn)實(shí)技術(shù)的融合

1. 與傳統(tǒng)虛擬現(xiàn)實(shí)技術(shù)的比較和融合

虛擬現(xiàn)實(shí)(virtual reality，VR)，就是通過設(shè)備和技術(shù)，輔以算法和程序來營造的一種具有關(guān)于視覺、聽覺、觸覺等感官信息的虛擬空間。三維全景技術(shù)出現(xiàn)以前，虛擬現(xiàn)實(shí)都是通過三維建模來構(gòu)建的，如3ds Max、Maya、SketchUp等三維建模軟件和VRML、Java3D、Flash等建模語言。雖然利用這些方式都實(shí)現(xiàn)了不錯(cuò)的虛擬效果，但都存在著沉浸感缺失的不足。即使對(duì)其紋理進(jìn)行精細(xì)處理，也很難達(dá)到照片級(jí)的真實(shí)感。

三維全景技術(shù)彌補(bǔ)了上述不足，與VR表現(xiàn)方式相比，其優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：

1) 展現(xiàn)效果具有照片級(jí)的真實(shí)感，沉浸感強(qiáng)。

2) 比平面圖片表達(dá)更多的信息，控制方便，交互性友好。

3) 制作流程簡(jiǎn)單，制作周期短。

4) 生成文件小，遵循XML規(guī)范，便于網(wǎng)絡(luò)傳輸。

5) 能方便地添加文字、圖片、視頻、Flash等多種對(duì)象。

雖然三維全景技術(shù)具有諸多優(yōu)點(diǎn)，但是也存在著不足，即生成的虛擬場(chǎng)景不具有傳統(tǒng)三維建模的具象性，不具備實(shí)體感。事實(shí)上，三維全景并不是真三維，是介于二維與三維之間的一種虛擬表達(dá)。因此，全景技術(shù)與三維建模之間的融合有待進(jìn)一步研究和發(fā)展。

2. 與GIS的融合

從20世紀(jì)60年代產(chǎn)生到現(xiàn)在，GIS經(jīng)歷了50余年的發(fā)展歷程，已經(jīng)成為信息技術(shù)的重要組成部分，在資源管理、城市規(guī)劃、環(huán)境管理、設(shè)施管理等空間信息相關(guān)領(lǐng)域得到了廣泛應(yīng)用。

三維全景技術(shù)與GIS的融合改變了以往GIS二維和三維地圖的展現(xiàn)方式，使地圖的表達(dá)更加直觀和形象，并且其便于網(wǎng)絡(luò)傳輸?shù)奶攸c(diǎn)，助力了WebGIS的發(fā)展，更好地實(shí)現(xiàn)了GIS的共享和互操作。百度、騰訊等提供GIS地圖服務(wù)的互聯(lián)網(wǎng)公司都在原有電子地圖的基礎(chǔ)上增添了全景模塊，豐富了地圖的表現(xiàn)形式，方便了大眾的出行。除此之外，隨著手機(jī)、PAD等移動(dòng)終端深入到人們?nèi)粘Ｉ钪校S全景技術(shù)與移動(dòng)GIS的結(jié)合也前景廣闊。三維全景技術(shù)給予人們圖片級(jí)的真實(shí)感，讓人們可以快速、方便地搜索周邊環(huán)境。圖5為三維全景技術(shù)在移動(dòng)端的應(yīng)用。

同時(shí)，三維全景技術(shù)在GIS方面的應(yīng)用也存在著上述三維體感表達(dá)方面的不足，因此，三維全景技術(shù)與三維GIS的融合也有待進(jìn)一步研究和發(fā)展。

圖5　三維實(shí)景技術(shù)在移動(dòng)端的應(yīng)用

四、結(jié)束語

目前，全景技術(shù)已經(jīng)在很多方面得到了廣泛應(yīng)用，旅游、考古、交通、餐飲、房產(chǎn)、酒店等領(lǐng)域和行業(yè)都能看到全景技術(shù)的影子。基于單人背包式的全景圖像采集技術(shù)豐富了全景圖像的采集方式，提升了特殊環(huán)境下的采集效率，是車載移動(dòng)全景采集技術(shù)的一個(gè)有效補(bǔ)充。本文所制作的某酒店室內(nèi)虛擬場(chǎng)景瀏覽是全景技術(shù)應(yīng)用的一個(gè)典型案例，通過創(chuàng)建的室內(nèi)虛擬瀏覽場(chǎng)景，更好地展示了酒店的內(nèi)部環(huán)境，如果加入酒店外部環(huán)境的全景，當(dāng)你外出旅游想要住店時(shí)，通過瀏覽這些虛擬的場(chǎng)景即可提前熟悉酒店周邊的環(huán)境和內(nèi)部房間的概況。

除了諸多優(yōu)點(diǎn)外，全景技術(shù)在沉浸感與交互性方面仍存在著不足，具體體現(xiàn)在：全景技術(shù)并不是真正意義上的三維圖形技術(shù)，即使通過相應(yīng)的熱點(diǎn)豐富了表達(dá)環(huán)境，但是構(gòu)建的虛擬環(huán)境不像三維建模構(gòu)建的實(shí)體模型那樣具有可操作的體感。因此， 通過整合三維模型技術(shù)，加入外部的體感設(shè)備(如Kinect等)，對(duì)于加深沉浸感、提升交互性，從而營造更

加逼真的虛擬環(huán)境來說會(huì)更加有意義。隨著全景技術(shù)的不斷發(fā)展，相信未來它會(huì)有更加廣闊的前景。

參考文獻(xiàn)：

[1]馬如宇.三維全景技術(shù)——360°虛擬現(xiàn)實(shí)[J].中國信息技術(shù)教育,2008(7):80-81.

[2]全政環(huán). 360 全景技術(shù)的應(yīng)用和發(fā)展歷程[J]. 電腦知識(shí)與技術(shù): 學(xué)術(shù)交流, 2010 (1X): 713-715.

[3]郭長(zhǎng)青, 曹芳. 三維全景技術(shù)在旅游景區(qū)介紹中的應(yīng)用[J]. 地理空間信息, 2009, 7(1): 46-48.

[4]朱慶, 徐冠宇, 杜志強(qiáng), 等. 傾斜攝影測(cè)量技術(shù)綜述[EB/OL].[2012-05-22].http:∥www.paper.edu.cn/release paper/content/201205-355.

[5]楊仁杰. 基于 Web 的全景技術(shù)研究[D]. 鄭州: 鄭州大學(xué), 2012.

[6]王延朝. 基于 Krpano 的三維全景系統(tǒng)的開發(fā)和應(yīng)用[D]. 上海：華東師范大學(xué), 2012.

[7]曹俊杰, 封靖波, 蘇志勛. 全景圖像拼接算法[J]. 大連理工大學(xué)學(xué)報(bào), 2003,43(S0)：180-182.

[8]CARPENTER T,DOERFLER G，WAY T，et al. An Approach to Maintaining Viewer Perspective in Interactive Virtual Tours[C]∥Proceedings of CVGR 2011. Las Vegas, Nevada：[s.n.]，2011.

[9]HSIEH W M, CHEN C C, WANG S C, et al. Combination of the Kinect with Virtual Reality in Balance Training for the Elderly[J]. Engineering, 2013, 5(10)：171-175.

[10]RISSETTO H, REMONDINO F, AGUGIARO G, et al. Kinect and 3D GIS in Archaeology[C]∥2012 18th International Conference on Virtual Systems and Multimedia (VSMM).Milan：IEEE, 2012: 331-337.

[11]BASTANLAR Y, GRAMMALIDIS N, ZABULIS X, et al. 3D Reconstruction for a Cultural Heritage Virtual Tour System[C]∥Proceedings of International Conference for Photogrammetry and Remote Sensing Congress (ISPRS’08). Beijing：[s.n.]，2008：1023-1028.

[12]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints [J].International Journal of Computer Vision,2004,60(2): 91-110.

[13]BURT P J,ADELSON E H. A Multi-resolution Spline with Application to Image Mosaics[J]. ACM Transactions on Graphics, 1983，2(4)：217-236.

[14]龔俊,朱慶,章漢武,等.基于R樹索引的三維場(chǎng)景細(xì)節(jié)層次自適應(yīng)控制方法[J]. 測(cè)繪學(xué)報(bào)， 2011, 40(4): 531-534.