虛擬全景技術(shù)在野外實(shí)踐教學(xué)平臺(tái)開發(fā)中的應(yīng)用

鐘正，葛婉茹

(華中師范大學(xué) 國(guó)家數(shù)字化與工程技術(shù)研究中心，湖北 武漢 430079)

虛擬全景技術(shù)在野外實(shí)踐教學(xué)平臺(tái)開發(fā)中的應(yīng)用

鐘正*，葛婉茹

(華中師范大學(xué) 國(guó)家數(shù)字化與工程技術(shù)研究中心，湖北 武漢 430079)

應(yīng)用虛擬全景技術(shù)開發(fā)野外實(shí)踐教學(xué)平臺(tái)，通過高精度影像采集與全景合成，將以往難以親身到達(dá)的野外自然環(huán)境在室內(nèi)移動(dòng)端VR平臺(tái)上展示，使學(xué)生能夠?qū)σ巴庾匀画h(huán)境進(jìn)行系統(tǒng)完整地認(rèn)識(shí)與學(xué)習(xí)，創(chuàng)設(shè)一種身臨其境般的學(xué)習(xí)體驗(yàn)。該教學(xué)平臺(tái)以智能手機(jī)+GearVR頭顯為運(yùn)行終端，可直觀動(dòng)態(tài)顯示全景影像，教學(xué)內(nèi)容分享傳播更加便捷，促進(jìn)了學(xué)生學(xué)習(xí)興趣的培養(yǎng)和實(shí)踐感知與認(rèn)知能力的提升。

虛擬全景技術(shù)；教學(xué)平臺(tái)；野外實(shí)踐

1 引 言

野外實(shí)踐教學(xué)是生物、地理、地質(zhì)等專業(yè)教學(xué)和實(shí)施素質(zhì)教育的重要基礎(chǔ)，要求學(xué)生對(duì)野外自然環(huán)境和現(xiàn)象有深入了解。然而，受教學(xué)大綱和經(jīng)費(fèi)條件的限制，目前仍以課堂教學(xué)為主，內(nèi)容枯燥、形式單一[1]，有限理論以及實(shí)驗(yàn)課時(shí)使學(xué)生無法獲得野外環(huán)境完整的認(rèn)知，造成理論學(xué)習(xí)與實(shí)際應(yīng)用脫節(jié)，難以快速適應(yīng)野外現(xiàn)場(chǎng)考察的要求。另外，傳統(tǒng)地以簡(jiǎn)單的認(rèn)知、實(shí)地考察和記錄等為主的野外實(shí)踐模式受學(xué)生生源的擴(kuò)張、實(shí)習(xí)經(jīng)費(fèi)緊張和指導(dǎo)教師缺乏以及安全等因素的制約，導(dǎo)致產(chǎn)生一些無法預(yù)期的教學(xué)情境，影響野外教學(xué)的實(shí)際效果。

虛擬全景技術(shù)( Virtual Panoramic) 的快速發(fā)展為實(shí)景教學(xué)提供了一種新的表現(xiàn)方式。該技術(shù)以應(yīng)用實(shí)景中的某一觀測(cè)點(diǎn)為中心，通過多角度的影像拍攝和拼接，構(gòu)建水平和垂直環(huán)視360°的全視角影像。相對(duì)于傳統(tǒng)的二維視頻，虛擬全景影像突破了傳統(tǒng)的單視角和單次拍攝焦距的限制，通過在影像內(nèi)部增加人與場(chǎng)景的交互，豐富了視頻內(nèi)容，以更加全方位和具有真實(shí)感的動(dòng)態(tài)影像重現(xiàn)野外場(chǎng)景的現(xiàn)場(chǎng)全貌。基于以上特點(diǎn)，將具有高危險(xiǎn)性和難以實(shí)踐的野外場(chǎng)景或者自然區(qū)域(如高山叢林區(qū)、河灘地貌、機(jī)場(chǎng)跑道等)通過全景影像在課堂內(nèi)重現(xiàn)，創(chuàng)設(shè)身臨其境般的學(xué)習(xí)體驗(yàn)，進(jìn)而展開實(shí)踐的教學(xué)。

因此，筆者開發(fā)了基于虛擬全景技術(shù)的野外實(shí)踐教學(xué)平臺(tái)，將其應(yīng)用于專題學(xué)科野外實(shí)驗(yàn)教學(xué)。在全景影像拍攝設(shè)備與技術(shù)、圖像變形控制與全景拼接、全景呈現(xiàn)與應(yīng)用方式上進(jìn)行改進(jìn)與創(chuàng)新。以高像素級(jí)別的全景影像再現(xiàn)真實(shí)的現(xiàn)場(chǎng)體驗(yàn)的和交互感受，提高實(shí)踐教學(xué)的質(zhì)量，培養(yǎng)學(xué)生的創(chuàng)新精神和科研能力。

2 基于全景技術(shù)的野外實(shí)踐教學(xué)平臺(tái)設(shè)計(jì)

為了使用更加真實(shí)的野外自然環(huán)境來展示專題學(xué)科信息，本平臺(tái)通過在實(shí)際場(chǎng)景中拍攝全景影像，通過影像的拼接合成以及系統(tǒng)的設(shè)定[1]，使學(xué)生未去復(fù)雜的實(shí)際場(chǎng)景環(huán)境前就能練習(xí)、體驗(yàn)本課程的考察學(xué)習(xí)的目的。

2.1 導(dǎo)覽系統(tǒng)設(shè)計(jì)

在導(dǎo)覽系統(tǒng)設(shè)計(jì)上，主要包括三個(gè)層次：表現(xiàn)層，交互層和數(shù)據(jù)層。表現(xiàn)層主要是在用戶進(jìn)入系統(tǒng)后，可以觀察到的信息，包括實(shí)踐區(qū)專題信息的介紹，首頁(yè)地圖的預(yù)覽，各航拍點(diǎn)和地面點(diǎn)拍攝的全景影像預(yù)覽；交互層主要是用戶在系統(tǒng)中可進(jìn)行交互的基本場(chǎng)景操作功能，包括全景資源的分享、場(chǎng)景的選擇和切換、對(duì)場(chǎng)景的放大縮小和移動(dòng)、專題知識(shí)點(diǎn)解說的播放以及查看和切換有關(guān)專題信息的圖集；數(shù)據(jù)層是通過Web服務(wù)器進(jìn)行連接的后臺(tái)數(shù)據(jù)庫(kù)，包括專題知識(shí)信息數(shù)據(jù)庫(kù)、場(chǎng)景地理位置信息數(shù)據(jù)庫(kù)以及全景數(shù)據(jù)庫(kù)。系統(tǒng)架構(gòu)設(shè)計(jì)如圖1所示。

圖1 導(dǎo)覽系統(tǒng)設(shè)計(jì)

2.2 平臺(tái)系統(tǒng)設(shè)計(jì)

目前常用的全景拍攝相機(jī)主要是使用單個(gè)相機(jī)通過旋轉(zhuǎn)角度和控制重疊區(qū)域以及開始結(jié)束時(shí)間進(jìn)行拍攝，即使利用三腳架也很難控制重疊區(qū)域大小的相同，在時(shí)間的同步上也存在很大的問題。因此導(dǎo)致了在全景的后期拼接縫合上要下很多工夫，拼接的效果也很難高度還原真實(shí)場(chǎng)景。在全景影像展示方面，大多數(shù)依據(jù)現(xiàn)有的桌面式計(jì)算機(jī)平臺(tái)，用戶主要利用鼠標(biāo)的拖動(dòng)和點(diǎn)擊來進(jìn)行場(chǎng)景角度的切換，很難產(chǎn)生身臨其境的真實(shí)體驗(yàn)，限制了全景影像的立體效果展示。

針對(duì)以上問題，以智能手機(jī)+GearVR作為運(yùn)行終端，開發(fā)野外實(shí)踐教學(xué)平臺(tái)客戶端程序。通過采集手機(jī)內(nèi)部傳感器數(shù)據(jù)，獲取當(dāng)前觀影的位置信息。借助GearVR，教師通過頭部的移動(dòng)，利用頭部追蹤功能，感應(yīng)系統(tǒng)會(huì)接收使用者頭部的轉(zhuǎn)動(dòng)從而改變虛擬世界里面的視角。再將手機(jī)與課堂投影設(shè)備進(jìn)行影像的共享，學(xué)生可以同步以教師的視角觀察全景影像，從而改進(jìn)傳統(tǒng)虛擬全景操作和體驗(yàn)方式。通過完善客戶端程序，滿足課堂學(xué)習(xí)、分組討論、問題分析等環(huán)節(jié)的需要。實(shí)踐教學(xué)平臺(tái)客戶端的開發(fā)流程如圖2所示。

圖2 開發(fā)流程

3 實(shí)踐教學(xué)平臺(tái)實(shí)施

3.1 場(chǎng)景信息采集

根據(jù)所學(xué)知識(shí)點(diǎn)的相關(guān)要求，選取動(dòng)植物分布較為集中、種類較為豐富的野外場(chǎng)景進(jìn)行影像的采集，采集內(nèi)容包括大廳(主界面)的三維地圖的展示、各場(chǎng)景的航拍點(diǎn)以及航拍點(diǎn)底部的地面點(diǎn)、各種生物的所在點(diǎn)。使用的器材包括GoPro Omni 6目全景相機(jī)和三腳架。全景影像采集的過程中，保持三腳架對(duì)齊觀測(cè)點(diǎn)且與地面垂直，全景相機(jī)固定于三腳架頂部水平臺(tái)上，拍攝過程中保持相機(jī)的穩(wěn)定性。將相機(jī)的FOV設(shè)置為寬，此時(shí)每個(gè)攝像機(jī)的廣角視角約為170°，獲得最大視角的場(chǎng)景，為后期方便拼接，如圖3所示。

6目的GoPro全景相機(jī)由6個(gè)小的GoPro Hero4 Black數(shù)碼相機(jī)組合而成，在空間的上、下、左、右、前、后分別固定一個(gè)數(shù)碼相機(jī)，因此構(gòu)成了水平環(huán)繞方向360° 4個(gè)相機(jī)，垂直環(huán)繞方向360° 4個(gè)相機(jī)的組合，兩個(gè)方向上每個(gè)相機(jī)的拍攝范圍都有重疊區(qū)域，如圖3所示。該設(shè)備采用了特殊的技術(shù)，使得6顆攝像頭之間能實(shí)現(xiàn)“像素級(jí)別的同步”，它由一個(gè)主機(jī)(1號(hào)相機(jī))來控制其他5臺(tái)相機(jī)進(jìn)行同步拍攝，使得視頻的后期工作變得更加簡(jiǎn)單。

圖3 拍攝視角

通過將相機(jī)放置在觀測(cè)點(diǎn)，利用設(shè)備自帶的遙控器遠(yuǎn)程控制拍攝的開始和結(jié)束，借助GPS坐標(biāo)信息和百度地圖，確定當(dāng)前的觀測(cè)位置。

3.2 全景影像合成

將影像素材從全景相機(jī)中導(dǎo)出，初步利用Adobe Premiere對(duì)各片段影像的亮度、飽和度以及對(duì)比指標(biāo)等進(jìn)行微調(diào)整，減緩迎光面與背光面光照角度和光照強(qiáng)度差異，獲得曝光水平均勻連續(xù)的圖像素材。

利用Autopano Video進(jìn)行影像的拼接與縫合。將各視頻片段導(dǎo)入軟件中，選擇魚眼縫合方式，焦距 20 mm，軟件會(huì)自動(dòng)根據(jù)相鄰圖像邊界之間的重疊區(qū)域確定它們的相互位置，通過對(duì)每個(gè)圖像邊界建立關(guān)聯(lián)點(diǎn)來識(shí)別圖像之間的相似點(diǎn)，然后對(duì)鏡頭畸變和影調(diào)的調(diào)整進(jìn)行運(yùn)算，進(jìn)而拼接成一幅全景圖像。如圖4所示。

圖4 全景圖像拼接分區(qū)

軟件自動(dòng)拼接完成后，會(huì)出現(xiàn)重影、變形等問題，這就需要對(duì)每一幀的圖像進(jìn)行編輯處理，利用Autopano Video的圖像編輯軟件Autopano Giga進(jìn)行單幀圖像的編輯。對(duì)于出現(xiàn)重影的問題，可以通過設(shè)置“消除疊影”來處理。如果兩幅相鄰的圖片錯(cuò)位重影的問題比較嚴(yán)重或者利用消除疊影依然無法解決，可以通過在兩幅圖像重疊區(qū)域的相同位置添加控制點(diǎn)，軟件會(huì)自動(dòng)根據(jù)兩幅圖像的相同點(diǎn)進(jìn)行重合，從而達(dá)到消除重影的效果，如圖5所示。

圖5相鄰圖像之間增加控制點(diǎn)

3.3 全景展示與教學(xué)應(yīng)用

本平臺(tái)中的虛擬全景體驗(yàn)可通過移動(dòng)頭顯GearVR+智能手機(jī)的方式來完成，使用者佩戴頭顯，通過移動(dòng)和頭部轉(zhuǎn)動(dòng)等姿態(tài)變化，利用GearVR的頭部跟蹤功能，感應(yīng)系統(tǒng)會(huì)自動(dòng)接收使用者頭部的轉(zhuǎn)動(dòng)從而改變?nèi)坝跋窭锏囊暯牵M(jìn)而刷新移動(dòng)VR中的全景內(nèi)容，使用者便可比較直觀動(dòng)態(tài)地觀看手機(jī)屏幕里的全景畫面。借助頭顯上的按鈕觸控、面板調(diào)節(jié)等操作，還可對(duì)畫面中特定角度進(jìn)行比較仔細(xì)地觀察，從而獲得比較真實(shí)的場(chǎng)景體驗(yàn)。對(duì)于場(chǎng)景中的交互功能，可通過眼睛長(zhǎng)時(shí)間注視(凝視操作)完成場(chǎng)景的切換、信息的查看等。

當(dāng)應(yīng)用于實(shí)驗(yàn)教學(xué)時(shí)，可將全景平臺(tái)導(dǎo)入到PC端或者直接將手機(jī)與GearVR頭顯配合使用，連接投影設(shè)備，使學(xué)生能夠通過大屏幕實(shí)時(shí)以教師的角度觀看操作過程和全景影像，學(xué)生體驗(yàn)感受對(duì)教師形成反饋，構(gòu)成完整的互動(dòng)教學(xué)流程，如圖6所示。

圖6 課堂實(shí)踐教學(xué)互動(dòng)流程[1]

以湖北省神農(nóng)架野外自然景區(qū)動(dòng)植物展示為例，應(yīng)用虛擬全景技術(shù)平臺(tái)開展實(shí)驗(yàn)教學(xué)。具體流程如下：

(1)首先通過客戶端程序調(diào)取神農(nóng)架觀察點(diǎn)全景影像資料，教師講解實(shí)踐區(qū)基本環(huán)境，組織學(xué)生觀看野外場(chǎng)景，并對(duì)其中的動(dòng)植物的分布以及種類進(jìn)行觀察。

(2)結(jié)合在全景影像中所觀察到的動(dòng)植物的分布和介紹，了解豐富的植物資源及其用途，了解動(dòng)物物種多樣性，認(rèn)識(shí)哺乳類、鳥類、兩棲類、昆蟲等類群(如圖7所示)。觀察和記錄動(dòng)物行為與活動(dòng)規(guī)律。

(3)觀察影像之后，查閱資料，將內(nèi)容分成不同的課題，學(xué)生進(jìn)行分組討論和學(xué)習(xí)，了解各種動(dòng)植物類群的主要特征，掌握識(shí)別與鑒定方法；考察生物的生長(zhǎng)環(huán)境，了解動(dòng)植物與環(huán)境之間的適應(yīng)與相互作用。并對(duì)知識(shí)點(diǎn)中的一些問題進(jìn)行總結(jié)，及時(shí)向教師反饋并解決。

(4)通過再次觀看影像，以測(cè)評(píng)為導(dǎo)向，為學(xué)生設(shè)置一些問題，在觀察影像的同時(shí)，回答問題進(jìn)行鞏固學(xué)習(xí)，從而形成完整的教學(xué)流程。

圖7 生物信息展示

4 野外實(shí)踐教學(xué)平臺(tái)特色分析

4.1 高精度的全景影像采集方法

傳統(tǒng)野外現(xiàn)場(chǎng)的照片采集都是以單相機(jī)移動(dòng)不同的角度進(jìn)行拍攝，很難控制視角的精確定位和后期拼接的精準(zhǔn)度，不能很好地還原真實(shí)場(chǎng)景，用戶的全景體驗(yàn)也有待提升。

對(duì)此，利用GoPro Omni一體的全景相機(jī)，各分塊影像之間的相互位置以及重疊區(qū)域都是固定的，并且通過自帶的軟件可以自動(dòng)識(shí)別拼接，提高后期全景合成的精確度和縫合的緊密度。而且全景相機(jī)的6臺(tái)運(yùn)動(dòng)相機(jī)由一個(gè)主相機(jī)控制其他5臺(tái)進(jìn)行同步拍攝，使得視頻的后期工作變得更加簡(jiǎn)單，不用再費(fèi)勁找同步點(diǎn)。通過該方法采集的全景影像能夠改進(jìn)全景影像變形控制水平和還原效果，實(shí)現(xiàn)對(duì)野外自然環(huán)境場(chǎng)景的真實(shí)再現(xiàn)。

4.2 全景展示和體驗(yàn)的優(yōu)化

與VR游戲相比，虛擬全景影像不需要建立復(fù)雜龐大的三維數(shù)字場(chǎng)景，對(duì)硬件設(shè)備和軟件的質(zhì)量性能要求都有所降低。與傳統(tǒng)的桌面式全景展示方式相比，通過移動(dòng)端VR作為教學(xué)應(yīng)用平臺(tái)，充分發(fā)揮了智能終端方便快捷的優(yōu)勢(shì)，以第一視角作為課堂中學(xué)生的視角，大大提高了全景體驗(yàn)的真實(shí)感和交互水平，突破了傳統(tǒng)桌面全景展示的刻板印象。

4.3 豐富教學(xué)手段、方便知識(shí)共享

虛擬全景影像在生活各個(gè)方面的應(yīng)用都充分體現(xiàn)出了其優(yōu)勢(shì)，隨著教育教學(xué)的發(fā)展變革，將虛擬全景影像的直觀動(dòng)態(tài)優(yōu)勢(shì)發(fā)揮到教學(xué)中，結(jié)合多學(xué)科知識(shí)，對(duì)于日常難以實(shí)現(xiàn)的野外實(shí)踐教學(xué)，建立真實(shí)直觀的現(xiàn)場(chǎng)場(chǎng)景。此平臺(tái)即可用于個(gè)人學(xué)習(xí)的體驗(yàn)，也可用于課堂集體教學(xué)，對(duì)于全景中的場(chǎng)景和知識(shí)點(diǎn)可進(jìn)行傳分享，有利于知識(shí)的傳播與共享。基于虛擬全景技術(shù)的教學(xué)方式，大大提高了學(xué)生的參與度與積極性。

5 結(jié) 語(yǔ)

基于虛擬全景技術(shù)開發(fā)的野外實(shí)踐教學(xué)平臺(tái)，實(shí)現(xiàn)了在室內(nèi)課堂教學(xué)環(huán)境下對(duì)高危的野外自然環(huán)境的全景體驗(yàn)，以還原更加真實(shí)的現(xiàn)場(chǎng)場(chǎng)景幫助學(xué)生獲得身臨其境的學(xué)習(xí)體驗(yàn)，提高學(xué)生的實(shí)踐和創(chuàng)新能力，培養(yǎng)學(xué)生的綜合素質(zhì)和創(chuàng)新精神。

[1] 李岳，蔡靖，宗一鳴等. 虛擬全景技術(shù)在工程實(shí)踐教學(xué)平臺(tái)開發(fā)中的應(yīng)用[J]. 高等建筑教育，2016(5)：173～175.

[2] 陳璐. 實(shí)時(shí)視頻拼接系統(tǒng)的研究與實(shí)現(xiàn)[D]. 南京：南京理工大學(xué)，2015.

[3] 鐘正，張曉露，周東波等. 基于LBS的戶外地理教學(xué)系統(tǒng)設(shè)計(jì)與應(yīng)用[J]. 中國(guó)教育信息化，2014(15)：14～18.

[4] 鐘正，胡鵬，張曉露等. 戶外地理移動(dòng)學(xué)習(xí)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 城市勘測(cè)，2013(5)：5～8.

[5] 趙曦，劉耀林，劉艷芳等. 綜合性大學(xué)野外實(shí)踐教學(xué)模式初探——以武漢大學(xué)廬山地理野外綜合實(shí)習(xí)為例[J]. 高等理科教育，2008(3)：121～124.

ApplicationofVirtualPanoramicTechnologyintheFieldPracticeTeachingPlatform

Zhong Zheng，Ge Wanru
(National Engineering Research Center for E-Learning，Central China Normal University，Wuhan 430079，China)

Applying virtual panoramic technology develop field practice teaching，through the high-precision image acquisition and panorama synthesis，the wild natural environment that has never been reached before is displayed on the indoor mobile terminal VR platform，enabling students to understand and learn systematically and completely about the natural environment in the field，creating an immersive learning experience.The teaching platform based on intelligent mobile phone +GearVR as terminal operation，can display panorama image directly and dynamiclly.Teaching content is convenient to share and spread，promotes the cultivation of students' learning interest，practical perception and cognitive ability.

virtual panoramic technology；teaching platform；field practice

1672-8262(2017)06-19-04

P208，G434

A

2017—05—25

鐘正(1978—)，男，博士，副教授，主要研究3D GIS、移動(dòng)GIS和GIS在地理教學(xué)中的應(yīng)用。

國(guó)家自然科學(xué)基金項(xiàng)目(41201413)