虛擬全景技術在野外實踐教學平臺開發中的應用

鐘正，葛婉茹

(華中師范大學 國家數字化與工程技術研究中心，湖北 武漢 430079)

虛擬全景技術在野外實踐教學平臺開發中的應用

鐘正*，葛婉茹

(華中師范大學 國家數字化與工程技術研究中心，湖北 武漢 430079)

應用虛擬全景技術開發野外實踐教學平臺，通過高精度影像采集與全景合成，將以往難以親身到達的野外自然環境在室內移動端VR平臺上展示，使學生能夠對野外自然環境進行系統完整地認識與學習，創設一種身臨其境般的學習體驗。該教學平臺以智能手機+GearVR頭顯為運行終端，可直觀動態顯示全景影像，教學內容分享傳播更加便捷，促進了學生學習興趣的培養和實踐感知與認知能力的提升。

虛擬全景技術；教學平臺；野外實踐

1 引 言

野外實踐教學是生物、地理、地質等專業教學和實施素質教育的重要基礎，要求學生對野外自然環境和現象有深入了解。然而，受教學大綱和經費條件的限制，目前仍以課堂教學為主，內容枯燥、形式單一[1]，有限理論以及實驗課時使學生無法獲得野外環境完整的認知，造成理論學習與實際應用脫節，難以快速適應野外現場考察的要求。另外，傳統地以簡單的認知、實地考察和記錄等為主的野外實踐模式受學生生源的擴張、實習經費緊張和指導教師缺乏以及安全等因素的制約，導致產生一些無法預期的教學情境，影響野外教學的實際效果。

虛擬全景技術( Virtual Panoramic) 的快速發展為實景教學提供了一種新的表現方式。該技術以應用實景中的某一觀測點為中心，通過多角度的影像拍攝和拼接，構建水平和垂直環視360°的全視角影像。相對于傳統的二維視頻，虛擬全景影像突破了傳統的單視角和單次拍攝焦距的限制，通過在影像內部增加人與場景的交互，豐富了視頻內容，以更加全方位和具有真實感的動態影像重現野外場景的現場全貌?；谝陨咸攸c，將具有高危險性和難以實踐的野外場景或者自然區域(如高山叢林區、河灘地貌、機場跑道等)通過全景影像在課堂內重現，創設身臨其境般的學習體驗，進而展開實踐的教學。

因此，筆者開發了基于虛擬全景技術的野外實踐教學平臺，將其應用于專題學科野外實驗教學。在全景影像拍攝設備與技術、圖像變形控制與全景拼接、全景呈現與應用方式上進行改進與創新。以高像素級別的全景影像再現真實的現場體驗的和交互感受，提高實踐教學的質量，培養學生的創新精神和科研能力。

2 基于全景技術的野外實踐教學平臺設計

為了使用更加真實的野外自然環境來展示專題學科信息，本平臺通過在實際場景中拍攝全景影像，通過影像的拼接合成以及系統的設定[1]，使學生未去復雜的實際場景環境前就能練習、體驗本課程的考察學習的目的。

2.1 導覽系統設計

在導覽系統設計上，主要包括三個層次：表現層，交互層和數據層。表現層主要是在用戶進入系統后，可以觀察到的信息，包括實踐區專題信息的介紹，首頁地圖的預覽，各航拍點和地面點拍攝的全景影像預覽；交互層主要是用戶在系統中可進行交互的基本場景操作功能，包括全景資源的分享、場景的選擇和切換、對場景的放大縮小和移動、專題知識點解說的播放以及查看和切換有關專題信息的圖集；數據層是通過Web服務器進行連接的后臺數據庫，包括專題知識信息數據庫、場景地理位置信息數據庫以及全景數據庫。系統架構設計如圖1所示。

圖1 導覽系統設計

2.2 平臺系統設計

目前常用的全景拍攝相機主要是使用單個相機通過旋轉角度和控制重疊區域以及開始結束時間進行拍攝，即使利用三腳架也很難控制重疊區域大小的相同，在時間的同步上也存在很大的問題。因此導致了在全景的后期拼接縫合上要下很多工夫，拼接的效果也很難高度還原真實場景。在全景影像展示方面，大多數依據現有的桌面式計算機平臺，用戶主要利用鼠標的拖動和點擊來進行場景角度的切換，很難產生身臨其境的真實體驗，限制了全景影像的立體效果展示。

針對以上問題，以智能手機+GearVR作為運行終端，開發野外實踐教學平臺客戶端程序。通過采集手機內部傳感器數據，獲取當前觀影的位置信息。借助GearVR，教師通過頭部的移動，利用頭部追蹤功能，感應系統會接收使用者頭部的轉動從而改變虛擬世界里面的視角。再將手機與課堂投影設備進行影像的共享，學生可以同步以教師的視角觀察全景影像，從而改進傳統虛擬全景操作和體驗方式。通過完善客戶端程序，滿足課堂學習、分組討論、問題分析等環節的需要。實踐教學平臺客戶端的開發流程如圖2所示。

圖2 開發流程

3 實踐教學平臺實施

3.1 場景信息采集

根據所學知識點的相關要求，選取動植物分布較為集中、種類較為豐富的野外場景進行影像的采集，采集內容包括大廳(主界面)的三維地圖的展示、各場景的航拍點以及航拍點底部的地面點、各種生物的所在點。使用的器材包括GoPro Omni 6目全景相機和三腳架。全景影像采集的過程中，保持三腳架對齊觀測點且與地面垂直，全景相機固定于三腳架頂部水平臺上，拍攝過程中保持相機的穩定性。將相機的FOV設置為寬，此時每個攝像機的廣角視角約為170°，獲得最大視角的場景，為后期方便拼接，如圖3所示。

6目的GoPro全景相機由6個小的GoPro Hero4 Black數碼相機組合而成，在空間的上、下、左、右、前、后分別固定一個數碼相機，因此構成了水平環繞方向360° 4個相機，垂直環繞方向360° 4個相機的組合，兩個方向上每個相機的拍攝范圍都有重疊區域，如圖3所示。該設備采用了特殊的技術，使得6顆攝像頭之間能實現“像素級別的同步”，它由一個主機(1號相機)來控制其他5臺相機進行同步拍攝，使得視頻的后期工作變得更加簡單。

圖3 拍攝視角

通過將相機放置在觀測點，利用設備自帶的遙控器遠程控制拍攝的開始和結束，借助GPS坐標信息和百度地圖，確定當前的觀測位置。

3.2 全景影像合成

將影像素材從全景相機中導出，初步利用Adobe Premiere對各片段影像的亮度、飽和度以及對比指標等進行微調整，減緩迎光面與背光面光照角度和光照強度差異，獲得曝光水平均勻連續的圖像素材。

利用Autopano Video進行影像的拼接與縫合。將各視頻片段導入軟件中，選擇魚眼縫合方式，焦距 20 mm，軟件會自動根據相鄰圖像邊界之間的重疊區域確定它們的相互位置，通過對每個圖像邊界建立關聯點來識別圖像之間的相似點，然后對鏡頭畸變和影調的調整進行運算，進而拼接成一幅全景圖像。如圖4所示。

圖4 全景圖像拼接分區

軟件自動拼接完成后，會出現重影、變形等問題，這就需要對每一幀的圖像進行編輯處理，利用Autopano Video的圖像編輯軟件Autopano Giga進行單幀圖像的編輯。對于出現重影的問題，可以通過設置“消除疊影”來處理。如果兩幅相鄰的圖片錯位重影的問題比較嚴重或者利用消除疊影依然無法解決，可以通過在兩幅圖像重疊區域的相同位置添加控制點，軟件會自動根據兩幅圖像的相同點進行重合，從而達到消除重影的效果，如圖5所示。

圖5相鄰圖像之間增加控制點

3.3 全景展示與教學應用

本平臺中的虛擬全景體驗可通過移動頭顯GearVR+智能手機的方式來完成，使用者佩戴頭顯，通過移動和頭部轉動等姿態變化，利用GearVR的頭部跟蹤功能，感應系統會自動接收使用者頭部的轉動從而改變全景影像里的視角，進而刷新移動VR中的全景內容，使用者便可比較直觀動態地觀看手機屏幕里的全景畫面。借助頭顯上的按鈕觸控、面板調節等操作，還可對畫面中特定角度進行比較仔細地觀察，從而獲得比較真實的場景體驗。對于場景中的交互功能，可通過眼睛長時間注視(凝視操作)完成場景的切換、信息的查看等。

當應用于實驗教學時，可將全景平臺導入到PC端或者直接將手機與GearVR頭顯配合使用，連接投影設備，使學生能夠通過大屏幕實時以教師的角度觀看操作過程和全景影像，學生體驗感受對教師形成反饋，構成完整的互動教學流程，如圖6所示。

圖6 課堂實踐教學互動流程[1]

以湖北省神農架野外自然景區動植物展示為例，應用虛擬全景技術平臺開展實驗教學。具體流程如下：

(1)首先通過客戶端程序調取神農架觀察點全景影像資料，教師講解實踐區基本環境，組織學生觀看野外場景，并對其中的動植物的分布以及種類進行觀察。

(2)結合在全景影像中所觀察到的動植物的分布和介紹，了解豐富的植物資源及其用途，了解動物物種多樣性，認識哺乳類、鳥類、兩棲類、昆蟲等類群(如圖7所示)。觀察和記錄動物行為與活動規律。

(3)觀察影像之后，查閱資料，將內容分成不同的課題，學生進行分組討論和學習，了解各種動植物類群的主要特征，掌握識別與鑒定方法；考察生物的生長環境，了解動植物與環境之間的適應與相互作用。并對知識點中的一些問題進行總結，及時向教師反饋并解決。

(4)通過再次觀看影像，以測評為導向，為學生設置一些問題，在觀察影像的同時，回答問題進行鞏固學習，從而形成完整的教學流程。

圖7 生物信息展示

4 野外實踐教學平臺特色分析

4.1 高精度的全景影像采集方法

傳統野外現場的照片采集都是以單相機移動不同的角度進行拍攝，很難控制視角的精確定位和后期拼接的精準度，不能很好地還原真實場景，用戶的全景體驗也有待提升。

對此，利用GoPro Omni一體的全景相機，各分塊影像之間的相互位置以及重疊區域都是固定的，并且通過自帶的軟件可以自動識別拼接，提高后期全景合成的精確度和縫合的緊密度。而且全景相機的6臺運動相機由一個主相機控制其他5臺進行同步拍攝，使得視頻的后期工作變得更加簡單，不用再費勁找同步點。通過該方法采集的全景影像能夠改進全景影像變形控制水平和還原效果，實現對野外自然環境場景的真實再現。

4.2 全景展示和體驗的優化

與VR游戲相比，虛擬全景影像不需要建立復雜龐大的三維數字場景，對硬件設備和軟件的質量性能要求都有所降低。與傳統的桌面式全景展示方式相比，通過移動端VR作為教學應用平臺，充分發揮了智能終端方便快捷的優勢，以第一視角作為課堂中學生的視角，大大提高了全景體驗的真實感和交互水平，突破了傳統桌面全景展示的刻板印象。

4.3 豐富教學手段、方便知識共享

虛擬全景影像在生活各個方面的應用都充分體現出了其優勢，隨著教育教學的發展變革，將虛擬全景影像的直觀動態優勢發揮到教學中，結合多學科知識，對于日常難以實現的野外實踐教學，建立真實直觀的現場場景。此平臺即可用于個人學習的體驗，也可用于課堂集體教學，對于全景中的場景和知識點可進行傳分享，有利于知識的傳播與共享?；谔摂M全景技術的教學方式，大大提高了學生的參與度與積極性。

5 結 語

基于虛擬全景技術開發的野外實踐教學平臺，實現了在室內課堂教學環境下對高危的野外自然環境的全景體驗，以還原更加真實的現場場景幫助學生獲得身臨其境的學習體驗，提高學生的實踐和創新能力，培養學生的綜合素質和創新精神。

[1] 李岳，蔡靖，宗一鳴等. 虛擬全景技術在工程實踐教學平臺開發中的應用[J]. 高等建筑教育，2016(5)：173～175.

[2] 陳璐. 實時視頻拼接系統的研究與實現[D]. 南京：南京理工大學，2015.

[3] 鐘正，張曉露，周東波等. 基于LBS的戶外地理教學系統設計與應用[J]. 中國教育信息化，2014(15)：14～18.

[4] 鐘正，胡鵬，張曉露等. 戶外地理移動學習系統的設計與實現[J]. 城市勘測，2013(5)：5～8.

[5] 趙曦，劉耀林，劉艷芳等. 綜合性大學野外實踐教學模式初探——以武漢大學廬山地理野外綜合實習為例[J]. 高等理科教育，2008(3)：121～124.

ApplicationofVirtualPanoramicTechnologyintheFieldPracticeTeachingPlatform

Zhong Zheng，Ge Wanru
(National Engineering Research Center for E-Learning，Central China Normal University，Wuhan 430079，China)

Applying virtual panoramic technology develop field practice teaching，through the high-precision image acquisition and panorama synthesis，the wild natural environment that has never been reached before is displayed on the indoor mobile terminal VR platform，enabling students to understand and learn systematically and completely about the natural environment in the field，creating an immersive learning experience.The teaching platform based on intelligent mobile phone +GearVR as terminal operation，can display panorama image directly and dynamiclly.Teaching content is convenient to share and spread，promotes the cultivation of students' learning interest，practical perception and cognitive ability.

virtual panoramic technology；teaching platform；field practice

1672-8262(2017)06-19-04

P208，G434

A

2017—05—25

鐘正(1978—)，男，博士，副教授，主要研究3D GIS、移動GIS和GIS在地理教學中的應用。

國家自然科學基金項目(41201413)