三維全景技術(shù)下的虛擬校園漫游系統(tǒng)設(shè)計(jì)方案

陳春偉 鄭仲元

摘 ?要： 為了提高校園漫游導(dǎo)覽能力，提出基于三維全景技術(shù)下的虛擬校園漫游系統(tǒng)設(shè)計(jì)方案。系統(tǒng)的總體結(jié)構(gòu)模塊包括虛擬校園漫游的三維重建模塊、信息處理終端模塊、數(shù)據(jù)庫(kù)模塊、圖像處理模塊和人機(jī)交互模塊等。采用3D Studio MAX和SoftImage仿真工具創(chuàng)建虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)，在三維虛擬場(chǎng)景的層次化結(jié)構(gòu)模型中，進(jìn)行虛擬校園漫游的三維全景重構(gòu)。建立虛擬校園漫游的渲染模型，通過(guò)Creator多重渲染的方法實(shí)現(xiàn)虛擬校園漫游系統(tǒng)的三維全景設(shè)計(jì)，在Vega Prime中實(shí)現(xiàn)對(duì)虛擬校園漫游系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì)。測(cè)試結(jié)果表明，設(shè)計(jì)的虛擬校園漫游系統(tǒng)具有很好的三維視景重建能力，圖像的渲染能力較強(qiáng)，系統(tǒng)的穩(wěn)定性較高。

關(guān)鍵詞： 三維全景重構(gòu); 虛擬校園; 渲染模型; 漫游系統(tǒng); 系統(tǒng)設(shè)計(jì); 視景仿真

中圖分類(lèi)號(hào)： TN99?34; TP399 ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）07?0169?04

Design scheme of virtual campus roaming system based on 3D panoramic technology

CHEN Chunwei， ZHENG Zhongyuan

（Hebei Institute of Communications， Shijiazhuang 050000， China）

Abstract： In order to improve the ability of campus roaming navigation， a design scheme of virtual campus roaming system based on three?dimensional panoramic technology is proposed. The overall structure module of the system includes virtual campus roaming′s 3D reconstruction module， information processing terminal module， database module， image processing module and human?computer interaction module. 3D Studio MAX and SoftImage simulation tools are used to create virtual scene model database. 3D panoramic reconstruction of virtual campus roaming is carried out in hierarchical structure model of 3D virtual scene. A rendering model of virtual campus roaming is established. The 3D panoramic design of the virtual campus roaming system is realized by Creator multi?rendering method. The software development and design of the virtual campus roaming system is realized in Vega Prime. The testing results show that the designed virtual campus roaming system has excellent 3D scene reconstruction ability， strong image rendering ability and high stability.

Keywords： 3D panorama reconstruction; virtual campus; rendering model; roaming system; system design; visual simulation

0 ?引 ?言

隨著三維全景虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，采用三維視景仿真技術(shù)進(jìn)行場(chǎng)景仿真，提高三維場(chǎng)景的重構(gòu)和虛擬漫游能力。在校園的漫游導(dǎo)覽過(guò)程中，需要構(gòu)建虛擬校園漫游系統(tǒng)，結(jié)合虛擬現(xiàn)實(shí)技術(shù)進(jìn)行虛擬校園漫游和導(dǎo)覽控制，建立虛擬校園漫游的目標(biāo)場(chǎng)景，結(jié)合3D重構(gòu)和視景仿真技術(shù)進(jìn)行虛擬校園漫游設(shè)計(jì)，構(gòu)建虛擬校園漫游的虛擬控制模型，提高虛擬校園漫游導(dǎo)覽的人機(jī)交互能力[1]。

在進(jìn)行虛擬校園漫游系統(tǒng)設(shè)計(jì)中，需要采用嵌入式的設(shè)計(jì)方法，將控制程序通過(guò)程序加載模塊加載到虛擬校園漫游系統(tǒng)的信息處理中心，建立嵌入式的智能虛擬校園漫游系統(tǒng)[2]。結(jié)合.NET Framework應(yīng)用程序進(jìn)行虛擬校園漫游系統(tǒng)的用戶交互體驗(yàn)設(shè)計(jì)，提高虛擬校園漫游系統(tǒng)的情景交互能力。本文提出基于三維全景技術(shù)下的虛擬校園漫游系統(tǒng)設(shè)計(jì)方案，首先，進(jìn)行系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)和功能模塊分析;然后在Lynx Prime中建立虛擬校園漫游系統(tǒng)的三維仿真場(chǎng)景，通過(guò)MPI視景仿真渲染工具Vega Prime進(jìn)行系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì);最后，進(jìn)行仿真測(cè)試分析，得出有效性結(jié)論。

1 ?系統(tǒng)的總體設(shè)計(jì)構(gòu)架與開(kāi)發(fā)環(huán)境描述

1.1 ?系統(tǒng)的總體設(shè)計(jì)構(gòu)架

基于Multigen Creator建模工具進(jìn)行虛擬校園漫游系統(tǒng)的嵌入式開(kāi)發(fā)設(shè)計(jì)，建立虛擬校園漫游系統(tǒng)的視景仿真模型[3]。采用嵌入式的設(shè)計(jì)方案，結(jié)合多層次細(xì)節(jié)（LOD）控制實(shí)現(xiàn)虛擬校園漫游系統(tǒng)的場(chǎng)景控制和在線編譯，建立虛擬校園漫游系統(tǒng)的遠(yuǎn)程控制終端模型;采用多線程結(jié)構(gòu)重組的方法，進(jìn)行虛擬校園漫游系統(tǒng)的交叉編譯和程序加載，結(jié)合圖像信息跟蹤融合技術(shù)進(jìn)行虛擬校園漫游系統(tǒng)的三維全景設(shè)計(jì)。基于Multigen Creator軟件建立虛擬校園漫游系統(tǒng)的3D虛擬現(xiàn)實(shí)環(huán)境，將三維全景圖像加載到系統(tǒng)的終端，系統(tǒng)的總體結(jié)構(gòu)模塊包括：虛擬校園漫游的三維重建模塊、信息處理終端模塊、數(shù)據(jù)庫(kù)模塊、圖像處理模塊和人機(jī)交互模塊等。系統(tǒng)軟件開(kāi)發(fā)是建立在三維全景成像終端基礎(chǔ)上[4]，通過(guò)對(duì)虛擬校園的三維虛擬重構(gòu)，結(jié)合3D幾何模型進(jìn)行圖形渲染，根據(jù)上述設(shè)計(jì)原理和總體設(shè)計(jì)構(gòu)架，得到本文設(shè)計(jì)的虛擬校園漫游系統(tǒng)總體結(jié)構(gòu)如圖1所示。

根據(jù)圖1所示的虛擬校園漫游系統(tǒng)總體構(gòu)架，設(shè)計(jì)三維全景技術(shù)下的虛擬校園漫游系統(tǒng)。在ZigBee物聯(lián)網(wǎng)環(huán)境下構(gòu)建虛擬校園漫游系統(tǒng)的網(wǎng)絡(luò)傳輸模塊，采用遠(yuǎn)程集成控制的方法進(jìn)行虛擬校園漫游系統(tǒng)的自動(dòng)控制設(shè)計(jì)，建立虛擬校園漫游系統(tǒng)的多功能轉(zhuǎn)換模塊。采用ARM Cortex?M0處理器內(nèi)核實(shí)現(xiàn)虛擬校園漫游系統(tǒng)的APP開(kāi)發(fā)，在ZigBee物聯(lián)網(wǎng)組網(wǎng)模式下，在操作系統(tǒng)層和應(yīng)用軟件層分別配置虛擬校園漫游系統(tǒng)的APP控制下，進(jìn)行虛擬校園漫游系統(tǒng)的三層體系結(jié)構(gòu)設(shè)計(jì)[5]，得到系統(tǒng)的三層體系結(jié)構(gòu)如圖2所示。

1.2 ?系統(tǒng)開(kāi)發(fā)環(huán)境描述

采用3D Studio MAX和SoftImage仿真工具創(chuàng)建虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)。對(duì)虛擬校園漫游系統(tǒng)進(jìn)行多層體系結(jié)構(gòu)構(gòu)架，虛擬校園漫游系統(tǒng)采用三層體系設(shè)計(jì)，分別為信息感知層、數(shù)據(jù)處理層和人機(jī)交互層。在網(wǎng)絡(luò)傳輸層中，采用B/S客戶端與服務(wù)器交互的方法，進(jìn)行漫游系統(tǒng)的ZigBee組網(wǎng)技術(shù)和虛擬校園漫游控制的網(wǎng)絡(luò)組網(wǎng)控制;在ISA/EISA/Micro Channel擴(kuò)充總線下進(jìn)行虛擬校園漫游系統(tǒng)的總線開(kāi)發(fā)設(shè)計(jì)[6]。采用VIX總線控制技術(shù)實(shí)現(xiàn)虛擬校園漫游系統(tǒng)的總線集成控制，系統(tǒng)的控制平臺(tái)主要由A/D信息采集模塊和交叉編譯模塊構(gòu)成，采用總線控制的方法進(jìn)行虛擬校園漫游系統(tǒng)的總線調(diào)度和傳輸控制[7]。根據(jù)上述分析，得到的虛擬校園漫游系統(tǒng)軟件開(kāi)發(fā)環(huán)境如圖3所示。

構(gòu)建虛擬校園漫游系統(tǒng)的人機(jī)交互模塊，在C/S構(gòu)架體系下采用交叉編譯的方式進(jìn)行虛擬校園漫游系統(tǒng)的用戶交互體驗(yàn)設(shè)計(jì)，采用嵌入式的ARM進(jìn)行虛擬校園漫游系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì)[8]。

2 ?系統(tǒng)軟件開(kāi)發(fā)與實(shí)現(xiàn)

2.1 ?虛擬校園漫游的三維全景圖像處理

對(duì)虛擬校園漫游系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì)包括算法設(shè)計(jì)和軟件模塊化設(shè)計(jì)兩大部分。進(jìn)行虛擬校園漫游的三維全景圖像處理算法設(shè)計(jì)，建立虛擬校園漫游三維全景成像模型;采用圖像特征識(shí)別的方法進(jìn)行虛擬校園漫游三維全景信息采樣和圖像樣本分析[9];結(jié)合對(duì)虛擬校園漫游三維全景渲染的方法進(jìn)行圖像處理，由于[A>0]，得到虛擬校園漫游三維全景的空間區(qū)域分布的迭代參數(shù)[βi]如下：

[βi=exp-xi-xj22σ21distxi，xj] ? ?（1）

式中[xi]和[xj]分別為虛擬校園漫游三維全景圖像在像素點(diǎn)[i，j]處的像素強(qiáng)度和邊緣輪廓的長(zhǎng)度。根據(jù)虛擬校園圖像網(wǎng)格分布，進(jìn)行虛擬校園漫游的圖像渲染特征點(diǎn)匹配，以及虛擬校園漫游三維全景區(qū)域分布重組。用[distxi，xj]表示虛擬校園漫游三維全景標(biāo)記特征點(diǎn)[xi]和[xj]之間的歐氏距離，采用邊緣輪廓特征檢測(cè)的方法對(duì)圖像的邊界分布參數(shù)[σ]進(jìn)行自適應(yīng)調(diào)節(jié)，構(gòu)建虛擬校園漫游三維全景圖像融合模型[10]。采用模型系數(shù)匹配的方法進(jìn)行虛擬校園漫游三維全景的8鄰域像素匹配，對(duì)采集的虛擬校園漫游三維全景圖像進(jìn)行分塊融合檢測(cè)，得到圖像的三維紋理信息特征分量為：

[Pyw3xw3，θ，β∝Pyw3xw3，θyw3βi∝k=1Kαk12πσ2kexp-xi-μk22σ2k? ? ?1Zβiexp-c?CVc（Y，βi）∝k=1KαkZβi2πσ2k? ? ?exp-k=1Kxi-μk22σ2k+c?CVc（Y，βi）] （2）

在4×4子塊的子空間分布區(qū)域進(jìn)行虛擬校園漫游三維視景仿真和圖像重構(gòu)，提取虛擬校園漫游三維全景視覺(jué)特征量如下：

[di+1=2Fxi+1+12，yi+2= 2Δx（yi+2）-Δyxi，r+12-ΔxB， ? ?di≤02Δx（yi+2）-Δyxi，r+1+12-ΔxB， ? ?di>0] （3）

考慮校園漫游三維全景視覺(jué)特征分布的有限域，在有限論域[E]上進(jìn)行差異度匹配，建立差異值特征匹配模型。采用分塊融合檢測(cè)的方法進(jìn)行虛擬校園漫游三維全景圖像空間區(qū)域映射[11]，輸出為[F：E→R3]，設(shè)[T：E→PDS（2）]，對(duì)虛擬校園漫游三維全景視覺(jué)特征值進(jìn)行信息重構(gòu)，得到三維全景技術(shù)下的虛擬校園視覺(jué)空間重構(gòu)輸出為：

[Rx，y=x2+y2+dx+ey+f] ?（4）

在最大值搜索區(qū)域內(nèi)，提取虛擬校園漫游三維全景圖像的活動(dòng)輪廓模型[12]，得到灰階不變矩滿足：

[?R?x=2x+d=0?R?y=2y+e=0] ?（5）

根據(jù)輪廓分布情況構(gòu)建虛擬校園漫游三維全景圖像的分塊區(qū)域組合模型，得到虛擬校園漫游三維全景圖像的特征分辨率為：

[IGSM=I（CN;DNsN）=i=1NI（Ci;Disi）=i=1N（h（Disi）-h（DiCi，si））=i=1N（h（giCi+Visi）-h（Vi））] ? ? ? ?（6）

綜上分析，在三維虛擬場(chǎng)景的層次化結(jié)構(gòu)模型中進(jìn)行虛擬校園漫游的三維全景重構(gòu)，建立虛擬校園漫游的渲染模型，可實(shí)現(xiàn)虛擬校園漫游三維全景視覺(jué)特征識(shí)別和重建[13]。

2.2 ?系統(tǒng)軟件模塊化設(shè)計(jì)

在圖像處理算法設(shè)計(jì)的基礎(chǔ)上，進(jìn)行系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì)。本文設(shè)計(jì)的虛擬校園漫游系統(tǒng)包括圖像的三維重建模塊、信息處理終端模塊、數(shù)據(jù)庫(kù)模塊、圖像處理模塊和人機(jī)交互模塊等。采用3D Studio MAX和SoftImage仿真工具創(chuàng)建虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)[14]，在數(shù)據(jù)庫(kù)模塊中，通過(guò)監(jiān)控虛擬校園漫游數(shù)據(jù)庫(kù)的活動(dòng)，閱讀數(shù)據(jù)庫(kù)的快照日志，獲得虛擬校園漫游數(shù)據(jù)庫(kù)的狀態(tài)信息。在事務(wù)更新日志表中進(jìn)行虛擬校園漫游系統(tǒng)的任務(wù)隊(duì)列匹配和調(diào)度，采用TinyOS通信機(jī)制進(jìn)行虛擬校園漫游系統(tǒng)的組件式架構(gòu)，在多跳通信應(yīng)用程序下進(jìn)行主動(dòng)消息傳輸;采用無(wú)線傳感技術(shù)進(jìn)行虛擬校園漫游系統(tǒng)的數(shù)據(jù)庫(kù)結(jié)構(gòu)構(gòu)造設(shè)計(jì)，建立串口消息包[15]。通過(guò)構(gòu)建無(wú)線收發(fā)模塊進(jìn)行主動(dòng)消息組件（Active Message）設(shè)計(jì)，得到虛擬校園漫游系統(tǒng)的TinyOS通信架構(gòu)如圖4所示。

根據(jù)圖4的通信構(gòu)架體系，通過(guò)Creator多重渲染的方法實(shí)現(xiàn)虛擬校園漫游系統(tǒng)的三維全景設(shè)計(jì)。在Vega Prime中實(shí)現(xiàn)對(duì)虛擬校園漫游系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì)。通過(guò)關(guān)鍵字command和event完成虛擬校園漫游系統(tǒng)的組件接口設(shè)計(jì)和參數(shù)化的人機(jī)交互接口設(shè)計(jì)。虛擬校園漫游系統(tǒng)的軟件主要由Linux內(nèi)核的裁剪與編譯組成，采用TCP服務(wù)器端獲取數(shù)據(jù)包，用TCPComm.cpp與SFPacket.cpp實(shí)現(xiàn)原始數(shù)據(jù)流的讀寫(xiě)。綜上分析，得到軟件類(lèi)層次結(jié)構(gòu)圖如圖5所示。

3 ?仿真測(cè)試分析

通過(guò)仿真實(shí)驗(yàn)測(cè)試本文設(shè)計(jì)的虛擬校園漫游系統(tǒng)的應(yīng)用性能，測(cè)試中采用forward（ ）函數(shù)進(jìn)行虛擬校園視景的幀轉(zhuǎn)換控制。通過(guò)CLIENT COUNT觸發(fā)SendDone事件實(shí)現(xiàn)虛擬校園漫游三維全景重建，并采用IT公司的MSP430F1611處理器作為核心處理器件，進(jìn)行虛擬校園漫游的渲染和圖像三維全景重構(gòu)識(shí)別，測(cè)試系統(tǒng)的輸出穩(wěn)定性，得到的收斂性曲線如圖6所示。

分析圖7得知，采用本文方法進(jìn)行虛擬校園漫游系統(tǒng)設(shè)計(jì)，系統(tǒng)響應(yīng)性能較好，響應(yīng)時(shí)間較短。

4 ?結(jié) ?語(yǔ)

在校園的漫游導(dǎo)覽過(guò)程中，需要構(gòu)建虛擬校園漫游系統(tǒng)，本文結(jié)合虛擬現(xiàn)實(shí)技術(shù)進(jìn)行虛擬校園漫游和導(dǎo)覽控制，建立虛擬校園漫游的目標(biāo)場(chǎng)景，結(jié)合3D重構(gòu)和視景仿真技術(shù)進(jìn)行虛擬校園漫游設(shè)計(jì)。本文提出的三維全景技術(shù)下的虛擬校園漫游系統(tǒng)設(shè)計(jì)方案，采用3D Studio MAX和SoftImage仿真工具創(chuàng)建虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)，在三維虛擬場(chǎng)景的層次化結(jié)構(gòu)模型中進(jìn)行虛擬校園漫游的三維全景重構(gòu)，建立虛擬校園漫游的渲染模型。通過(guò)Creator多重渲染的方法實(shí)現(xiàn)虛擬校園漫游系統(tǒng)的三維全景設(shè)計(jì)，在Vega Prime中實(shí)現(xiàn)對(duì)虛擬校園漫游系統(tǒng)的軟件開(kāi)發(fā)設(shè)計(jì)。綜上可知，本文方法進(jìn)行虛擬校園漫游系統(tǒng)設(shè)計(jì)，降低了系統(tǒng)的時(shí)間開(kāi)銷(xiāo)，提高了系統(tǒng)的響應(yīng)能力。

參考文獻(xiàn)

[1] 吳永勝，姜邵巍，劉曉敏.面向空基信息系統(tǒng)的公共操作環(huán)境研究[J].中國(guó)電子科學(xué)研究院學(xué)報(bào)，2018，13（3）：247?253.

[2] 郎振紅.基于云計(jì)算自主學(xué)習(xí)平臺(tái)的設(shè)計(jì)[J].電子設(shè)計(jì)工程，2016，24（1）：35?39.

[3] XUE S J， SHI W L， XU X L. A heuristic scheduling algorithm based on PSO in the cloud computing environment [J]. International journal of U? and E?service， science and technology， 2016， 9（1）： 349?362.

[4] PAO W， LOU W， CHEN Y， et al. Resource allocation for multiple input multiple output?orthogonal frequency division multiplexing?based space division multiple access systems [J]. IET communications， 2014， 8（18）： 3424?3434.

[5] PIPAUD I， LEHMKUHL F. Object?based delineation and classification of alluvial fans by application of mean?shift segmentation and support vector machines [J]. Geomorphology， 2017， 293： 178?200.

[6] LITJENS G， KOOI T， BEJNORDI B E， et al. A survey on deep learning in medical image analysis [J]. Medical image analysis， 2017， 42（9）： 60?88.

[7] 吳炳基.基于B/S架構(gòu)的變電站三維視景系統(tǒng)研究[J].自動(dòng)化與儀器儀表，2018（6）：22?24.

[8] 蔣本立，張小平.大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度平臺(tái)設(shè)計(jì)與改進(jìn)[J].現(xiàn)代電子技術(shù)，2016，39（6）：62?65.

[9] AREFI M M， ZAREI J， KARIMI H R. Adaptive output feedback neural network control of uncertain non?affine systems with unknown control direction [J]. Journal of the Franklin Institute， 2014， 351（8）： 4302?4316.

[10] LONG M， WANG J， DING G， et al. Adaptation regularization： a general framework for transfer learning [J]. IEEE tran?sactions on knowledge and data engineering， 2014， 26（5）： 1076?1089.

[11] PATRICIA N， CAPUTO B. Learning to learn， from transfer learning to domain adaptation： a unifying perspective [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1442?1449.

[12] SUN Leilei， GUO Chonghui. Incremental affinity propagation clustering based on message passing [J]. IEEE transactions on knowledge and data engineering， 2014， 26（11）： 2731?2744.

[13] RAZAVIAN A S， SULLIVAN J， CARLSSON S. Visual instance retrieval with deep convolutional networks [J]. ITE transactions on media technology and applications， 2016， 4（3）： 251?258.

[14] HASSNER T， HAREL S， PAZ E， et al. Effective face fronta?lization in unconstrained images [C]// Proceedings of the 2015 IEEE Computer Vision and Pattern Recognition. Boston， MA， US： IEEE， 2015： 4295?4304.

[15] ALI M S， TABASSUM H， HOSSAIN E. Dynamic user clustering and power allocation for uplink and downlink non?orthogonal multiple access （NOMA） systems [J]. IEEE access， 2016， 4： 6325?6343.