基于虛擬現(xiàn)實(shí)技術(shù)的室內(nèi)交互系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)*

西安財(cái)經(jīng)大學(xué) 中國(guó)（西安）絲綢之路研究院 賈辰凌

虛擬現(xiàn)實(shí)（VR）技術(shù)因其突出的沉浸性、交互性等特征，在可視化、數(shù)字孿生等領(lǐng)域有著重要作用。基于3Ds Max建模、Unity 3D VR交互等關(guān)鍵技術(shù)，提出了建筑室內(nèi)場(chǎng)景可視化與交互的完整方案，設(shè)計(jì)并實(shí)現(xiàn)了一套室內(nèi)VR場(chǎng)景漫游及交互系統(tǒng)。針對(duì)某實(shí)際住宅區(qū)多戶型數(shù)據(jù)，建立多樣虛擬環(huán)境，實(shí)現(xiàn)雙眼沉浸全視角漫游、瞬移、開關(guān)燈具、隔空抓取等場(chǎng)景互動(dòng)。測(cè)試表明：系統(tǒng)渲染美觀，交互舒適，可運(yùn)行于商業(yè)VR頭盔套件以及配備了鏡架的手機(jī)端，具備較強(qiáng)臨場(chǎng)感和體驗(yàn)性。為低成本、沉浸式、時(shí)空靈活地進(jìn)行場(chǎng)館建筑展示，以及智慧城市的數(shù)字化構(gòu)建提供了可行思路和技術(shù)參考。

虛擬現(xiàn)實(shí)（VR）技術(shù)融合了計(jì)算機(jī)圖形學(xué)、人機(jī)交互、可視化、光電傳感等學(xué)科和技術(shù)，具備沉浸感、交互性、想象力等特征[1]。借助頭盔式雙眼顯示器，手持或穿戴體感設(shè)備，可實(shí)現(xiàn)實(shí)時(shí)成像的三維沉浸式視角，并通過(guò)傳感數(shù)據(jù)建立自身與場(chǎng)景內(nèi)虛擬角色的體感映射，實(shí)現(xiàn)多通道人機(jī)交互體驗(yàn)。

近兩年，VR技術(shù)逐步從系統(tǒng)化探索階段進(jìn)入了高度沉浸且價(jià)格較合理的市場(chǎng)化應(yīng)用階段。成為可視化、數(shù)字孿生等研究領(lǐng)域的重要技術(shù)手段[2]，并在行業(yè)管理、教學(xué)仿真、醫(yī)療、文化等領(lǐng)域發(fā)展迅速[3-5]，取得了較大的關(guān)注和良好的社會(huì)經(jīng)濟(jì)效應(yīng)。

在城市設(shè)施、建筑、景觀與場(chǎng)館的規(guī)劃和展示領(lǐng)域，VR技術(shù)能夠增強(qiáng)設(shè)計(jì)方案的前瞻性與互動(dòng)性、豐富仿真層次和展示內(nèi)容，為可行性、合理性、設(shè)計(jì)優(yōu)化和保護(hù)方案等提供決策支持[6,7]；同時(shí)拓寬了展示渠道和靈活性，有著廣闊的發(fā)展空間。

以地產(chǎn)行業(yè)為例，智慧城市構(gòu)建需要智慧地產(chǎn)升級(jí)[8,9]，但傳統(tǒng)地產(chǎn)宣傳銷售過(guò)程存在著資料平面化、程序灌輸性強(qiáng)、實(shí)體看房成本高、時(shí)空靈活性差等問(wèn)題，在房屋信息展示和客戶自主體驗(yàn)方面存在較大提升空間。傳統(tǒng)手段客戶借助建筑房屋的宣傳文字、照片或視頻等平面化材料在腦海中構(gòu)想房屋情況，難以獲得沉浸、直觀的游覽體驗(yàn)，且被動(dòng)接受經(jīng)過(guò)篩選的信息，不利于對(duì)房屋環(huán)境進(jìn)行自主、全面的深入了解。同時(shí)，銷售商提供實(shí)體樓盤樣板房裝修及家具陳設(shè)均需投入部分金錢和工期成本，一旦完成其裝潢和家具便難以靈活更換，不利于進(jìn)行差異化和針對(duì)性宣傳。而客戶對(duì)實(shí)體樣板房的查看需要合理安排時(shí)間、差旅、費(fèi)用、精力等復(fù)雜因素，可能出現(xiàn)實(shí)體房屋預(yù)約困難、看房時(shí)間短暫、次數(shù)不足，甚至實(shí)體樣板房尚未建成等問(wèn)題。在這種情況下想要更深入全面地了解房屋就需要耗費(fèi)更多的個(gè)人財(cái)力、時(shí)間和精力。若能提供足不出戶、頻次和時(shí)長(zhǎng)安排自由、成本低廉且自主感受良好的瀏覽體驗(yàn)，則有助于降低雙方接洽成本，提高交流效率。

數(shù)字經(jīng)濟(jì)時(shí)代，各類虛擬資源已成為人們生活的重要組成部分，特別是在疫情防控期間因其特殊環(huán)境也影響了人們的出行頻率與距離，因而拓展時(shí)空更為靈活的數(shù)字化宣傳手段對(duì)于地產(chǎn)銷售，以及其他城市建筑和場(chǎng)館展示來(lái)說(shuō)，是十分必要的。

鑒于上述技術(shù)應(yīng)用背景和行業(yè)發(fā)展需求，本文對(duì)虛擬現(xiàn)實(shí)建筑可視化方案與技術(shù)實(shí)現(xiàn)進(jìn)行了研究。針對(duì)某實(shí)際住宅小區(qū)的15套不同戶型數(shù)據(jù)，通過(guò)3Ds Max建模、Unity 3D引擎及VR交互編程等關(guān)鍵技術(shù)，構(gòu)建了一套三維虛擬現(xiàn)實(shí)室內(nèi)漫游、交互系統(tǒng)。通過(guò)使用系統(tǒng)，用戶只需極小空間和低廉成本、便可遠(yuǎn)距離、多場(chǎng)地、時(shí)間靈活地進(jìn)行三維寫實(shí)場(chǎng)景的雙眼視覺與立體感知，提高了對(duì)房屋環(huán)境的直觀感受；同時(shí)漫游、瞬移、開關(guān)觸發(fā)和拾取等交互功能設(shè)計(jì)也增強(qiáng)了用戶對(duì)虛擬環(huán)境自主探索的能力和體驗(yàn)；虛擬環(huán)境可實(shí)現(xiàn)不同室內(nèi)裝修風(fēng)格主題的切換配置，進(jìn)一步提高房屋使用情況的預(yù)見性，有助于用戶結(jié)合戶型進(jìn)行房屋裝修決策。

1 設(shè)計(jì)方案

1.1 總體設(shè)計(jì)

系統(tǒng)使用的3D模型由3Ds Max、Photoshop等完成。VR 3D場(chǎng)景和交互業(yè)務(wù)邏輯的實(shí)現(xiàn)主要使用Unity 3D引擎完成，編程語(yǔ)言為C#。與基于傳統(tǒng)VRML語(yǔ)言的Web虛擬現(xiàn)實(shí)技術(shù)相比，基于3D建模和Unity引擎的VR系統(tǒng)開發(fā)效率更高，渲染效果更好，且實(shí)現(xiàn)了從屏幕網(wǎng)頁(yè)、鍵鼠交互方式到頭盔式雙眼顯示、穿戴式體感設(shè)備交互的轉(zhuǎn)變[10]，增強(qiáng)了沉浸感。

系統(tǒng)可分為虛擬場(chǎng)景數(shù)據(jù)層、交互業(yè)務(wù)層、界面表示層三個(gè)層次。如圖1所示，對(duì)原始場(chǎng)景數(shù)據(jù)進(jìn)行實(shí)時(shí)運(yùn)算，產(chǎn)生相應(yīng)的虛擬現(xiàn)實(shí)環(huán)境；通過(guò)VR人機(jī)接口溝通計(jì)算機(jī)業(yè)務(wù)邏輯與用戶任務(wù)數(shù)據(jù)，完成3D位置與角度跟蹤、立體視覺圖形生成、立體聲，事件觸發(fā)與處理等交互功能，并在表示層對(duì)用戶進(jìn)行反饋。

圖1 VR交互系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)Fig.1 Architecture of VR indoor interactive system

如圖2所示，系統(tǒng)的主要功能模塊可分VR場(chǎng)景展示以及場(chǎng)景內(nèi)交互兩大模塊。

圖2 VR交互系統(tǒng)功能模塊設(shè)計(jì)Fig.2 Function module of VR indoor interactive system

系統(tǒng)運(yùn)行時(shí)，應(yīng)當(dāng)滿足用戶對(duì)于房屋內(nèi)戶型、陳設(shè)等進(jìn)行全景觀察的功能需求，當(dāng)觀察視角或觀察位置發(fā)生變化時(shí)，視圖畫面應(yīng)當(dāng)實(shí)時(shí)變化。系統(tǒng)完成寫實(shí)場(chǎng)景風(fēng)格，可在不同家具風(fēng)格、不同戶型場(chǎng)景之間進(jìn)行切換。同時(shí)，用戶可以與虛擬環(huán)境進(jìn)行一些互動(dòng)，包括虛擬空間內(nèi)位置連續(xù)移動(dòng)即漫游、消除眩暈感的空間瞬移；以及通過(guò)事件觸發(fā)完成與家具模型的互動(dòng)如燈具打開關(guān)閉、隔空抓取、自動(dòng)開門關(guān)門等。

1.2 開發(fā)流程

將軟件工程一般性原理與VR漫游系統(tǒng)實(shí)際情況相結(jié)合，可得到系統(tǒng)的基本開發(fā)流程，如圖3所示。

圖3 系統(tǒng)實(shí)現(xiàn)的業(yè)務(wù)流程Fig.3 Implementation process of VR indoor interactive system

需求分析階段，明確核心功能模塊，取得系統(tǒng)涉及的詳細(xì)房屋介紹和CAD圖紙等原始數(shù)據(jù)。根據(jù)房屋原始數(shù)據(jù)進(jìn)行VR場(chǎng)景制作，主要包含：室內(nèi)家具3D模型建立；對(duì)應(yīng)戶型的房屋主體3D場(chǎng)景搭建；以及填充家具后室內(nèi)場(chǎng)景的整體渲染和風(fēng)格化。場(chǎng)景搭建完成后，進(jìn)行系統(tǒng)交互功能開發(fā)，主要包含：頭盔顯示器、手柄控制器的數(shù)據(jù)獲取及硬件行為與系統(tǒng)功能的映射，用以實(shí)時(shí)進(jìn)行頭手定位，觀察視角判斷，實(shí)現(xiàn)虛擬移動(dòng)，碰撞檢測(cè)和模型事件觸發(fā)功能。封裝生成的成品軟件適用于HTC VIVE Focus VR一體機(jī)（包含頭盔式顯示器和手柄控制器等組件）。同時(shí)，也可供安卓手機(jī)端通過(guò)VR眼鏡架進(jìn)行體驗(yàn)使用。

2 關(guān)鍵技術(shù)實(shí)現(xiàn)

2.1 3Ds Max家具建模與貼圖

結(jié)合常見家裝風(fēng)格實(shí)例和用戶需求，家具模型制作的核心過(guò)程包含白模及UV貼圖制作兩個(gè)階段。白模制作遵循多邊形建模原理，使用點(diǎn)、線、面為基本編輯元素。UV貼圖描述了3D模型的外部視覺表示（如固有色）在2D平面的映射。針對(duì)規(guī)則幾何體模型，可直接通過(guò)UVW變換等指令設(shè)置貼圖位置和白模的映射關(guān)系。針對(duì)復(fù)雜或不規(guī)則的家具模型，如曲面床枕沙發(fā)，則需要進(jìn)行更細(xì)致的模型UV展開工作。

為寫實(shí)化場(chǎng)景，需要制作兩類貼圖。第一類反映了模型對(duì)象自身屬性，如漫反射、法線貼圖等。第二類與第一類的貼圖通道ID應(yīng)不同，可在新通道中，重新創(chuàng)建一套UV展開關(guān)系，用于計(jì)算模型烘焙后得到的環(huán)境光光照貼圖（OA貼圖）。展開時(shí)，同一模型相鄰面的UV應(yīng)盡量保持相連，且整體外邊緣應(yīng)是矩形或盡量接近矩形。避免出現(xiàn)復(fù)雜UV邊緣，以免低分辨率下烘焙出的光照貼圖呈馬賽克樣，清晰度不足。

模型制作完成后，可導(dǎo)出.fbx格式文件，以供后續(xù)導(dǎo)入U(xiǎn)nity工程中使用。

2.2 戶型復(fù)現(xiàn)與渲染

在Unity工程中，按照戶型數(shù)據(jù)進(jìn)行戶型整體環(huán)境的復(fù)現(xiàn)，包括地板及墻體地寫實(shí)創(chuàng)建。借助Pro Builder插件可完成戶型模型制作和紋理映射。

虛擬戶型場(chǎng)景完成后，需進(jìn)行室內(nèi)場(chǎng)景布置和渲染工作。場(chǎng)景布置主要是家具擺設(shè)、門窗等的放置并對(duì)模型碰撞體進(jìn)行設(shè)置和調(diào)整。渲染環(huán)節(jié)是在場(chǎng)景中設(shè)置若干反射球（Reflectionball）與光源（Light）。通過(guò)獲取天空盒反射所不能獲取的局部場(chǎng)景光照與材質(zhì)信息細(xì)節(jié)，可計(jì)算出（RenderProbe()）模型局部光照的反射影像，增強(qiáng)渲染的真實(shí)感。可對(duì)反射球探針強(qiáng)度、范圍、刷新模式、HDR等屬性進(jìn)行設(shè)置。場(chǎng)景內(nèi)光源設(shè)置包括點(diǎn)光源與區(qū)域光光源，點(diǎn)光源用于模擬屋內(nèi)吊燈及臺(tái)燈燈光，區(qū)域光設(shè)置在房間大扇窗戶處，用于模擬窗外自然光。渲染后場(chǎng)景表現(xiàn)會(huì)更加真實(shí)。

2.3 VR交互設(shè)計(jì)

將建模和渲染軟件生成的3D虛擬場(chǎng)景進(jìn)行“VR化”，即轉(zhuǎn)化為與VR頭盔等設(shè)備互聯(lián)的VR虛擬場(chǎng)景，并針對(duì)位置角度設(shè)定、碰撞檢測(cè)、事件觸發(fā)等邏輯進(jìn)行代碼實(shí)現(xiàn)，進(jìn)而能夠?qū)崿F(xiàn)雙眼立體視覺，以及虛擬角色與虛擬場(chǎng)景的多種交互活動(dòng)。

2.3.1 手柄控制器

通過(guò)工程WVR_CONTROLLER組件上掛載的手柄連接（Connection State Reactor）和姿勢(shì)跟蹤（Pose Tracker）腳本，可實(shí)現(xiàn)對(duì)手柄控制器上各實(shí)體按鍵傳感數(shù)據(jù)的實(shí)時(shí)監(jiān)聽和獲取。其子組件Finch_Controller內(nèi)包含TouchPad、Trigger、HomeButton等多個(gè)模型組件，是手柄控制器上圓形觸控板、扳機(jī)、主屏鍵等實(shí)體按鍵的虛擬映射。在其上編寫Controller腳本，用于定義不同手柄按鍵的不同行為，如TouchPad的按下響應(yīng)、抬起響應(yīng)、觸摸響應(yīng)等。子組件Beam用于模擬虛擬場(chǎng)景中從手柄頂端沿手柄角度發(fā)射的一道光線，包含射線模型和射線（VR_Beam）腳本，對(duì)外觀、顯示/隱藏等屬性進(jìn)行設(shè)置。

2.3.2 VR場(chǎng)景互動(dòng)

通過(guò)編輯上述組件腳本，可以完成虛擬角色的漫游、瞬移等環(huán)境互動(dòng)行為，以及開關(guān)燈具、隔空抓取等模型互動(dòng)行為。使用了碰撞檢測(cè)、觸發(fā)事件、視線與射線檢測(cè)等技術(shù)。

漫游指連續(xù)移動(dòng)功能。可直接通過(guò)用戶實(shí)際移動(dòng)后更新定位傳感數(shù)據(jù)來(lái)實(shí)現(xiàn)，亦可設(shè)置手柄按鍵交互的數(shù)據(jù)更新響應(yīng)來(lái)實(shí)現(xiàn)。系統(tǒng)運(yùn)行時(shí)，讀取虛擬場(chǎng)景模型的圖形數(shù)據(jù)，同時(shí)讀取實(shí)時(shí)定位姿勢(shì)數(shù)據(jù)，根據(jù)雙目正視差立體成像原理[11]，生成左、右眼分別對(duì)應(yīng)的單眼畫面，在人腦中合成立體視覺。

瞬移即指定位置水平傳送功能，能夠有效避免連續(xù)移動(dòng)過(guò)程中可能產(chǎn)生的眩暈感。在虛擬場(chǎng)景中，將手柄射線與檢測(cè)層進(jìn)行碰撞檢測(cè)，當(dāng)觸摸板按鍵抬起時(shí)，通過(guò)向量差計(jì)算位移向量；隨后將位置數(shù)據(jù)進(jìn)行修改，從而實(shí)現(xiàn)瞬間移動(dòng)功能。關(guān)鍵代碼如下：

可將觸發(fā)事件腳本綁定至模型上，當(dāng)滿足觸發(fā)條件時(shí)，進(jìn)行響應(yīng)。以電燈開關(guān)的打開事件為例，移動(dòng)虛擬手柄進(jìn)入開關(guān)事件的觸發(fā)范圍內(nèi)時(shí)，開關(guān)模型將以綠色高亮顯示，若按下手柄扳機(jī)鍵，則觸發(fā)開燈操作，關(guān)鍵代碼片段如下：

抓取物體至眼前功能，可方便用戶對(duì)一些距離較遠(yuǎn)或位置較高的模型進(jìn)行近距離觀察。通過(guò)視線射線（cam.ViewportPointToRay）碰撞檢測(cè)，確定視線關(guān)注的家具模型，若模型可被拾取（掛載Pickupable腳本），則用綠色渲染，此時(shí)若扳機(jī)鍵按下，則模型將按照動(dòng)力學(xué)規(guī)則（isKinematic=true），沿弧線移動(dòng)至眼前（transform.localPosition=Vector3.Slerp()），并恢復(fù)原顏色，此時(shí)激活“可被放下”狀態(tài)參數(shù)（droppable=true）。

此外，還實(shí)現(xiàn)了場(chǎng)景切換、開關(guān)門等交互功能。

3 系統(tǒng)運(yùn)行結(jié)果

針對(duì)某實(shí)際住宅小區(qū)的15套戶型進(jìn)行3D建模重現(xiàn)與虛擬現(xiàn)實(shí)場(chǎng)景交互構(gòu)建，實(shí)現(xiàn)了室內(nèi)沉浸式漫游體驗(yàn)和場(chǎng)景互動(dòng)。

以社區(qū)6#6層B-5戶型為例（其余戶型類似），如圖4所示展示的是該戶型Unity工程內(nèi)的三維概覽俯視圖。場(chǎng)景及家具的虛擬尺寸和比例均與施工圖紙或真實(shí)家具的數(shù)據(jù)保持一致，故由用戶映射得到的虛擬角色在該虛擬戶型場(chǎng)景中會(huì)得到真實(shí)的空間尺寸感受。

圖4 工程內(nèi)虛擬場(chǎng)景三維俯視示例Fig.4 3D top view of virtual scene in project

如圖5所示為系統(tǒng)運(yùn)行的實(shí)時(shí)圖像，左右屏幕畫面分別對(duì)應(yīng)由正視差成像原理計(jì)算生成的左、右單眼畫面，分辨率2880×1600，刷新率90Hz。系統(tǒng)運(yùn)行時(shí)，左右單眼畫面合成渲染較好的立體雙眼視覺，并可實(shí)現(xiàn)6自由度追蹤頭盔位置、平移、傾斜情況，在進(jìn)行全角度俯仰視角轉(zhuǎn)換和視角位置變化時(shí)均可實(shí)時(shí)計(jì)算和更新畫面。

圖5 運(yùn)行時(shí)左、右眼圖像示例Fig.5 Left and right eye images at runtime

用戶可在實(shí)際操作過(guò)程中，完成沉浸式室內(nèi)場(chǎng)景的全視角立體聲漫游、瞬移、開關(guān)燈具、隔空抓取家具等互動(dòng)。如圖6所示。亦可根據(jù)不同需求，定制和切換不同室內(nèi)裝潢風(fēng)格。

圖6 互動(dòng)操作展示(單幅圖均為左眼圖像)Fig.6 Images of interactive operation (each single image belongs to left eye)

4 結(jié)論

數(shù)字經(jīng)濟(jì)時(shí)代，VR技術(shù)及內(nèi)容研發(fā)已成為企業(yè)挖掘自身特色、行業(yè)進(jìn)行宣傳發(fā)展的前沿需求之一。本文將VR技術(shù)應(yīng)用于建筑室內(nèi)展示，基于3Ds Max建模和Unity引擎開發(fā)，設(shè)計(jì)并實(shí)現(xiàn)了一套住宅區(qū)樣板間實(shí)景VR漫游與交互的軟件系統(tǒng)。針對(duì)某實(shí)際住宅區(qū)多套戶型進(jìn)行3D建模重現(xiàn)，實(shí)現(xiàn)不同風(fēng)格的室內(nèi)裝潢和部分場(chǎng)景互動(dòng)。該軟件適配HTC VIVE Focus套件組。能夠真實(shí)反映房屋室結(jié)構(gòu)與裝潢，帶給用戶便攜且沉浸的立體感知和居住體驗(yàn)。從而幫助地產(chǎn)銷售方和客戶在樓房銷售過(guò)程中降低成本、高效交流和合理決策，達(dá)到共贏局面。并為其他建筑、場(chǎng)館展示業(yè)務(wù)提供了可行思路和技術(shù)參考。

引用

[1] SLATER M,SANCHEZ-VIVES M V.Enhancing Our Lives with Immersive Virtual Reality[J].Frontiers in Robotics and AI,2016(3):74.

[2] 李其銳.淺談數(shù)字孿生工廠的工藝流程三維模擬技術(shù)[J].數(shù)字技術(shù)與應(yīng)用,2020,38(3):73-74.

[3] 牛坤,劉晅亞,陶鵬宇,等.基于虛擬現(xiàn)實(shí)技術(shù)的消防救援模擬演練系統(tǒng)[J].消防科學(xué)與技術(shù),2021,40(11):1639-1643.

[4] SINGH R P,JAVAID M,KATARIA R,et al.Significant Applications of Virtual Reality for COVID-19Pandemic[J].Diabetes & Metabolic Syndrome:Clinical Research&Revie ws,2020,14(4):661-664.

[5] 姚孺婧.虛擬現(xiàn)實(shí)技術(shù)在智慧博物館中的運(yùn)用研究[J].數(shù)字技術(shù)與應(yīng)用,2021,39(5):40-42.

[6] 李暢,王慧.虛擬現(xiàn)實(shí)技術(shù)下的城市景觀仿真系統(tǒng)建構(gòu)[J].現(xiàn)代電子技術(shù),2020,43(20):175-178.

[7] 康皓銘,盧桂萍,譚勝.基于虛擬現(xiàn)實(shí)技術(shù)的唐家灣古建筑保護(hù)與開發(fā)[J].數(shù)字技術(shù)與應(yīng)用,2018,36(9):74-75.

[8] 張馨文,張春曉.虛擬地理環(huán)境在智慧城市中的研究與應(yīng)用[J].測(cè)繪通報(bào),2020(5):11-15+30.

[9] 楊慧,鄒琳華.智慧城市時(shí)代的智慧房地產(chǎn)發(fā)展研究[J].中國(guó)房地產(chǎn),2021(12):27-34.

[10] 李雙營(yíng).基于VRML及B/S結(jié)構(gòu)的交互式建筑空間虛擬系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù),2021,44(4):75-78.

[11] 譚力恒,馬強(qiáng),蔣秉川,等.面向頭盔式虛擬現(xiàn)實(shí)的OsgEarth立體視覺生成方法[J].系統(tǒng)仿真學(xué)報(bào),2019,31(7):1290-1299.