MR技術(shù)在線上共享直播領(lǐng)域的應(yīng)用研究

廖沂楠，汪慧晨，王儷穎，陸依秦，胡億蕓

（同濟(jì)大學(xué)浙江學(xué)院電子與信息工程系，浙江 嘉興 314051）

MR（混合虛擬現(xiàn)實(shí)）技術(shù)由三維圖形圖像數(shù)字建模技術(shù)、虛實(shí)空間3D坐標(biāo)同步解算技術(shù)和角色場景實(shí)時合成與效果預(yù)覽技術(shù)組成。在人們的生活領(lǐng)域和學(xué)科專業(yè)領(lǐng)域衍生出了以用戶為中心的數(shù)字化體驗(yàn)[1]，使得工作效率得以提高，改善了人們的生活環(huán)境。以CINEMA 4D圖形建模技術(shù)為技術(shù)支持的三維圖形圖像數(shù)字建模技術(shù)在實(shí)際應(yīng)用過程中有著渲染效率高和建模渲染視覺效果突出的特點(diǎn)[2]，可以得到更好的渲染效果，提高了渲染效率，使得虛擬物品更加真實(shí)，極大程度上減少了人們視覺上展示物品與實(shí)物的差距。

MR技術(shù)已在博物館文化傳播中起到作用，采用MR設(shè)備構(gòu)建的數(shù)字虛擬博物館實(shí)現(xiàn)了觀眾與展品的互動，例如中國的故宮線上博物館[3]，且目前已有MR技術(shù)應(yīng)用于線上購物領(lǐng)域的案例[4]；利用CINEMA 4D圖形建模技術(shù)可以很好地構(gòu)建大型場景及商品模型，該技術(shù)經(jīng)驗(yàn)證可用于大規(guī)模雪景及單個雪花模型的構(gòu)建[5]，但該技術(shù)在線上共享直播領(lǐng)域的研究相對較少。

1 硬件基礎(chǔ)及相關(guān)

1.1 HoloLens

HoloLens設(shè)備為虛擬物體標(biāo)記了真實(shí)世界中準(zhǔn)確方位（包括其位置與方向）。以定位真實(shí)環(huán)境下的虛擬世界，HoloLens提供了一個空間坐標(biāo)體系。在這一坐標(biāo)體系中，按照與真實(shí)空間相同的大小比例來建立的虛擬空間，其空間坐標(biāo)系中的一個單位長度對應(yīng)于真實(shí)空間中的1 m[6]。

除了提供準(zhǔn)確的定位與坐標(biāo)體系之外，MR設(shè)備需要對真實(shí)環(huán)境建模以提高混合現(xiàn)實(shí)體驗(yàn)。HoloLens的空間映射功能可以以掃描空間映射數(shù)據(jù)的方式對周圍的環(huán)境進(jìn)行建模。所需環(huán)境需要被直播人員掃描完全，空間映射功能才能得以使用。

1.2 空間錨點(diǎn)

空間錨點(diǎn)可以標(biāo)記一個現(xiàn)實(shí)世界中的點(diǎn)位，MR設(shè)備在這個點(diǎn)位建立一個以錨點(diǎn)為坐標(biāo)原點(diǎn)的錨點(diǎn)坐標(biāo)系，持續(xù)追蹤并記錄這個點(diǎn)位。HoloLens會不斷調(diào)整錨點(diǎn)以及錨點(diǎn)坐標(biāo)系相對于其他錨點(diǎn)坐標(biāo)系的位置，以保證錨點(diǎn)在真實(shí)空間中的確切位置[6]。

錨點(diǎn)自身的定位依賴HoloLen多個攝像頭的數(shù)據(jù)。即使虛擬物體和錨點(diǎn)的距離在3 m以內(nèi)，錨點(diǎn)坐標(biāo)系也需要當(dāng)直播人員在虛擬物體放置處時錨點(diǎn)處于直播人員視線范圍內(nèi)及在真實(shí)環(huán)境中錨點(diǎn)位置相對于虛擬物體位置是可見的才能準(zhǔn)確地定位虛擬物體。

1.3 適用于室內(nèi)MR應(yīng)用的實(shí)時渲染加速策略

本文基于數(shù)據(jù)結(jié)構(gòu)VorPa提出渲染加速策略[6]。根據(jù)HoloLens反饋的用戶點(diǎn)位，VorPa先將用戶定位到具體的行走子路徑上，然后，利用預(yù)處理過程得到的數(shù)據(jù)設(shè)計(jì)渲染加速算法，有效地減少實(shí)時渲染計(jì)算量，保證穩(wěn)定的渲染效果。

以下為本文的加速算法：①準(zhǔn)確地定位用戶到此路徑上并得到子路徑綁定的模型列表；②根據(jù)HoloLens視角實(shí)時計(jì)算用戶的可見區(qū)域，停止渲染不屬于子路徑的所有模型；③計(jì)算處于模型列表，并且處于可見區(qū)域的所有模型的復(fù)雜度；④根據(jù)用戶位置與模型位置之間的距離，從遠(yuǎn)到近調(diào)整模型的精度來保證復(fù)雜度小于復(fù)雜度上限。

2 虛擬場景構(gòu)建的技術(shù)關(guān)鍵

2.1 大范圍室內(nèi)空間下MR應(yīng)用構(gòu)建方法

現(xiàn)有的混合現(xiàn)實(shí)設(shè)備，是以為用戶提供掃描的方式來了解真實(shí)的實(shí)際環(huán)境，以實(shí)現(xiàn)場景的構(gòu)建與注冊，來為應(yīng)用場景提供虛實(shí)融合的混合虛擬現(xiàn)實(shí)環(huán)境，但是對于類似直播室等類型的室內(nèi)結(jié)構(gòu)復(fù)雜的空間，利用這種掃描的方式，需多次進(jìn)行不同角度的掃描與重新構(gòu)建真實(shí)的環(huán)境，這樣的過程非常耗費(fèi)時間和人力。

此外，目前構(gòu)建混合現(xiàn)實(shí)場景的方式，通常需要專業(yè)人士進(jìn)行構(gòu)建和操作，要求構(gòu)建者擁有扎實(shí)的專業(yè)基礎(chǔ)知識與豐富的相關(guān)實(shí)踐經(jīng)驗(yàn)，普通用戶難以獨(dú)立完成相關(guān)的構(gòu)建和制作。對于以上問題，本文所提出的MR應(yīng)用構(gòu)建方法要考慮滿足以下幾點(diǎn)要求：①該構(gòu)建方法可以在相對復(fù)雜的室內(nèi)空間中提供一種便捷的方式來構(gòu)建MR環(huán)境，同時使得真實(shí)事物與虛擬事物之間有合適的遮擋關(guān)系；②該構(gòu)建方法交互方式較靈活、簡單；③構(gòu)建后的場景，可以保證直播者后期實(shí)時體驗(yàn)和查看。

2.2 虛擬場景構(gòu)建的技術(shù)關(guān)鍵

2.2.1 定位與跟蹤

在進(jìn)行直播的過程中，攝像機(jī)的狀態(tài)變化十分關(guān)鍵。直播室的專用數(shù)字?jǐn)z像機(jī)通常不止一個，且攝像機(jī)配有運(yùn)動跟蹤器。將檢測到的攝像機(jī)傳感部位的運(yùn)動數(shù)據(jù)通過傳感裝置傳輸至校準(zhǔn)裝置。使得現(xiàn)場攝像機(jī)與虛擬演播室中虛擬的攝像機(jī)在理想情況下被鎖定在一個相對位置上。于是，虛擬攝像機(jī)可以與現(xiàn)場攝像機(jī)保持實(shí)時的同步。

2.2.2 鎖定

對于直播而言，另一個關(guān)鍵的問題是攝像機(jī)間的位置關(guān)系。當(dāng)直播室有不少于2臺攝像機(jī)進(jìn)行切換時，須維持虛擬背景物體和現(xiàn)實(shí)演員在直播室中的位置不變。否則在切換時，觀眾會看到演員從背景中偏移或是大幅度移動，造成在視覺上的不實(shí)感受。由于真實(shí)物品與演員是由真實(shí)攝像機(jī)給出，而背景由虛擬攝像機(jī)給出，所以需要對虛擬攝像機(jī)進(jìn)行位置鎖定，即虛擬攝像機(jī)之間的距離必須與真實(shí)攝像機(jī)之間的距離相等，且推拉、搖移的初始量（原位矢量）與真實(shí)攝像機(jī)的位置方向關(guān)系保持一致，才能進(jìn)行切換[7]。

2.2.3 綠幕摳圖

綠幕摳圖的實(shí)現(xiàn)需要確保綠色背景的顏色是均勻的，且在相關(guān)平面交接處不能有接痕。OBS的摳像功能，可以摳除純色背景，實(shí)現(xiàn)虛擬直播廳的效果。最終實(shí)現(xiàn)效果如圖1所示。

圖1 場景綠幕摳圖效果圖

3 系統(tǒng)設(shè)計(jì)

3.1 功能模塊設(shè)計(jì)

如圖2所示，本系統(tǒng)可分為3個模塊：行為捕捉模塊、分析計(jì)算模塊、內(nèi)容場景模塊。其中行為捕捉模塊主要是用深度傳感器、麥克風(fēng)、攝像頭等設(shè)備實(shí)時采集人的行為狀態(tài)。分析計(jì)算模塊主要是對捕捉到的行為狀態(tài)進(jìn)行智能識別，根據(jù)識別結(jié)果動態(tài)生成并更新場景內(nèi)容[8]。內(nèi)容場景模塊則是通過顯示屏等設(shè)備，在實(shí)際空間中輸出并顯示各類數(shù)字化的多媒體內(nèi)容，從而將虛擬現(xiàn)實(shí)技術(shù)融入到現(xiàn)實(shí)環(huán)境之中。通過這些設(shè)備，在三維空間中真正實(shí)現(xiàn)虛擬模型與現(xiàn)實(shí)環(huán)境的自然融合。

圖2 系統(tǒng)功能結(jié)構(gòu)圖

3.2 系統(tǒng)搭建流程

如圖3所示，搭建基于MR技術(shù)的線上平臺共享直播系統(tǒng)需要經(jīng)過多個步驟。首先用CINEMA 4D完成對商品及場景模型的搭建與優(yōu)化，將模型導(dǎo)入U(xiǎn)E4完成對場景的燈光制作與渲染，并制作場景模型貼圖及寫入藍(lán)圖，再進(jìn)行程序的打包和調(diào)試，之后打開OBS直播系統(tǒng)，將建模得到的圖形作為場景（即直播背景），打開攝像頭、麥克風(fēng)等設(shè)備，并對圖像進(jìn)行人物的摳圖，最后利用UE4實(shí)現(xiàn)人與物品的實(shí)時交互、場景內(nèi)容實(shí)時更新。

圖3 系統(tǒng)搭建流程圖

4 總結(jié)

本文設(shè)計(jì)了一個基于混合虛擬現(xiàn)實(shí)技術(shù)的線上共享直播系統(tǒng)，相對于傳統(tǒng)直播方式，該系統(tǒng)在一些方面有所創(chuàng)新，且具有一定的實(shí)用價值。

在理念方面，顛覆傳統(tǒng)直播模式。傳統(tǒng)直播多采用實(shí)物展示，由于直播間條件以及商品的屬性限制，直播帶貨品類受到了極大的制約，而虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用可以極大地拓展帶貨范圍，該作品顛覆了傳統(tǒng)直播模式，創(chuàng)新了直播帶貨理念，為大型商品直播帶貨提供了最佳解決方案。

在技術(shù)方面，實(shí)現(xiàn)用戶沉浸式體驗(yàn)。基于混合現(xiàn)實(shí)的線上平臺共享直播技術(shù)利用CINEMA 4D三維圖形圖像建模技術(shù)，提高了渲染效率和建模渲染視覺效果，使得人與物品狀態(tài)的實(shí)時交互，實(shí)現(xiàn)了虛擬和現(xiàn)實(shí)的自然融合。

在應(yīng)用方面，助推直播經(jīng)濟(jì)發(fā)展。當(dāng)今在線上銷售領(lǐng)域，直播經(jīng)濟(jì)興起。該作品深度融合了創(chuàng)新理念和前沿技術(shù)，應(yīng)用于直播領(lǐng)域，助推了直播經(jīng)濟(jì)發(fā)展。

5 展望

在混合現(xiàn)實(shí)應(yīng)用構(gòu)建方面，本文仍有許多地方有待提升：①渲染加速算法的深入研究。本文在渲染加速部分通過預(yù)先的實(shí)驗(yàn)測試，得到了保證系統(tǒng)運(yùn)行效果的場景復(fù)雜度上限。但是，這一上限并不能反映系統(tǒng)實(shí)時的運(yùn)行情況。在未來的工作中，可以設(shè)計(jì)一個算法自動計(jì)算不同后臺程序下，不同存儲空間下場景復(fù)雜度上限。②構(gòu)建虛擬模型庫。在本文提出的工具包Rotbav中，用戶可以便捷地設(shè)計(jì)虛擬場景，但是用戶可以選擇的虛擬模型有限。因此未來工作中，可以設(shè)計(jì)云平臺虛擬模型庫，在線獲取最新的模型。