沉浸式全景視頻制作技術(shù)分析及應(yīng)用

姚高遠(yuǎn)　張小雨　王嘉

[摘要]對沉浸式全景視頻制作的拍攝技術(shù)、圖像處理技術(shù)進(jìn)行分析，并介紹沉浸式全景視頻在直播領(lǐng)域的應(yīng)用。

[關(guān)鍵詞]沉浸式；全景視頻；拍攝技術(shù)；全景圖像變換；直播系統(tǒng)；應(yīng)用

文章編號：10.3969/j.issn.1674-8239.2016.08.005

1 概述

隨著影音技術(shù)的發(fā)展，沉浸式體驗(yàn)的虛擬現(xiàn)實(shí)（Virtual Reality）技術(shù)也已從“虛擬”走向了“現(xiàn)實(shí)”。沉浸式全景視頻基本場景是用戶戴上顯示終端（如頭盔、眼鏡等），通過頭部的轉(zhuǎn)動可以看到全景視頻的每個方向的圖像。如果全景視頻配置了全景聲音頻效果，同時，也能聽到來自各個方向的聲音，聲音也會隨著頭部的轉(zhuǎn)動而發(fā)生變化。通過這種視頻、聲音與人的頭部轉(zhuǎn)動的配合，提供最為逼真、感同身受的視聽享受，達(dá)到一種更為震撼的視覺效果。

2 沉浸式全景視頻拍攝技術(shù)

沉浸式全景視頻的拍攝通常有三種方法：第一種是使用大曲度魚眼鏡的攝像機(jī)直接拍攝，這種方法最方便，但生成的全景視頻分辨率低，幾何失真嚴(yán)重，增加了后期圖像處理的難度；第二種是用帶有自旋轉(zhuǎn)電機(jī)的攝像機(jī)——高速球拍攝，這種方法生成的全景視頻會發(fā)生模糊，并且?guī)M之間幾乎不可能是完全同步的；第三種，也是目前最常用的一種方式，用多臺攝像機(jī)組成陣列聯(lián)合拍攝，如采用四目、六目或八目攝像機(jī)拍攝，這種方法從理論上講生成的全景視頻效果最好，但對于攝像機(jī)的部署（擺放）卻較為講究。下面，筆者詳細(xì)介紹幾種攝像機(jī)群的部署，分析和研究多臺攝像機(jī)間的相對位置關(guān)系對生成全景視頻所構(gòu)成的影響。

2.1 視場交叉式攝像機(jī)陣列的構(gòu)建

視場（Field of Vision，F(xiàn)OV）交叉式攝像機(jī)陣列構(gòu)建（FOV-Crossed Cameras Setup），是指攝像機(jī)群中每一臺攝像機(jī)的視場都與其相鄰攝像機(jī)的視場發(fā)生交錯，如圖1所示。

這種構(gòu)建較容易實(shí)現(xiàn)的。通常情況將攝像機(jī)以一個點(diǎn)為圓心，分散均勻地放置在與圓心等半徑的圓上；再由拍攝頂部和底部多臺攝像機(jī)組成攝像機(jī)陣列，水平方向上，每臺攝像機(jī)負(fù)責(zé)拍攝360。視域中的一個角度（角度取決于攝像機(jī)鏡頭的拍攝角度，同時角度也決定了攝像機(jī)的數(shù)量）。這樣，多臺攝像機(jī)同時拍攝，便可以將周圍的全部視域采集下來。

這種攝像機(jī)陣列拍攝出來的全景視域并不完美，在兩臺攝像機(jī)視場交接處之前會有一片盲區(qū)，兩臺攝像機(jī)的視場都無法覆蓋，即兩臺相鄰的攝像機(jī)均不能拍攝到其中的景物。而在視場交界處之后，是兩臺攝像機(jī)的視場均能覆蓋的重影區(qū)。盲區(qū)與重影區(qū)都會影響全景視頻最終的呈現(xiàn)質(zhì)量，因此，在前期拍攝時要盡量避免使需要拍攝的景物進(jìn)入盲區(qū)，而在重影區(qū)的圖像需要在視頻后期進(jìn)行裁剪處理。

2.2 視場平行式攝像機(jī)群構(gòu)建

視場平行式攝像機(jī)陣列構(gòu)建（FOV-parallel Cameras Setup）與視域交叉的攝像機(jī)群部署類似，也是將攝像機(jī)以一個點(diǎn)為圓心，分散均勻地放置在與圓心等半徑的圓上，再與拍攝頂部、拍攝底部的多臺攝像機(jī)組成攝像機(jī)陣列。與其不同的是，每臺攝像機(jī)的視場不再與相鄰的攝像機(jī)的視場交叉而是相互平行，如圖2所示。

這種攝像機(jī)陣列的特點(diǎn)是沒有重影區(qū)域，不需要用后視頻圖像處理來解決由重影區(qū)域帶來的問題。但是在整個視場中卻留下了數(shù)條無限長的盲區(qū)。減小攝像機(jī)之間的距離可以使盲區(qū)的寬度變窄，但這些盲區(qū)無法被消除，因?yàn)閿z像機(jī)有自己的體積，不能被重疊放置。這種攝像機(jī)陣列適合拍攝遠(yuǎn)處景物，因?yàn)槊^(qū)的寬度總是固定的，拍攝的景物越遠(yuǎn)，盲區(qū)造成的信息殘缺越不容易顯露。

這兩種攝像機(jī)陣列拍攝全景式視頻都各有優(yōu)缺點(diǎn)，視場交叉式攝像機(jī)陣列可以在相同景深處良好的拼接，但在其他重疊區(qū)需通過后期圖像處理以達(dá)到完美呈現(xiàn)效果；視場平行攝像機(jī)陣列總會受到盲區(qū)的影響，無法做到完美拼接，但可將盲區(qū)收斂在可接受的范圍之內(nèi)。總的來說，這兩種構(gòu)建方式都不算完美，要想達(dá)到完美的全景視頻呈現(xiàn)，還需對拍攝好的視頻進(jìn)一步圖像處理。

3 沉浸式全景視頻圖像處理

要想畫面對應(yīng)的物理空間視域達(dá)到全包圍的程度，就需要圖像畫面可以包含水平方向360°、垂直方向180°的視域。最為理想的投影模型為正方形投影，如圖3所示。觀眾處于這樣的6幅畫面包圍在中心，最終的視域范圍同樣可以達(dá)到水平360°、垂直180°，并且畫面是絕對不存在任何扭曲變形的。

然而，在實(shí)際拍攝過程中無論是攝像機(jī)所能達(dá)到的視場角度，還是支撐攝像機(jī)陣列的支架結(jié)構(gòu)設(shè)計與制作，都無法達(dá)到理想模型的參數(shù)要求。細(xì)小的機(jī)械誤差都可能在最終沉浸式圖像呈現(xiàn)上留下明顯的瑕疵。因此，為了達(dá)到完美的全景圖像，就需要將攝像機(jī)陣列拍攝的多個圖像進(jìn)行拼接和邊緣融合。

要想把全物理視域真實(shí)場景正確地展示到一張2D圖像上，就需要一個轉(zhuǎn)換過程，這樣，真實(shí)的場景與2D圖像就會有一個映射關(guān)系，投影就是這種映射關(guān)系，沉浸式視頻的顯示終端也將按照投影方式還原真實(shí)場景。目前最常見的投影方式就是球面投影。如圖4所示。

P為三維空間中的一點(diǎn)，q為P點(diǎn)在二維平面的投影點(diǎn)，可根據(jù)q點(diǎn)利用相應(yīng)的逆轉(zhuǎn)換得到P點(diǎn)，再將P轉(zhuǎn)換為球面坐標(biāo)。

球面投影的特點(diǎn)是水平視角的圖像尺寸可以得到很好的保持，而垂直視角上，尤其是接近兩極的時候會發(fā)生無限的尺寸拉伸。沉浸式視頻的顯示終端可按其映射方式將這些明顯變形的畫面還原為全視角的內(nèi)容，進(jìn)而讓使用者有一種身臨其境的包圍感。

因?yàn)槿说碾p眼存在一定的視角差，雙眼各自看到的圖像有一定的差異，再通過大腦的解析計算就可以得到立體的感受。因此，在沉浸式視頻的顯示終端上僅僅是通過投影方式的變換生成的一幅360。的全景內(nèi)容，無法呈現(xiàn)出立體的效果。要想得到立體效果沉浸式視頻，也必須采用左右眼水平分隔顯示的模式。

要得到立體的效果通常有兩種方式。一種是在拍攝端做出一些調(diào)整，采用3D拍攝，將原來的攝像機(jī)陣列由原來的6臺改成12臺組成，即每個方向都有左右眼視頻，都是由兩臺攝像機(jī)負(fù)責(zé)拍攝。然后分兩次對6個視頻進(jìn)行拼接和處理，輸出兩個不同的全景視頻。另外一種是在原始的全景畫面上分別截取兩個畫面，其中一個畫面向左偏移一點(diǎn)，另一個畫面向右偏移一點(diǎn)，然后各自做一個輕度的透視變換，以模擬視線角度的偏轉(zhuǎn)。這樣構(gòu)成的立體畫面在多數(shù)情形下也具有一定的立體欺騙的效果，而且左右偏移量不好掌握。這兩種方式各有優(yōu)缺點(diǎn)，第一種方式在拍攝端增加了成本和拍攝復(fù)雜度，但是可以得到較為完美的立體效果。第二種方式雖然拍攝端相對簡單，但是增加圖像處理的難度，而且對于近處的景物，或者左右眼畫面中的景物存在遮擋關(guān)系的時候，則無法達(dá)到立體的效果。

4 沉浸式全景視頻在直播中的應(yīng)用

沉浸式全景視頻非常適合現(xiàn)場直播。很多現(xiàn)場直播的場景比較開闊，而在傳統(tǒng)的現(xiàn)場直播中，一臺攝像機(jī)機(jī)位的視角比較有限，通常一個訊道由一個攝影師來操縱，拍攝大多數(shù)觀眾所感興趣的區(qū)域，如比賽的熱點(diǎn)區(qū)域。遠(yuǎn)程的觀眾只能被動地觀看所拍攝區(qū)域的影像，不能像坐在現(xiàn)場的觀眾那樣主動觀看場景中的任何地方，沒有自主性。沉浸式全景直播采用一組攝像機(jī)，將場景中的所有區(qū)域全部以視頻的形式拍攝下來，傳送給中央視頻服務(wù)器。中央視頻服務(wù)器實(shí)時地將這些視頻合成為一個超廣角的全景視頻，并按照遠(yuǎn)程觀眾的需求，將全景視頻的一個區(qū)域，通過網(wǎng)絡(luò)傳送給觀眾。遠(yuǎn)程的觀眾可以自由選擇全景視頻中的任意區(qū)域進(jìn)行觀看，并且還可以實(shí)時地改變觀看區(qū)域，選擇視域的位置信息參數(shù)通過頭戴式顯示終端的轉(zhuǎn)動角度確定。當(dāng)人們佩戴這種顯示終端來觀看現(xiàn)場直播時，就好像置身于現(xiàn)場一樣，可以隨意環(huán)顧四周，選擇自己感興趣的視角。

沉浸式全景視頻直播系統(tǒng)主要組成部分包括攝像機(jī)陣列、視頻處理服務(wù)器和顯示終端。全景攝像機(jī)群陣列設(shè)置在拍攝前端，負(fù)責(zé)拍攝現(xiàn)場的各個位置的視頻圖像，并將拍攝好的多路視頻攝像機(jī)傳送給后臺的視頻處理服務(wù)器。視頻處理服務(wù)器需達(dá)到圖形工作站級別，它能夠?qū)⒍嗦芬曨l合成為一個全景視頻，并能根據(jù)各個終端所返送的位置信息將全景視頻圖像的剪裁、編碼等步驟，通過網(wǎng)絡(luò)發(fā)送給終端顯示。目前的顯示終端均為穿戴式智能設(shè)備，包括智能眼鏡、智能頭盔等，這些智能設(shè)備也都具有互聯(lián)網(wǎng)接入功能。顯示終端接收服務(wù)器端發(fā)來的現(xiàn)場實(shí)況視頻，并將它進(jìn)行解碼和顯示。如果觀眾想看其他方向的畫面，只要像在現(xiàn)場一樣環(huán)顧四周，智能設(shè)備就能根據(jù)所轉(zhuǎn)動的角度確定位置信息，返送給服務(wù)器端，服務(wù)器端再根據(jù)位置信息判斷觀眾想要觀看的區(qū)域，將此區(qū)域重新裁剪編碼后再發(fā)送給顯示終端。整個沉浸式全景視頻直播系統(tǒng)架構(gòu)如圖5所示。

與傳統(tǒng)現(xiàn)場直播相比，沉浸式全景視頻直播有以下特點(diǎn)：

（1）需要全方位實(shí)時采集場景中的全部影像；

（2）可以由觀眾自主選擇其感興趣的視域；

（3）讓觀眾如同身臨現(xiàn)場，可以更好地感受現(xiàn)場的氣氛，現(xiàn)場參與感也非常強(qiáng)。

5 結(jié)語

本文簡單分析沉浸式全景視頻的拍攝原理，介紹常見的全景圖像的處理方式，還提出一種可行的沉浸式全景視頻直播系統(tǒng)架構(gòu)。相對于傳統(tǒng)直播，沉浸式全景視頻直播增加了空間的信息，可以對真實(shí)的物理空間無限模擬和接近，給人以沉浸式的真實(shí)體驗(yàn)。盡管目前沉浸式全景視頻的內(nèi)容還較為匱乏，觀看時也需要佩戴昂貴的終端，直播方式也不及傳統(tǒng)直播方式成熟，但是在時空構(gòu)建、主觀感受方面，沉浸式全景視頻都給觀眾帶來了全新的體驗(yàn)。在互動方式上，全景視頻直播也擁有無可比擬的優(yōu)勢，其后臺可以對觀眾的行為數(shù)據(jù)搜集和分析，從而調(diào)整現(xiàn)場直播導(dǎo)演的制作思路，這也符合當(dāng)前數(shù)據(jù)挖掘的技術(shù)發(fā)展趨勢。相信，在不久的將來，沉浸式全景視頻應(yīng)用能夠找到一種適合的商業(yè)模式，給傳統(tǒng)視頻行業(yè)注入新的動力。

（編輯 張冠華）