VR影像鏡頭組接的軸線規(guī)則

張婷婷, 張 焱, 田 豐,2

(1.上海大學(xué)上海電影學(xué)院,上海200072;2.上海大學(xué)上海電影特效工程技術(shù)研究中心,上海200072)

作為影片剪輯的一般規(guī)則,“軸線”是影像在拍攝時規(guī)定的一條假想的關(guān)系線,影響鏡頭的調(diào)度,而且能保證空間的統(tǒng)一感.觀眾在觀看傳統(tǒng)影片主體時無法同時觀看到四周的其他物體,攝像機拍攝同一場景的同一主體時,鏡頭需要在軸線的同一側(cè),這樣才能保證觀眾在觀看時不會產(chǎn)生空間位置不對的錯覺[1].觀眾在觀看VR影片中主體時,可以自主選擇觀看主體周圍的其他物體.因此面對新興的VR影片,必須探索適合VR影像的剪輯手法.本工作研究VR影像鏡頭組接的軸線規(guī)則,了解VR影像內(nèi)容的編輯如何影響用戶的視覺連續(xù)性感知、空間感知、沉浸感和舒適度等,以便提供有助于VR影像編輯過程的指導(dǎo).

1 相關(guān)工作

目前,鏡頭組接方面的研究主要針對于傳統(tǒng)影片的連續(xù)性剪輯、色彩對觀看者的視覺影響.研究發(fā)現(xiàn)注意力被重復(fù)的視覺內(nèi)容所吸引,而不是新穎的或令人驚訝的內(nèi)容[2].進一步實驗發(fā)現(xiàn),顏色有助于剪輯后注意力的引導(dǎo)[3],但其主要好處在于加強對視覺信息而不是記憶.視覺連續(xù)性強時,有助于更快地重新定向到場景物體.顏色對人視覺的影響被認(rèn)為是引導(dǎo)注意力的最有力的特征之一[4-6],并且在視覺搜索中發(fā)揮至關(guān)重要的作用[7-11].2016年,Nuthmann等[12]研究了顏色在視覺引導(dǎo)中的作用.2015年,Mu等[13]提出了一個深度感知模型,用以確定人類視覺系統(tǒng)適應(yīng)立體視差的突然變化(如出現(xiàn)在場景剪輯中)所花費的時間.

VR視頻區(qū)別于傳統(tǒng)的2D和3D視頻,當(dāng)剪輯發(fā)生時,觀眾需要對整個空間進行重新適應(yīng),而不僅僅是平面和立體畫面.目前,對于非沉浸式影片的鏡頭組接的研究較多,而研究VR環(huán)境中鏡頭組接的較少,主要包括:VR影視剪輯系統(tǒng)[14]、顯示設(shè)備對觀看體驗的影響[15-16],VR影視拼接技術(shù)[17-22]和VR影視播放技術(shù)[23-28]等.2017年,Serrano等[29]研究了傳統(tǒng)電影的連續(xù)性剪輯是否適用于VR影視.Chen等[30]分析VR電影語言時發(fā)現(xiàn)VR視頻增強了角度的效果,尚未發(fā)現(xiàn)VR電影中的鏡頭順序是否與對象的發(fā)展或引人觀察的順序一致,剪輯前后的ROI位置、色調(diào)和影調(diào)以及聲音是否匹配等研究.

目前可以用于研究的VR作品數(shù)量有限,且針對于VR影片鏡頭組接的軸線規(guī)律的研究較為零散,沒有完整的體系.本工作通過unity中攝像機的旋轉(zhuǎn)實現(xiàn)VR影片的各種剪輯效果,獲取一系列數(shù)據(jù)來探索規(guī)律.

2 實驗設(shè)計

現(xiàn)在詳細(xì)介紹VR軸線實驗設(shè)計,這些實驗用于獲取所需要的客觀數(shù)據(jù)和主觀數(shù)據(jù).

2.1 實驗變量

本工作使用Unity搭建3個不同的場景,如圖1所示.通過攝像機的位置的旋轉(zhuǎn),達(dá)到剪輯的效果.每開始觀看一個新場景時,先給實驗者5 s時間熟悉場景,用以減少各個實驗者對環(huán)境熟悉的差異程度.

本工作所研究的軸線分別為運動軸線、關(guān)系軸線和方向軸線.對于關(guān)系軸線,研究的主體數(shù)量是兩個,拍攝方法有外反拍、內(nèi)反拍、騎軸和平行拍攝.關(guān)系同時需要考慮觀察者與主體的距離.對于運動軸線實驗,本工作首先考慮的是角度,其次是速度.結(jié)合30?規(guī)則,研究的越軸角度分別選取 ?30?,?60?,?90?,?120?,?150?和?180?,不越軸的角度選取 30?和60?作為對照組,如圖2所示.運動軸線需要考慮物體的運動速度,由于主體的運動速度越快,運動軸線所起的作用越明顯[31].結(jié)合實際的物體運動速度,本工作研究慢(10 km/h)、中(30 km/h)、快(50 km/h)3種速度.對于關(guān)系軸線和方向軸線實驗,主要研究外反拍和內(nèi)反拍.因為騎軸拍攝不存在越軸行為,而平行拍攝只涉及一種越軸情況(越軸90?),所以本工作把平行拍攝放在內(nèi)反拍中一起研究.對于外反拍方法,本工作選取角度和距離作為變量,選取的角度分別為30?,60?,90?,120?和 150?,不越軸的角度選取30?和60?做為對照組,如圖 3所示.將距離分為近、中、遠(yuǎn),將camera的視角固定為90?(HTC VIVE宣傳視角為110?,但是真實使用時并非如此,且VR頭盔上添加了眼動儀,會影響視角,因此選擇90?),對應(yīng)的拍攝距離一般為1.5,2.3和3.5 m(1.0 m/1.5 m/2.0 m).對于內(nèi)反拍方法,本工作主要研究角度為30?,60?和90?.因為拍攝距離差別不大,均為近距離(約為1.5 m)拍攝.

圖1 3個不同實驗場景截圖Fig.1 Experimental screenshot

圖2 運動軸線角度劃分Fig.2 Division of the angle of the motion axis

對于運動軸線,本工作將3種速度分別以8個角度進行采樣;對于關(guān)系軸線和方向軸線外反拍,本工作將3種距離分別以7個角度進行采樣;對于關(guān)系軸線和方向軸線內(nèi)反拍,將3個起始角度分別以6個結(jié)束角度進行采樣.采用上述方法采樣一共產(chǎn)生63種不同的條件,每個條件包括不同的場景和動作,以最小化特定場景的影響,最終產(chǎn)生63個視頻.

假設(shè)研究的變量影響用戶對VR環(huán)境的連續(xù)性感知、空間感知、存在感和舒適度,而且影響程度不同,但都不會造成嚴(yán)重的不適感;別外,針對不同的軸線類型,存在一個角度和相應(yīng)的速度或距離范圍或在這幾個變量范圍能夠得到較好的平衡.

2.2 硬件設(shè)備

VR環(huán)境在Unity 3D的2017.3.3版本中實現(xiàn),并在裝備有3.5 GHz Intel Xeon E5-1620 v3處理器、8 GB內(nèi)存和NVIDIA GTX 1060顯示器的電腦上運行.HMD頭戴顯示器使用HTC VIVE,使用HTC VIVE手柄與虛擬環(huán)境交互.眼動儀使用aGlass DKII.

圖3 內(nèi)反拍和外反拍角度劃分Fig.3 Division of the backhand angle and outside backhand angle

2.3 參與者

參與者為上海大學(xué)的學(xué)生,平均年齡為23.6歲,共30名,男女比例3∶2,其中本科生4人,碩士生26人.參與者中28人擁有虛擬現(xiàn)實經(jīng)驗,其余2人僅體驗過電腦游戲.對于沒有VR體驗經(jīng)驗的參與者,給與其足夠的時間適應(yīng)VR環(huán)境和一些操作.在正式實驗之前,參與者們有5 min的時間熟悉實驗環(huán)境,之后按指示觀看VR影片.

2.4 評價方法

(1)視覺連續(xù)性,本工作主要記錄眼球運動軌跡和追蹤運動物體的好壞程度.針對運動軸線實驗,分析剪輯后追蹤拍攝主體的軌跡和物體運動軌跡的差距,記錄參與者跟隨物體的眼動軌跡,并與運動物體的實際運動軌跡進行比較,以0,1,2,3,4共5個等級(分別對應(yīng)較差、差、一般、好、較好)記錄跟蹤情況;針對關(guān)系軸線和方向軸線實驗,分析剪輯后視線到達(dá)運動物體的時間,并結(jié)合主觀問卷.

(2)空間連續(xù)性,本工作記錄拍攝主題的正確位置和參與者標(biāo)記方向之間的角度偏移.參與者必須跟蹤場景中的拍攝主體,當(dāng)剪輯完成后,要求他們用手柄射線指出剪輯前一幀拍攝主體的位置.

(3)存在感和舒適度,本工作設(shè)計了一個調(diào)查問卷評估主觀經(jīng)驗.評價使用5點Likert量表(1=根本不,5=非常):沉浸感程度(Q1),沒有感覺到視覺跳躍(Q2),沒有感覺到空間跳躍(Q3),我感到舒適(Q4).在最后一次測試完成后,參與者根據(jù)不同標(biāo)準(zhǔn)對上述方法進行評價.

3 實驗結(jié)果

本工作使用SPSS軟件對主觀數(shù)據(jù)和客觀數(shù)據(jù)的統(tǒng)計結(jié)果進行單因子和多因子方差分析,使用Bonferroni檢驗對其進行成對比較.

3.1 運動軸線

圖4為運動軸線的眼動追蹤、空間標(biāo)記的客觀數(shù)據(jù)統(tǒng)計結(jié)果以及對沉浸感、視覺連續(xù)性、空間感知和舒適度影響的主觀評價的結(jié)果.

由圖4(a)可以看出:對于慢速,各組之間不存在顯著性差異(p>0.05);對于中速,與30?和 60?無顯著性差異的是 ?180?,?150?,?120?和 ?90?;對于快速,與 30?和 60?無顯著性差異的是 ?180?,?150?和?120?.

由圖4(b)可以看出:3種速度條件下,30?與60?并無顯著性差異.對于慢速,與30?和60?無顯著性差異的是?30?,?60?和?150?,最差的是?90?和?120?,二者并無顯著性差異;對于中速,與 30?和60?無顯著性差異的是?30?,?60?和 ?150?,最差的是 ?90?和 ?120?;對于快速,與30?和60?無顯著性差異的是?30?和?150?,最差的是?90?和?120?.

由圖4(c)～(f)發(fā)現(xiàn),不同速度之間具有顯著性差異并且不同速度下的角度之間也存在顯著性差異(p<0.05).對于慢速,Q1,Q2和Q3中僅有?180?與其他角度存在顯著性差異,Q4中僅有?180?與30?和60?存在顯著性差異;對于中速,Q1和Q3中僅有?180?與其他角度存在顯著性差異,Q2中僅有?180?和?30?與其他角度存在顯著性差異,Q4中僅有?180?和?30?與30?和60?存在顯著性差異;對于快速,Q1中僅有?180?和?30?與其他角度存在顯著性差異,Q2中僅有?180?和?30?與其他角度存在顯著性差異,Q3中?180?和?90?與其他角度存在顯著性差異,但二者并無顯著性差異(p>0.05),其他角度也不存在顯著性差異,Q4中?180?和?30?雖然評分稍低,但與30?和60?角度并不存在顯著性差異.

圖4運動軸線實驗結(jié)果Fig.4 Motion axis experimental results

3.2 關(guān)系軸線和方向軸線–外反拍

圖5 為外反拍跨越關(guān)系軸線和方向軸線的眼動追蹤、空間標(biāo)記的客觀數(shù)據(jù)統(tǒng)計結(jié)果以及對沉浸感、視覺連續(xù)性、空間感知和舒適度影響的主觀評價的結(jié)果.

由圖5(a)可以看出,不同距離對空間標(biāo)記的影響具有顯著性差異,而近和遠(yuǎn)距離之間并無顯著性差異.3種速度條件下,30?與60?并無顯著性差異.對于近距離,與30?和60?有顯著性差異的是?90?;對于中距離,與30?和60?有顯著性差異的是?90?;對于遠(yuǎn)距離,與30?和60?有顯著性差異的是?90?.

由圖5(b)可以看出:不同距離對空間標(biāo)記的影響具有顯著性差異,而中和遠(yuǎn)距離之間并無顯著性差異.3種速度條件下,30?與60?并無顯著性差異;對于近距離,與30?和60?有顯著性差異的是?150?和?120?,二者并無顯著性差異;對于中距離,與30?和60?有顯著性差異的是?150?和?120?,二者并無顯著性差異;對于遠(yuǎn)距離,5種角度都與30?和60?無顯著性差異.

由圖5(c)～(f)可以看出:Q1和Q4中,中距離評分總體高于近和遠(yuǎn)距離,而近和遠(yuǎn)距離之間并無顯著性差異;Q2中,近距離、中距離與遠(yuǎn)距離間都存在顯著性差異;Q3中,近距離、中距離與遠(yuǎn)距離間都存在顯著性差異,并且不同距離下的角度之間也存在統(tǒng)計學(xué)差異.對于近距離,Q1,Q2中除?90?之外,其他4個角度都與30?和60?無顯著性差異;Q3中與30?和60?不存在顯著性差異的有?30?和?60?,而其余3個角度都與對照組有顯著性差異;Q4中與30?和60?不存在顯著性差異的有?30?,?60?,?120?和?150?,而其余3個角度都與對照組有顯著性差異.對于中距離和遠(yuǎn)距離,Q1,Q2,Q3,Q4中5種角度都與30?和60?無顯著性差異.

圖5關(guān)系軸線和方向軸線的外反拍實驗結(jié)果Fig.5 Experimental results of external backlash of relationship axis and direction axis

3.3 關(guān)系軸線和方向軸線—–內(nèi)反拍

圖6 為內(nèi)反拍跨越關(guān)系軸線和方向軸線的空間標(biāo)記的客觀數(shù)據(jù)統(tǒng)計以及對沉浸感、視覺連續(xù)性、空間感知和舒適度影響的主觀評價的結(jié)果.

由圖6(a)可以看出:越軸和不越軸對比的角度(如?30?至30?和30?至?30?)之間不存在顯著性差異;當(dāng)起始角度為30?或60?,結(jié)束角度為30?,?30?,60?或?60?時,它們之間并無顯著性差異;當(dāng)起始角度為90?時,結(jié)束角度無論是多少,它們都沒有顯著性差異.

由圖6(b)～(e)可以看出:越軸和不越軸對比的角度(如?30?至30?和30?至?30?)之間不存在顯著性差異.Q1中,當(dāng)起始角度為 30?,結(jié)束角度為 30?,?30?,60?或 ?60?時,它們之間并無顯著性差異;Q2,Q3,Q4中,當(dāng)起始角度為30?或60?,結(jié)束角度為30?,?30?,60?或?60?時,它們之間并無顯著性差異.Q1中,當(dāng)起始角度為60?或90?時,結(jié)束角度無論是多少,它們都沒有顯著性差異;Q2,Q3中,當(dāng)起始角度為90?時,結(jié)束角度無論是多少,它們都沒有顯著性差異;Q4中,當(dāng)起始角度為90?時,結(jié)束角度為60?,?60?,90?或?90?時,它們之間并無顯著性差異.

圖6 關(guān)系軸線和方向軸線的內(nèi)反拍實驗結(jié)果Fig.6 Experimental results of internal backlash of relationship axis and direction axis

4 討論

4.1 運動軸線

實驗結(jié)果證實了本工作中假設(shè)的正確性.通過主客觀評價結(jié)果發(fā)現(xiàn),用戶的視覺連續(xù)性和空間感知的主客觀評價結(jié)果大致上是一致的.

(1)視覺連續(xù)性,中速稍優(yōu)于慢速和快速.這是由于主體運動速度越慢,剪輯點更容易被觀眾捕捉到,而當(dāng)速度過快時,人的眼睛跟不上劇情的發(fā)展,以至于有視覺不連續(xù)的感覺.而不越軸的兩個角度在不同的速度下表現(xiàn)穩(wěn)定.對于慢速,?30?條件和?180?條件表現(xiàn)一般,一般認(rèn)為:?30?條件觀看時觀眾需要大幅度轉(zhuǎn)動頭部甚至身體才能更好地跟蹤運動的物體;而?180?稍有違反常規(guī)的拍攝角度,觀眾感受一般,其實它在各個角度和速度的表現(xiàn)下都較為一般.另外,?60?,?90?,?120?和?150?表現(xiàn)同于不越軸的30?和60?鏡頭.對于中速,發(fā)現(xiàn)?180?的主客觀評價差異較大,考慮到觀眾的真實感受,將其歸類為表現(xiàn)一般.此外,表現(xiàn)一般的還有?30?.對于快速,表現(xiàn)一般的有?30?和?180?.

(2)空間感知,主體運動速度越快,觀眾的空間感知就越差.3種速度條件下,30?和60?表現(xiàn)一致,二者并無明顯差異.不同速度下的不同角度的表現(xiàn)存在差異.對于慢速,表現(xiàn)較好的是?30?,?60?和?150?,最差的是?90?和?120?,說明與軸線偏差角度越小,空間感知越好.對于中速,表現(xiàn)較好的同樣是?30?,?60?和?150?,最差的也是?90?和?120?.對于快速,表現(xiàn)較好的是?30?和?150?,說明隨著速度的加快,偏離軸線角度越小,空間感知越好;最差的還是?90?和?120?.

(3)沉浸感和舒適度,二者的主觀評價結(jié)果較為一致,但也存在少許差異.在3個條件下都是淘汰掉了?180?(不常見)拍攝角度;而快速條件下,由于?30?影響視覺連續(xù)性,觀眾的沉浸感同樣受到影響.

綜上分析結(jié)果,這里給出優(yōu)異的鏡頭組接方案:慢速,越軸0～60?和150?～180?;中速,30?～60?和 150?～180?;快速,30?～60?和 150?～180?.

4.2 關(guān)系軸線和方向軸線——外反拍

(1)視覺連續(xù)性,主客觀評價都顯示中距離比近距離和遠(yuǎn)距離能保持更好的視覺連續(xù)性,但3種距離的主觀評價和客觀評價得分都處于比較舒適的范圍內(nèi),因此認(rèn)為VR影片鏡頭組接時越過關(guān)系軸線采用外反拍的方式時,無論觀看者距離與主體的距離(在一定距離范圍內(nèi))如何,觀眾都能保持比較好的視覺連續(xù)性.通過眼動追蹤結(jié)果的分析,3種距離條件采用?90?拍攝都稍差于其他條件,而主觀評價顯示,?90?條件僅在近距離時明顯差于其他條件.這種主客觀的差異是由于觀眾感受的粗粒度性,對較小的差異自己感受不到,因此以客觀評價結(jié)果為準(zhǔn).

(2)空間感知,主觀評價顯示中距離優(yōu)于近距離、遠(yuǎn)距離,而客觀評價顯示中距離和遠(yuǎn)距離并無顯著性差異.因此以客觀評價為準(zhǔn),在空間感知方面,中距離和遠(yuǎn)距離稍優(yōu)于近距離.但3種距離的主觀評價和客觀評價得分都處于比較舒適的范圍內(nèi),因此認(rèn)為VR影片鏡頭組接時越過關(guān)系軸線和方向軸線采用外反拍的方式時,無論觀看者距離與主體的距離(在一定距離范圍內(nèi))如何,觀眾都能保持比較好的空間感知,且在合適的距離范圍內(nèi),觀眾距離主體越遠(yuǎn)空間感知越好.對于近距離和中距離,對空間感知影響最大的是?150?和?120?,因為這種情況下,觀眾正對的主體從一個人物切到了另一個人物,所以會導(dǎo)致觀眾的空間感知的準(zhǔn)確性降低;遠(yuǎn)距離使人看到的周圍參照物更多,即使是?150?和?120?條件也能保持比較好的空間感知.

(3)沉浸感和舒適度,問卷調(diào)查Q1和Q4結(jié)果皆顯示中距離最好,而近距離和遠(yuǎn)距離無顯著性差異.因為近距離使得空間感知和視覺跳躍相對明顯,所以會降低觀眾的沉浸感和舒適度,而遠(yuǎn)距離使得觀眾旁觀者意識明顯沉浸感會低于近距離和中距離,觀看舒適度方面也會少有降低.近距離0?～?60?較好,小于等于?90?就會明顯降低沉浸感和舒適度,而?150?～?120?對沉浸感和舒適度影響并不明顯.中距離和遠(yuǎn)距離時這些差距都不明顯.

根據(jù)以上結(jié)果,優(yōu)異的鏡頭組接方案為:拍攝距離選擇不要過于近或遠(yuǎn).如果因為實際需要近距離拍攝,越過軸線采取0?～90?;對于中距離拍攝,越過軸線采取0?～60?或120?～180?;而對于遠(yuǎn)距離也盡量不選擇越軸90?左右的拍攝角度.

4.3 關(guān)系軸線和方向軸線——內(nèi)反拍

研究結(jié)果顯示,與不越軸的拍攝組合相比,越軸組合相對應(yīng)的拍攝角度并未出現(xiàn)降低觀眾觀看的視覺連續(xù)性、空間連續(xù)性、沉浸感和舒適度的現(xiàn)象.而且起始角度是30?或60?時,切至90?或?90?的組合對觀看的影響稍大于切至30?,?30?,60?或?60?;而當(dāng)起始角度為90?時,視覺連續(xù)性、空間連續(xù)性和沉浸感的差異不明顯,但是對舒適度方面的影響還是有差異的,當(dāng)切至90?,?90?,60?或?60?時是優(yōu)于其他組合的.因此我們也能發(fā)現(xiàn)一個規(guī)律:起始角度與結(jié)束角度比較相近時(如30?切至30?或?30?左右)對于用戶的體驗最為友好;起始角度與結(jié)束角度的偏差越大對用戶的觀看體驗影響越大.

通過對以上3個實驗的數(shù)據(jù)分析,發(fā)現(xiàn)雖然不同角度和不同速度的組合對觀看體驗的影響程度存在差異,但是所有的組合結(jié)果也不至于導(dǎo)致嚴(yán)重的不適感,因為無論是評分(都大于2)、空間標(biāo)記偏差(都小于15?),還是視覺追蹤程度(都大于2)都在可以接受的范圍內(nèi),說明在VR里面越過傳統(tǒng)的運動軸線拍攝是完全可行的.

5 結(jié)束語

本工作創(chuàng)新地將傳統(tǒng)影片的軸線規(guī)則引入VR影像的鏡頭組接中,試圖探索VR影像的軸線規(guī)則,豐富了VR影像的剪輯語言,使用了眼動追蹤、空間標(biāo)記的客觀數(shù)據(jù)以及視覺連續(xù)性感知、空間感知、沉浸感和舒適度等方面的主觀數(shù)據(jù),詳盡地闡述了按照不同軸線規(guī)則的VR影像的鏡頭組接帶給受試者的體驗.本工作通過分析發(fā)現(xiàn)在VR影片中沒有受到傳統(tǒng)影片的軸線規(guī)則所限制,因為VR影片是360?全景視圖,人的視覺不再受傳統(tǒng)框架的限制.研究的所有情況都沒有給用戶造成不適感,只有在一些方面顯示出一些好和一般的差異.VR影視編輯中不存在“軸線”,其擁有自己獨特的空間跳躍規(guī)則.

在影像中應(yīng)用時,本工作更建議根據(jù)實際情況,選擇合適的拍攝和組接方式,同一影片中多種方式可以結(jié)合使用,用以豐富影片的表現(xiàn)方式.

目前VR影視剪輯的研究相對較少,還有很多值得深入研究的地方,例如:進行更大規(guī)模的綜合研究并收集更多相關(guān)的詳細(xì)數(shù)據(jù);可以探索許多其他的變量和參數(shù),比如其他類型的電影剪輯,更長的電影,更復(fù)雜的視覺內(nèi)容,或鏡頭組接順序、構(gòu)圖規(guī)律、色彩、影調(diào)、運動、聲音等鏡頭組成元素對用戶觀看VR內(nèi)容的影響.因為用戶的觀看體驗會受到多種因素的影響,所以考慮更多種因素綜合研究是一個正確的方向.此外,更多的主觀數(shù)據(jù)和客觀數(shù)據(jù)也可能是一個有價值的信息來源,今后也要多加測量和分析.