VR 電影內容特征對敘事連續性影響建模研究

宋 萍 陳純毅 胡小娟 于海洋

(長春理工大學計算機科學技術學院，吉林 長春 130000)

1 引言

虛擬現實技術的不斷發展和普及不僅推動影視藝術的發展，更促使人們開始探索更適用于VR 影片的剪輯方法，其中敘事類VR 電影是眾多VR 電影中的重要組成部分。大多數敘事以及剪輯手法是在傳統非VR 電影中探索得到的，在更復雜的VR電影中，由于觀眾可以自行觀看想要觀看的區域，導致了觀看方向的不可控，也就意味著觀眾在觀影過程中可能錯過重要的敘事線索。因此探索已有的剪輯手法是否還能在VR 電影中起到引導觀眾注意的作用，以及探索更復雜的敘事類VR 電影中影響感知連續性的因素是本文的主要研究目的。

本文分析了由專業電影制作人制作的敘事類VR 電影 《Help》，相對于其他類型的VR 電影來說，敘事類VR 電影的場景更復雜，對話和動作更多。本文在不影響其主要故事線的情況下將敘事類VR 電影進行剪輯，將整個電影分為8 個視頻段，每段視頻隨機邀請5位受試者觀看，根據受試者頭部佩戴的VR 顯示頭盔以及眼動儀記錄的觀看信息，分析得出影片連續性的評價。本文首先對影片的剪輯手法以及剪輯前后的關注區域個數進行了多層回歸分析，驗證以前的發現在更復雜的情況下是否依然適用；其次本文根據敘事類VR 電影情節更復雜、動作更多的特點，引入了新的評價指標，即平滑追蹤，基于實驗分析，本文認為剪輯后關注區域的個數對敘事類VR 電影的連續性有影響。

2 相關工作

在VR 視頻播放過程中對觀看者進行恰當的觀看引導可以讓觀看者在觀看VR 視頻中保持注意力的連續，目前大多使用以下兩種引導方法。

一是顯式引導，這種引導方式會在畫幅上直接顯示用于引導觀看者注意力的光標或者圖示。Wallgrün等人發表的論文詳細討論了三種常用的2D 顯式引導方式，分別是雷達式、箭頭式以及光點式引導在引導觀看者注意時力的區別。Wallgrün等人認為，三種視覺引導機制均可以有效引導觀看者定位到需要關注的目標區域，但是三種顯式引導方法中，箭頭引導方式是最受歡迎的，也是效率最高的，經常玩電子游戲的人更習慣雷達式引導。但是由于是顯式引導，在提高了引導效率的同時，畫面的美觀性則需要改進。而在最近的工作中，Lin等人使用VR 體育視頻和VR 紀錄片作為測試序列，比較了箭頭引導和鏡頭移動兩種視覺引導方法對觀看者注意力的引導效果。他們的結論是，觀看者的觀看效果取決于個體差異，例如視頻的內容以及觀看者觀看視頻的目的等。Komogortsev等人進一步研究了畫面閃爍作為引導機制時的引導效果，發現電影中無論是強閃爍或者弱閃爍對觀看者的注意力引導都沒有區別，畫面閃爍雖然可以引導觀看者的注意力，但也提高了對電影不重要細節的回憶。

二是隱式引導，也是本文主要關注的引導方法。隱式引導一般用劇情線索、剪輯手段或電影中的聲音燈光等對觀看者進行注意力的引導。2017年Serrano的科研團隊引入了連續性評價指標，用于在虛擬現實內容的連續性編輯環境中量化觀看者行為，同時也總結了一些影響連續性的因素，即若想獲得更高的連續性，則剪輯前后的關注區域要在同一視場范圍內，并且傳統剪輯手法在全景視頻中依然可以沿用，無論剪輯情況如何，每個剪輯開始后會有一個探索高峰。2018 年Maranes等人在Serrano工作的基礎上，將數據集調整為時間更長同時也是專業人士制作的VR 紀錄片，在隱式引導下討論剪輯手法對全景電影連續性的影響。Maranes等人認為，即使在時間更長的紀錄片情況下，傳統的剪輯手法依然可以很好地應用到VR 電影的剪輯中。

從上述VR 電影的連續性研究方法中可以看出，其中大多數都是使用短時、簡單、可控的實驗測試視頻和嚴格的實驗條件來探索VR 電影感知連續性的特點，這樣的研究大多只適用于定焦的、場景單一的VR 電影，得到的結論很難直接應用于更復雜的、時間更長的、情節更多變的敘事類VR 電影的連續性研究當中。

3 評價指標與VR 電影內容特征量化

為了研究場景更復雜多變的敘事類VR 電影，本文采用谷歌公司在2015年拍攝的災難題材VR 電影《Help》作為測試序列，并且采用了新的評價指標用于解釋更復雜的電影場景。

本文方法的整體流程如圖1所示，分為兩大模塊:一是視頻特征量化模塊，用于獲取敘事類VR電影的連續性特征；二是評價指標量化模塊，用于獲取VR 視頻的連續性評價指標。最后將生成的評價指標和視頻特征輸入到多層線性回歸模型中，得到視頻特征對敘事類VR 電影連續性的最終影響。

圖1 實驗流程圖

3.1 影響連續性的電影內容特征

本文將影響敘事類VR 電影連續性的電影內容特征分為三種，分別是剪輯類型 (E)、剪輯前關注區域的個數(R)和剪輯后關注區域的個數(R)。

基于傳統電影的剪輯理論，本文首先考慮三種不同類型的剪輯手法對全景電影連續性的影響{E1、E2、E3}，它們是按照空間、時間和動作的維度定義的，分別指代動作連續性剪輯、動作不連續性剪輯、連續性剪輯。由于E3 剪輯類型在VR 電影中很少出現，所以只考慮前兩種最常用的剪輯類型:E＝{E1、E2}。

動作連續性剪輯 (E1)，即剪輯前后場景、時間不同，但是由一個連貫性的動作承接剪輯前后的邏輯。動作不連續剪輯 (E2)，這里指代用于場景切換的跳切剪輯，通常在雙重敘事或者場景切換的情況下使用。對于E1 類型 (在時間空間上的不連續以及在動作上的連續剪輯)和E2 類型的剪輯(在時間空間以及動作上均不連續的剪輯)分別去分析其對影片連續性的影響。剪輯示意圖如圖2所示。

圖2 剪輯示意圖

在考慮了剪輯對連續性的影響后，本文第二點考慮了關注區域(Region of Interest，ROI)對連續性的影響。本文根據影片特征將ROI在畫面中的數量分為無ROI、一個ROI、兩個ROI的情況，如圖3所示。本文將剪輯前的ROI以及剪輯后的ROI分別標記為R和R，并用其取值代表ROI數量。

圖3 ROI示意圖

3.2 全景電影的連續性評價指標

本文沿用了Serrano在2017年提出的連續性評價指標的同時，采用了一種新的適用于敘事類VR 電影的評價指標:平滑追蹤。本章對平滑追蹤給出了詳細的解釋。

3.2.1 剪輯后注意到ROI的幀數

剪輯后注意到ROI的幀數是評價指標中最直觀的一種，簡單表示視頻中剪輯發生后，觀察者注意到ROI區域內之前的幀數，該度量的時間越長，代表剪輯后觀看者反應時間越長，更容易錯過劇情。以下記為(Frame To ROI，N)。

3.2.2 ROI內注視百分比

該指標計算觀看者在剪輯后找到感興趣區域后，感興趣區域內的注視相對于總注視量的百分比。它給出了觀眾對感興趣區域的興趣程度的估計，該比值越高代表觀看者對ROI內容的感興趣程度越高。以下記為(Percent of ROI gaze，P)。

3.2.3 注視幀數

注視幀數指標計算觀眾在觀看過程中的注視總次數，這個指標直觀的表示了觀看者執行了多少次注視。其取值越低，代表觀看者在觀看電影中掃視的占比更高，這意味著觀看者在觀看過程中更喜歡觀察環境而不是去觀看特定的影片情節。以下記為(Frame of gaze，N)。

3.2.4 平滑追蹤占比

以上三種評價指標是Serrano等人在2017年提出的，適用于傳統意義上的定焦影片或紀錄片的連續性評價，但在敘事電影中，無法保證ROI在畫幅中是保持不動的。為了解決這個問題，本文引入了一種新的評價指標:平滑追蹤幀數占比。這個新的評價指標捕捉了觀看者跟隨ROI的運動而運動的跟蹤注視行為。

首先根據基于速度識別的算法可以快速計算出所有視點中的掃視點。通過計算前后兩幀內容視點距離計算出當前視點的移動速度。

在初步分割過程中，本文找出速度特征大于40pix/s的所有高速點，并且如果兩個視點之間的時間間隔小于100ms，那么這些數據視為掃視數據。大部分的掃視數據都可以在這一步識別出來。

之后進行注視和平滑追蹤的分類。由于注視和平滑追蹤無法通過閾值進行分類，所以采用聚類分割法，首先計算剩余視線段起點和終點之間的平均速度特征。文獻 [7]中提出的速度特征計算公式為:

最后根據局部密度確定聚類中心，將剩余視點分為兩部分，其中Sd平均值高的一組認定其中的視點樣本為平滑追蹤，另外一組視點為注視視點。平滑追蹤指標以下記為(P)。

3.3 多層回歸模型

為了探究每種剪輯方式對最終影片的連續性的影響，通常人們將影響影片連續性的因素，結合線性回歸模型，將回歸結果與收集到的結果進行比對，由此判斷這些因素對影片連續性的影響。但是敘事類VR 電影相較其他類型的VR 電影，其剪輯手法更加復雜多變，需要根據劇情發展確定適用于當前場景的剪輯方式，才能最大程度確保觀看者在觀看該敘事類VR 電影時能感受到時間與空間的連貫性，進而感受完整的電影劇情。而線性回歸模型由于本身的限制，不適用于分析復雜因素對結果的影響。為了確定敘事類VR 電影的剪輯方法對影片最終連續性的影響，探究出一套適用于復雜敘事場景的剪輯方式，因此，我們采用多層回歸模型對數據進行分析。

將上文所述影響連續性的電影內容特征:剪輯方式(E1、E2)，剪輯前后ROI區域的數量作為輸入，建立多層回歸模型 (Hierarchical Linear Model，HLM)。

4 實驗設計

實驗所用數據集選取2016年Justin Lin導演的VR 影片《Help》，實驗人員由10名年齡在20～30歲的成年人組成，其中男性4名，女性6名。實驗人員中有1 名男性以及1 名女性有VR 體驗經歷，實驗人員信息如表1所示，每次實驗受試者需要使用VR 頭盔觀看VR 電影，每個視頻段由隨機5人觀看，共40次重復實驗。

表1 實驗人員信息表

本文使用一個配備了Droolon F1眼球追蹤配件的HTC VIVE Pro，記錄90Hz的數據，單眼分辨率1400×1600，雙眼分辨率2880×1600，視場角為110度，頭盔配備一對主動降噪耳機來再現立體聲。受試者需站立觀看視頻，所有受試者的視力在測試的過程中都處于正常范圍，每個受試者首先執行眼睛跟蹤器校準程序。為了確保所有受試者的起始條件相同，視頻將從受試者適應VR 環境后開始播放。用Unity游戲引擎顯示視頻，在同一臺計算機上記錄頭部方向，同時記錄眼睛跟蹤數據。從眼動校準到試驗結束所需的總時間大約為15分鐘。我們對原始采集到的數據進行預處理并計算視點信息。

本文根據第3節中提出的兩種影響連續性的電影內容特征 (剪輯方式，ROI的數量)，在不影響VR 電影敘事情節的情況下對視頻進行了初步剪輯，分別為時間連續性剪輯、空間連續性剪輯。初選出10個視頻段，根據情節需要以及對兩種影響連續性特征的排列組合，最終選出8個視頻段作為實驗時播放的視頻，剪輯信息如表2所示，表中剪輯發生時間以幀為單位。本文對每一個視頻段進行了ROI的標記工作，在主要關鍵的一幀手動標記ROI區域，對其他非關鍵幀進行插值操作，生成最終的ROI參照視頻。

表2 剪輯信息表

在實驗數據分析部分，本文使用評價指標N、P、N、P作為因變量，首先進行單因素回歸分析，如表3所示，其中P≤0.05時，表示該特征在單因素方差分析中差異檢驗顯著。F 值是F檢驗的統計量，也就是組間和組內的離差平方和與自由度的比值，顯著性就是與F統計量對應的顯著性水平。

(1)剪輯方式對連續性的影響:如表3 所示，剪輯方式對于四種評價指標P、N、N、P的顯著值P 均大于0.05，代表剪輯方式對最終的連續性并無影響。

表3 單因素回歸分析表 (E)

(2)ROI對于連續性的影響:對剪輯前后的ROI個數進行單因素回歸分析，分析結果如表4、表5所示。

表4 剪輯前的ROI(Rb)單因素回歸分析表

表5 剪輯后的ROI(Ra)單因素回歸分析表

數據結果表明，在觀看敘事類VR 電影的過程中，剪輯前存在的ROI數量對本文中提出的四種評價指標均無顯著影響，故本文認為視頻的R特征對最終的連續性沒有影響。但是剪輯后的ROI數量對以上四種評價指標，除N外的顯著值P 均大于0.05。R對N和P均無顯著影響，這表明一旦受試者看到其中一個ROI，ROI的數量不會影響剪輯后的探索行為。

將R作為自變量，而將N作為因變量進行線性回歸分析，回歸的標準誤差為2.78；回歸參數的顯著性檢驗值T 為2.568，顯著值P 為0.017，小于0.05，故可得回歸模型公式為:

其中模型R 方值為0.209，意味著R以解釋N的20.9%變化原因。對模型進行F 檢驗時發現模型通過F檢驗(F＝6.595，P＝0.017＜0.05)，說明剪輯后ROI數量一定程度上會對指標N產生影響關系，模型回歸系數為7.143，意味著視頻特征R會對N產生顯著的正向影響關系。

為了進一步分析R對于VR 電影的連續性的影響，本文將R與其余的視頻特征相結合，對評價指標P進行多層回歸模型的分析，并將R根據取值創建為兩個虛變量分別命名為R、R，用來指代R的兩種ROI存在情況，對評價指標P多層回歸模型分析結果如表6所示:

表6 多層回歸分析表

由表6的數據可以看出R可以解釋P的變化，并且會對P產生顯著的正向影響關系。這些結果說明，在敘事類VR 電影的后期制作中，對最終的連續性有顯著影響的是剪輯后的ROI數量，其中，當剪輯后有兩個ROI區域時，連續性要比區域中只有一個ROI的情況要低。所以本文研究認為，剪輯后關注區域的數量是影響影片連續性的關鍵因素。

最后，我們根據Serrano在文獻 [4]中提供的數據集對模型進行了驗證，在Serrano提供的數據集上的48個視頻段進行了線性回歸的擬合，擬合效果如圖4 所示，其中橫坐標表示測試視頻編號，縱坐標的單位為幀。分別計算了48 個視頻對應的N值以及N的預測值，其中第15到第30個樣本R個數為2個或2個以上，可以看出模型擬合效果良好，但是隨著R的增多，模型預測效果會有下降。

圖4 Nframe 的預測值與真實值對比圖

5 結語

本文通過對情節更為復雜、場景更多變的敘事類VR 電影，引入更適合敘事類VR 電影的連續性評價指標即平滑追蹤占比，并對剪輯片段進行主觀觀看實驗，通過對主觀數據的處理及分析發現:(1)在本文討論的敘事類VR 電影中，沒有發現剪輯方式對最終的感知連續性存在顯著影響；(2)剪輯后ROI的數量越少，觀看者就能越快地找到重點需要關注的區域，從而提高觀影過程中的連續性；(3)剪輯后的ROI數量越少，那么觀眾對于ROI的關注程度就越高。目前，本文的實驗僅對現有的數據進行了分析，今后還會邀請更多觀看者參與實驗，并且按照不同的個體差異分隊測試以尋找更多的規律。