VR全景影像編輯應用探析

袁 雪

（作者單位：四川音樂學院）

電影《頭號玩家》的故事發生在未來的VR（virtual reality，虛擬現實）“綠洲”世界中，身著智能穿戴設備的主角們在現實世界和虛擬世界中穿行自如，電影中折射的未來世界是VR嵌入了現實并深刻影響著真實世界。從斯皮爾伯格的這部描繪未來的電影中，我們可以預見VR是影像發展的必然方向，傳統影像的內容和體驗將被打破。自2016年在我國被稱作“VR元年”開始，VR概念就一直受到市場熱烈追捧，逐漸被人們所熟知。這兩年間，在國內經歷資本泡沫消散后開始回歸理性發展，VR依然是被業界一致看好的新興領域，在游戲、影視、教育、醫療、建筑、工業生產等多領域都有所滲入。作為仍處于發展初期的技術形態，人們對VR創作的認知還在積累中，技術與理念之間的適應性和促進性也一直在探索當中。熱衷VR的人們在嘗試挖掘VR最大的可能性——如何向全景空間拓展并創造出更驚異、更真實的沉浸互動體驗。

1 VR對傳統影像制作經驗的顛覆

如今VR影像創作領域的從業者和藝術家們幾乎都接受的是傳統技藝訓練，包括影像制作的理念、流程、敘事邏輯等都遵循電影講故事的方式。所有圍繞VR創作產生的挑戰，絕不僅僅是替換工具和轉化機位這類技術問題，還要求制作者們在思維上跳脫原有傳統模式，從而能在創作方式上適應VR特點并能展現這一新媒介的獨特性。

越是熟悉傳統影視制作程式，在面臨VR時可能越容易無所適從。傳統影視制作初期，首先要確定主題創意和拍攝腳本。VR中打破屏幕的二維局限，畫面構思和描述不再是平面圖景，就使得如何直觀描述六個象限——上、下、左、右、前、后六度的全景視角，變成了擺在編劇面前的新挑戰。編劇需要想象觀影時的“沉浸感”畫面如何表述、如何敘事、如何設計引導，等等。編劇需要重新審視在敘事中的“沉浸感”如何激活，然后將創作信息分別安排在六度視角的腳本中。一些編劇嘗試用不同顏色的文字表述不同的象限角色、場景和動作，完成的劇本如何能更好被理解同樣需要顛覆傳統思維方式，但這才是挑戰的開始。

傳統影視創作基本都是有設定POV（point of view，視點），即將故事發生的場景和情節展現以某種視角在觀眾面前，攝影機取景拍攝即視點所在，也是觀眾可以被引導看到的畫面。這種創作手法帶來了非常強烈的代入感，傳統拍攝已經有視覺心理學作為基礎，在畫面中設計視覺路徑，引導觀眾注意力的整套經驗，但這些經驗在VR中幾乎失效。沉浸感作為VR的核心體驗，使拍攝不僅需要考慮六度方向的挑戰，還需要考慮敘事內容呈現的方式，這些是全新的考驗。也就是說，導演和工作人員不能在拍攝現場，也無法存在于攝像機背后，拍攝中的布景道具都需要真實存在。除此之外，攝像師還需要嘗試解決全景攝像機的位置、運動等新問題。

經歷千辛萬苦拍攝的素材不會自動組合在一起成為作品，后期編輯的再創作流程對于創作成敗有決定性作用。剪輯一直被視作影視藝術的獨有特征，但蒙太奇的影像語法對于VR360°“視點散焦”方式也面臨失效。VR的時空統一與連貫性是沉浸感的來源，傳統的剪輯方式基于的視覺暫留的生理基礎與完形心理的原理無法適用。面對六度方向的素材進行后期編輯并非在于傳統的“剪和接”，而在于對拍攝的六度畫面的“縫合”。VR的有些縫合在拍攝過程中就已經可以進行，而有些則需要依靠后期軟件操作才能實現。在面對素材進行全景縫合時也并不總是一帆風順，計算機識別各類情況的素材也不是完全智能，人工手動進行合成與轉描總是難以避免的。

《阿凡達》的導演詹姆斯 卡梅隆三年前曾在采訪中明確表示不看好VR電影，但去年他修正了自己的觀點，“我每一天都在VR環境中工作。當我完成這些訪談后，我將在今天剩下的時間里繼續在VR中工作。這種交互性是否可以創建一種新的藝術形式，一種新的電影形式……我正在等待它證明自己。”[1]對富有想象力和實驗精神的卡梅隆而言，現在的技術距離他心里期待的真正屬于VR的性狀，還存在技術和硬件發展上的限制。創造高質量的VR體驗是革命式的、十分復雜的過程，視聽的設計預混合是實現完全沉浸的重要構成環節。

2 VR影像的編輯制作現狀

360°視頻的后期編輯目前并不存在行業標準或者一種通用的固定方式，這和傳統后期制作有所不同。VR的全景視頻內容根據不同的拍攝設備決定著后期采用何種方式來處理采集的素材。比如，入門級的一體機拍攝，基本可以實現拍完即自動縫合，無需動手再做編輯，還可以在手機上直接查看并分享。三星gear360和理光的ThetaS就屬于這類操作，但這類360°視頻的優點是攜帶輕便、制作簡易，且無需后期縫合；缺點是分辨率低、畫質不夠精細。再高一級的柯達Pixpro SP3604K或尼康KeyMission會解決一體機畫質的硬傷，因為是采用雙鏡頭捆綁的方式，但后期需要縫合。縫合視頻的可操控性有限，在電腦上采用配套軟件進行有限操作。常見的專業團隊會采用6個GoPro的Hero4s攝像頭組進行全景素材拍攝，但非常繁瑣的是有6個機器也就有6個電池與6個儲存卡且需要攝像師在拍攝時同時按下6個按鈕執行拍攝。后期也需要電腦上將6個視頻進行拼接和后期處理，優點是視頻內容的可編輯性大大增強，畫質較為優良，缺點是非常考驗攝制團隊的時間和體力，當然，還有超強的視頻縫合處理能力。當然，更專業的諾基亞OZO和facebook推出的Surround應該可以減少一些繁瑣的工作量，但高昂的價格并不親民。大多數團隊在實現VR內容方面還需要自行建立適配的流程，比如，拍攝甚至用專業級別的RED、Canon EOS M3s、Sony A7Ss這類經典器材實現高素質畫面，然后交給后期完成全景拼接。

由于目前的VR拍攝硬件處于起步階段，大量的視頻素材依賴后期拼接實現360°視頻內容。很多時候拍攝還是無法解決拍虛畫面的問題，在照明不足的情況下有效分辨率也無法保障，總體而言目前的360°拍攝設備還無法創建傳統影像帶給我們的專業級別的360°視頻，無論在形式上還是內容上都還處于嘗試階段。拼接是非常精細化的工作，有相當高的技藝要求，不同拍攝設備攝取的畫面的拼接狀況直接反映了拼接水平。

VR后期拼接使用的有Kolor Autopano，VideoStitch，OpenCV，Nuke以及ADOBE的Premiere與After Effects等不同的后期工具。筆者經歷過8個機位的攝像頭陣列組成的360°視頻拍攝，通過OpenCV進行縫合拼接，體會到做VR的后期拼接是一個吃力不討好的事。因為在拼接過程中會出現各種狀況，例如，出現接縫的空隙，拼接處的錯位非常常見，這就意味著需要進行大量的手工處理，而處理過程中最使人崩潰的是始終無法取得令人滿意效果的反復嘗試。令人沮喪的情況不止這些，哪怕是4K畫面拼接為360°視頻后，可視的全景視頻就不再是4K了，分辨率大打折扣，畫質變差，觀看體驗不佳。拋開畫面變形和虛化的部分，偶爾遇到一個機位的素材出現問題就可能全部前功盡棄，后期編輯充滿艱澀，所以目前在效率與效果上都是很難有大規模、高質量的內容產生。至于我們常在手機上看到全景圖像倒不是新鮮事物，靜態圖像的拼接相當于精致地完成了視頻中的“一幀”內容。

人工智能可能會是未來VR后期處理的解決方案，需要靜待技術發展進程中的有效突破。例如，谷歌的AI后期編輯小助手平臺，通過讓人工智能學習大量圖像信息，積累各類算法使其學會精細化處理圖像。一旦谷歌能夠實現完美批量處理圖像并適用于全景圖像視頻，屆時谷歌再開源算法，讓各款360°全景攝像機便可以獲取后期支持，將拍攝數據傳輸到服務器上，由人工智能提供一套解決方案。

3 VR編輯中的深度信息應用

360°視頻目前基本被分成兩種，一種是無深度信息的，如我們看到的全景地圖，家居環境等；另一種是含深度信息的，是通過分屏輸入也經過3D渲染的真正立體視頻，如部分VR交互游戲。后者被業界視作真正的VR，深度信息是讓VR成為真正VR的一個重要條件。目前，通過創建三維場景，CG建模以及后期特效，深度已經展示了其優勢特點。所謂深度信息是拍攝的360°空間中所有的像素點都帶有距離信息，計算這些信息即可提供360°場景的結構信息，不僅對于實拍場景，對CG制作的三維場景創作也是非常有幫助。深度信息幫助畫面中對象包含基本的透視以及縱深空間運動，是視頻更具有身臨其境的體驗。畢竟對VR影像而言，深度信息是VR成為VR的關鍵，需要有認知和思考。

首先，面臨影像的運動。影像的運動通常是由三方面構成，拍攝對象運動，攝像機運動以及后期剪輯與特效產生的運動。傳統畫面中有近大遠小的深度透視，如果伴隨運動則會產生視差。視差是由運動產生的現象，人眼在運動中導致物體投射到視網膜上的成像因為距離產生視覺差異。比如，坐在車里的人看到路邊的樹快速閃過的模糊成像，較遠處的田野伴隨車的運動視覺上卻平穩轉換，而天上的云朵和太陽則在視覺上停留時間更長，仿佛沒有變化。距離我們越近的物體，伴隨運動的產生，視差越大。在VR拍攝中，多個鏡頭在運動中拍攝的畫面，采集畫面時再通過相應的算法進行拼接，然而全景相機的鏡頭光心在物理上無法做到完全重合。由于鏡頭之間各自存在運動，會導致兩個鏡頭之間采集的視頻運動存在差異，而算法需要依據近處的物體或遠處的物體來取舍處理，這就會導致重影或者跳變的情況。

其次，是拍攝的距離。視差問題同樣會在拍攝距離上體現。鏡頭越近，安全距離越小，出現接縫的概率越低。所謂安全距離是通過鏡頭靠近而減少成像視差的，因為鏡頭在一定距離中，物體成像的視差是小于一個像素。深度信息要解決視差問題，在于同一物體在攝像機中準確的成像會投影到全景視頻中的同一點，由此解決拼縫的問題。一旦深度消除了視差導致的全景視頻拼縫問題，則可以生成完全無縫的全景視頻。

另外，全景視頻的另一個痛點是，用戶視點被固定，無法自由移動產生更真實的深度運動感。這種真實的沉浸感受才是VR真正的魅力，如果用戶無法體驗深度信息中移動的“臨場感”，VR影像就缺失了重要的吸引力。同樣，這個難題也寄望未來人工智能通過算法能夠計算出場景中物體的深度，實現下一幀與上一幀深度變化的真實呈現。

4 VR編輯還有待解決的挑戰

后期剪輯是造就電影藝術的獨特手段，而VR的后期編輯中無處可剪似乎讓剪輯師不再存在。而事實上，與拍攝環節面臨的問題相同，后期中編輯處理影像依然十分重要，只是需要改變傳統的認知，另外，還有待積累經驗和完善理論。技術發展會不斷為降低制作難度提供先決條件，這個過程也是讓人們去養成VR思維的時間。現在可以認識到360°視頻的影像范圍是“球形式”的，加上深度信息的內容，則可以構成同心圓球一般“圈層式”的視覺范圍。此時，傳統影像中前景、中景、背景的設計理念依然奏效，而對后期編輯而言，分別處理視頻中圈層內容處理則變得有章可循。這樣的創作理念是全新的，移植傳統制作思路之外，是不是還有其他的全景思維有待發現，這有待藝術家們發現和探索。

另外，后期編輯所需要的資料儲存消耗巨大。所有的資料類型中，視頻無疑是最占用儲存資源的，而360°視頻使用的素材則是4K視頻內容文件大小的六倍，也就是說，5min的全景使用的內容文件可以輕松達到上百G。這樣，全景視頻的占用率更是使制作中的存儲成本激增，成為另一個后期編輯中面臨的困難。

不論VR廣告還是VR影視，目前都涉及大量繁瑣的制作工作，這也是VR內容制作預算昂貴、效率低下、內容量極少的現狀。并且，在VR這個剛剛起步的新領域中，無論是創意構思、拍攝器材、后期軟件一系列軟硬件的發展，包括參與的拍攝人員、編輯人員等都是在這個空白領域中一點點摸索和嘗試。了解并接受這個發展初級階段的不完美甚至糟糕的一切，沒有傳統影像世界里積累的“大師”和“經典”的參照標準，一切都有待創造。