從《阿凡達:水之道》淺析3D技術及高幀率技術的發展與應用

柏 齡

中影華夏電影科技(北京)有限公司,北京 100088

1 前言

應卡梅隆團隊與片方迪士尼的要求,在2022年6月的歐洲電影展會 (CineEurope)上,我國具有核心自主知識產權的CINITY 品牌使用專屬制版工藝制作了《阿凡達:水之道》(暫譯名,下同)首次公開的時長8分鐘的演示片段,并通過融合了4K、3D、高亮度、高幀率、高動態范圍、廣色域、沉浸式音頻等7大電影放映領域高新技術的CINITY 放映系統在展會期間向參會的業內同行進行了獨家放映。在場的很多專業人士對于 《阿凡達:水之道》的藝術和制作與CINITY 的放映相結合的觀影效果表示“這是一次前所未有的觀影體驗”。

《阿凡達:水之道》故事主題依然圍繞家園、愛和敬畏自然,但這部影片使用了更先進的視效制作技術、更逼真的角色創作手法以及更清晰流暢的畫面,目的是帶來“最具沉浸感的3D 體驗”。更具創新性的3D 實拍技術,特別是水下3D 拍攝的實現以及高幀率、高分辨率等技術的綜合應用都遠遠超越了《阿凡達》系列第一部。CINITY 版本的高動態范圍完美還原了 《阿凡達:水之道》中畫面的明暗對比,4K 分辨率使影片細節更清晰,高幀率的運用在保持畫面內容力量感與速度感的同時,減少了動態模糊對3D 實拍效果的影響,而CINITY 廣色域技術配合高亮度,則更助力將潘多拉星球斑斕的色彩呈現給觀眾。相信在行業發展的關鍵時期,《阿凡達:水之道》及該系列后續影片的陸續上映,必將迎來新一輪關于3D、高幀率及其他高新技術應用的持續探索和發展。

2 近年來3D技術在國內的發展及應用

2009年《阿凡達》在電影科技支撐的基礎上橫空出世,而影片中運用的3D 技術也在當時推動電影工業踏入了一個全新的階段。當年該片在全球斬獲了28億美元的票房收入,即便在物價大幅提升的今天,這仍是一個難以超越的紀錄,潘多拉星球帶給一代人的視覺沖擊無可媲美。在28億美元的整體票房中,3D 票房高達18.5億美元,超過總票房占比的70%,這也是前所未有的。3D 技術帶來全新視聽體驗的同時也大幅促進了觀影環境的改造升級。2009年《阿凡達》上映后,我國3D 銀幕數量在短期內大幅增加,強大的市場需求掀起了空前的3D熱潮,推動電影行業快速進入3D 時代。2010年之后新建的影院,支持3D 放映系統基本可以說成為影廳的標配。截至2021年9月,根據國家電影局的數據統計顯示,國內銀幕數已突破8萬塊,位列世界第一,其中88%以上的影廳都支持3D 放映。3D一度成為新技術與高質量影片的代名詞。

隨后數年內,為解決3D 影片片源不足的問題,3D 立體轉制技術開始被廣泛應用。但隨著觀眾觀影水平的提升,以及影院放映亮度衰減、3D 眼鏡佩戴不夠舒適、影片本身過度追求3D 效果等問題,使得3D 影片的體驗感逐步下降,特別是在新鮮感消退后,匆匆趕制的3D 效果逐漸引發了觀影者們的一些負面情緒。其中,許多影片僅在國內市場發行轉制3D 版的做法更使觀眾對“中國特供3D 版”產生抵觸。而據相關調研數據顯示,3D 影片的票房收入在全球電影票房中的占比在2017年至2021年呈逐年下降趨勢,特別是在2021年僅占到6.57%。

3D 技術的本質是突出主題的手段,為內容呈現服務,起到錦上添花的作用,并不改變影片主體。首先,舒適的3D 效果有助于突出影片主旨,將創作者試圖傳達給觀眾的信息以更直觀、更具沖擊力的方式呈現。其次,在影片的創意和設計階段就需考慮是否有必要通過3D 方式來展現情節與內容。影片如適合使用3D 表現,則在場景設計、動作設計、拍攝設備的選擇、景別選取、焦點位置、特效制作等環節都要充分考慮到3D 與2D 的呈現差異,以及如何發揮3D 的技術特點。拍攝時,要對比前期設計,通過現場3D 拍攝效果監看,再調整拍攝的視差或畫面構圖。而從 《阿凡達:水之道》CINITY 技術演示研討會上釋放出的演示片段來看,正是很好地詮釋了這一點。片段中對戰斗場面的呈現,在打斗間穿插的對話與表現角色情緒的特寫鏡頭,在交待劇情的同時又有效緩解了連續的3D 打斗場景以避免給觀影者造成不適感。

相比13年前《阿凡達》系列第一部,《阿凡達:水之道》在3D 拍攝與制作方面都有了長足發展。據悉,此次《阿凡達:水之道》的3D 拍攝使用了多個索尼全畫幅Venice數字攝影機,索尼為滿足卡梅隆導演對《阿凡達》系列影片后續的開發需求專門定制了獨特的擴展系統,可使光學模塊與攝影機機身分離最遠達到20 英尺 (6 米多)。而通過Blackmagic的轉換盒從索尼Venice攝影機獲取的拍攝信號,將根據不同SDR/HDR、2K/4K、24FPS/48FPS的需求,轉換成各種組合以進行現場3D 監看。除此之外,據已公開的信息,為完成水下3D攝影,水下3D 拍攝系統和適用鏡頭的開發、水下拍攝效果監看的實現也成為重要的技術突破點。從演示片段中的水場景來看,也確實全面地展示出3D技術與水的自然效果在該片中的高度結合。同時,高幀率的應用也成為減少閃爍與抖動等影響3D 效果的有效手段。

作為3D 技術的引領者,卡梅隆導演深刻理解這項技術,知道如何利用3D 為故事服務,創造更豐富、更真實的觀影體驗。此次《阿凡達:水之道》勢必又將是一部通過創新技術的展現令人耳目一新的作品。

3 高幀率技術的發展與應用

《阿凡達:水之道》的另一大亮點則是對高幀率的應用,該片已知使用48FPS拍攝。高幀率的運用是近些年備受關注的話題,對這方面的探索走得最遠的無疑是李安導演,2016年 《比利·林恩的中場戰事》和2019年的《雙子殺手》,突破性地使用了高幀率技術,使其一躍成為了新的技術高點。卡梅隆導演表示此次高幀率在 《阿凡達:水之道》中的應用,將“成為減少閃爍與抖動等影響該片3D 效果問題的有效手段”。

3.1 高幀率給影片放映帶來的效果提升

與傳統24FPS 相比,高幀率影片優勢非常明顯,高幀率將電影每秒的信息量提高到數倍,大幅減少影片運動鏡頭的模糊和抖動,能使畫面更流暢、更清晰,讓觀眾觀影時減少由于畫面模糊、卡頓和抖動帶來的不適感,避免出戲,使觀眾更好地沉浸到故事之中。在穩定與流暢的基礎上,高幀率在相同時長內呈現出了更多內容細節。以李安導演 《比利·林恩的中場戰事》中的鏡頭為例,高幀率的運用將男主角在戰場上因極度恐懼產生的緊張感,通過面部肌肉的僵硬和無法自控的顫抖高度還原給觀眾(圖1)。而《雙子殺手》中男主角瞄準高速運動的列車車廂,對目前人物進行射殺的場景,也成為體現高幀率豐富了畫面細節的代表鏡頭之一 (圖2)。在《阿凡達:水之道》的演示片段里,也能清楚感受到在水下、戰斗等場景中,運用4K、48FPS帶來的在畫面連貫性和清晰度上的優勢。

圖1 影片 《比利·林恩的中場戰事》一秒鐘分鏡示意圖

圖2 影片 《雙子殺手》中場景

3.2 高幀率應用如何與創作更緊密結合仍待深入探索

雖然幀率提升對電影呈現有有利的一面,但也有觀點指出,過于清晰、過于流暢的畫面,會失去電影感。什么是“電影感”一直是業界爭論的話題,這其中既涉及藝術的突破又離不開技術的支撐。從黑白到彩色、從無聲到有聲、從膠片到數字,電影百年的魅力在于帶來了無限的可能,創造了無限的想象空間,在藝術與技術相互促進的每個發展階段,對“電影感”的理解都應是不同的。能夠帶給觀眾更美、更真實、更舒適的觀感就是我們一直追求的“電影感”,因此觀眾的接受度才是真正評判一部電影是否有“電影感”的標準。

電影語言的表達方式多樣且獨特,創作團隊為了表達、烘托創作主旨,往往采用各種手段和方式處理鏡頭畫面,對觀眾進行潛移默化的影響,這就要求影片在使用高幀率制作時,不是一味追求畫面線性的流暢度,同時還要考慮到鏡頭語言的特點。例如,展現力量的鏡頭,怎樣更好保留角色帶來的爆發力和沖擊力;利用高幀率如何更好表現人物情感沖突或突出畫面重心等,這些都要求高幀率的表現方式結合電影內容本身的特點提前進行設計。

3.3 利用人工智能算法實現影片幀率提升

雖然高幀率有可見的優勢,但從前端方案設計、拍攝設備準備到后期制作工藝,高幀率相較傳統24FPS影片在每個流程環節都有不同,因此現階段實拍高幀率影片片源不足仍是很現實的問題。為了在合理控制成本的前提下,解決此問題,使用人工智能技術實現幀率提升成為了過渡期的有效方案。

視頻插幀技術旨在通過對原始視頻序列幀的信息提取、整合及分析,生成中間幀,從而實現對原始幀率進行提升。假設輸入幀序列為 {I0,I1,…,In},則在對 {I0,I1}進行插幀運算時,其過程可以描述為:

其中A (·)為輔助函數,負責提取插幀相關的物理量,如光流、深度、語義信息等;而F (·)為插幀函數,用于整合輔助函數輸出的物理信息,并生成{I0,I1}的中間幀。

插幀算法的本質為對插幀函數進行刻畫擬合,過程比較復雜,傳統算法往往通過添加假設條件和簡化問題的方式對插幀函數進行重構,這樣的估計法會限制算法的泛化性和插幀結果的精確度,難以滿足大銀幕電影的需求。與傳統算法對插幀函數直接建模不同,人工智能技術通過大數據海量學習,對原有幀和中間幀的關系進行數學的刻畫,以得到更優的視覺效果和泛化性。其中,最具代表性的是基于深度卷積神經網絡(Deep Convolutional Neural Network,DCNN)的算法。深度卷積神經網絡在線性分類模型的基礎上,通過卷積對輸入圖像的有效信息進行提取,疊加非線性函數,對復雜的前后關系進行通用建模和刻畫,同時在網絡設計的過程中引入池化層、重采樣層、反卷積層等算子,形成靈活多變的網絡結構,對輸入數據進行高效的提取與整合。基于深度卷積神經網絡的視頻插幀技術,根據輔助函數和插幀方式的不同,可大致分為光流法和卷積法。而目前基于卷積神經網絡的運算模型常見有:

(1)深度感知視頻幀插幀算法 (Depth-Aware Video Frame Interpolation,DAIN),采用深度信息對權重函數進行增強,提升算法精度的同時增強穩定性。

(2)感知視頻中運動加速度的視頻插幀算法(Quadratic Video Interpolation,QVI),在深度感知視頻幀插幀算法基礎上進行了增強。進行中間光流生成時,深度感知視頻幀插幀算法會假設幀間運動為勻速直線運動,這種假設限制了模型的表達能力,在處理復雜運動時會因匹配度不夠而產生負效應。運動加速度的視頻插幀算法通過對多幀運動信息的估計,使用二次模型對幀間運動進行刻畫。即要對 {I0,I1}進行插幀時,需輸入連續四幀I-1,I0,I1,I2,將原插幀函數變形為:

從而增強模型對處理復雜運動的能力,提升插幀精度。

(3)視頻幀插值的實時中間流估計(Real-Time Intermediate Flow Estimation for Video Frame Interpolation,RIEF),與常見采用先做前后、再做中間的光流估計框架不同,視頻幀插值的實時中間流估計是通過對輸入幀的信息提取與整合,直接對中間光流進行估計,有效壓縮了運行時間。

由上述代表性的算法可見,擁有更強學習能力的深度卷積視覺神經網絡配以大量訓練數據,已越來越多的通過定制化開發應用于解決圖像處理、畫質提升、三維重構、虛擬和增強等各類視覺問題中。而與電影行業的結合應用,最關鍵是讓人工智能深度學習與熟悉電影語言表達方式的特點。不同題材影片雖風格迥異,但往往都集合了推、拉、搖、移、旋轉等各種鏡頭運用,同時要需綜合分析畫面中物體交互運動類型、形變情況、遮擋關系、光影變換等因素,加上大銀幕充分展現畫面每一處細節,稍有不準確就會造成不適的觀影體驗,因此對人工智能算法處理幀率提升的精確度要求格外高。對插幀前后畫面焦點虛實及色彩空間的一致性、保證物體邊緣無變形或不完整顯示、畫面內容無非正常閃爍及抖動、運動物體不因幀率提升而產生拖尾及重影,以及畫面內容沒有非常規的運動不同步等指標的要求,依靠開源算法以自動化方式無法滿足需求,是通過定制化開發,并不斷輸入實拍數據集,對算法模型進行訓練、優化與迭代來實現的。

CINITY 制版工藝中的CINITY AMR (CINITY 人工智能母版重制)技術就是在原有CINITY母版制作工藝實現的提高影片對比度、提升動態范圍、色彩增強及重新對影調進行精準映射的基礎上,創新采用人工智能方式對傳統24FPS影片進行的母版重制,在使電影畫面超分至4K 的同時提高了幀率,與CINITY 放映系統技術指標相匹配,讓影片畫面更清晰、色彩更真實、細節更豐富、動作更流暢,為觀眾帶來沉浸式觀影體驗。目前通過CINITY AMR 技術已制作多部高幀率影片,市場反響良好。《阿凡達》第一部也計劃使用人工智能的方式制作高幀率重制版,并在CINITY 影廳展現給觀眾。

通過對人類感知視覺信息過程的不斷模擬、迭代更新和海量數據訓練,人工智能的應用水平將會不斷提高,繼續助力電影級別畫面的超分和幀率變換。

3.4 高幀率實現方式的結合運用

實際拍攝與人工智能插幀運算兩種實現影片高幀率的方式并不沖突,甚至可以結合運用。從創作需要角度出發,通過前期設計,對要重點突出高幀率優勢的場景更多采用實拍方式,而對運動較平緩、固定機位拍攝或不具代表性的場景鏡頭,則可考慮通過人工智能插幀運算方式來實現幀率變換,有效控制各項成本的同時提高制作質量和效率。

4 總結

卡梅隆導演曾說,“我希望人們遺忘技術,就像你在電影院看到的不是銀幕而是真實世界。一切技術的根本目的,是讓人們察覺不到技術的存在。”所有的新技術手段都是在為內容服務,不論3D、高幀率還是其他高新技術,歸根結底是為更極致地還原創作者本身的意圖,更具沖擊力地傳達給觀眾創作的主旨,引起共鳴。對于 《阿凡達》系列的探討,其實早已超越了電影技術和藝術本身的范疇,它引發的思考和帶來的影響力已推動電影產業各方面加速發展升級。相信隨著 《阿凡達:水之道》及其他國內外重磅大片的上映,電影行業也必將在高新技術發展和藝術創作領域都得到跨越式的提升,尤其在3D 技術與高幀率技術方面,將會得到進一步的發展與應用。