淺析基于機(jī)器學(xué)習(xí)的威亞擦除技術(shù)

顧春華 丁友東

(1.上海電影藝術(shù)學(xué)院,上海 201203)

(2.上海大學(xué)上海電影學(xué)院,上海 201203)

1 引言

近年來,得益于大數(shù)據(jù)的應(yīng)用、算法的發(fā)展以及計(jì)算機(jī)處理能力的提升,“機(jī)器學(xué)習(xí)”已經(jīng)被廣泛應(yīng)用于計(jì)算機(jī)視覺處理、影視視效輔助制作、自然語言語音識(shí)別和游戲制作等領(lǐng)域。這里所指的“機(jī)器學(xué)習(xí)”主要包含三個(gè)方面,即機(jī)器學(xué)習(xí) (Machine Learning,ML)、深度學(xué)習(xí) (Deep Learning,DL)和人工智能 (Artificial Intelligence,AI)。機(jī)器學(xué)習(xí)是人工智能的子集。所謂機(jī)器學(xué)習(xí)是指通過海量樣本數(shù)據(jù)的訓(xùn)練,基于人工神經(jīng)網(wǎng)絡(luò)計(jì)算框架,使計(jì)算機(jī)能夠勝任通常需要人類智能才能完成的高度復(fù)雜工作。其中,深度學(xué)習(xí)可被理解為實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種技術(shù),是機(jī)器學(xué)習(xí)的子集,如圖1所示。

圖1 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能的關(guān)系圖①

影視后期制作是勞動(dòng)密集型產(chǎn)業(yè),在視效制作過程中存有大量工作強(qiáng)度大、重復(fù)性操作高、占用時(shí)間長(zhǎng)的工作,這對(duì)于數(shù)字合成而言更是如此。在實(shí)際制作中,數(shù)字合成師大量的時(shí)間和精力會(huì)耗費(fèi)在對(duì)鏡頭的摳像與擦除等基礎(chǔ)工作之上。然而,摳像與擦除工作看似重復(fù)但又并非簡(jiǎn)單。一位合格的數(shù)字合成師,往往需要經(jīng)歷兩年或以上摳像和擦除基本功的鍛煉及相關(guān)職業(yè)培訓(xùn)才能達(dá)到影視級(jí)鏡頭制作要求。與此同時(shí),機(jī)器學(xué)習(xí)的發(fā)展似乎讓人們看到了未來數(shù)字合成師的工作狀態(tài):簡(jiǎn)單耗時(shí)和重復(fù)操作的工作交付機(jī)器進(jìn)行輔助制作,數(shù)字合成師將更加專注于故事的述說、情感的表達(dá)與畫面的美感設(shè)計(jì)。

目前,機(jī)器學(xué)習(xí)在影視視效領(lǐng)域較為成熟的案例有:Adobe After Effects軟件中的內(nèi)容識(shí)別填充(Content-Aware Fill),Topaz Labs公司基于先進(jìn)人工智能技術(shù)開發(fā)的Topaz Bundle 工具包,基于Nuke平臺(tái)的機(jī)器學(xué)習(xí)輔助自動(dòng)摳像工具Rotobot,Autodesk公司在Flame2020中的深度估算和人臉法線估算以及Nuke13中新增的CopyCat機(jī)器學(xué)習(xí)工具集等。可以看到,人工智能在影視視效領(lǐng)域的研究和應(yīng)用已經(jīng)拉開帷幕。

2 數(shù)字合成中的威亞擦除

數(shù)字合成技術(shù)是指使用后期軟件將實(shí)拍環(huán)節(jié)中無法完成或不夠完美的畫面進(jìn)行再創(chuàng)造的過程。是當(dāng)代影視制作流程中必不可少的環(huán)節(jié),是影視作品中增強(qiáng)畫面表現(xiàn)力,輔助導(dǎo)演對(duì)于效果表達(dá)的重要技術(shù)手段。其中包括:動(dòng)態(tài)蒙版創(chuàng)建、畫面擦除、二維跟蹤、色彩匹配、藍(lán)綠幕摳像、三維攝像機(jī)跟蹤、三維攝像機(jī)投影和三維CGI合成等。威亞擦除是數(shù)字擦除中的重要內(nèi)容,也是影視視效制作的常用手段。

2.1 數(shù)字合成與威亞擦除概述

數(shù)字影視合成技術(shù)可以說是集中體現(xiàn)了當(dāng)下計(jì)算機(jī)視覺與計(jì)算機(jī)圖形圖像學(xué)的前沿技術(shù)。所謂數(shù)字合成 (Digital Compositing)是指將多種不同的原始素材(如實(shí)拍素材、CGI三維渲染素材和照片單幀素材等)無縫地拼接集成為一幅復(fù)合畫面的數(shù)字技術(shù)。數(shù)字合成的目標(biāo)旨在創(chuàng)造無痕視效和視覺奇觀,以使畫面中的各個(gè)元素看起來猶如是從同一攝像機(jī)、同一場(chǎng)景“拍攝”而成的,如圖2所示。

圖2 電影 《少年派的奇幻漂流》鏡頭合成畫面前后對(duì)比

“威亞”是英文單詞“Wire”的音譯,意為吊鋼絲,是拍攝影視特技鏡頭“飛檐走壁”時(shí)常用的方法。鋼絲的一頭綁在演員身上,另一頭穿過定滑輪掌握在拉威亞的人手里,通過或快或慢的收放實(shí)現(xiàn)空中表演,如俯沖、騰飛、跨越等。在數(shù)字合成過程中,數(shù)字合成師需要對(duì)拍攝特技鏡頭時(shí)所使用的威亞進(jìn)行擦除以避免鏡頭畫面的穿幫,從而表現(xiàn)無痕視效或視覺奇觀。數(shù)字影視合成技術(shù)是電影制作流程中的最后一環(huán),也是整個(gè)影視制作流程中最重要的環(huán)節(jié)之一,同電影剪輯一樣,數(shù)字合成技術(shù)同樣享有“化腐朽為神奇”的美譽(yù),如圖3所示。

圖3 數(shù)字合成中的威亞擦除②

2.2 威亞擦除常用技法

與絕大多數(shù)神奇的視覺特效相比,威亞的擦除完全是無痕視效的表現(xiàn)。雖然,威亞的擦除看似僅僅是擦除鏡頭畫面中的一根線而已,但是在實(shí)際的制作過程中,威亞擦除是富有挑戰(zhàn)和難度的。下面,筆者將從2D、3D 以及一些自動(dòng)化輔助擦除工具等方面來解說當(dāng)前影視視效制作過程中威亞擦除的常用技法,如圖4所示。

圖4 數(shù)字合成中威亞擦除常用技法

2.2.1 逐幀擦除法

所謂“逐幀擦除法”是指使用擦除工具或筆刷工具將每一幀畫面中的威亞進(jìn)行擦除。對(duì)單幀圖片中的威亞進(jìn)行擦除是一件非常容易的事,但是當(dāng)我們對(duì)鏡頭序列幀中的每一幀畫面進(jìn)行威亞擦除并達(dá)到影視級(jí)制作要求,這其實(shí)是一件非常具有難度的工作。因?yàn)槭褂弥饚脸ㄟM(jìn)行威亞擦除一方面需要消耗數(shù)字合成師大量的時(shí)間和精力進(jìn)行重復(fù)工作;另一方面,不完美的逐幀擦除還會(huì)引起威亞擦除區(qū)域在播放過程中的抖動(dòng)和跳躍。因此,雖然使用逐幀擦除法能夠解決所有情景下的威亞擦除,但是需要數(shù)字合成師具備較高的技藝與耗費(fèi)較長(zhǎng)的制作時(shí)間。相對(duì)來說,逐幀擦除法較適用于幀數(shù)較少、畫面內(nèi)容快速變化的鏡頭。

2.2.2 二維跟蹤貼片法

所謂“二維跟蹤貼片法”是指在制作過程中首先使用無損擦除的方式創(chuàng)建不含有威亞的“干凈”單幀畫面,然后再通過運(yùn)動(dòng)匹配的方式將“干凈”的貼片補(bǔ)丁畫面疊加合成到原始鏡頭之上以達(dá)到覆蓋擦除的目的。二維跟蹤貼片法是較為常用的威亞擦除技法,一方面通過引入二維跟蹤技術(shù)可以提高鏡頭序列幀的制作效率,另一方面也可以避免逐幀擦除法引起擦除區(qū)域在序列幀播放過程中的抖動(dòng)和跳躍等問題。

與此同時(shí),在有些情況下,除了使用二維跟蹤的技法,數(shù)字合成師還可以使用Stabilize (鏡頭穩(wěn)定)的方法進(jìn)行處理,即首先將威亞擦除的鏡頭畫面進(jìn)行穩(wěn)定;然后再對(duì)穩(wěn)定后的鏡頭進(jìn)行固定區(qū)域的擦除,由于鏡頭已經(jīng)作了穩(wěn)定處理,所以對(duì)序列幀的處理就好比是在處理單幀圖片;最后再將鏡頭穩(wěn)定的逆運(yùn)算返還給已經(jīng)作威亞擦除的序列幀,在運(yùn)動(dòng)數(shù)據(jù)返還過程中,一方面使序列幀的畫面同原始鏡頭保持相同,另一方面也使威亞擦除的數(shù)據(jù)應(yīng)用到運(yùn)動(dòng)的原始鏡頭之上,從而達(dá)到擦除的目的。

2.2.3 借幀擦除法

所謂“借幀擦除法”是指由于攝像機(jī)或演員的運(yùn)動(dòng)造成威亞在序列幀中的位置前后不一,因些可以借助鏡頭序列幀內(nèi)其它幀畫面信息進(jìn)行錯(cuò)幀擦除。相對(duì)來說,借幀擦除法更適合于固定鏡頭的拍攝,對(duì)于運(yùn)動(dòng)鏡頭的威亞擦除,數(shù)字合成師在擦除之前首先需要對(duì)鏡頭進(jìn)行畫面對(duì)位或圖像變形等處理。通常情況下,使用借幀擦除法可以避免擦除過程中的噪點(diǎn)處理。另外,借幀擦除法還可分為借當(dāng)前幀擦除和借其它幀擦除。

2.2.4 三維投影貼片法

所謂“三維投影貼片法”是指在軟件 (Nuke)的三維空間中將鏡頭的場(chǎng)景進(jìn)行重建,通過攝像機(jī)機(jī)反求和攝像機(jī)投影的方式將不含威亞的“干凈”單幀畫面投影到三維場(chǎng)景中的模型上,從而達(dá)到覆蓋擦除的目的。對(duì)于在實(shí)拍過程中,由于攝像機(jī)運(yùn)動(dòng)透視較大而引起較明顯運(yùn)動(dòng)視差的鏡頭,使用常規(guī)的二維跟蹤貼片法會(huì)顯得有些捉襟見肘,此時(shí)可以使用攝像機(jī)投影技術(shù)將威亞進(jìn)行擦除,這樣的處理方式非常高效,但是前提條件是需要提供給數(shù)字合成師較精準(zhǔn)的反求虛擬相機(jī)和三維場(chǎng)景信息。需要注意的是,三維投影貼片法對(duì)于三維場(chǎng)景中模型的空間位置有較高要求。

與些同時(shí),對(duì)于更為復(fù)雜的背景,例如人物走動(dòng)或車流運(yùn)動(dòng),針對(duì)此類鏡頭的威亞擦除,在實(shí)際制作中也會(huì)采用渲染三維背景替換的方式進(jìn)行解決。

2.2.5 自動(dòng)化輔助擦除工具

所謂“自動(dòng)化擦除工具”是指在數(shù)字合成制作過程中,在威亞擦除過程中所常用的插件或工具集。在這里筆者簡(jiǎn)單介紹Matador、Commotion、Furnace、Mokey以及Silhouette。

Matador是Parallax Software公司研發(fā)的一套摳像、繪圖和威亞擦除的革新軟件,主要針對(duì)于當(dāng)時(shí)電視和電影市場(chǎng)。該軟件的核心功能是繪圖擦除、蒙版創(chuàng)建、動(dòng)畫和跟蹤等。在九十年代末到二十世紀(jì)初期間,Matador參與了眾多視效電影的制作。

Commotion 是由工業(yè)光魔視效總監(jiān)Scott Squires研發(fā)的軟件。Commotion 具備作為一款合格的威亞擦除軟件的基本條件:Commotion 中的Spatial Cloning(空間克隆) 可以實(shí)現(xiàn)借當(dāng)前幀進(jìn)行擦除;Commotion中的Temporal Cloning(時(shí)間克隆) 可以實(shí)現(xiàn)借其它幀進(jìn)行擦除。

Furnace 是由倫敦的Foundry 公司最初在Flame軟件平臺(tái)上研發(fā)的一個(gè)插件,現(xiàn)在也已經(jīng)是Nuke軟件的內(nèi)置工具集。在使用Furnace進(jìn)行擦除時(shí),數(shù)字合成師只需先定義好威亞的形狀和寬度,即可進(jìn)行威亞的快速擦除。

在威亞擦除過程中,往往伴隨著大量的摳像和跟蹤工作。Mokey系統(tǒng)的問世標(biāo)志著摳圖和擦除技巧邁出了革命性的一步。基于Mokey強(qiáng)大的平面跟蹤技術(shù)可以在三維環(huán)境中跟蹤物體以減少擦除過程中因透視改變而帶來的運(yùn)動(dòng)視差困擾。目前,Mokey已經(jīng)整合到Mocha Pro軟件中。

Silhouette是一款獲得奧斯卡學(xué)院獎(jiǎng)的影視級(jí)視效制作軟件,Silhouette擁有先進(jìn)的Rotoscoping工作流程和非破壞性繪畫工具。目前,該軟件在影視級(jí)摳像和數(shù)字擦除中占有舉足輕重的地位。

2.3 威亞擦除質(zhì)量標(biāo)準(zhǔn)

對(duì)于影視級(jí)的威亞擦除,尤其是電影項(xiàng)目的威亞擦除有著較高的質(zhì)量標(biāo)準(zhǔn)。首先,在制作過程中,數(shù)字合成師需要盡可能地保留原始鏡頭的圖像像素信息,畫面擦除的區(qū)域應(yīng)該僅僅是威亞出現(xiàn)的區(qū)域;其次,在威亞擦除過程中,除了需要注意數(shù)字合成中最為基本的透視匹配、顏色匹配、清晰度匹配和運(yùn)動(dòng)匹配等方面,還需要注意噪點(diǎn)的匹配。在常規(guī)的制作過程中,不管是使用二維跟蹤貼片法還是三維投影貼片法,甚至是逐幀擦除法,都需要在威亞擦除之前首先對(duì)原始鏡頭進(jìn)行Denoise (降噪)處理,威亞擦除完成之后,再對(duì)貼片進(jìn)行ReGrain(噪點(diǎn)匹配)處理;最后,對(duì)于因使用吊威亞拍攝引起的演員衣物拉扯、威亞在鏡頭畫面中的反射、倒影或交互等現(xiàn)象,數(shù)字合成師需要在威亞擦除過程中進(jìn)行圖像變形效果的制作,從而避免因拍攝環(huán)節(jié)使用威亞而引起的鏡頭畫面穿幫。

與此同時(shí),對(duì)于難度較大的威亞擦除鏡頭,數(shù)字合成師往往還需要對(duì)鏡頭畫面中不同區(qū)域的威亞采用不同的技術(shù)手段進(jìn)行單獨(dú)、分區(qū)處理。因此,對(duì)于以像素單元為質(zhì)量檢查標(biāo)準(zhǔn)的影視級(jí)威亞擦除,一位數(shù)字合成師花費(fèi)數(shù)周時(shí)間進(jìn)行一個(gè)鏡頭的威亞擦除也就顯得不足為奇。

3 機(jī)器學(xué)習(xí)在圖像修復(fù)和擦除領(lǐng)域的現(xiàn)狀

近年來,圖像修復(fù)和擦除是計(jì)算機(jī)視覺領(lǐng)域研究的一項(xiàng)重要內(nèi)容,其目的是根據(jù)圖像中已知內(nèi)容自動(dòng)地恢復(fù)丟失的內(nèi)容,在圖像編輯、影視特技制作、虛擬現(xiàn)實(shí)及數(shù)字文化遺產(chǎn)保護(hù)等領(lǐng)域都具有廣泛的應(yīng)用價(jià)值。下面,筆者將圍繞目前較為成熟的“影片修復(fù)”“圖像補(bǔ)全(Image Inpainting)”和“數(shù)字合成軟件中的機(jī)器學(xué)習(xí)工具”等方面對(duì)目前機(jī)器學(xué)習(xí)在圖像修改和擦除領(lǐng)域的現(xiàn)狀作簡(jiǎn)單陳述。

3.1 機(jī)器學(xué)習(xí)與影片修復(fù)

影片修復(fù)主要包括使用人工智能技術(shù)針對(duì)老電影畫面中的臟點(diǎn)、劃痕、閃爍、抖動(dòng)、霉斑、撕裂、噪波等問題進(jìn)行修復(fù)制作。影片修復(fù)和數(shù)字影視合成技術(shù)中的威亞擦除都可以歸類為計(jì)算機(jī)視覺中的自然圖像修復(fù)。在國(guó)內(nèi)學(xué)術(shù)界,針對(duì)老電影修復(fù)中的斑點(diǎn)、劃痕和閃爍等常見問題,已經(jīng)有學(xué)者較早地提出了利用深度學(xué)習(xí)技術(shù)進(jìn)行老電影修復(fù)的新思路和新方法。利用視頻素材在時(shí)間和空間上較強(qiáng)的相關(guān)性和冗余性,通過機(jī)器學(xué)習(xí)技術(shù),依賴預(yù)訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)可以完成有效的圖像修復(fù)。

另外,國(guó)家中影數(shù)字制作基地研發(fā)的“中影·神思”人工智能圖像處理系統(tǒng)在分辨率提升、黑白影片上色、電影調(diào)色輔助等方面有了較為成熟的商業(yè)項(xiàng)目應(yīng)用與實(shí)踐。與此同時(shí),“中影·神思”人工智能圖像處理系統(tǒng)也在高質(zhì)量自動(dòng)摳像、高質(zhì)量威亞擦除和自動(dòng)立體轉(zhuǎn)制等方面開展了相關(guān)研究。

3.2 對(duì)圖像補(bǔ)全的研究概述

隨著近幾年深度學(xué)習(xí)在視覺領(lǐng)域取得的卓越效果,越來越多的圖形學(xué)研究者開始將目光投向深度學(xué)習(xí)。在圖形學(xué)和視覺交叉的領(lǐng)域,一系列問題的研究正在圍繞深度學(xué)習(xí)火熱展開,特別是在圖像編輯 (Image Editing)和圖像生成 (Image Generation)方面都已經(jīng)初見成效。圖像補(bǔ)全正是介于圖像編輯和圖像生成之間的一個(gè)問題。圖像補(bǔ)全最初是一個(gè)傳統(tǒng)圖形學(xué)的問題。問題本身很直觀:在一幅圖像上挖一個(gè)洞,利用圖像其它信息將其補(bǔ)全,并且達(dá)到人眼無法辨別補(bǔ)全的圖像部分的精度。

下面,筆者對(duì)研究學(xué)者在圖像補(bǔ)全領(lǐng)域的研究作簡(jiǎn)單綜述,希望對(duì)基于機(jī)器學(xué)習(xí)的威亞擦除有所借鑒。

(1)2014 年,A.Criminisi,P.P'erez和K.Toyama發(fā)表了論文《Region Filling and Object Removal by E xemplar-Based Image Inpainting》。該文的核心思想是利用圖像本身的冗余性,利用圖像已知部分的信息補(bǔ)全未知部分。但是,這個(gè)方法只適用于補(bǔ)全背景畫面以低頻信息和重復(fù)性紋理為主的圖像。

(2)2017 年,Pathak,Deepak Krahenbuhl和Philipp Donahue等作者發(fā)表了論文 《Context Encoders-Feature Learning by Inpainting》。該文的核心思想是利用卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)圖像中的High-Level Feature (高階特征)并利用這些Feature(特征)來指導(dǎo)圖像缺失部分的生成。文章提出的網(wǎng)絡(luò)結(jié)構(gòu)包括以下三個(gè)部分:Encoder (編碼器)、Channel-Wise Fully-Connected Layer(卷積通道全連接層)以及Decoder(解碼器)。通過將大數(shù)據(jù)和High-Level Feature(高階特征)組合生成缺失部分的圖像信息。

(3)2018年,Yuhang Song,Chao Yang和Zhe Lin 等作者發(fā)表了論文 《Contextual-based Image Inpainting:Infer,Match,and Translate》。該文設(shè)計(jì)了基于深度學(xué)習(xí)的圖片修復(fù)系統(tǒng),可以在圖片缺失區(qū)域推斷出較高質(zhì)量的內(nèi)容和信息。

(4)2018年,Kamyar Nazeri,Eric Ng和Tony Joseph等作者發(fā)表了論文 《EdgeConnect:Generative Image Inpainting with Adversarial Edge Learning》。該論文采用邊緣推斷信息的思路進(jìn)行輔助缺失區(qū)域修復(fù)。

綜上所述,在神經(jīng)網(wǎng)絡(luò)的幫助下圖像補(bǔ)全是計(jì)算機(jī)視覺領(lǐng)域的一大熱點(diǎn)。目前,研究界已經(jīng)實(shí)現(xiàn)了單幀畫面缺失圖像信息的補(bǔ)全功能。這將為深入研究神經(jīng)網(wǎng)絡(luò)對(duì)鏡頭序列幀畫面的自動(dòng)補(bǔ)全技術(shù),利用大數(shù)據(jù)和云計(jì)算等新技術(shù),通過借用同一場(chǎng)次的所有鏡頭畫面信息進(jìn)行威亞擦除提供了一定的思路。

3.3 Adobe After Effects 中的內(nèi)容識(shí)別填充(Content-Aware Fill)功能

Adobe After Effects軟件在其16.1版本后新增了內(nèi)容識(shí)別填充的“一鍵擦除”功能。所謂“一鍵擦除”功能,即基于Adobe人工智能引擎和機(jī)器學(xué)習(xí)技術(shù)去除或替換鏡頭序列幀畫面中不需要的畫面元素。例如出鏡的話筒、入畫的標(biāo)志或穿幫的路人等。在整個(gè)操作過程中,首先,用戶需要使用遮罩指定需要被擦除的區(qū)域;然后,選擇填充模式,目前內(nèi)容識(shí)別填充提供了Object (對(duì)象)、Surface(表面)和Edge Blend (邊緣混合)三種填充模式;最后,執(zhí)行Generate Fill Layer (執(zhí)行生成填充圖層)即可開始渲染填充圖層。另外,針對(duì)畫面內(nèi)容復(fù)雜的鏡頭,用戶還可以在內(nèi)容識(shí)別填充中創(chuàng)建參考幀以幫助內(nèi)容識(shí)別工具提供相關(guān)參考,如圖5所示。

圖5 Adobe After Effects內(nèi)容識(shí)別填充工具窗口界面

通過簡(jiǎn)單的步驟,即可使用內(nèi)容識(shí)別填充工具將以往繁瑣又耗時(shí)的擦除工作輕松地完成。但是,就目前而言,一方面由于內(nèi)容識(shí)別填充工具可調(diào)節(jié)參數(shù)較少,生成填充圖像存有紋理失真和模糊等問題;另一方面由于威亞擦除的質(zhì)量要求較高。因此,目前該工具還不能完全勝任影視級(jí)的威亞擦除,但是可以用于粗合、預(yù)覽或送審等版本的快速制作。

3.4 Nuke13中新增的CopyCat機(jī)器學(xué)習(xí)工具集

Foundry在新發(fā)布的Nuke13 中引入了新的機(jī)器學(xué)習(xí)工具CopyCat工具集,從而真正開啟了基于機(jī)器學(xué)習(xí)的數(shù)字合成工作。該工具允許數(shù)字合成師通過訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)協(xié)助藝術(shù)家完成一些繁瑣的基礎(chǔ)工作,例如Roto 摳像或者畫面修復(fù)。另外,CopyCat工具集可以從鏡頭序列幀中的某幾個(gè)關(guān)鍵幀中學(xué)習(xí)某種數(shù)據(jù),例如Roto摳像、美容修復(fù)或數(shù)字擦除,通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)再將這些數(shù)據(jù)應(yīng)用到整個(gè)鏡頭序列幀中,如圖6所示。

圖6 CopyCat工具集流程示意圖③

在操作過程中,數(shù)字合成師首先提取原始鏡頭參考數(shù)據(jù)。例如,如果想使用Copy Cat工具集進(jìn)行自動(dòng)摳像,數(shù)字合成師首先需要對(duì)鏡頭序列幀中關(guān)鍵的幀進(jìn)行手動(dòng)摳像處理以使CopyCat工具集學(xué)習(xí)鏡頭序列幀中的部分信息;然后添加CopyCat節(jié)點(diǎn)開始訓(xùn)練數(shù)據(jù)并監(jiān)視神經(jīng)網(wǎng)絡(luò);最后再將訓(xùn)練出來的數(shù)據(jù)信息應(yīng)用到整個(gè)鏡頭序列幀,從而實(shí)現(xiàn)自動(dòng)化處理的目的,如圖7所示。

圖7 基于CopyCat機(jī)器學(xué)習(xí)功能進(jìn)行自動(dòng)摳像

基于Nuke 軟件強(qiáng)大而底層的構(gòu)架,結(jié)合CopyCat工具集。除了常規(guī)的Roto摳像、數(shù)字擦除和畫面修復(fù)等工作,相信數(shù)字合成師還可以做更多有趣與高效的創(chuàng)作。雖然仔細(xì)查看CopyCat工具集的自動(dòng)摳像或數(shù)字擦除處理結(jié)果,仍然達(dá)不到質(zhì)量要求。但是,基于CopyCat工具集的處理結(jié)果,結(jié)合數(shù)字合成師的手動(dòng)修復(fù)和優(yōu)化,可以為當(dāng)下制作周期越來越短,視效復(fù)雜程度越來越高的項(xiàng)目起到關(guān)鍵作用。對(duì)于數(shù)字擦除中的威亞擦除亦是如此,雖然現(xiàn)階段的CopyCat工具集還不能完全勝任綜合度較高的威亞自動(dòng)擦除,但是基于CopyCat工具集的處理結(jié)果,數(shù)字合成師可以在此基礎(chǔ)上再手動(dòng)優(yōu)化威亞擦除過程中噪點(diǎn)匹配、衣物拉扯、交互處理、貼片創(chuàng)建和光影匹配等棘手問題,從而加快制作效率。

4 機(jī)器學(xué)習(xí)下的威亞擦除探究

如今基于機(jī)器學(xué)習(xí)的視效制作儼然已經(jīng)成為視效制作流程不可或缺的一部分。在人工智能和計(jì)算機(jī)圖形圖像蓬勃發(fā)展的今天,作為計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)重要應(yīng)用領(lǐng)域的數(shù)字影視技術(shù)必將會(huì)受到機(jī)器學(xué)習(xí)的深刻影響。

4.1 目的與現(xiàn)實(shí)意義

本文將跨界融合數(shù)字影視合成技術(shù)和機(jī)器學(xué)習(xí),以影視數(shù)字影視合成技術(shù)中的自動(dòng)威亞擦除作為機(jī)器學(xué)習(xí)和數(shù)字影視技術(shù)跨界融合的研究對(duì)象。就具體的目的和現(xiàn)實(shí)意義,主要包括以下三個(gè)方面:

第一,基于機(jī)器學(xué)習(xí)的自動(dòng)威亞擦除技術(shù)的設(shè)計(jì)。在影片修復(fù)領(lǐng)域,通過借助計(jì)算機(jī)視覺技術(shù)和機(jī)器學(xué)習(xí)技術(shù),以低秩矩陣重建、時(shí)空全局優(yōu)化和深度學(xué)習(xí)等方法可以高效地解決諸如局部污損清理、褪色閃爍恢復(fù)、丟幀復(fù)原、大面積破損補(bǔ)全、抖動(dòng)修正、黑白轉(zhuǎn)彩色等問題。本文將以采用計(jì)算機(jī)視覺技術(shù)和機(jī)器學(xué)習(xí)技術(shù)下的影片修復(fù)為基礎(chǔ)并以此延伸應(yīng)用于數(shù)字影視合成技術(shù)中的威亞擦除問題。對(duì)于影視視效制作過程中的威亞擦除問題具有一定的參考與借鑒。與此同時(shí),基于當(dāng)下主流合成軟件的機(jī)器學(xué)習(xí)工具集也已對(duì)外發(fā)布。例如,Adobe After Effects 中的內(nèi)容識(shí)別填充和Nuke13 中的CopyCat工具集,這些基于機(jī)器學(xué)習(xí)的工具集聚焦于數(shù)字影視合成領(lǐng)域的數(shù)字擦除和畫面修復(fù)。因此,對(duì)于專注于基于機(jī)器學(xué)習(xí)的威亞擦除研發(fā)與設(shè)計(jì)有一定的基礎(chǔ)與推動(dòng)作用。

第二,探索機(jī)器學(xué)習(xí)在數(shù)字影視合成技術(shù)的更多應(yīng)用。在當(dāng)前數(shù)字影視合成技術(shù)中,仍然存在較多重復(fù)性、純體力的工作。數(shù)字影視合成技術(shù)中的威亞擦除具有重復(fù)操作和目標(biāo)明確等特征,能夠滿足機(jī)器學(xué)習(xí)的基本要求。本文以數(shù)字影視合成技術(shù)中重復(fù)性操作較高的威亞擦除作為機(jī)器學(xué)習(xí)和數(shù)字影視合成跨界融合的突破口。另外,除了本文所研究的威亞擦除外,還包括高質(zhì)量Roto摳像、自動(dòng)化鏡頭畸變?nèi)コc添加、自動(dòng)化鏡頭光暈匹配、自動(dòng)化顏色匹配、自動(dòng)化景深模擬和自動(dòng)化噪點(diǎn)Regrain (噪點(diǎn)匹配)技術(shù)等。筆者相信,機(jī)器學(xué)習(xí)技術(shù)必將輔助數(shù)字合成師進(jìn)行更好地創(chuàng)作,機(jī)器學(xué)習(xí)與數(shù)字影視合成技術(shù)也必將會(huì)擦出更多火花。

第三,促進(jìn)人工智能技術(shù)應(yīng)用于電影視效技術(shù)其它領(lǐng)域。通過本文的研究旨在促進(jìn)機(jī)器學(xué)習(xí)與電影視效技術(shù)的跨界融合。同時(shí),也會(huì)有更多關(guān)于當(dāng)前電影制作中電影視效技術(shù)問題的探討與交流,從而更進(jìn)一步提升中國(guó)電影視效制作水平,推動(dòng)中國(guó)電影走向世界。通過機(jī)器學(xué)習(xí)的許多方面的成功經(jīng)驗(yàn)和嘗試,可以擴(kuò)展出新的想法和思路。因此,將機(jī)器學(xué)習(xí)應(yīng)用于數(shù)字影視技術(shù)在自動(dòng)化、節(jié)省人力成本等方面有許多想象空間,很多操作重復(fù)性、勞動(dòng)密集型的工作都可以經(jīng)由人工智能輔助更高效地完成。例如,自動(dòng)化的數(shù)字繪景輔助系統(tǒng)、自動(dòng)化音頻修復(fù)與增強(qiáng)系統(tǒng)、自動(dòng)化肌肉模擬與毛發(fā)解算系統(tǒng)、自動(dòng)化特效仿真與解算系統(tǒng)等。

4.2 重點(diǎn)與難點(diǎn)

作為類腦計(jì)算領(lǐng)域的一個(gè)重要研究成果,深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用到計(jì)算機(jī)視覺、自然語言處理、信息檢索、語音識(shí)別、語義理解等多個(gè)領(lǐng)域,在工業(yè)界和學(xué)術(shù)界掀起了神經(jīng)網(wǎng)絡(luò)研究的浪潮,促進(jìn)了人工智能的發(fā)展。雖然基于機(jī)器學(xué)習(xí)的人工智能在數(shù)字影視技術(shù)中的研發(fā)和應(yīng)用才剛剛起步,但是這必將是將來影視工業(yè)體系的發(fā)展方向。就目前而言,筆者覺得基于機(jī)器學(xué)習(xí)的威亞擦除仍存有以下幾方面的重要和難點(diǎn):

第一,影視級(jí)威亞擦除的畫面質(zhì)量要求極高。與游戲制作不同的是,影視制作具有犧牲實(shí)時(shí)性換畫質(zhì)的特征。因此,如何提高機(jī)器學(xué)習(xí)的計(jì)算精度,如何提高畫面的質(zhì)量,如何增強(qiáng)機(jī)器與藝術(shù)家的交互將是基于機(jī)器學(xué)習(xí)的威亞擦除的重點(diǎn)和難點(diǎn)之一。

第二,數(shù)字影視合成技術(shù)中的威亞擦除情形不一。正如福樓拜所說,世界上沒有兩粒相同的沙子一樣,數(shù)字合成師在日常工作中所處理的威亞擦除鏡頭千變?nèi)f化。例如,有的威亞遮擋了演員的臉部,有的威亞引起較明顯的衣物拉扯變形,有的威亞與演員頭發(fā)絲存有交互等。因此,威亞在鏡頭序列幀中情形的多樣性和不確定性也是基于機(jī)器學(xué)習(xí)的威亞擦除的難點(diǎn)之一。

第三,影視資產(chǎn)的共享與版權(quán)問題。為了提高機(jī)器學(xué)習(xí)模型的精準(zhǔn)度,往往需要海量、多元的數(shù)據(jù)訓(xùn)練。但是,由于在影視視效制作領(lǐng)域,由于影視資產(chǎn)的版權(quán)保護(hù),很難做到讓機(jī)器學(xué)習(xí)獲得大數(shù)據(jù)的訓(xùn)練,從而制約機(jī)器學(xué)習(xí)模型的精準(zhǔn)度,威亞擦除的鏡頭往往是實(shí)拍類的影片,由于演員的肖像或影片的版權(quán)等因素,基本上很難做到將海量、多樣的威亞擦除素材提供給機(jī)器進(jìn)行開放地學(xué)習(xí)和訓(xùn)練。

4.3 展望

從早期的Matador擦除軟件的研發(fā)到當(dāng)下內(nèi)容識(shí)別填充工具和Nuke13 Copy Cat工具集的應(yīng)用,基于機(jī)器學(xué)習(xí)的數(shù)字合成制作已經(jīng)在路上。與此同時(shí),筆者認(rèn)為基于機(jī)器學(xué)習(xí)的自動(dòng)威亞擦除等工具更多地將會(huì)以插件、節(jié)點(diǎn)或工具包等形式內(nèi)置于當(dāng)前的主要合成軟件中。筆者相信在接下來的版本迭代或新工具集研發(fā)中,基于機(jī)器學(xué)習(xí)的威亞擦除在畫面精度上會(huì)有所提升;機(jī)器與數(shù)字藝術(shù)家引導(dǎo)或非引導(dǎo)式的交互創(chuàng)作過程也將更加友好。

5 結(jié)束語

如何借力人工智能新技術(shù)減少藝術(shù)家的重復(fù)性操作以提高影視制作的效率將是當(dāng)下影視制作研究的重要方向。基于人工智能不是替代藝術(shù)家而是輔助藝術(shù)家的理念,本文研究的領(lǐng)域是基于機(jī)器學(xué)習(xí)的數(shù)字影視合成技術(shù),這具有一定的前瞻性和創(chuàng)新性。本文較系統(tǒng)地介紹了當(dāng)下數(shù)字合成中的威亞擦除基本概念、常用方法與質(zhì)量標(biāo)準(zhǔn),希望對(duì)研發(fā)基于機(jī)器學(xué)習(xí)的威亞擦除系統(tǒng)有所參考。?

注釋

①圖1 來源于https://sivalakshmanan8.medium.com/網(wǎng)站相關(guān)圖片。

②圖3 來源于http://lancevfx.blogspot.com/2016/12/call-ofduty-infinite-warfare-2016.html網(wǎng)站相關(guān)圖片。

③圖6來源于https://www.newvfx.com/forums/topic/82061網(wǎng)站相關(guān)圖片。