黑白老電影上色標(biāo)準(zhǔn)化流程研究

胡曉彬 孫 帆 黎 濤

(中國(guó)電影資料館,北京 100082)

1 引言

歷史的車輪滾滾向前,為我們留下了許多珍貴的影片。遺憾的是,限于當(dāng)時(shí)的技術(shù),以往很多珍貴的影像都是黑白的。相比于黑白圖像,人眼對(duì)彩色圖像更敏感,如果能將黑白影像著色為彩色影像,不僅能提高影像本身的價(jià)值,也會(huì)大大提升影片的視覺(jué)效果。除此之外,一些珍貴的黑白老電影具有重要的歷史意義,將其進(jìn)行修復(fù)和上色,不僅能夠使觀眾欣賞到更精彩的畫(huà)面,也能夠更好地發(fā)揮經(jīng)典黑白老電影的歷史價(jià)值。

目前,傳統(tǒng)的黑白電影上色是應(yīng)用視頻處理軟件一幀一幀進(jìn)行修復(fù)和色彩填充,工作量大,耗時(shí)耗力,且對(duì)修復(fù)人員的專業(yè)性具有較高的要求。同時(shí),人工修復(fù)上色的方法存在大量的重復(fù)性工作。實(shí)際上,即便一部影片連續(xù)多幀的變化不大,但是對(duì)于修復(fù)人員來(lái)說(shuō),仍需要針對(duì)每一幀從黑白圖像開(kāi)始,重復(fù)上色工作。因此這種傳統(tǒng)的人工上色方法難以快速實(shí)現(xiàn)一整部黑白電影的上色任務(wù)。機(jī)器學(xué)習(xí)的興起使得通過(guò)人工智能(AI)進(jìn)行黑白老電影的上色成為可能。在人工智能時(shí)代,經(jīng)典老電影將有可能重現(xiàn)光彩,讓影片中的人物重新煥發(fā)出生命力。計(jì)算機(jī)通過(guò)學(xué)習(xí)上色的規(guī)則,可以自動(dòng)、批量地完成黑白老電影上色的任務(wù),解放了人力,提升了成片的速度,當(dāng)前已有一些相應(yīng)的研究成果,能夠完成利用人工智能進(jìn)行電影上色的任務(wù):趙紹良等人提出了一種卷積網(wǎng)絡(luò)的灰度圖像自動(dòng)上色方法;呂李娜等人提出了一種改進(jìn)后的生成對(duì)抗網(wǎng)絡(luò)的圖像上色方法,使圖片著色質(zhì)量有較大的提升;蔣文杰等人在生成器中添加自注意力機(jī)制,使輸出圖像色彩變得更多樣;李炬提出了一種人臉灰度圖上色模型,模型的輸入為人臉灰度圖,輸出為子通道的彩色圖像,在判別部分的輸出端給出生成圖像質(zhì)量的評(píng)價(jià)。

國(guó)外研究者針對(duì)如何提升人工智能的上色效果也提出了不同的解決方案。Aditya Deshpande 等人選擇了變分自動(dòng)編碼器(VAE)模型,考慮了像素顏色的不均勻分布,他們建立了灰度圖像和色域嵌入之間多峰分布的條件模型,此條件模型中的樣本會(huì)產(chǎn)生不同的顏色;Yuji Morimoto等人提出了一種利用從Web上采集的多幅圖像進(jìn)行全自動(dòng)彩色化的方法,該方法利用場(chǎng)景結(jié)構(gòu)的信息,從輸入的單色圖像中生成各種自然的彩色圖像;Guillaume Charpiat等人整體考慮整個(gè)待上色圖片,評(píng)估每個(gè)像素所有可能的顏色概率分布,而不是在局部選擇最可能的顏色;Tomihisa Welsh 等人通過(guò)在源彩色圖像和目標(biāo)灰度圖像之間傳輸顏色來(lái)“著色”灰度圖像,通過(guò)匹配圖像之間的亮度和紋理信息將源的整個(gè)顏色“mood”轉(zhuǎn)移到目標(biāo)圖像,僅傳輸色度信息并保留目標(biāo)圖像的原始亮度值;Raj Kumar Gupta等人提出了一種基于實(shí)例的灰度圖像著色方法,用戶只需要輸入一個(gè)語(yǔ)義上與目標(biāo)圖像相似的參考彩色圖像,從這些圖像中提取超像素分辨率的特征,并利用這些特征來(lái)指導(dǎo)著色過(guò)程。

雖然人工智能技術(shù)的應(yīng)用能夠?qū)崿F(xiàn)將黑白照片轉(zhuǎn)換為彩色的功能,但是黑白老電影上色的任務(wù)是一個(gè)更復(fù)雜的工程問(wèn)題,有諸多問(wèn)題需要解決,單一依靠手工或者人工智能技術(shù)都無(wú)法很好地完成這項(xiàng)任務(wù)。目前已有的一些黑白轉(zhuǎn)彩色影片或多或少都存在缺陷,大部分無(wú)法達(dá)到在大銀幕上映的需求。本文基于影片《永不消逝的電波》修復(fù)、上色并在大銀幕上映的成功經(jīng)驗(yàn),探討總結(jié)了黑白老電影上色的標(biāo)準(zhǔn)化流程。

2 黑白老電影上色標(biāo)準(zhǔn)化流程

本章節(jié)針對(duì)黑白老電影上色,并達(dá)到大銀幕上映的要求這一任務(wù)進(jìn)行探討和研究,總結(jié)了完成這一任務(wù)所需要的處理步驟,以及一整套的標(biāo)準(zhǔn)化流程。

電影級(jí)的黑白上色任務(wù)是一項(xiàng)系統(tǒng)化的工程,需要經(jīng)歷:畫(huà)面修復(fù)、底色預(yù)處理、人工考證色彩修正、基于參考的糾正上色、人工調(diào)色等過(guò)程。

2.1 畫(huà)面修復(fù)

膠片數(shù)字化后并不能直接用于上色,需要進(jìn)行前期的畫(huà)面修復(fù)。作為整個(gè)上色流程的第一步,畫(huà)面修復(fù)對(duì)數(shù)字化影片的修復(fù)工作尤為重要。數(shù)字化后的影片存在諸多的缺陷,例如褪色不均勻、劃痕、臟點(diǎn)等,如果這些缺陷在第一步不進(jìn)行修復(fù)和改善,將持續(xù)到后續(xù)的步驟,直接影響最終的上色效果。因此,在整個(gè)上色流程的第一步,需要人工對(duì)待數(shù)字化后的上色影片畫(huà)面進(jìn)行質(zhì)量檢查,同時(shí)對(duì)于存在缺陷的畫(huà)面進(jìn)行修復(fù),保證用于后續(xù)步驟的影片的質(zhì)量。

首先對(duì)畫(huà)面進(jìn)行質(zhì)量檢查,其目的是確定影片需要修復(fù)的問(wèn)題,以便找出最佳的修復(fù)方法。通過(guò)畫(huà)面質(zhì)量檢查,可將影片分為A、B、C 三個(gè)等級(jí):A 級(jí)影片畫(huà)面質(zhì)量較好,有輕微臟點(diǎn)、劃痕、閃爍問(wèn)題;B級(jí)影片畫(huà)面質(zhì)量一般,有大量臟點(diǎn)、劃痕、閃爍、抖動(dòng)、輕微霉斑等問(wèn)題;C 級(jí)影片畫(huà)面質(zhì)量較差,有大量臟點(diǎn)、劃痕、閃爍、抖動(dòng)、霉斑、撕裂等問(wèn)題。

不同等級(jí)的影片可根據(jù)不同的損傷程度,制定不同的修復(fù)計(jì)劃:A 級(jí)影片畫(huà)面質(zhì)量較好,應(yīng)以AI修復(fù)為主,結(jié)合手動(dòng)修復(fù),畫(huà)面修復(fù)周期為1～2周;B級(jí)影片畫(huà)面質(zhì)量一般,可使用AI修復(fù)解決臟點(diǎn)、劃痕、抖動(dòng)、閃爍等問(wèn)題,手動(dòng)修復(fù)解決霉斑等問(wèn)題,畫(huà)面修復(fù)周期為4～5周;C級(jí)影片畫(huà)面質(zhì)量較差,應(yīng)以手動(dòng)修復(fù)為主,適當(dāng)結(jié)合AI修復(fù),對(duì)疑難問(wèn)題集中解決,畫(huà)面修復(fù)周期為7～8周。

圖1 畫(huà)面修復(fù)前后對(duì)比

以影片《永不消逝的電波》為例,原版影片于1958年上映,膠片保存質(zhì)量較好。但是隨著時(shí)間的流逝,膠片上產(chǎn)生了臟點(diǎn)、劃痕、抖動(dòng)、閃爍等問(wèn)題,且膠片褪色,整體偏紅,影響觀感。經(jīng)過(guò)畫(huà)面質(zhì)量鑒定,確定為B 級(jí)。修復(fù)師通過(guò)AI算法,解決畫(huà)面上大部分的臟點(diǎn)、劃痕、閃爍、抖動(dòng)等問(wèn)題,再通過(guò)手動(dòng)修復(fù),將AI算法處理不好的問(wèn)題,例如移動(dòng)鏡頭、下雨鏡頭等,一幀一幀進(jìn)行完善,通過(guò)反復(fù)觀看、檢查、修改,最終完成畫(huà)面修復(fù)工作。修復(fù)完成的畫(huà)面清晰,無(wú)臟點(diǎn)、劃痕問(wèn)題,畫(huà)面層次豐富,有空間感。

除了膠片損傷,畫(huà)面修復(fù)還應(yīng)對(duì)由于拍攝條件限制造成的問(wèn)題進(jìn)行修復(fù)。在影片《永不消逝的電波》中主人公李俠出獄后的一場(chǎng)室內(nèi)戲,人物的服飾為冬季服飾,可判定劇情發(fā)生時(shí)的環(huán)境設(shè)定為冬天,而畫(huà)面中李俠的衣服上出現(xiàn)了一只蒼蠅,這是不符合故事背景的。或許是當(dāng)時(shí)拍攝沒(méi)有注意到這個(gè)細(xì)節(jié),或許是當(dāng)時(shí)膠片成本太高,沒(méi)有進(jìn)行重拍,我們無(wú)從考證,但是現(xiàn)有的畫(huà)面修復(fù)技術(shù)可以把畫(huà)面中的這個(gè)“遺憾”去除。由于畫(huà)面中的蒼蠅或紋絲不動(dòng),或有合理的運(yùn)動(dòng)軌跡,AI不能將其判定為臟點(diǎn)進(jìn)行自動(dòng)修復(fù),需要修復(fù)師采用前后幀克隆的方法,將畫(huà)面中蒼蠅的位置替換為原本的衣服。在替換時(shí)也要充分考慮衣服的紋理,要嚴(yán)絲合縫,不能出現(xiàn)錯(cuò)位。圖2展示了男主人公李俠衣服下擺處蒼蠅處理前后的效果。

圖2 畫(huà)面修復(fù)前后對(duì)比圖片

畫(huà)面修復(fù)工藝的驗(yàn)收標(biāo)準(zhǔn):

(1)畫(huà)面圖像分辨率、圖像量化深度與原始數(shù)據(jù)保持一致;

(2)修復(fù)完成的幀數(shù)與原始數(shù)據(jù)幀數(shù)保持一致;

(3)修復(fù)完成畫(huà)損傷程度較修復(fù)前顯著降低,無(wú)臟點(diǎn)、劃痕、黑幀等問(wèn)題,無(wú)明顯閃爍、抖動(dòng)現(xiàn)象,無(wú)明顯霉斑、干燥斑、鏡頭接頭等問(wèn)題;

(4)畫(huà)面細(xì)節(jié)清晰,無(wú)焦點(diǎn)不實(shí)、過(guò)度平滑濾波等現(xiàn)象;

(5)畫(huà)面穩(wěn)定連貫、無(wú)明顯抖動(dòng);

(6)無(wú)因修復(fù)對(duì)畫(huà)面造成的二次損傷現(xiàn)象。

2.2 底色預(yù)處理

完成畫(huà)面修復(fù)之后需要對(duì)黑白影片進(jìn)行預(yù)上色,本文選擇生成式對(duì)抗網(wǎng)絡(luò)(GAN,Generative Adversarial Networks)模型來(lái)完成預(yù)上色步驟。這一環(huán)節(jié)中,需要建立針對(duì)待上色影片的訓(xùn)練數(shù)據(jù)集,根據(jù)影片拍攝的年代、出現(xiàn)的物品、影片場(chǎng)景等諸多內(nèi)容分門別類地建立相應(yīng)的數(shù)據(jù)集來(lái)進(jìn)行模型的訓(xùn)練。如圖3所示,影片《永不消逝的電波》根據(jù)不同場(chǎng)景分成141段,針對(duì)不同的片段建立141個(gè)訓(xùn)練集。

圖3 影片場(chǎng)景劃分示例圖

為符合電影的年代感,訓(xùn)練數(shù)據(jù)同時(shí)還增加了來(lái)自同年代彩色故事片,同題材、同導(dǎo)演的影片。完成訓(xùn)練后可以對(duì)整部影片進(jìn)行預(yù)上色,其主要目的是為后續(xù)的上色工作提供參考和人工修復(fù)所需要的底色。例如,影片《永不消逝的電波》開(kāi)場(chǎng)便是革命根據(jù)地延安的外景,訓(xùn)練集為此增加大量延安外景素材形成延安外景模型,圖4為延安外景經(jīng)過(guò)模型處理后的效果。

圖4 底色預(yù)處理前后對(duì)比

2.3 人工考證色彩修正

通過(guò)機(jī)器學(xué)習(xí)的算法進(jìn)行自動(dòng)上色是存在一定局限性的。一般自動(dòng)上色模型只能夠根據(jù)訓(xùn)練數(shù)據(jù)中的顏色對(duì)黑白影片進(jìn)行上色。而真實(shí)的影片中,場(chǎng)景多且復(fù)雜,機(jī)器難以學(xué)習(xí)到全部細(xì)節(jié),預(yù)上色的效果有時(shí)不能符合特定場(chǎng)景色彩需求,存在色彩選擇錯(cuò)誤、單調(diào)等問(wèn)題。這就需要人工進(jìn)行史料的調(diào)研和考證為其確定正確的色彩,例如針對(duì)影片拍攝年代的建筑、服裝、室內(nèi)裝飾、特殊物品等。人工史料調(diào)研和考證是黑白老電影上色最重要的環(huán)節(jié),尤其是畫(huà)面中出現(xiàn)軍裝、軍旗等有明確可考證的元素,需要考證人員認(rèn)真負(fù)責(zé)查閱各類書(shū)籍,聯(lián)系史料專家進(jìn)行交流和探討,確保色彩還原準(zhǔn)確。考證人員需要對(duì)影片中的畫(huà)面了然于胸,深入了解影片的故事背景和拍攝背景,往往耗費(fèi)數(shù)月的時(shí)間,才能對(duì)影片中的色彩做出正確判斷。因此,流程的第三步需要進(jìn)行人工考證,來(lái)確定正確的顏色。圖5以老上海建筑為例,展示了通過(guò)歷史資料考證的方法,來(lái)確定的正確顏色。

圖5 關(guān)于影片中出現(xiàn)的上海街景的色彩考證

2.4 基于參考的糾正上色

完成色彩修正之后,本文通過(guò)下述網(wǎng)絡(luò)進(jìn)行基于參考的糾正上色,也就是將人工修正后的影片作為參考,有目的地引導(dǎo)模型進(jìn)行正確上色,在預(yù)上色的基礎(chǔ)上,修改某些錯(cuò)誤的顏色。本文所使用的黑白電影上色任務(wù)的網(wǎng)絡(luò)的模型架構(gòu)如圖6 所示,由兩個(gè)可訓(xùn)練的部分組成:預(yù)處理網(wǎng)絡(luò)和參考網(wǎng)絡(luò)。預(yù)處理網(wǎng)絡(luò)主要由卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)構(gòu)成,通過(guò)共享參數(shù)的卷積核在訓(xùn)練網(wǎng)絡(luò)中不斷地移動(dòng),提取特征信息,得到輸入數(shù)據(jù)的高級(jí)特征。同時(shí),為了提高網(wǎng)絡(luò)的特征提取能力,使用殘差網(wǎng)絡(luò)(Residual Network)加深神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù),最終通過(guò)模型中的色彩生成網(wǎng)絡(luò)可以生成針對(duì)黑白輸入圖片的彩色圖片。參考網(wǎng)絡(luò)則接受通過(guò)人工完成的已上色的關(guān)鍵幀作為輸入,經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)處理產(chǎn)生具有顏色高級(jí)語(yǔ)義的特征向量。與預(yù)處理網(wǎng)絡(luò)一樣,該模型基于編碼器/解碼器架構(gòu)。參考網(wǎng)絡(luò)核心是將作為參考的彩色關(guān)鍵幀進(jìn)行特征的提出,通過(guò)與預(yù)處理網(wǎng)絡(luò)融合,實(shí)現(xiàn)對(duì)其進(jìn)行上色指導(dǎo)。

圖6 基于參考的糾正上色模型架構(gòu)

2.5 人工調(diào)色

通過(guò)以上步驟,可以做到將黑白影像轉(zhuǎn)為彩色影像,但距將這些影像搬上大銀幕還遠(yuǎn)遠(yuǎn)不夠。電影中的每一幀畫(huà)面,都是由導(dǎo)演、攝影、燈光、美術(shù)等諸多電影人精心設(shè)計(jì)安排的,畫(huà)面時(shí)而豐富多彩,時(shí)而簡(jiǎn)單靜謐,光影變化、色調(diào)風(fēng)格都十分精妙。而人工智能轉(zhuǎn)換的影片色彩往往較為生硬、單調(diào),不能夠滿足我們對(duì)彩色電影的要求。所以我們?cè)谧詈笠徊揭熬窦?xì)琢”,即對(duì)上色完成的影像進(jìn)行優(yōu)化與調(diào)整。這一步驟主要分為以下幾個(gè)方面:

圖7 上色細(xì)節(jié)修正對(duì)比

(1)上色細(xì)節(jié)的修正。在上一步驟完成的上色影片中可能存在一些缺陷,在某些細(xì)小的地方上色效果不理想,例如手指、眼白、嘴唇以及場(chǎng)景復(fù)雜或存在人物運(yùn)動(dòng)的鏡頭等,這就需要通過(guò)人工的方式對(duì)這些細(xì)節(jié)進(jìn)行修正。上色細(xì)節(jié)修正可使畫(huà)面更加豐富、精致,尤其是人物的眼睛、服飾等,對(duì)于表達(dá)人物性格、塑造人物形象起到極大的作用。如圖7所示,在經(jīng)細(xì)節(jié)修正過(guò)程中,將人物的眼睛、嘴唇、首飾進(jìn)行了處理,使畫(huà)面更加豐富、有層次,人物的眼神明亮,妝容漂亮干凈,塑造出地下工作人員正面、堅(jiān)定、機(jī)智的人物形象。

(2)光影的調(diào)整。通過(guò)人工智能的方法進(jìn)行上色,原始影片的光影效果會(huì)被減弱,造成上色結(jié)果色彩死板,缺乏光影變化的問(wèn)題。這就需要通過(guò)人工調(diào)色的方法對(duì)畫(huà)面光線進(jìn)行調(diào)整,使畫(huà)面更具有空間感和層次感。如圖8所示,為了安全隱蔽傳遞情報(bào),影片主人公李俠是深夜在閣樓中工作,通過(guò)光線的調(diào)整,使畫(huà)面亮度降低,營(yíng)造出深夜閣樓隱蔽、幽暗的環(huán)境。

圖8 光影調(diào)整對(duì)此

圖9 人工調(diào)色展示

(3)色彩調(diào)整。在符合歷史史實(shí)的前提下,對(duì)于色彩的選擇還需要兼顧美學(xué)。通過(guò)人工智能的方法上色出來(lái)的色彩會(huì)存在畫(huà)面色彩單一、突兀、不連貫等問(wèn)題,需要通過(guò)調(diào)色的手法,對(duì)整體畫(huà)面色彩進(jìn)行調(diào)整。根據(jù)人物性格、服裝材質(zhì)對(duì)同鏡頭中不同人物的服飾顏色進(jìn)行調(diào)整,采用不同色彩,使畫(huà)面色彩更加豐富。對(duì)鏡頭中人物或者物體的顏色進(jìn)行色相、明度、飽和度的調(diào)整,使之與整體畫(huà)面色彩協(xié)調(diào)。對(duì)于鏡頭前后色彩不統(tǒng)一、不連貫的鏡頭,通過(guò)調(diào)色的方式也可以將色彩進(jìn)行調(diào)整,使色調(diào)統(tǒng)一、連貫,使影片達(dá)到最佳的觀看效果。圖9展示了人工調(diào)色的例子。

通過(guò)上述步驟,才能夠真正完成黑白老電影上色任務(wù)。簡(jiǎn)單的人工智能方法的應(yīng)用無(wú)法達(dá)到大銀幕上映的要求,需要一整套的制作流程,在人工指導(dǎo)的前提下,結(jié)合人工智能的方法才能夠滿足黑白老電影上色的要求。圖10展示了最終的上色結(jié)果。

圖10 上色前后展示對(duì)比

2.6 黑白老電影上色的驗(yàn)收標(biāo)準(zhǔn)

當(dāng)下電影技術(shù)的發(fā)展日新月異,我們?cè)诰W(wǎng)絡(luò)上也能看到很多黑白影片上色的視頻資料,這些視頻多以紀(jì)錄片為主,展現(xiàn)過(guò)去的人文歷史、生活風(fēng)貌。而對(duì)這些視頻的上色引起了廣泛的社會(huì)關(guān)注,網(wǎng)友紛紛表示上色后的影像更加真實(shí),仿佛回到過(guò)去。然而這些上色后的視頻在網(wǎng)上播放與黑白老電影上色是完全不同的概念,觀眾對(duì)于電影的要求往往更加嚴(yán)格。

黑白老電影上色并不是使用AI人工智能算法計(jì)算一遍就算完成了,要達(dá)到目前針對(duì)上映電影的技術(shù)標(biāo)準(zhǔn),同時(shí)滿足觀眾對(duì)電影的要求和需求,需要嚴(yán)格對(duì)上色完成的畫(huà)面進(jìn)行審查,不能出現(xiàn)可考證元素色彩錯(cuò)誤、上色完成的畫(huà)面閃爍、抖動(dòng)等問(wèn)題。

本文總結(jié)影片《永不消逝的電波》黑白轉(zhuǎn)彩色修復(fù)過(guò)程中遇到的問(wèn)題,總結(jié)出以下驗(yàn)收標(biāo)準(zhǔn):

(1)上色完成的畫(huà)面分辨率、圖像量化深度與原始數(shù)據(jù)保持一致;

(2)修復(fù)完成的幀數(shù)與原始數(shù)據(jù)幀數(shù)保持一致;

(3)上色色彩還原準(zhǔn)確,尤其是影片中可考證的元素還原準(zhǔn)確;

(4)色彩穩(wěn)定,不能出現(xiàn)色彩閃爍、花幀等情況;

(5)色彩邊界清晰,不能出現(xiàn)溢色等情況;

(6)畫(huà)面細(xì)節(jié)清晰、無(wú)焦點(diǎn)不實(shí)、過(guò)度平滑濾波等現(xiàn)象;

(7)無(wú)因上色對(duì)畫(huà)面造成的二次損傷現(xiàn)象。

3 結(jié)論

本文針對(duì)黑白老電影上色這一任務(wù),探討研究了實(shí)現(xiàn)這一任務(wù)的標(biāo)準(zhǔn)化流程。當(dāng)前存在一些影片黑白轉(zhuǎn)彩色缺乏規(guī)范化的制作要求,最終成片質(zhì)量參差不齊。本文所提出的流程綜合考慮了影片從膠片轉(zhuǎn)數(shù)字化開(kāi)始到最終成片各個(gè)環(huán)節(jié),明確每個(gè)步驟所需要解決的問(wèn)題,最終得到高質(zhì)量的彩色影片。