基于色彩遷移輔助的數字調色方法研究

陳俊良 顧曉娟

1.北京電影學院中國電影高新技術研究院,北京100088

2.北京電影學院影視技術系,北京100088

1 背景

電影是技術與藝術相結合的產物，藝術帶動技術，技術啟發藝術。隨著技術的發展，電影的制作水準也在不斷提升，觀眾的審美要求日趨嚴格。特別是進入數字時代后，沉浸式觀影體驗已經是現代電影不可或缺的要求。其中，數字調色對電影藝術風格構建和沉浸式體驗的提升起著關鍵性作用。一部優秀的影片往往離不開數字調色的貢獻，配合劇情內容需求，視覺上準確的藝術風格，以及色彩觀感連續的體驗有助于觀眾更好的代入影片，將創作者的思緒和情感傳遞給觀眾，直擊內心。

在數字調色系統中，調色師對于畫面的調整一般分為整體性調整和局部調整。整體性調整一般包含降噪銳化、曝光處理、色彩平衡、色彩風格創建、技術性空間轉換等步驟。局部調整則是對畫面中的某一局部物體，或者顏色范圍分區進行選擇性處理，例如，通過窗口選區、色鍵選區等工具，選擇人臉、服裝等具備語義信息的內容進行調色。調色過程中，色彩風格化創建是影片風格的重要一步。風格化過程是通過參考相關的色彩風格，并對影片色調統一進行整體性色彩調整。這個過程除了對調色師的創造藝術風格的審美要求和調色經驗要求極高，同時也占用較多的時間和精力。

圖1 傳統數字調色流程

圖像色彩風格遷移技術是指從參考圖片將顏色特征遷移到待處理的目標圖片，在目標圖片保持原有內容信息不變的情況下，目標圖片色彩風格與參考圖片相似，得到風格化藝術效果。色彩遷移分為整體圖片風格遷移和局部內容色彩遷移，類似的對應在數字調色的色彩風格創建以及二級區域選擇調色過程。

本文針對調色過程中的色彩風格化制作部分進行研究，探討基于多種色彩遷移算法輔助電影調色制作的方法。在電影調色過程中，該方法能夠保持鏡頭組間的顏色風格一致，并且易于藝術家隨時進行整體風格修改。

2 色彩遷移方法

色彩風格遷移的方法一般包括全局遷移和局部遷移。全局遷移常見的有基于均值、基于直方圖等方法。2001年Erik等[1]首次提出色彩遷移，其由于圖片色彩空間在RGB 空間內通道間關聯性太強，不利于獨立進行遷移變換，因此使用了CIE LAB 色彩空間。LAB是一種基于感知的色彩空間，也是一種正交色彩空間，實現了通道間接耦合分離，在對某一個通道進行變換時，其他通道不會受影響。L 表示亮度，AB 分別表示黃藍通道和紅綠通道?；贚AB 空間再進行色彩遷移，作者將其稱為顏色校正（Colour Correction），對參考圖像和待處理圖像的三通道分別計算其均值和標準差，然后將待處理圖像像素減去對應通道均值后，乘以參考圖像和待處理圖像的標準差比值，最后加上參考圖像的均值并轉回RGB 空間。這種方式在具有明顯的均值差異的情況下，則表現較為明顯，但是對于參考圖像與待處理圖像較為接近的情況，則該方法具有一定局限性。

圖2 Erik等[1]提出的色彩遷移結果

基于此思路，后續Welsh 等[2]在此基礎上提出了隨機采樣匹配方法。其主要應用于灰度圖像彩色化，利用灰度圖的亮度信息，將亮度值進行單獨匹配，使待處理圖像的亮度分布與參考圖像的亮度分布一致。其后使用亮度統計匹配的方式將參考圖片的匹配色度分配給待處理圖片，以完成圖像上色或遷移任務。

除此，Nguyen 等[3]提出一種基于色域（Colour Gamut）的色彩遷移方法，考慮全色域映射技術，不只單獨考慮通道，控制局部范圍內的色彩遷移結果與參考圖像的結果在色域上分布一致。

圖3 Nguyen等[3]提出的基于色域的色彩遷移結果

這些方式對于顏色分布具有較大差異或者較小差異時，往往效果不理想。因此，出現了局部顏色遷移的方法，對畫面進行分區局部操作，再進行合成處理。局部遷移方法中，Tai等[4]使用高斯混合模型，將輸入圖像分解為多個均勻顏色的圖層，其大多數色彩空域使用六種基色的軟顏色混合形成。Hwang 等[5]人提出移動最小二乘的方法進行色彩遷移，但是由于其對于特征點的選擇以及參考圖片的選擇較為嚴格，需要大量的特征點作為控制點，以及需要參考圖片和待處理圖片在同一場景，往往很難達到。

圖4 Hwang等[5]提出的基于移動最小二乘的色彩遷移結果

隨著算力不斷提升以及訓練數據集的不斷豐富，深度學習的發展日趨成熟，基于深度學習的色彩遷移算法應運而生。通過神經網絡，在語義區域分割、色板選擇、色彩遷移等方面有了更多的可能。通過大量樣本的學習，能夠得到更加符合樣本特征的結果。例如，在色彩遷移上，Liu 等[6]提出了一種采用四元數距離度量，同時保證時間一致性感知視頻顏色遷移方法，使得在視頻中幀間一致和減少顏色偽影。Lee等[7]為了解決參考圖片和待處理圖片的風格多樣性限制，提出了一個利用顏色直方圖類比進行顏色遷移的深度神經網絡。直方圖包含圖像的基本顏色信息，通過直方圖之間抽取顏色特征來遷移參考圖像的顏色。這個直方圖參考空域被應用在全局的色彩遷移中，也可以根據語義信息應用于對應區域。

圖5 Lee等[7]基于基于直方圖的色彩遷移結果

Du 等[8]提出一種基于凸包的調色板色彩遷移方法，在基于時空幾何中，采用一個多頂點的4D傾斜多邊形，通過在時間變化過程中進行多邊形切片表示對應的色板，使用廣義的重心坐標插值進行圖片顏色遷移。它們是一類基于色板的色彩遷移方法。

圖6 Du 等[8]提出的基于凸包的色彩遷移結果

對于在局部區域帶語義信息的色彩遷移，區別于全手動的遷移方法，神經網絡基于數據學習后，通過融合用戶提供的多個點顏色提示以及高級語義信息相結合，映射到卷積神經網絡（CNN）中，傳播用戶指定的顏色編輯內容，實現用戶進行著色或者遷移的功能。同時為了引導用戶進行有效的輸入選擇，也可以根據現有的情況提供對應的建議。在白遷移和顏色遷移[11]（Whitening and Colouring Transform，WCT）基礎上，Li等[9]和Chiu等[10]進行改進并實現具有高細節保留的色彩遷移。Zhao 等[12]提出了一種基于學習的圖形設計的照片遷移方法，解決在局部語義內容顏色調整同時保持圖片視覺自然的問題。將參考圖片進行區域預測選擇，并可以選擇性地調整圖片中局部區域選區，然后對遷移的目標顏色進行傳播。Afifi 等[13]提出了一種基于物體的語義更改方法，將輸入圖片進行基于語義的對象分割，得到多個具有不同語義內容的蒙版，同時參考其對象存在的固有色分布情況，如天空所具有的幾種分布可能：白天的天空是藍色，黃昏黎明的天空是紅色或者黃色，夜晚的天空是黑色。通過將輸入圖像顏色直方圖映射到參考圖像的顏色直方圖，直方圖是基于圖像中學習物體的顏色分布，實現基于物體的顏色遷移。

圖7 Zhao等[12]提出的帶局部語義分割色彩遷移結果

在現有的研究中，暫時仍不能在復雜鏡頭場景中進行連續精準的語義分割并遷移。同時，對多個不同鏡頭場景遷移的情況下，難以保持穩定可控的色彩風格統一。

3 數字調色中色彩遷移輔助應用框架

在電影調色中，不同類型、不同風格甚至在不同情緒的段落中，調色師需要建構的色彩情緒往往不同，需要對內容進行充分的理解和把握后進行處理。色板選擇、色調風格確立是調色過程中的重點。一般情況下，同一場戲的鏡頭風格化信息應該是保持一致的，通常表現為使用相同的色彩查找表（Look Up Table，LUT）作為風格基礎，對不同的拍攝鏡頭進行曝光調整、色彩調整以及局部細節調整。色彩風格LUT以往需要調色師根據參考照片或樣片進行風格的制作，類似于在完成色彩遷移的過程。

LUT具備存儲顏色風格映射信息，以及快速運算結果、設備兼容性好等優勢，常作為色彩風格傳遞的應用載體。基于數學的這些色彩風格遷移方式，在經過圖像對計算之后，將其所完成的風格（Look）信息，大多都可以通過這種形式生成LUT 或者再進行分通道的CTL的方式進行傳遞，應用于多個圖像序列或者鏡頭，實現成為通用的色彩風格。

基于此，我們設計了一種輔助藝術創作過程的遷移方法，能保持在場景內多個鏡頭的風格一致性，并且包含多種色彩遷移算法供藝術家選擇（注：本文假設影像的色彩空間相同，因此不涉及多空間轉換過程）。具體如圖8所示，首先，藝術家選擇參考風格圖片和待處理圖片；其次，根據多種色彩風格遷移算法，給出不同的色彩遷移結果；然后，根據藝術家選擇的結果，進行色板提取，構造多組對應的色對；最后，采用3D TPS方式進行LUT 插值，生成風格化LUT 制作。這種方法可以解決基于深度學習的色彩遷移應用于多個視頻鏡頭間出現的色彩風格不一致的問題；同時該方法便于藝術家統一修改同一鏡頭組的風格，提高生產效率。

圖8 輔助遷移流程圖

圖9 目標圖像（左列）、參考圖像（右列）（圖片來自短片《奧克利堆》和《野步》）

3.1 圖對選擇

首先，我們選擇了兩個影片的部分幀作為素材，構造了若干個圖像對，每一個圖相對由提供畫面內容信息的目標圖像和提供畫面風格信息的參考圖像組成。

3.2 色彩遷移

我們選擇了多種方式進行色彩遷移，其中包括Erik 等[1]使用均值方差方法、Nguyen 等[3]使用白平衡直方圖匹配方法、Li 等[9]保留空間信息并使用增加平滑實現自然效果的PhotoWCT 方法和Chiu 等[10]使用小波校正的方法，以及Lee等[7]使用學習直方圖方法。具體色彩遷移算法的選擇由藝術家的需求決定。

通過對比不同的色彩遷移算法結果，可以發現不同的算法可能也會帶來一些問題，如使用帶語義分割的方法，如圖10 中的M4 方法，在具有復雜信息的語義分割時，可能會出現分割不準確，帶來色彩遷移效果不佳的問題。同時，由于AI數據集限制，學習的方法難以生成高分辨率圖像，或是由于網絡帶來的細節損失，造成生成結果圖片分辨率小，細節信息損失，素材位深不夠，難以統一修改大量鏡頭等，不能直接使用生成結果作為調色后結果替代傳統素材調色方式結果。因此，我們沿用了傳統調色LUT 的方式，在對多鏡頭的多幀素材調整的情況下，能夠快速一致地應用同一種風格，并且使用LUT 的方式可以讓藝術家有更大的調整空間。

圖10 使用不同色彩遷移算法實驗結果

3.3 色板提取及LUT生成

以圖11為例，藝術家若選擇M5的方法進行色板遷移。色板提取有很多種方法，這里我們以kMeans方法為例提取色板，也可以使用其他多種色板提取方法，也可以手動指定或調整對應色板映射點。將色板顏色所在的坐標分別在目標圖像的顏色和色彩遷移后圖像所在坐標顏色作為顏色對，構造一系列顏色對，尋找映射關系（Map）。

圖11 色彩遷移選擇示意

色彩遷移風格的LUT 制作，可以分為兩種方式，其一是根據數學方式中推導出的遷移過程數據，將其應用于查找表每個顏色數值采樣點上，得到新的映射結果，形成色彩風格查找表，或是通過應用于標準色彩圖（HALD）進行晶格插值。

由于色彩遷移的結果往往是圖片，并無法直接得到一個可被復制的風格處理過程，無法直接應用于HALD 進行晶格插值或者計算出對應的風格映射結果。因此，另一種制作方式需要通過將待處理圖片的原圖片和色彩遷移結果作為圖像對，進行空間隨機撒點二次采樣，通過形成映射點組，使用3D薄板樣條插值（Thin-plate Spline,TPS）[14][15]沖壓扭曲的方式，色彩網格扭曲得到映射過程LUT，即可應用于調色過程作為風格LUT 使用。這種方式使得色彩遷移的結果可以被存為獨立風格樣式并應用于多個鏡頭，不必對每一個鏡頭都與參考圖片進行風格遷移，計算時間短且便于制作過程中統一進行風格修改操作。

選擇足夠多的顏色對之后，使用3D TPS 方法（圖12），將顏色對分別作為控制點和目標點，計算變換系數后應用于17、33、65 等階數點上，得到顏色映射LUT，應用LUT 的圖像結果如圖13 所示。對于顯示效果不佳的情況，可以通過修正色對數量補充顏色對。

圖12 TPS點坐標映射示意[15]

圖13 應用顏色映射LUT后風格結果與色彩遷移圖像結果對比

3.4 工程應用

生成色彩風格LUT 之后，可以統一應用于多個鏡頭。在同一場戲內，可以在分組節點上或者對時間線整體添加色彩風格LUT。調色師在此基礎上再對每一個鏡頭進行獨立的處理。如果對色彩風格需要調整，可以再返回上一步進行點對選擇或調整，并進行LUT 更新。如圖14 左列，為原素材709 的還原色彩，圖14 右列為使用了上一步驟制作的LUT 進行監看的結果。使用這種AI 輔助LUT 的制作管線，特別是對于鏡頭數較多的情況可以更統一地對時間線進行色彩風格控制和管理。

圖14 不同鏡頭使用該風格LUT效果

4 總結與展望

本文通過對現有的風格遷移方法進行調研，提出了一種數字調色中色彩遷移輔助應用框架，對現有的多種風格遷移方法進行總結。對于不同風格的參考畫面，使用不同的遷移方法，效果也不同。在實際創作中，對色彩風格化需求也不盡不同，使用多種遷移算法，能夠給藝術家提供多種參考選擇，這樣做可以避免單遷移算法帶來的不確定問題。同時，將風格遷移的結果通過LUT 的形式應用于實際生產中，既可以利用人工智能帶來的優勢生成具有更接近參考圖片風格的結果，又可以使用傳統方式將其融入到實際制作中，避免了人工智能在分辨率、位深、細節等方面的缺陷。

這種生成LUT 風格的方式，調色師可以更快地擁有一個接近目標參考的調色起點，且因為圖對選擇可以自由控制點數量和匹配情況，調色師可以有更大空間和自由度進行風格制作調整。應用基于機器學習的色彩遷移輔助數字調色方法，可簡化調色師風格創作復雜度，優化制作流程，提升制作效率。?