基于深度學習的高新技術格式電影智能化轉換研究

王 健

(中國電影科學技術研究所(中央宣傳部電影技術質量檢測所),北京 100086)

1 引言

近年來,隨著人們對電影視聽品質的高質量追求以及數字電影攝制技術的發展,高新技術格式電影和視覺特效影片持續推出。一方面,4K、8K、高幀率 (HFR)、高動態范圍 (HDR)、廣色域(WCG)、沉浸式音頻(IA)等新興視聽技術的應用促使當前電影拍攝、制作、放映的質量要求不斷提升;另一方面,研究常規電影格式向高新技術格式轉換,提升經典影片圖像質量,豐富高新技術格式電影片源也成為當下熱點研究之一。

隨著新一代信息通信技術、智能科學技術的發展以及圖形處理器 (GPU)計算硬件的加持,以電影大數據為驅動,基于人工智能、機器學習、深度學習的算法、模型和技術,用以實現電影圖像分辨率、幀速率、量化深度、動態范圍、色域等高新技術格式的提升比基于傳統計算機圖像處理方法會表現出更好的品質與性能,這也為電影制作提供了新的發展機遇與應用模式。

本文首先對國內外通過深度學習算法實現視頻圖像分辨率、動態范圍、幀速率等相關技術格式提升的研究現狀進行梳理,并在此基礎上,結合數字電影特有的技術格式屬性,探討基于深度學習技術實現數字電影圖像由2K (2048×1080)到4K(4096×2160)/8K (8192×4320)、標準動態范圍(SDR)到高動態范圍(HDR)、常規色域(CCG)到廣色域(WCG)、標準幀率(SFR)到高幀率(HFR)轉換的技術框架,為高新技術格式電影智能化轉換提供可行性技術研究。

2 相關研究

2.1 視頻超分辨率重建

視頻超分辨率重建是將低分辨率視頻轉為高分辨率視頻的過程,可視為圖像超分辨率的一種擴展。相比于靜態單一圖像的超分,基于深度學習技術的視頻超分辨率需要更多考慮不同時刻相鄰視頻幀之間的運動信息、時序信息以及自適應的特征提取、融合與圖像重建策略來提升效果,主要利用的深度學習基準模型有卷積神經網絡 (CNN)、循環神經網絡(RNN)及生成對抗網絡(GAN)等。

根據深度學習視頻超分辨率算法是否利用了序列幀之間的時序信息,可分為基于幀間預測算法與非幀間預測算法。在基于幀間預測算法中,根據不同視頻序列幀之間的信息提取與對齊方式,可分為顯示幀對齊與隱式幀對齊兩種算法模型。顯示幀對齊一般從運動估計與運動補償的角度設計時序信息表示方法,隱式幀對齊主要通過3D CNN、RNN 等神經網絡自主學習序列幀之間的時序信息。非幀間預測算法主要指利用當前單幀圖像信息進行超分辨率重建,更多應用在圖像領域。

在相關研究中,Caballero等人提出基于子像素卷積與時空網絡的視頻實時超分算法以及基于多尺度空間變換器網絡的密集幀間運動補償方法,通過結合運動補償技術和視頻超分辨率算法實現高效、端到端的視頻超分;Chu等人提出對抗性視頻超分辨率訓練方法,在不損失視頻圖像空間細節的前提下保證時間連貫度。模型中的循環生成器用于生成高分辨率視頻幀,光流估計網絡學習相鄰視頻幀之間的運動補償,兩者一起訓練以欺騙時空判別器,時空判別器可從時間與空間維度對生成的時間不連貫、不切實際的結果進行懲罰。生成器與判別器不斷博弈對抗,直到產生以假亂真的視頻超分辨率結果;Wang等人提出可變形卷積網絡EDVR 模型用于視頻恢復與增強,該模型主要設計了可變形對齊模塊和時空注意融合模塊,分別解決輸入視頻幀與相鄰幀運動對齊問題以及對齊幀融合問題,最后通過視頻重建模塊以及上采樣等操作得到超分視頻幀;Zhu等人提出了殘差可逆時空網絡(RISTN),用于視頻超分辨率重建。該網絡主要由三部分組成:在空間部分,設計輕量級殘差可逆塊,以減少視頻圖像特征轉換過程中的信息丟失,提供魯棒性特征表示;在時間部分,提出殘差密集連接的循環卷積模型,以構造更深層次的網絡,避免特征退化;在重建部分,提出一種稀疏特征融合方法以融合空間和時間特征,降低模型過擬合。Jo 等人提出一種端到端的深度神經網絡,包括濾波器生成網絡和殘差生成網絡。通過對每個像素的局部時空鄰域進行計算,可生成動態上采樣濾波器和殘差圖像,避免了顯式運動補償。動態上采樣濾波器可直接將輸入圖像重建為高分辨率圖像,生成的殘差圖像可用于增加圖像高頻細節。Wang等人提出可變形非局部網絡(DNLN),該網絡不依賴于運動光流估計,采用可變形卷積提高輸入幀在特征級別的自適應對齊能力,利用非局部結構來捕獲當前幀和對齊相鄰幀之間的全局相關性,并同時增強對齊幀中的畫面細節。

相比于傳統視頻超分辨率方法,基于深度學習的方法能夠自動提取視頻圖像的潛在特征,通過運動估計與補償、神經網絡自動學習等幀對齊策略可以有效疊加相鄰幀的時序信息,有利于恢復視頻圖像的高頻信息,解決偽影、模糊、噪聲等圖像問題,可以有效處理視頻中各種場景的超分辨率重建。

2.2 視頻動態范圍擴展

HDR 視頻具有更寬的亮度范圍、更高的比特深度以及更廣的色域,能夠表現出更豐富的高亮和陰影細節,提升畫面對人眼視覺的沖擊效果。通常將視頻圖像從低動態范圍擴展到高動態范圍的過程稱為逆色調映射。目前,常見深度學習逆色調映射算法主要以解決圖像高動態范圍擴展為主,涉及視頻領域的較少。

Eilertsen等人提出從低動態范圍輸入圖像重建高動態范圍輸出圖像的全卷積深度自動編碼器網絡,該網絡采用CNN 編碼器提取輸入圖像上下文潛在特征,解碼器將其重建為高動態范圍圖像,重建過程注重圖像高光區域信息的提升;同時該網絡通過跳躍連接實現編碼器與解碼器網絡各層之間的信息傳輸,有利于高動態范圍圖像的細節重建;Ning等人通過設計具有生成對抗性的深度網絡來解決圖像逆色調映射問題,生成器基于U-Net網絡生成高動態范圍圖像,判別器基于CNN 網絡對真實HDR 圖像和生成的HDR 圖像進行判斷。約束網絡的損失函數采用混合損失函數,包括圖像內容相關的損失以及生成對抗正則化器,以提高生成HDR 圖像的穩定性和魯棒性。在HDR 視頻擴展方面,Xu等人利用3D 卷積網絡、3D 逆卷積網絡解決視頻逆色調映射過程中畫面閃爍問題,并采用均方差(MSE)損失函數、本征損失函數等進一步約束HDR 視頻輸出的亮度信息與顏色信息。

相比于傳統基于數學模型實現像素點一對一計算映射的方法,基于深度學習的逆色調映射算法能夠自動捕捉視頻圖像的低維時空特征與高維特征,重建圖像丟失的信息與細節部分,解決傳統方法對不同視頻處理效果差異大、非線性不足、泛化能力不足等問題。

2.3 視頻幀率提升

視頻幀率提升是視頻插幀技術的一種應用,主要通過計算合成連續輸入幀之間的中間幀來提高視頻序列的幀數。幀率提升能夠降低視頻畫面的閃爍感,減少運動模糊,使得運動畫面更加平滑流暢。

常見深度學習視頻插幀算法可以分為基于光流估計生成中間幀方法和基于深度神經網絡直接預測中間幀的方法。基于光流估計的方法是指通過提取連續輸入視頻幀之間的光流信息,之后利用相關估計策略得到待插入中間幀與輸入視頻幀之間的中間光流信息,最后利用中間光流信息對輸入視頻幀進行變換映射得到中間幀圖像;直接預測的方法通常采用CNN 等深度網絡提取輸入視頻幀之間的時空特征,并基于端對端的方式預測生成中間幀。

在相關研究中,Bao等人提出一種深度感知視頻幀插值 (DAIN)算法模型,該算法通過探索深度信息來檢測圖像遮擋。DAIN 的輸入為兩個不同時刻的視頻幀,先估計兩幀的雙向光流與深度特征信息,并通過深度感知流投影層合成中間光流信息。此外,DAIN 基于殘差塊提取相鄰像素點上下文特征,之后在自適應映射層根據中間光流信息和插值內核對輸入幀、深度特征信息和上下文特征信息進行變換映射,最后將所有信息輸入合成網絡生成輸出幀。Huang等人提出一種用于視頻插幀的實時中間光流信息估計算法,相比于其他先計算輸入幀雙向光流再估計中間幀光流的方法,其提出的IFNet網絡采用線性運動假設能夠更快地直接估計輸入幀的中間光流信息,然后利用中間光流信息分別將連續輸入幀進行變換映射,最后將視頻輸入幀、中間光流信息、變換幀輸入合成網絡進行重建。Li等人針對動畫視頻平滑區域紋理不足以及動畫非線性運動大等問題提出一個動畫插值框架,該框架包括Segment-Guided Matching (SGM)和Recurrent Flow Refinement(RFR)兩個專用模塊,SGM 模塊通過色塊分割、采用VGG-19預訓練模型對輸入動畫幀進行特征提取與融合以及利用色塊匹配等操作估計粗略的雙向光流,并通過RFR 模塊對光流進一步增強,之后通過多尺度CNN 提取輸入動畫幀的特征,并將輸入動畫幀與增強的光流進行映射得到轉換幀,最后將轉換幀與提取的動畫幀特征輸入到Grid Net網絡合成目標幀。Kalluri等人提出一種簡單高效的CNN 架構,利用3D 時空卷積網絡來預測視頻中間幀,能夠實現單鏡頭、端到端的多幀預測,可以有效解決視頻中非線性運動、復雜遮擋等問題,同時該網絡不依賴于光流估計或深度特征信息的額外輸入,推理速度更快。該網絡采用3D 時空卷積和反卷積的U-Net架構設計,利用3D 卷積網絡對輸入幀之間的時空關系進行顯式建模,預測層采用卷積網絡,可將3D 特征信息映射到多幀預測中。

基于光流的視頻插幀算法主要依賴于光流信息的提取,模型表現效果受光流估計算法的影響較大。此類算法通常先估計輸入視頻幀的雙向光流,再采用相關策略得到中間光流用于合成插入幀,對視頻中運動場景進行插幀時能夠表現出較好的效果,但同時也會造成模型較大的計算開銷,較難實現實時視頻插幀處理,在運動邊界區域有時會產生偽影問題;基于深度神經網絡直接預測中間幀的方法缺少對視頻幀之間精確運動信息的利用,表現效果缺乏魯棒性與穩定性。

2.4 視頻超分辨率重建與視頻動態范圍擴展同步實現

視頻超分辨率重建與動態范圍擴展分別屬于對視頻圖像像素點的數量和質量進行提升,可視為對圖像空間信息增強的范疇。因此,也有學者利用深度學習模型同步實現這兩個技術指標提升。

Kim 等人于2019 年提出一種超分辨率(SR)與逆色調映射 (ITM)相融合的框架,稱為深度SR-ITM,實現將低分辨率 (LR)、SDR 視頻到高分辨率 (HR)、HDR 版本的直接映射。SRITM 將輸入圖像通過Guided Filter分解為Detail layer和Base layer,不同的layer與輸入圖像信息拼接后作用于不同的任務。Base layer即為低頻層,主要專注于顏色轉換和擴展;Detail layer為高頻層,專注于恢復高頻信息(邊緣和紋理)的細節。最后融合兩個層特征提取的信息,通過Pixel Shuffle上采樣層實現特征空間分辨率提升,并與輸入圖像Bicubic插值后的結果相加后合成輸出。此外,該框架設計殘差跳躍調制模塊來增強圖像局部對比度。Kim 等人于2020年提出一種新的基于GAN 的聯合SR-ITM 網絡,稱為JSI-GAN,它由三個子網絡組成:圖像重建 (IR)網絡、細節恢復(DR)網絡和局部對比度增強 (LCE)網絡。通過DR 網絡學習可分離濾波器,用于細節恢復;通過LCE網絡學習局部濾波器,用于對比度增強;通過IR 網絡預測輸出HR、HDR 圖像。此外,為了有效訓練JSI-GAN,作者在傳統GAN 損失函數的基礎上提出一種新的細節GAN 損失函數,這有助于增強圖像局部細節和對比度,從而重建高質量的HR、HDR 結果。

3 高新技術格式電影智能化轉換技術框架

高新技術格式電影智能化轉換涉及的視頻超分辨率重建、動態范圍擴展以及幀率提升等任務是從空間域、寬容度、時間域對電影圖像進行增強,將低信息量的圖像輸入轉為高信息量的圖像輸出。

隨著深度學習技術的發展、算法模型的演進以及GPU 硬件的設計升級,深度學習在圖像處理領域也取得重要研究成果。常見的卷積神經網絡在利用局部感知、權值共享減少訓練參數的基礎上采用多卷積核能夠有效捕獲圖像的不同特征信息;3D 卷積神經網絡從視頻圖像的長度、寬度、通道、時間四個維度提取特征信息,增加視頻幀之間的時域信息;Attention機制能夠對視頻圖像不同維度提取的特征進行權重分布學習,體現不同特征的重要程度,增強網絡模型的特征表達能力;生成對抗網絡等深度生成模型能夠有效提升圖像信息的生成效果;殘差網絡采用跳躍連接可將網絡淺層信息傳遞到更深層,有效解決深度神經網絡層數過多時產生的退化問題。以數據驅動的深度學習技術具備強大的特征提取、特征表達和特征選擇能力,具有良好的泛化性能,圖像細節信息呈現效果更好,可用于高新技術格式電影智能化轉換與制作,技術框架主要涉及技術選型、任務劃分、訓練數據集構造、模型設計優化與部署應用等方面。

3.1 技術選型

(1)深度學習模型訓練數據量大,訓練時間長,需借助GPU 顯卡硬件提升計算性能,加速數據處理與模型訓練。GPU 顯卡選擇涉及品牌、型號、數量、參數配置等方面的評估,目前主流GPU 顯卡以NVIDIA 公司設計的GPU 芯片為主。電影是視聽內容最佳的呈現方式,常規電影圖像一般為2K(2048×1080)或4K (4096×2160)分辨率,幀率為24FPS、48FPS或60FPS,位深度為12比特,圖像尺寸、圖像信息數據量都比普通視頻大,需優先考慮顯存容量高、顯存帶寬大的GPU 顯卡,提高訓練模型輸入數據量與數據傳輸速率,可選用Tesla V100 32G、RTX A6000 48G 此類 型號的GPU 顯卡。

(2)為提高研發效率,深度學習算法模型的訓練與應用基本都是基于深度學習框架實現,可通過分析相關深度學習工程實現框架的易用性、安全性以及生態體系(技術文檔、社區交流、計算圖可視化、部署應用等)的完善程度來選擇技術開發與部署應用框架。通過對國內外視頻超分辨率重建、動態范圍擴展以及幀率提升相關深度學習模型的開源代碼梳理可知,多數使用Python 編程語言實現,主流框架使用Py Torch、Tensor Flow 居多。

3.2 任務劃分

通過對電影高新技術格式轉換任務分析可得,2K→4K→8K、SDR→HDR、CCG→WCG 屬于圖像空間信息、高度信息、顏色信息的轉換,而SFR→HFR 涉及圖像內插幀,屬于時間序列的任務轉換,因此可將整個任務劃分為時間與空間兩部分,分別設計深度學習模型進行訓練。在SDR→HDR轉換過程中一般會涉及色域、位深度的提升,該過程需將CCG→WCG 的轉換任務同步完成。數字電影倡導組織(DCI)于2021年7月發布 《高動態范圍(HDR)數字電影補充條款草案》新增了對HDR-DCDM 的規定。HDR-DCDM 包含的圖像和字幕應針對HDR 放映系統進行調色,并同時滿足SMPTE ST2084電光轉換函數 (Electro-Optical Transfer Function,EOTF)的要求,即滿足Dolby提出的PQ EOEF 曲線 (Perceptual Quantizer,感知量化),該曲線動態范圍為0～10000尼特,量化深度為10或12Bit。目前DCI規范中要求數字電影采用DCI-P3色域,在DCI針對HDR 應用實施的雙盲圖像測評也均在DCI-P3色域下進行,然而考慮到電影未來發展趨勢,高動態范圍擴展模型可將DCI-P3色域的數字電影圖像轉為支持高亮度、高對比度、12Bit量化編碼、BT.2020色域的HDR圖像。

3.3 訓練數據集構造

深度學習以大數據為驅動,數據質量決定模型性能。當前高新技術格式電影智能化轉換領域并沒有公開的完全符合電影技術格式的訓練數據集,比較接近的有UVG、REDS 數據集,包含3840×2160、1920×1080、120FPS 等技術格式的視頻。在數據集構造方面,可采集4K/8K HDR 電影與視頻的多種類型場景片段,基于FFmpeg、HDRTools等工具或相關制作類軟件轉換得到SDR 標準的幀序列,利用下采樣方法降低圖像分辨率、減小圖像尺寸;選擇60或120幀電影素材作為高幀率提升模型的訓練數據;同時可采用圖像平移、圖像翻轉、通道打亂等數據增強方法擴充數據集,提高訓練模型的泛化能力。

3.4 模型設計、優化與部署應用

深度學習模型設計包括神經網絡結構設計、損失函數設計、超參數選擇等方面,設計原則應在充分考慮模型表現性能的前提下提高網絡參數利用率,提升模型運算效率。在設計思想方面,圖像低頻信息指灰度值變化緩慢區域,高頻信息指圖像灰度值變化劇烈的部分,對應圖像邊緣、噪聲、細節等內容。電影高新技術格式空間任務轉換模型設計可考慮將圖像高頻信息和低頻信息分離,并分別進行處理。圖像低頻信息處理可更多關注圖像動態范圍擴展,高頻信息處理可更多關注圖像細節恢復,用于空間分辨率提升。根據圖像不同的高低頻信息分別設計更有針對性的網絡結構,提高模型差異化信息處理能力,理論上能夠提升模型性能與表現效果;為保證電影視聽品質,在幀率提升任務上可通過光流法進行運動估計,基于運動補償技術預測中間幀,并融合多特征信息優化中間幀圖像細節,實現插幀功能。

在模型優化方面,可將電影圖像特有的技術特點與專業屬性融合到深度學習模型中,使得訓練模型更有針對性,提高模型在電影領域的應用性能;同時研究高新技術格式電影智能化轉換各個任務的模型評價指標,為訓練模型的性能評價與效果表現提供量化參考,便于模型改進與調優。此外,深度學習模型通常比較復雜,模型參數量以億萬計,需要較高的存儲空間與計算資源。為保證訓練模型能夠實際部署應用,可利用模型剪枝、知識蒸餾等方法壓縮模型參數量使網絡稀疏,加快模型計算與推理速度,從而達到減少權值參數仍能接近原始網絡性能的目的。

在模型部署應用方面,可利用TF-Serving、NVIDIA Tensor RT 等工具實現跨平臺、高性能、支持硬件加速的模型部署方案,并將模型集成到整個業務系統的軟硬件架構中,對外提供應用訪問接口。

4 高新技術格式電影智能化轉換若干思考

隨著影視行業步入大數據時代以及深度學習算法模型不斷改進優化,基于深度學習技術的視頻超分辨率重建、動態范圍擴展以及幀率提升已經逐步取代傳統的處理方法,成為計算機視覺領域研究的熱點。盡管深度學習技術的應用使得視頻圖像呈現效果明顯增強,但有些方面仍需進一步研究探討。

4.1 訓練數據集構造

在視頻超分辨率重建方面,訓練數據集的構造大多數由高分辨率視頻圖像經過模糊、下采樣、隨機壓縮和噪聲干擾等特定類型的降質操作得到,而降質操作得到的退化視頻圖像數據能否有效模擬現實場景的低分辨率視頻圖像對模型應用性能有較大影響,訓練模型只能處理滿足同樣退化類型的視頻圖像。盡管一些盲視頻超分辨率重建算法提出用于解決未訓練退化類型的視頻圖像超分,但現實世界中視頻圖像復雜多樣,降質退化建模仍舊很難學習到所有退化類型的先驗信息,訓練模型的泛化能力與自適應能力需進一步研究。在電影領域,老舊電影的智能化修復與增強同樣存在這樣的問題,基于退化數據訓練的算法模型可能無法自適應地滿足各種類型的修復場景。

4.2 模型評價指標

視頻超分辨率重建、動態范圍擴展、幀率提升的模型評價指標基本上采用圖像峰值信噪比(PSNR)和結構相似性(SSIM)來評價模型輸出圖像的質量,這些客觀指標只是從數學角度計算圖像之間的信息差異,并不能完全代替人眼的感知特性以及人們對圖像視覺效果的主觀感受,甚至存在指標偏差問題,因此需要研究更具針對性與多樣性的主客觀模型評價標準。目前,一些研究已開始應用其他指標來評判視頻超分辨率重建模型的性能。

4.3 場景連續變化視頻處理

基于深度學習的視頻圖像增強算法通常利用視頻相鄰幀之間的時域信息,比如視頻超分辨率和幀率提升模型中常用的光流估計,動態范圍擴展模型涉及的三維卷積網絡等。采用的訓練數據集通常是獨立的場景片段,場景之間缺乏連續性,模型訓練時基于獨立場景的幀序列可有效提取幀間信息訓練網絡參數,但模型推理應用時也需要將輸入視頻按場景切分后再分別進行處理,這對數據預處理的計算開銷、視頻場景切分算法具有較高要求。因此研究場景連續變化視頻圖像增強的深度學習方法會更具應用價值。

4.4 多任務輕量級模型設計

視頻超分辨率重建、動態范圍擴展、幀率提升都屬于視頻增強的研究領域。目前,大多數研究都局限于單一任務的增強,多任務融合的模型因訓練數據集、網絡復雜度、性能表現等原因研究成果較少。此外,深度學習模型參數量龐大,處理視頻圖像增強任務時對硬件計算資源要求高,利用模型優化、模型壓縮等技術實現輕量級模型應用一直是重要研究方向。在高新技術格式電影智能化轉換領域,需優先考慮模型推理性能與表現效果,可離線部署應用模型,但實現深度學習模型多任務高性能實時在線處理仍是技術發展趨勢。

電影是科技進步的產物,電影表現藝術只有與科技發展融合起來,電影才能不斷創新與進步。通過借鑒人工智能技術實現普通視頻圖像增強的研究成果,結合數字電影的技術格式,基于大數據、人工智能、深度學習、GPU 加速等技術實現高新技術格式電影智能化轉換,這對于豐富高新技術格式電影片源,促進影視行業數字內容提質升級、提升我國電影制作效率與智能化水平具有重要意義。