深度學習的二維動畫視覺領域修復綜述

李雨航，謝良彬,2，董 超,3+

1.中國科學院 深圳先進技術研究院 機器視覺與模式識別重點實驗室，廣東 深圳 518000

2.澳門大學 科技學院，澳門 999078

3.上海人工智能實驗室，上海 200000

二維動畫是一種風格獨特的影像作品，其制作方式、畫面特征和表現內容與記錄真實場景的影像存在明顯差異。傳統二維動畫在制作方式上具有獨特的特點。在動畫制作的前期階段，通常設定具有超脫于真實世界的表達，具有高度的假設性和象征性。在動畫制作的中期階段，動畫師根據設定繪制關鍵幀，并根據相鄰關鍵幀的動作幅度、軌跡和形變狀態合理補充流暢的中間幀。在這個過程中，動畫師通常使用紙張或借助軟件逐步繪制草圖和清晰的線稿，最后進行上色。通常情況下，背景和角色是分開繪制的，因此可以在畫面風格和播放速度等方面分別處理前景和背景。最后，將背景和角色合成，并添加后期效果，使用攝影設備或剪輯軟件通常以每秒24 幀的速度制作成動畫影片，以確保觀感上沒有卡頓的現象。

制作完成后的二維動畫的畫面通常由清晰的邊緣線條和平滑的色彩區域組成，并帶有一些手繪筆觸或藝術風格。二維動畫中不存在真實的光源，對于光影的處理通常是模仿現實場景或根據畫面風格進行藝術加工。畫面背景與前景人物往往具有明顯的虛實關系。因此，動畫中常常出現明確的明暗交界線和獨特的細節紋理，以及明顯的虛實關系。在修復過程中，如何更好地保留動畫的風格特點和虛實關系成為二維動畫修復的難點和關鍵所在。

現有的動畫影像受到多種因素的影響，從制作、保存到傳輸過程，可能會出現畫質退化的現象，如噪聲、模糊、壓縮損失和色彩失真等。隨著放映設備的更新換代，一些早期動畫作品在高清屏幕上的效果并不理想。目前，日本的動畫作品通常以720P 的分辨率制作，而觀眾在視頻網站上看到的1080P甚至更高分辨率的作品通常是通過算法進行插值拉伸得到的。這是因為目前動畫制作仍未完全數字化，直接制作高分辨率動畫成本高昂，并且原始數據過大不便于傳輸和保存。此外，動畫播放過程中可能出現畫面卡頓和不流暢的問題。因此，對于舊動畫影像的修復工作以及對新動畫影像的超分辨率處理是非常必要的，研究者需要從實際應用的角度進行分析和探索。

在傳統工業界中針對動畫畫質問題（例如噪聲、模糊、壓縮損失、色彩失真等）會使用一些傳統算法。針對噪點問題，常使用濾波方法，包括中值濾波、均值濾波、高斯濾波等。然而，這些去噪方法只適用于特定類型的噪聲，并且參數調整較為困難。對于畫面模糊問題，常使用逆濾波方法、模擬模糊函數方法以及基于稀疏表示的去模糊方法。逆濾波方法通過傅里葉變換將模糊的圖像轉換到頻域，再通過對頻域圖像進行濾波和反變換，恢復出清晰的圖像。模擬模糊函數方法需要模擬多種模糊核及相關參數，以找到最佳的去模糊效果。而基于稀疏表示的去模糊方法則將模糊后的圖像分解為稀疏表示和低通部分，從而得到清晰的圖像。總體來說，傳統的去模糊方法具有較強的局限性，無法應對復雜情況。針對壓縮損失問題，工業界通常在動畫傳輸之前進行預處理操作，如去噪、降低分辨率等，以減少圖像數據量，從而降低傳輸過程中的壓縮損失。另外，還可以選擇更適合的壓縮算法，如JPEG、H.264、H.265，或采用自適應壓縮技術，在網絡帶寬等條件下自動選擇合適的壓縮比例和算法。在傳輸過程中，可以使用異常檢測技術來檢測傳輸錯誤、丟包、帶寬不足等問題，并對已經損失的數據進行修復。對于已經受到壓縮損失的動畫數據恢復，常常使用降噪、去模糊、邊緣增強等方法來恢復原始數據的細節和信息。然而，在數據損失較大的情況下，傳統的降噪和去模糊方法可能會損失大量有效信息，從而影響觀感。對于顏色失真問題，工業界也經常使用諸如色彩平衡、色調、飽和度、曲線等工具來調整圖像或視頻的顏色、亮度和對比度等參數。然而，傳統的色彩校正方法通常只能對整個圖像或視頻進行調整，無法進行精細的局部調整。通過上述對傳統工業界處理方法的分析可以看出，在面對不同的質量問題時，通常需要分成多個步驟來解決，并且需要調整和控制大量的參數，操作繁瑣，解決問題的能力有限。

對于插幀任務，在傳統工業界中有兩種處理路線：第一種是根據前后幀圖像進行線性插值；第二種是進行光流估計，即通過估計相鄰幀之間的運動矢量生成新的中間幀。線性插值方法是通過對兩個已知幀之間的像素值進行加權平均來計算新的像素值，這種傳統方法存在明顯的模糊和失真。光流估計方法則需要進行像素間的匹配，通過對圖像中某些特征的比較來匹配關鍵點，并計算出這些點之間的位移向量。相比傳統的幀間線性插值，光流估計方法的效果更好。然而，在處理復雜場景時，目前仍存在一些挑戰，效果不盡如人意。

近年來，深度學習方法在視頻超分辨率、去噪、去模糊、光流估計以及視頻插幀等領域快速發展，為動畫影像修復工作提供了更多選擇。

對于動畫畫質修復問題，既可以將畫質問題拆分開來解決，也可以將動畫影像修復理解為一種盲修復任務。因為畫質受損的動畫往往具有復雜的退化情況，很難拆解成明確的子問題。在有監督的深度學習中，根據動畫作品真實的退化狀況準備數據集，同時結合動畫的特點進行模型構建，在模型學習的過程中要利用好蘊含在動畫影像中的空間信息與時序信息。此外，盡可能端到端地解決動畫畫質問題，避免在傳統工業界中多步驟處理影像。并且從真實的低質量動畫場景中學習，能夠增強深度學習網絡的處理能力。在動畫影像修復中，要在保留畫面原有風格的基礎上提高畫面質量，達到更好、更自然的效果。

基于深度學習的動畫畫質修復方法，往往需要大量高質量和低質量的動畫影像數據對。使用傳統的下采樣插值方法（例如雙線性插值、雙三次插值等）、模糊核（例如各向同性或各向異性高斯模糊）和隨機噪聲（例如椒鹽噪聲、高斯噪聲、泊松噪音）等經典的退化方法，很難近似擬合出逼近真實場景的低質量動畫，使得數據集的構建變得困難。

對于動畫插幀任務，傳統的光流估計算法通常依賴于人為設計的特征和約束，在復雜場景中處理困難。隨著深度學習的發展，可以通過神經網絡學習出更豐富、更準確的特征表示，從而改善光流估計的性能。基于深度學習的光流估計算法有更靈活的優化策略，可通過定義不同的損失函數來引入不同的約束條件。通常包括亮度約束項和平滑性約束項，用于保持光流的一致性和平滑性。這樣可以提高算法的魯棒性，更好地處理復雜場景，并獲得更準確的光流估計結果。

但是二維動畫數據缺乏精確的光流信息，在制作過程中很難進行矢量標定，從而阻礙了一些利用光流信息進行插幀的方法在動畫領域的應用。

綜上所述，二維動畫影像具有獨特的制作方法與畫面特征，因此其明顯區別于現實場景的影像。傳統工業界常使用一些傳統算法來修復動畫作品，但這些方法存在很大的局限性。隨著深度學習的引入，動畫影像修復方法得到了顯著改進。然而，深度學習方法常受到數據集的限制，且針對動畫自身特點的畫質修復、插幀等算法以及有效的評價指標仍需要研究者們進行挖掘和探索。

本文將從數據集、動畫畫質修復、動畫時序修復、各算法結果以及評價指標的有效性這幾個方面進行介紹和分析，全面總結深度學習方法在動畫影像修復領域的應用情況，并最終指出動畫影像修復領域的現存問題和發展前景。

1 二維動畫相關數據集

根據動畫數據的制作方式，本文將動畫數據集劃分為真實二維動畫影像數據集和利用三維軟件構建的二維動畫數據集。真實二維動畫影像通常由畫師逐幀繪制，不包含光流、深度等矢量信息。真實二維動畫影像數據集主要由從真實動畫影片中截取的動畫圖片和從插畫網站收集的插畫圖片組成。而利用三維軟件構建的二維動畫數據集可以利用三維軟件進行批量渲染生成，能夠準確標定每一幀畫面中各個物體的矢量信息。

1.1 真實二維動畫影像數據集

在動畫畫質修復任務中，通常需要使用從真實動畫影片中收集的數據進行學習。有監督的深度學習方法需要大量成對的數據集，為了生成高質量的動畫數據，可以通過特定的退化方式生成相應的低質量動畫數據。其中AVC（animation video clip）[1]是一個大規模高質量的真實動畫影片剪輯數據集，每個剪輯片段包含100 張連續的動畫圖片。使用AVCRealLQ（從網絡上下載的44 個真實低質量動畫片段），通過視頻超分辨率網絡選擇出高質量修復圖片，從而形成數據對，再利用經典的退化模塊和卷積層組成的退化網絡進行訓練。這種可學習的降質策略有助于縮小合成數據與真實數據之間的分布差距。

在動畫影片的插幀任務中，ATD-12K[2]提供了一個在網絡上收集的大型動畫數據集，從30 部不同風格的動畫電影中挑選出了12 000 個三聯組。這些三聯組的中間幀可作為算法插幀結果的監督圖像。此外，ATD-12K 的測試集根據運動幅度和遮擋面積劃分了插幀難度級別，并提供了感興趣區域（region of interest，RoI）和運動類別的標簽。

除了針對動畫超分和插幀的真實動畫影片數據集，還有一些在插畫網站上整理得到的插畫數據集。Danbooru[3]是一個持續更新動畫人物插畫的網站，擁有百萬級的插畫數據和大量粗糙標簽，但可以通過標簽篩選來獲取所需的相關數據，進而整理出可用的數據集。DanbooRegion[4]包含大量的動畫插圖與其對應的區域分割圖，可以應用于動畫區域追蹤、線稿上色、動畫圖像內容分解等方向。nico-illst[5]包含50萬張插圖，注釋標簽包括作者、主題和圖像的風格（水彩、鉛筆、丙烯酸等）等信息。

對于動畫角色的臉部識別，DAF:re[6]基于DanbooruAnimeFaces（DAF）動畫人臉數據集，保留角色名稱的標簽，并標注出頭部邊界框，主要用于動畫角色識別的相關研究。iCartoonFace[7]是目前規模最大的動畫人物識別數據集，由40 萬張以上高質量圖片組成，包含5 013個動畫人物。LSASRD[8]是一個大規模的動畫風格識別數據集，包含了190部動畫作品，每個作品包含10個以上的角色。不同人物的頭像會被裁剪出來，并標記好年份、性別、地區、種族等信息。

1.2 利用三維軟件構建的二維動畫數據集

Blender[9]作為一款開源的三維圖形圖像軟件，被廣泛應用于動畫制作和數據生成。它可以解決傳統二維動畫逐幀繪制繁瑣及無法進行矢量標定的問題。通過“三渲二”技術來建立動畫數據集，即模擬二維動畫的風格和光源將三維模型渲染成具有二維動畫風格的圖片。但目前“三渲二”技術尚不成熟，與逐幀繪制的動畫影片具有一定差距。因此利用三維軟件構建的二維動畫數據集不常用于動畫畫質修復任務，而更常用于動畫插幀這類需要矢量信息輔助的任務。

Creative Flow+Dataset[10]使用Blender 軟件，在三維動畫場景中獲取每個物體在每個時刻的真實準確位置坐標，并創建了一個多樣化的多風格藝術視頻數據集。該數據集包含每個像素的光流、遮擋、分割標簽、法線和深度的準確信息。數據集包括3 000 個動畫序列，使用了40 個紋理線樣式和38 個陰影樣式隨機選擇進行渲染。然而，每個樣本都是由簡單的預定義運動驅動單一模型生成的，因此無法模擬真實的二維動畫所需的運動和模型的復雜度。

AnimeRun[11]選擇了三部Blender 開源的三維動畫影片，將其渲染成二維動畫風格，同時生成相應的光流及深度信息。二維動畫風格畫面由明晰的邊緣線條和純色色塊組成，尚未添加陰影部分以及復雜光源和特效，與真實二維動畫仍存在差距。但相較于Creative Flow+Dataset，AnimeRun包含能夠移動的背景、多個模型間豐富的交互以及更復雜的運動。

AnimeCeleb[12]提供了240 萬張圖片，并標注了相應的詳細姿態信息。該數據集首先在網站上收集三維動畫模型，通過改變模型的三維屬性獲得更多的表情與姿態，然后在Blender 軟件上渲染成二維動畫風格的人物圖像，再使用注釋系統進行標注。

2 動畫修復的相關算法

2.1 動畫畫質修復相關算法

在單張動畫圖片的修復方面，Anime4K[13]是一個開源的高質量實時動畫超分去噪方法，早期的v1.0版本沒有使用深度學習方法，而是考慮清晰的邊緣對動畫視覺效果的重要性。該方法首先使用雙三次插值將圖像放大到目標大小，然后根據周圍像素的亮度和梯度信息對每個像素點進行優化。后面更新的版本中嘗試使用深度學習方法，其官方提供了一個基于Tensorflow 框架，參數量僅為2 548 的卷積神經網絡模型。Anime4K 的重心傾向于實時優化動畫畫質，更注重模型大小和運行時間，并有多種模式可以相互組合使用，以達到更好的結果。

目前有許多方法通過學習大量動畫數據來提高修復效果。Waifu2x[14]最初基于SRCNN（super-resolution convolutional network）[15]網絡，并應用于動畫圖像的超分和去噪工作。其提供了一個7層卷積神經網絡模型，并通過反卷積的方法對圖像進行上采樣；隨后更新了一個由兩個U-Net結構[16]組成的UpCunet2X 模型。目前最新版本的Waifu2x嘗試使用Transformer結構，引入了5個SwinTransformer-Block[17]，構建了UpSwin-UNet 網絡。以上Waifu2x 的所有方法均提供了無降噪版與降噪版。

Real-CUGAN（real cascade U-Nets generative adversarial network）[18]在Waifu2x 的UpCunet2X 模型版本的基礎上，利用生成對抗方法在百萬級未公開的動畫數據上進行訓練。

Real-ESRGAN（Anime6B）[19]是Real-ESRGAN（realworld enhanced super-resolution generative adversarial network）的動畫修復版本，是在原模型的基礎上將殘差稠密塊（residual in residual dense block，RRDB）的數量減少至6 個，并輸入大量動畫數據集進行訓練，使其更好地應用于動畫圖像的修復。單張動畫圖片修復網絡的發展路線如圖1所示。

圖1 單張動畫圖片修復網絡發展路線Fig.1 Single animation image restoration method development line

在動畫視頻超分辨率方面，Real-ESRGAN 提供了一個名為AnimeVideo-v3[20]的動畫視頻模型，該模型結構如圖2 所示。該方法以單幀作為輸入，由17個串聯的卷積模塊組成，未利用幀間的時序信息。而AnimeSR[1]是專為動畫設計的深度學習網絡，考慮了動畫影像的特征。該方法使用單向循環網絡和基于滑動窗口的結構，可以將多幀圖像作為輸入，并充分利用連續幀中蘊藏的時序信息。循環塊內部采用多尺度設計，充分融合不同尺度下的特征，幫助網絡理解畫面內容，優化修復，該模型結構如圖3 所示。在第3.2 節中，通過測試和比較這兩種動畫視頻超分辨率網絡，來驗證AnimeSR結構設計的有效性。

圖2 AnimeVideo-v3模型結構Fig.2 AnimeVideo-v3 model structure

圖3 AnimeSR模型結構Fig.3 AnimeSR model structure

2.2 動畫時序修復相關算法

2.2.1 動畫插幀算法

AnimeInterp[2]首次正式地定義和研究了專門針對動畫的插幀問題，其具體結構如圖4所示。針對經典的二維動畫具有清晰線條和單一顏色填充的封閉區域的特點，該方法首先利用相鄰幀中色塊對應匹配生成粗糙的光流（segment-guided matching）；然后使用經過訓練的循環結構光流細化模塊（recurrent flow refinement）進一步優化粗糙的光流，以彌補二維動畫中光流信息的缺失；最后采用多尺度的卷積神經網絡進行扭曲變換合成中間幀。當時，AnimeInterp沒有可用的二維動畫光流數據進行學習，因此可以巧妙地利用二維動畫中色塊平坦和線條清晰的特點來模擬光流信息以進行插幀。然而，在第3.3 節的測試中，發現這種不精確的光流會導致插幀結果出現畫面模糊和邊界不清的問題。

圖4 AnimeInterp流程圖Fig.4 AnimeInterp pipeline

在AnimeInterp 之后，Chen 等人[21]為進一步提升動畫插幀的畫面質量，提出了SSL 模塊（Softsplat-Lite）。該模塊采用前向扭曲結構進行特征提取、光流預測和圖像融合。為了更好地利用二維動畫的線條信息以獲得更清晰的色塊區域，作者設計了DTM模塊（distance transform module）。該模塊首先通過邊緣檢測提取圖像的二值化線稿；然后利用歐幾里德距離變換（normalized Euclidean distance transform，NEDT）處理前后參考幀與SSL 輸出結果的線稿，并通過訓練來估計中間輸出幀的NEDT；最后將估計得到的中間輸出幀的NEDT 與SSL 模塊的結果進行融合，通過訓練得到優化后的中間輸出幀。以上訓練涉及的兩部分分別進行處理，整體流程圖如圖5所示。

圖5 Chen方法流程圖Fig.5 Chen's method pipeline

經過對這兩種插幀網絡進行測試，可以發現插幀結果存在畫面模糊、重影等問題，因此需要更好的動畫插幀算法。這種算法不僅要能夠解決視頻插幀中常見的物體突然出現或遮擋消失的問題。還要能夠準確估計二維動畫中的光流信息，并有效處理動畫畫面中出現的特殊插幀問題，例如大面積純色色塊的運動，同色不同物體幀間對應等。

2.2.2 與幀間一致性有關的動畫算法

為了解決動畫影片超分辨率和動畫插幀任務中出現的色塊暈染和邊緣線條模糊問題，通常需要引入確保畫面幀間一致性的模塊。在這方面，可以借鑒一些動畫視頻上色和動畫追蹤算法。這些算法通常涉及人物摳像、運動估計、邊緣線條提取、色塊分割、區域匹配、光流估計等領域。本小節重點介紹這些算法中為保證幀間一致性所采取的方法。

Sykora 等人[22]提出一種無監督的黑白動畫視頻上色算法。首先屏蔽背景層，只保留運動的人物，再利用基于特征點匹配的KLT（Kanade-Lucas-Tomasi）[23]追蹤算法，在第一幀中提取出高曲率點與交界點，然后在第二幀中尋找這些特征點的對應點，并計算它們之間的位移向量來得到光流場。根據這些匹配好的關鍵點，將每一幀的人物拆解成圖像塊，使用歸一化差異平方和（L2-norm）估計參考圖像與目標圖像塊間的結構相似程度。經過旋轉和運動估計的處理后，對匹配好的圖像塊進行粘貼后再進行顏色統計并上色。如果出現相似結構但顏色不同導致匹配錯誤，可以通過建立一種圖像塊間歸屬關系圖（attributed relational graphs，ARG）來表示共用邊界線的圖像切片。最后通過概率松弛方法排列該目標圖像切片各種顏色的可能性，并選擇可能性最大的顏色作為最終結果。

Zhu等人[24]提出一種識別手繪動畫中連續幀間的物體或區域的對應關系的動畫追蹤算法，使用一種漫畫的區域提取方法（stereoscopizing cel animations）[25]對序列中的每一幀進行區域標記。對于遮擋和后續區域發生分割的問題，該追蹤算法考慮了序列中所有幀各區域間的關系，并且建立一個無環連通圖，將區域間的外觀匹配程度作為路徑的損失，從而將跨幀區域匹配問題轉化成一個最小路徑問題。

目前許多動畫視頻上色算法使用深度學習方法，通常依靠相鄰幀作為上色參考。Thasarathan 等人[26]使用生成對抗網絡進行訓練，將線稿、灰度圖以及參考幀的彩色圖作為輸入，結合條件損失、內容損失、風格損失共同訓練。Shi 等人[27]設計出一個由顏色轉換網絡和細化網絡組成的模型。顏色轉換網絡的輸入包括目標圖像與參考圖像的線稿、參考圖像的彩色原圖，以及目標圖像與彩色圖像線稿經過二值化處理后的歐幾里德距離變換圖。為了學習參考圖像與目標線稿圖像相似的空間特征，作者提出了一個距離注意力機制，利用非局部相似性將顏色信息從參考圖像轉換到目標圖像。為保證上色的幀間一致性和統一的畫面風格，顏色轉換網絡中還包含8個以自適應實例標準化（adaptive instance normalization，AdaIN）[28]作為歸一化層的殘差塊。Li 等人[29]提出了一種算法，用于完成關鍵幀之間的多幀上色。該算法使用兩個關鍵幀和一張中間幀線稿草圖作為指引。在第一步中，通過輸入的兩個關鍵幀獲取顏色信息，學習中間幀草圖簡化后的線稿與彩色參考圖之間的聯系。然后，使用PWC-Net（pyramid，warping，and cost volume net）[30]生成光流估計結果，并進行光流一致性檢查，得到遮擋處理的掩膜。最后，隱式地結合掩膜信息、線稿信息和光流信息，生成上色后的中間幀。為了減少由于線稿過細導致的畫面模糊，還提出了一種基于倒角匹配的線條損失參與訓練。在第二步中，假定根據光流估計結果按任意幀率生成其他中間幀的光流。然后，通過光流細化模塊和光流一致性檢查，混合生成上色后的結果。最后，將所有生成的中間幀作為輸入，使用可變形卷積細化結果。Zhang 等人[31]提出了一個相關匹配特征轉移模塊（correlation matching feature transfer model，CMFT）來保證時間一致性。作者認為相鄰幀的線稿是風格相似但內容不同的圖片，而同一幀的線稿與彩色圖是內容相同但風格不同的圖片。因此，可以先將參考圖像的線稿和目標圖像的線稿輸入一個編碼器，并將兩個結果輸入CMFT 模塊進行特征匹配，然后將彩色參考圖經過編碼器后的特征圖輸入CMFT模塊，進行特征轉移。Yu等人[32]提出了一個兩階段光流著色網絡來解決動畫序列幀的著色問題。第一階段，網絡從給定的參考幀和下一幀線條之間的紋理變化中找到顏色像素流向，然后完成初始著色。第二階段，網絡對第一階段的輸出進行顏色校正，以此來增強幀間一致性。

綜上所述，研究者們在圖像塊或色塊層面進行匹配；引入注意力機制、AdaIN、對相鄰幀進行特征提取等深度學習方法；利用線稿或光流信息等方式來保證動畫的幀間一致性。

2.3 工業界常用的二維動畫修復軟件

對于二維動畫修復問題，學術界與工業界有不同的側重目標和解決方案。學術界更重視算法的效果和創新性，通常致力于將前沿模型應用于動畫領域，或設計出更符合動畫特點的創新模型。而工業界更注重算法的實現、效率、可擴展性以及用戶友好性，旨在實時、綜合地解決動畫修復問題。

例如，Topaz Labs[33]的“Topaz Photo AI”和“Topaz Video AI”利用深度學習方法，可以對圖像和視頻進行超分辨率、畫質修復、運動插幀以及穩定抖動等多種處理。用戶可以通過選擇不同的模型和參數來修復低質量視頻。

為解決各類影像問題，Topaz Labs 使用了多種模型和訓練策略。例如，在畫質修復方面，使用Dione 模型處理隔行掃描視頻，并針對不同類型的數字視頻格式和分辨率進行數據收集和訓練，以得到相應的模型變體。他們還使用Proteus Fine Tune 和Artemis 模型作為通用模型，根據不同質量的數據進行訓練，并獲得各自的變體。此外，使用Gaia 模型來優化高質量影像和計算機生成影像，以及使用Theia模型進行銳化和增強細節。對于運動插幀問題，使用Apollo 模型處理非線性運動和稍微模糊的輸入，以及使用Chronos 模型處理幀之間變化較大的快速運動。

目前，Topaz Labs 并未公開上述模型的具體結構和所使用的訓練集。然而，Topaz Labs需要使用用戶本地的硬件進行圖片和視頻處理，因此對用戶的硬件有一定要求。例如要求用戶的顯卡至少為Nvidia GTX 900 或更高版本，且具有4 GB 以上的顯存。顯卡要求通常與模型的大小和復雜度相關聯。可見，工業界為了確保用戶能夠正常使用，需要對模型的大小和復雜度進行限制。為了更好地處理復合問題，他們采用多種訓練模型和訓練策略，并聯合使用多個模型來解決復雜的問題。

除了使用深度學習的Topaz Labs 之外，Adobe After Effects[34]、TVPaint Animation[35]等視頻編輯和二維動畫制作的專業軟件也可用于動畫影像的修復和增強。

3 結果分析與方法評估

3.1 動畫單張圖片畫質修復測試

本文對第2.1節中提到的基于深度學習網絡的動畫單張圖片的超分方法進行了測試。方法包括Anime4K 官方的Tensorflow 版本、Waifu2x_7Conv（無降噪版、降噪版）、Waifu2x_CUNet（無降噪版、降噪版）、Waifu2x_Swin（無降噪版、降噪版）、Real-CUGAN（無降噪版、降噪版）、Real-ESRGAN（Anime6B_4X）。所有方法均使用官方提供的權重將原圖像放大到兩倍，并與其他方法進行對比。其中Real-ESRGAN（Anime6B_4X）版本上采樣至四倍后再使用雙三次插值方法下采樣至兩倍。

為了進行測試，從網絡上選擇了169 張真實的低質量動畫圖片。后續會公開這169 張真實低質量圖片，它們包含多個國家不同風格、不同內容的動畫作品，并且所有低質量圖片存在不同程度的模糊、壓縮、噪點等未知的復合退化情況。因此，這些低質量動畫修復問題屬于盲復原問題。

目前的網絡均是利用擬合出的數據對進行訓練，并沒有學習過真實的低質量動畫圖片。同時，這些測試圖片沒有對應的高質量動畫圖片，因此需要使用無參考的評價方法來評估修復結果。在圖像質量評價方面，選擇了NIQE（natural image quality evaluator）[36]、BRISQUE（blind/referenceless image spatial quality evaluator）[37]、NRQM（non-reference quality metric）[38]、感知指數（perceptual index，PI）[39]這些傳統方法，它們不使用機器學習方法。另外，還采用了使用深度學習的方法，包括GIQA（generated image quality）[40]、HyperIQA[41]、MANIQA（multi-dimension attention network image quality assessment）[42]。其中GIQA 可以分為KNN（Knearest neighbor）版本、GMM（Gaussian mixture model）版本。然而，以上無參考的評價指標是否能有效評價動畫圖片仍需要進一步分析。

本文中所有實驗均是在Nvidia GeForce GTX TITAN X上進行測試。

3.1.1 動畫單張圖片修復結果

首先，對網絡的無降噪版與降噪版進行了比較，具體包括Waifu2x_7Conv、Waifu2x_CUNet、Waifu2x_Swin、Real-CUGAN。其中Waifu2x的三種網絡參數量逐漸遞增。人們通常認為深度學習網絡參數量越多，修復效果會更好，但三種Waifu2x 網絡面對真實的低質量圖片的處理結果并未展示出明顯區別。Real-CUGAN的表現明顯優于三種Waifu2x網絡。

真實的動畫測試圖片通常會存在噪聲與壓縮。如表1所示Waifu2x的三種無降噪版并沒有學習到這類退化，因此無法處理這些問題，并且會產生偽影。而降噪版雖然只接觸過擬合的低質量動畫數據，但仍能在一定程度上去除噪聲和壓縮，從而取得更好的效果。并且在面對較為嚴重復合的噪聲與壓縮時，處理效果并不理想。Waifu2x 降噪版能使圖像更平滑，但無法生成自然的紋理細節。在高模糊圖片中Waifu2x 的降噪版抹平了原本動畫人物眼睛的高光，影響觀感。相比之下，Real-CUGAN 的修復效果明顯優于Waifu2x 的三種網絡，修復結果的邊緣更加清晰，線條更加銳化。另外，Real-CUGAN 的無降噪版對圖片中的噪聲與壓縮也有明顯的效果，而Real-CUGAN降噪版的平滑效果更明顯。

表1 網絡的無降噪版與降噪版修復結果對比Table 1 Comparison of restoration results between no denoise models and denoise models

總體來說，與各自的無降噪版相比，各網絡的降噪版修復結果的色塊更加平坦，顏色過渡更加平滑，但也會損失部分細節。

在二維動畫的修復中，針對動畫人物的處理效果對觀眾的感受至關重要。為了比較分析各方法對人物細節的修復效果，本文選擇了Anime4K、上一組實驗中表現較好的Real-CUGAN無降噪版和降噪版，以及Real-ESRGAN（Anime6B_4X）方法。如表2 所示，Anime4K 對動畫圖像的修復效果不太理想。而Real-CUGAN 與Real-ESRGAN 不僅能處理畫面中模糊、噪點與壓縮，還可以生成符合二維動畫人物的眼睛、毛發、手部細節。特別是Real-ESRGAN生成的紋理最精細和清晰，對人物的處理效果最佳。

表2 對動畫人物細節的修復結果對比Table 2 Comparison of restoration results for details of animation characters

二維動畫經常對畫面中的某些部分進行虛化處理，通常需要通過網絡保持畫面原始的虛實關系，并在前景進行銳化，在背景進行虛化。為了實現這一目標，選擇了在降噪去壓縮和人臉修復方面表現最佳的方法Real-CUGAN 和Real-ESRGAN。如表3 所示，Real-ESRGAN 缺乏對畫面內容的理解，難以準確區分圖片的前景和背景，這可能導致背景過度銳化，產生偽影，影響觀感。相比之下，Real-CUGAN 相較于Real-ESRGAN 對虛化區域保留更好。此外，Real-ESRGAN 在處理模糊的粗邊緣線時容易產生中空現象或高亮白邊，這是其過度銳化的特點。然而，Real-CUGAN 相對而言在這些情況下表現不太明顯。在二維動畫中常常具有一些特有的筆觸和風格，但目前的網絡對于筆觸處理和風格的保留均不理想，經常出現涂抹感強的現象。

表3 動畫修復中的特殊情況Table 3 Special cases in animation restoration

總體來說，Real-CUGAN 與Real-ESRGAN 的處理效果明顯優于其他方法。這兩種方法均傾向于銳化線條邊緣并使色塊更加平坦均勻，這符合二維動畫的特征。其中Real-CUGAN 的修復結果對虛化區域的保留更好，而Real-ESRGAN更加善于構造紋理，尤其是人物的細節部分，但過銳的特點可能會產生邊緣線中空、白邊或生成偽影。因此希望未來的方法能夠進一步理解畫面內容，從而更好地保留畫面中的虛實關系、筆觸與風格。

3.1.2 無參考圖像質量評價結果

傳統無參考圖像質量評價指標不需要進行訓練，通常是比較目標圖片與真實的自然場景圖片在空間域上分布的差異。如NIQE、BRISQUE引入歸一化亮度系數MSCN（mean-subtracted contrast normalization）比較目標圖像MSCN 分布與廣義高斯分布的偏離情況；NRQM 提取了自然圖像在多個色彩空間的特征；PI則結合了NRQM 與NIQE的結果。然而二維動畫圖像與自然圖像在空間域上存在明顯差異，因此傳統的無參考圖像質量評價指標不能很好地評估動畫圖像。

深度學習的圖像質量評價指標通常通過網絡提取圖片特征。如GIQA 原本是為生成圖片設計的評價指標，具有參數化模型（GMM-GIQA）和非參數化模型（KNN-GIQA）兩種。GIQA 首先對真實數據在特征層面建模，從AVC數據集中選擇了909張1 920×1 080 的真實高質量動畫數據，并對其進行多尺度處理，采用0.75、0.50、0.375 作為下采樣參數，從而獲得四種不同尺寸的真實圖片進行特征提取。然后對待測圖片進行特征提取，比較真實數據與待測圖像分布，通過得分的排名來判斷圖片質量的高低。而HyperIQA通過多尺度模塊加強對圖片語義特征的理解，MANIQA 使用多尺度注意力機制，通過ViT（vision transformer）[43]提取特征，加強全局和局部圖像不同區域之間的交互作用。HyperIQA 與MANIQA 都通過增強對圖片的語義理解來提高評估的準確性，并且兩種IQA網絡目前沒有使用動畫數據進行訓練。

首先，需要驗證各圖像質量評價指標是否符合基本的視覺規律。根據第3.1.1 小節中169 張真實低質量動畫圖片修復結果，可以發現Bicubic 修復效果明顯不如Waifu2x_CUNet（降噪版），而Real-CUGAN（無降噪版）與Real-ESRGAN的結果明顯優于其他所有方法，更符合人類視覺感知。此外，兩種方法各有特點，Real-CUGAN（無降噪版）對虛化區域保留得更好，而Real-ESRGAN對人物細節處理得更好，畫面更銳利清晰。

因此一個成功的動畫圖片質量評價指標必須要正確地區分各方法的結果，需要使Waifu2x_CUNet（降噪版）的得分明顯優于Bicubic，而Real-CUGAN（無降噪版）與Real-ESRGAN 的打分可以相近，但得分要明顯優于其他方法。

由表4 所示，從169 張低質量動畫數據修復后的平均得分來看，NIQE、BRISQUE、NRQM、PI、KNNGIQA 的結果與視覺感知不符；GMM-GIQA 對四種方法得分的排序基本正確，但Waifu2x_CUNet（降噪版）與Real-CUGAN（無降噪版）區分并不明顯，只算是大致符合；HyperIQA 與MANIQA 在未經過動畫數據集微調的情況下已經取得了基本符合人類視覺感知的結果。從得分平均值來看GIQA、HyperIQA 與MANIQA均更偏愛Real-ESRGAN的修復。

表4 低質量數據修復結果的各圖像質量評價指標平均得分Table 4 Average score of image quality assessment methods for low-quality data restoration results

然而，從表5 中兩個具體的單張圖像結果可見，第一幅“民族服飾女孩”圖片中Real-CUGAN（無降噪版）清晰且無明顯偽影，Real-ESRGAN 在裝飾處有偽影，因此對于這張圖像，評價指標Real-CUGAN（無降噪版）的修復結果應該獲得最高分。對于下面的動畫群像圖像，Real-ESRGAN 清晰且對人物面部處理最好，因此對于這張圖像，評價指標應該是Real-ESRGAN的處理結果得分更高。然而，GMM-GIQA、HyperIQA、MANIQA 在Real-CUGAN（無降噪版）與Real-ESRGAN 結果有明顯的優劣時，打分情況沒有完全符合人類感知。

表5 單張圖片修復結果在各圖像質量評價指標下得分Table 5 Score of single image after restoration evaluated by image quality assessment methods

除了滿足基本的視覺規律，本文也驗證了評價指標對動畫圖片中的壓縮與噪聲的敏感度。從169張真實動畫圖片中篩選出了80 張有明顯壓縮、噪聲的圖片，使用Waifu2x_7Conv、Waifu2x_CUNet、Real-CUGAN 這三種網絡的無降噪版與降噪版進行比較。在處理噪聲和壓縮圖片方面，Waifu2x 兩種網絡的降噪版在噪聲、壓縮圖片處理上均明顯優于無降噪版；Real-CUGAN 的兩種版本都能有效地降噪去壓縮，只是降噪版的結果更趨于平滑。總體而言，Real-CUGAN 網絡的結果比Waifu2x的兩種網絡的結果更加清晰。

因此，在評價各指標對噪聲和壓縮敏感度的時候需要明顯區分Waifu2x 網絡的降噪版和無降噪版。Real-CUGAN的降噪版和無降噪版的得分可以接近，但總體而言，Real-CUGAN 的結果應優于Waifu2x 的兩種網絡的結果。

如表6所示，NIQE、BRIEQUE、NRQM、PI無法區分噪聲壓縮圖像與正常圖像；KNN-GIQA 可以正確區分兩種Waifu2x 網絡的降噪版與非降噪版，但是Waifu2x 的兩種網絡與Real-CUGAN 的分數接近；GMM-IQA 大致符合，但Waifu2x_CUNet（降噪版）與Real-CUGAN 兩種版本的得分較為接近；HyperIQA的打分完全符合；MANIQA 的評分與預期不符。具體單張圖像結果可見于表7 和表8，MANIQA 對圖片中的噪聲敏感，給出了正確的評分，但對壓縮不敏感，導致處理壓縮圖片失敗的結果得到較高的分數。這可能與MANIQA的訓練數據有關。

表6 壓縮與噪聲明顯數據的各圖像質量評價指標平均得分Table 6 Average score of image quality assessment methods for significant compression and noise data

表7 單張壓縮圖片修復結果在各圖像質量評價指標下得分Table 7 Score of single compressed image after restoration evaluated by image quality assessment methods

表8 單張噪聲圖片修復結果在各圖像質量評價指標下得分Table 8 Score of single noise image after restoration evaluated by image quality assessment methods

另外，本文還測試了目前表現最好的三種評價指標，即GMM-GIQA、HyperIQA、MANIQA來評估它們對于畫面中特殊情況的準確性，例如虛化區域的保留程度和邊緣問題的出現等。

如表9 所示，對于背景虛化圖片，Real-ESRGAN過度銳化了虛化區域，導致產生偽影。然而，這三種評價指標仍將其評為最佳，這與視覺規律不符。當經過Real-ESRGAN 處理后，圖片邊緣出現白邊時，HyperIQA 和MANIQA 仍將其選為最佳，也不符合視覺規律。

表9 修復圖片特殊情況在各圖像質量評價指標下得分Table 9 Score of special image case after restoration evaluated by image quality assessment methods

綜上所述，目前傳統的無監督圖像質量評價方法不適用于動畫圖像。而利用深度學習網絡的這三種評價指標，即GMM-GIQA、HyperIQA和MANIQA，對于動畫圖像的評價結果基本符合視覺規律。目前，MANIQA 對于圖像中的壓縮問題不敏感。這三種方法在背景虛化問題上失效，而HyperIQA 和MANIQA在過度銳化的邊緣問題上的評價也失效。如果HyperIQA 和MANIQA 能夠學習更多種類的退化動畫圖片，也許它們的表現會更好。

3.1.3 動畫單圖修復算法效率比較

本小節對上述基于Pytorch 框架[44]的深度學習網絡的二倍超分辨率模型進行了算法效率的比較（其中Real-ESRGAN針對動畫訓練的權重是四倍超分辨率模型）。本文針對幾個關鍵指標進行分析，分別是模型參數量、每秒浮點運算數（FLOPs）、激活次數（activation）、平均運行時間。

首先，比較了模型復雜度方面的指標。模型參數量是衡量模型大小的指標，它表示了模型中需要學習的參數的數量。每秒浮點運算數是衡量模型計算量的指標，它表示模型在每秒內執行的浮點運算的數量。這兩個指標都對模型的效率和計算資源的需求有重要影響。其次，考慮了激活次數這一指標。激活次數表示模型中激活函數的執行次數，它直接關系到模型的計算速度和內存使用情況。最后，對平均運行時間進行了分析。平均運行時間是指在給定輸入條件下，模型完成一次前向傳播的平均時間。這個指標反映了模型的實時性能和計算效率。

表10 所示的所有關鍵指標結果均是使用256×256 的圖片在Nvidia GeForce GTX TITAN X 上進行測試得到的。需要注意的是，網絡參數量越大復雜度越高，則運行時間越長。其中Waifu2x_Swin僅有4層卷積層，每秒浮點運算數和激活次數較小，但它仍然需要處理大量的自注意力操作和窗口劃分操作，反而增加了計算時間。而Waifu2x_CUNet 和Real-CUGAN 網絡模型參數量相同，但用戶可以設置不同的參數。此外，兩個官方網絡的代碼實現細節、計算精度和編譯器優化也存在差異。

表10 動畫單圖修復算法效率比較Table 10 Comparison of effectiveness of single image animation restoration algorithms

通過對以上指標的比較和分析，可以評估模型的算法效率，并選擇最適合實際應用場景的模型。同時，也可以根據這些指標來進一步優化模型，以提高算法效率并減少資源消耗。

3.2 動畫視頻畫質修復測試結果

接下來對第2.1 節中提到的動畫視頻超分方法AnimeVideo-v3 與AnimeSR 進行了測試。測試數據選取了真實的低質量動畫序列，包括一些AVCRealLQ 序列與網絡下載的動畫視頻剪輯。為了評估它們的性能，使用了第3.1.2小節介紹的評價指標，即GMM-GIQA、HyperIQA和MANIQA。

由表11 可見，在“pig_13”畫面中，動畫的筆觸明顯，形變劇烈，并帶有馬賽克狀色塊斷層。Anime-Video-v3 與AnimeSR 在平滑畫面的同時，也導致了嚴重的涂抹感。馬賽克斷層現象得到了平滑，但尚未完全解決。總體上，AnimeSR 的處理結果在畫面邊緣清晰，色塊平滑方面表現更好，相比之下，AnimeSR的結果更加銳利。

表11 pig_13部分片段處理結果Table 11 Restoration results of pig_13 sequence

由表12 可見，GMM-GIQA 在9 組動畫序列中認為有5 組中AnimeSR 的表現更佳，而HyperIQA 和MANIQA則基本認為AnimeSR的結果更好。因為它采用了多尺度結構，增強了對畫面內容的理解，并且輸入了多幀圖片，從而能夠挖掘蘊藏在動畫序列中的時序信息，更好地保證幀間的一致性。然而，目前的評價指標只能對單張圖像的結果進行評估，無法評估視頻幀間的一致性。

表12 視頻超分算法結果的各圖像質量評價指標平均得分Table 12 Average score of image quality assessment methods for restoration results of animation video algorithm

3.3 動畫插幀算法測試

本文對第3.2 節中提到的動畫插幀算法進行了測試，方法包括AnimeInterp[2]與Chen 方法[21]。測試數據選取了ATD-12K 中2 000 組測試集三聯組。由于三聯組的中間幀是插幀的真實值，評價指標可以選擇全參考的峰值信噪比（peak signal-to-noise ratio，PSNR）、結構相似性指數（structural similarity，SSIM）[45]、學習感知圖像切片相似度（learned perceptual image patch similarity，LPIPS）[46]。

從表13 中可以看出，針對三種評價指標，Chen方法表現更好。然而，目前的圖像質量評價方法無法從時序角度分析插幀的合理性和一致性。

表13 ATD-12KTest插幀后平均得分Table 13 Average score of ATD-12KTest after interpolation

復雜運動與物體間遮擋是當前插幀算法的難點。此外，動畫影像通常具有大面積平滑色塊，缺乏紋理特征，并且經常出現非現實的夸張運動，使得動畫插幀變得更加困難。AnimeInterp 與Chen 的插幀方法均依賴光流，在結構中使用了能進行光流預測的RAFT/RFR[47]模塊。

如表14所示，當新物體突然在畫面中出現時，如果前一幀沒有像素點可以映射到新物體的區域，使用前向扭曲（forward warping）方法會導致空洞的產生。而使用后向扭曲（backward warping）方法時，新物體的部分區域在前一幀中沒有可以映射到的位置，因此插幀效果差。反之，若原本畫面中的物體在下一幀中被遮擋或消失，插幀效果也不理想，正如表14中的前兩組示例所示。

表14 插幀方法修復情況Table 14 Animation interpolation restoration results

對動畫由大量純色色塊組成的特點進行分析，表14 第3 組示例中的揮刀轉動屬于純色物體的非直線運動，該實例中“刀”由純色組成，缺乏紋理特征，造成光流方向估計錯誤。同理，第4 組中的“紅桃隊列”具有相同顏色，但每個“紅桃”均是獨立的物體，它們在動畫中的運動方向不同，插幀算法很難分辨出不同幀間每個“紅桃”的對應關系，因此兩種插幀方法在保證幀間一致性上表現不佳。

在AnimeInterp 與Chen 方法的對比中，發現AnimeInterp 的插幀結果邊緣模糊，涂抹感強，插幀不佳的部分呈現模糊態。Chen 方法使用了含有邊緣信息的歐幾里德變換，因此邊緣特征更明顯，插幀不佳的部分呈現重影態而非模糊。由于Chen更重視邊緣的做法更符合動畫作品的特點，其插幀結果也常有優于AnimeIntrep 的表現。如表14 中最后兩組示例所示，Chen插幀結果在對人物毛發、五官等細節部分邊緣清晰，更接近真實中間幀結果，而AnimeInterp模糊不清。

綜上所述，動畫插幀面臨的難點包括新物體進入畫面與原有物體被遮擋或消失的情況。除此以外，大面積純色缺乏紋理、不同物體相同顏色等動畫特點也會增大光流估計的難度。AnimeInterp 插幀常會造成畫面模糊，邊緣不清；而Chen方法插幀常會造成重影，但邊緣相比AnimeInterp結果更加清晰。

4 動畫修復問題的瓶頸與方向

4.1 動畫數據集

在畫質修復方面，缺乏成對的真實動畫數據。因此只能使用降質方法生成對應的低質量圖像，或者利用畫質修復方法得到高質量圖像。然而，這種擬合的數據必須盡可能接近真實數據集的分布，這是收集動畫畫質相關數據時的難點。雖然Real-ESRGAN 與AnimeSR 均有自己的降質策略，但表11“pig_13”動畫中的馬賽克顏色斷層問題仍未得到完全解決，因此需要找到更適合動畫的降質策略。

在時序方面，二維動畫數據缺乏矢量標記。在AnimeInterp 算法中，通過色塊匹配的方式來彌補光流數據的缺失。Chen 方法注重線條的提取，取得了更好的效果。然而，當面臨大面積純色或不同物體具有相同顏色的情況時，這兩種方法都可能由于光流預測錯誤而導致插幀失敗。

AnimeRun 與AnimeCeleb 利用三維軟件建模，模擬二維動畫特征進行渲染，得到具有矢量標記的二維動畫數據。但是三維軟件建模的成本較高，模擬二維動畫的光效較為單一，難以得到逼真的二維動畫風格。因此，結合二維動畫畫面特征與三維軟件輔助是動畫矢量標記的重要方向。

4.2 動畫畫質修復相關方法

在單張動畫圖片畫質修復方面，目前Real-CUGAN與Real-ESRGAN 的處理效果最優。然而，這兩種方法并沒有針對動畫畫面特點進行模型的改進。其中Real-CUGAN 對人物處理粗糙，細節不佳。Real-ESRGAN 過銳的特點會產生邊緣線中空、白邊和偽影，尤其在虛化的背景區域。兩種方法對筆觸和動畫風格的保留均不足，涂抹感強。

要解決以上問題，今后的網絡設計需要結合動畫畫面特點，更好地理解畫面內容，從而更好地保留畫面中的虛實關系、筆觸與風格。在網絡結構上可以加入對邊緣特征的提取，通過在數據集上進行降質方法改進、蒙版處理、特殊情況篩選等步驟，來進一步保留畫面原本風格。

多幀輸入的AnimeSR 在表現上優于單張輸入的AnimeVideo-v3，這提示了動畫序列間的時序信息的重要性。AnimeSR 采用了多尺度的循環模塊，增強了網絡對畫面內容的理解和對時序信息的利用，為未來模型的探索提供了參考。

4.3 動畫插幀算法

AnimeInterp 和Chen 的插幀方法都沒有利用具有矢量標注的數據集進行學習。除了視頻插幀中常見的問題，如物體突然出現或原有物體遮擋消失，還存在純色或相似色塊光流估計不準的問題。例如，人物的兩只眼睛通常具有相似的形狀和顏色，如果在相鄰幀之間無法正確對應眼睛，對畫面的影響將非常明顯。

而AnimeRun 則具有真實的矢量標注，盡管其模擬的二維動畫與真實二維動畫之間存在差距，但光流信息是準確的，并且同色但不同物體之間的幀間匹配也是準確的。因此，利用類似AnimeRun 這樣使用三維軟件制作的光流數據集參與動畫插幀網絡訓練是一個方向。同時AnimeInterp 與Chen 方法對動畫特征的利用也值得學習和借鑒。

4.4 評價指標

目前，傳統的無參考圖像質量評價方法，如NIQE、BRISQUE、NRQM 和PI，其設計初衷是針對自然圖像，因此在動畫評估中全部失效。然而，它們在自然圖像中的特征提取方法可以提供借鑒的思路。在利用深度學習的無參考圖像質量評價方法中，GIQA 使用大量真實的動畫圖像作為參考，通過篩選和收集這些真實圖像可以提高GIQA 的效果。HyperIQA 和MANIQA 表現最佳，但它們偏向于過銳化的效果。建立一個動畫質量評價數據集，并對HyperIQA 和MANIQA 進行重新訓練，將使這兩種方法在動畫中更加適用。

對于全參考的圖像質量評價方法，如PSNR、SSIM 和LPIPS，它們可以用于對單張圖像進行評價，但在動畫作品中，“觀感”比“精確度”更為重要。與超分辨率或插幀后的圖像與參考圖像之間的誤差相比，畫面中線條、人物等細節的紋理對觀感的影響更為明顯。例如人物面部占畫面的比例很小，但往往能最直觀地體現修復效果的好壞。因此，在動畫修復相關工作中，應更加注重觀感和細節。除了單張畫面的細節和畫質外，動畫中幀間的一致性也非常重要。色塊匹配錯誤會導致邊緣模糊、色塊暈染和畫面不流暢等問題。然而，目前尚缺乏用于評估幀間一致性的指標。

4.5 對工業界發展的展望

Topaz Labs 的成功商業化驗證了深度學習方法在實際應用中的可行性。然而，利用用戶本地資源進行計算需要對模型的復雜度進行限制。因此，工業界需要采用模型壓縮技術，如剪枝、量化和分解等，以減少模型的存儲需求和計算復雜度。同時，優化訓練策略和數據集，提升網絡的能力，使網絡更高效。此外，網絡設計需要盡可能地端到端，以優化用戶的使用體驗。

隨著計算能力的提升和云計算的普及，實時動畫修復技術和云服務將成為重要的發展方向。云服務能夠提供高性能的計算資源，使動畫修復工作能夠利用更復雜的模型，從而獲得更好的修復效果。

為了進一步提升用戶體驗，便捷的交互方式和多模態技術具有廣闊的發展前景。用戶可以通過文字或其他交互方法智能而優雅地修改和完善動畫畫面，從而進一步提升其質量和可操作性。

綜上所述，工業界的發展方向包括使用更高效的網絡模型為用戶提供優質的效果，以及探索深度學習方法和云平臺的結合，將科研界前沿的方法實際應用于工業領域。這將推動深度學習技術在動畫修復領域的應用，并為用戶提供更優質的服務體驗。

5 結束語

目前動畫的修復任務已取得一定的進展，但仍存在一些亟待解決的關鍵問題。本文展示了這些方法的實際效果，對關鍵問題與難點進行了總結歸納，并提出了一些潛在的研究方向。未來希望能夠出現更多的動畫相關數據集、修復算法以及評價指標。同時，這些方法需要應用到真實的動畫場景中，例如動畫相關的超分算法可以使過去的動畫作品在2K、4K的屏幕上重現光彩。動畫插幀算法可以極大地減少動畫工作者的勞動時間。希望研究者能更加注重觀感與實際，并進一步優化和改進動畫相關修復工作。