數字圖像修復方法研究進展

摘? 要：圖像修復的目的在于根據已知的圖像信息訓練提取特征，再依據提取的有效特征恢復圖像受損部分的像素。隨著深度學習技術的發展，數字圖像修復技術可以幫助人們解決更加復雜的問題。文章梳理了該領域近年來的研究現狀：首先概述了傳統圖像修復方法以及存在的缺陷，然后對比分析修復效果有顯著提高的圖像修復方法，最后總結當前數字圖像修復技術存在的缺陷并對將來的研究方向進行展望。

關鍵詞：圖像修復;計算機視覺;自編碼網絡

中圖法分類號：TP391.4? ? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）04-0038-03

Research Progress of Digital Image Inpainting Methods

WANG Ke

（College of Physics and Information Engineering， Fuzhou University， Fuzhou? 350108， China）

Abstract： The purpose of image inpainting is to train and extract features according to known image information， and then restore the damaged part pixels of the image based on the extracted effective features. With the development of deep learning technology， digital image inpainting technology can help people solve more complex problems. This paper combs the current state of research in this field in recent years： firstly， it outlines the traditional image inpainting methods and their defects， then it compares and analyzes the image inpainting methods that have significantly improved the inpainting effect， finally， it summarizes the defects of current digital image inpainting techniques and provides an outlook on future research directions.

Keywords： image inpainting; computer vision; auto encoder network

0? 引? 言

圖像修復（Image Inpainting）是一種旨在恢復受損圖像中像素特征受損的部分，然后生成與原始圖像在像素質量和語義上高度相似圖像的技術。在傳統的圖像修復技術中，通常采用的是統計概率的機器學習算法，然后對其進行改進，以不同的方式促進圖像修復的效果。傳統的圖像修復技術在低分辨和紋理結構簡單的圖像上修復效果較好，但是，針對高分辨和紋理復雜結構圖像的修復卻不盡人意。

2014年以后，隨著深度學習技術研究不斷深入，數字圖像修復技術逐漸應用于各行各業，幫助人們解決復雜的問題。深度學習技術能夠彌補傳統圖像修復技術在紋理結構和語義內容上修復的缺陷，較好地解決了圖像修復在語義中的特征提取，使得修復的結果可以達到人類視覺滿意的效果。本文將對傳統圖像修復方法和基于深度學習的數字圖像修復方法進行對比分析，重點分析新出現的基于深度學習的方法，并對將來的研究熱點和發展方向提出展望。

1? 傳統圖像修復方法

傳統的圖像修復方法主要分為基于擴散的方法和基于補丁的方法。分類如圖1所示，本章主要介紹具有代表性的傳統圖像修復方法，總結和分析其優缺點。

1.1? 基于擴散的方法

基于擴散的圖像修復方法主要是將圖像破損區域周圍的像素信息逐漸擴散到破損區域，然后合成新的紋理來填充受損部分。Bertalmio等人[1]提出的BSCB（Bertalmio Sa piro Caselles Ballester）模型，它的中心思想是沿著等照度線向破損區域的方向光滑的傳遞信息，以達到補全圖像的目的。修補過程就是利用已知的像素信息向受損部分擴散修復受損部分。Chan等人[2]在全變分（Total Variation， TV）模型[3]基礎上，提出CDD（Curvature Driven Diffusions）模型，經過優化后提出的CDD模型可以利用曲率來控制擴散強度進一步的擴散已知圖像的信息，進而提高圖像修復的真實性。

1.2? 基于補丁的方法

基于補丁的方法也稱為基于樣本塊方法，它的中心思想是在已知的圖像中尋找與損壞區域最佳匹配的補丁塊，然后復制補丁塊的像素信息進行填充，繼而完成受損圖像的修復。Criminisi等人[4]提出了一種紋理合成修復算法，這種方法也是基于匹配的補丁塊，在紋理和結構信息的修復上，取得了不錯的修復效果。Barnes等人[5]提出一種稱為PatchMatch算法，通過使用快速最近鄰域算法降低了補丁塊搜索過程的內存和計算成本。更多時候圖像受損情況是小部分缺失，這時基于補丁的方法就變得不好處理，研究者們引入了深度學習方法進行圖像修復。756FB558-D66D-4ECD-A2ED-20B98D954884

2? 基于深度學習的圖像修復方法

圖像修復技術根據修復對象不同可分為：矩形遮蓋和小范圍破損區域的修復模型、修復不規則形狀的模型、產生多種修復結果的模型和修復高分辨率的模型。下面對具有代表性的模型進行了分析和總結。

2.1? 基于自編碼器的圖像修復

自編碼器（Auto Encoder， AE）最早于1986年由Rumelhart等人[6]提出概念，后面逐步出現各種基于自編碼器的網絡方法。Pathak等人[7]提出名為上下文編碼器（Context Encoder， CE）圖像修復網絡，它將由基于上下文的像素預測驅動的無監督特征學習應用于小矩形塊的圖像修復。CE網絡的結構由編碼器和解碼器組成，中間采用通道等寬的全連接層（Channel-wise fully-connected layer）連接，編碼器提取輸入圖像特征，解碼器將壓縮后的特征圖逐步放大，恢復到原始圖片的大小。重建損失和對抗性損失兩種損失結合在一起使生成的圖像既具有結構性，又具備真實語義，使預測結果更加真實。

2.2? 基于生成對抗網絡的圖像修復

最早提出生成對抗網絡（Generative Adversarial Networks， GAN）模型的是Goodfellow等人[8]，其靈感來自博弈論。由生成器和判別器組成，生成器是生成內容，判別器是判斷生成內容和真實內容的真假。GAN結構如圖2所示。

Zhao等人[9]提出基于無監督跨空間變換的多樣性圖像修復網絡（Unsupervised Cross-space Translation Generative Adversarial Network， UCTGAN）。該網絡由多樣性映射模塊、生成模塊和條件編碼器模塊組成。在該模型中，通過輸入不同的真實圖像可以得到不同的修復圖像，通過判別器評估和多個損失的綜合得分排名可以返回修復效果最好的圖像，提高了圖像修復真實性和客觀一致性。

2.3? 多樣化的圖像修復方法

Liu等人[10]提出了PD-GAN（Probabilistic Diverse GAN），PD-GAN是一種用于圖像修復的概率多樣化GAN。對于待修復區域圖像，PD-GAN會產生具有多樣化和視覺逼真的多個修復結果。作者提出了空間概率分集歸一化（SPDNorm），模擬生成以上下文信息為條件的像素概率。同時，作者提出感知多樣性損失，并進一步以PD-GAN方法進行多樣化的內容生成。在圖像填充過程中，待修復圖像邊界附近的像素應該更具確定性，而位于待修復區域中心的像素應該享受更多多樣化。

2.4? 高分辨率的圖像修復方法

先前的圖像修復方法由于內存的限制，一直僅限于處理低分辨率圖像，但隨著深度學習技術研究逐步深入，高分辨率圖像的修復方法開始了探索。Yi等人[11]提出一種上下文殘差聚合（Contextual Residual Aggregation， CRA）機制，對高分辨率圖像進行修復。結合輕量級門控卷積和多個抽象級別上使用上下文注意力等技術，提高了圖像的修復質量，同時可在不占用大量計算能力情況下對高分辨率圖像進行推理和修復。

3? 數據集

近年來，機器學習和深度學習在計算機視覺研究領域蓬勃發展。許多學術機構和企業在各種視覺任務中都開放了大量的圖像數據集，以幫助更多的從業者將科研成果轉化為生產，為社會生產進步和人民生活提供更好的服務。基于目前的技術和計算能力，訓練一個通用的圖像修復模型仍然是一個很大的挑戰，因此大多數模型研究仍然是基于特定類型的數據進行訓練和測試。表1列出了圖像修復研究中最常用的幾個數據集。

4? 結? 論

本文主要是對深度學習技術在圖像修復方向提出的方法原理進行簡要的介紹和總結，重點從傳統圖像修復方法和深度學習圖像修復方法兩方面進行對比和分析。深度學習技術彌補了傳統圖像修復的不足，使得圖像修復更加符合客觀要求。研究人員在生成模型選擇、網絡結構設計、判別器優化、損失函數優化等方面不斷創新并取得了長足的進步，并且隨著深度學習技術和硬件設備的快速發展，在醫學、文物數字修復等領域都有了很好的應用。本文在對現有的技術進行分析的基礎上，針對目前仍然存在的問題和難點，對未來的研究方向和發展趨勢做出展望：（1）圖像修復實際上就是通過提取已知圖像的特征信息來進行匹配破損圖像缺失區域的信息，但是如何將已知區域和未知缺失區域聯系起來提高圖像修復的準確性，還需要在后續的研究中深入探索。（2）目前的圖像修復方法在處理規則的結構化數據、小孔修復和低分辨率圖像修復等方面都能取得較好的修復效果。如何提高復雜紋理、大孔洞和高分辨率圖像的修復效果將會成為后續圖像修復研究的主要熱點。（3）對于深度學習技術來說，網絡結構越深，修復圖像的效果越好，但同時也會帶來數據集不好訓練的問題，對計算機機器的要求更高。如何平衡網絡的復雜結構和修復圖像的質量之間的矛盾，需要進一步的研究。（4）視頻流圖像的修復在現階段來說具有一定的挑戰，如何結合網絡結構來進行修復，結合哪種網絡結構來處理視頻流圖像也將會具有重大意義。

參考文獻：

[1] BERTALMIO M，SAPIRO G，CASELLES V，et al. Image inpainting [EB/OL].[2021.12.03].https：//dl.acm.org/doi/pdf/10.1145/344779.344972.

[2] CHAN T F，SHEN J H. Nontexture Inpainting by Curvature-Driven Diffusions [J].Journal of visual communication and image representation，2001，12（4）：436-449.756FB558-D66D-4ECD-A2ED-20B98D954884

[3] SHEN J J，CHAN T F. Mathematical models for local non-texture inpaintings [J].SIAM Journal on Applied Mathematics，2002，62（3）：1019-1043.

[4] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J].IEEE Transactions on image processing，2004，13（9）：1200-1212.

[5] BARNES C，SHECHTMAN E，FINKELSTEIN A，et al. PatchMatch： A randomized correspondence algorithm for structural image editing [J].ACM Transactions on Graphic，2009，28（3）：24.

[6] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning internal representations by error propagation [J].Readings in Cognitive Science，1988：399-421.

[7] PATHAK D，KRAHENBUHL P，DONAHUE J，et al. Context encoders： Feature learning by inpainting [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：2536-2544.

[8] GOODFELLOW I J，POUGET-ABADIE J，MIRZA M，et al. Generative adversarial nets [J].Proceedings of the 27th International Conference on Neural Information Processing Systems，2014，2：2627-2628.

[9] ZHAO L，MO Q H，LIN S H，et al. UCTGAN： Diverse Image Inpainting Based on Unsupervised Cross-Space Translation [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：5740-5749.

[10] LIU H Y，WAN Z Y，HUANG W，et al. PD-GAN： Probabilistic Diverse GAN for Image Inpainting [J/OL].arXiv：2105.02201 [cs.CV].[2021-12-14].https：//arxiv.org/abs/2105.02201v1.

[11] YI Z L，TANG Q，AZIZI S，et al. Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：7505-7514.

作者簡介：王柯（1994—），女，漢族，河南周口人，碩士研究生在讀，研究方向：圖像修復與圖像生成。756FB558-D66D-4ECD-A2ED-20B98D954884