利用圖像平滑結構信息指導圖像修復

張家駿，廉敬，*，劉冀釗，董子龍，張懷堃

（1.蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730000；2.蘭州大學 信息科學與工程學院，甘肅 蘭州 730000）

1 引言

圖像修復是計算機視覺領域中的一個重要任務，旨在修復損壞、褪色和含噪圖像。以合理逼真的內容和正確的上下文語意填充圖像的孔洞區域，使之全景還原，提升畫面質感。除此之外，圖像修復技術還可用作圖像編輯工具，如：移除圖像中不需要的目標。

圖像修復的早期方法可分為基于擴散的方法和基于塊的方法。基于擴散的方法是利用圖像中已知的像素信息來推斷未知區域的像素值。這種方法在處理較大的缺失區域或復雜的圖像結構時無法準確地恢復缺失的細節信息。基于塊的方法是將圖像分割成塊，首先從待修補區域的邊界上選取一個像素點，同時以該點為中心，根據圖像的紋理特征，選取大小合適的紋理塊，然后在待修補區域的周圍尋找與之最相近的紋理匹配塊來替代該紋理塊。然而，當關鍵區域和重要結構缺損時這種方法面臨挑戰。

上述兩種方法因無法處理結構復雜的圖像，常常需要結合深度學習的方法包括基于卷積神經網絡（Convolutional Neural Networks，CNN）［1］、生成對抗網絡（Generative Adversarial Networks，GAN）［2］、注意力機制和變分自編碼器（Variational Autoencoders，VAE）［3］修復方法等來提高處理結構復雜圖像的能力。現有的基于結構特征的圖像修復方法大致分為兩類：非結構指導修復方法［4-8］和結構指導修復方法。非結構指導修復方法包括單階段修復網絡和多階段修復網絡。這類方法通常包含多個修復階段或子網絡，網絡在訓練時需要按照特定的順序執行。使用這類修復方法必然會增加整個網絡的復雜度和訓練難度，也限制了網絡的靈活性和適應性。在實際應用中，多階段網絡也會導致錯誤的累積和傳播，影響最終的修復結果。結構指導修復方法［9-12］主要是通過圖像的抽象結構特征指導圖像修復。這類方法大多選擇先修復圖像的結構，再依靠完整的結構特征修復圖像。網絡設計為單方向單路結構，這樣的設計導致了圖像的修復效果過于依賴結構信息。如果圖像的結構存在噪聲或邊緣不明顯，這類方法就無法準確地修復缺失的區域。

本文基于深度學習，提出一種圖像平滑結構指導圖像修復的網絡，網絡由圖像平滑結構提取網絡Ns和圖像修復網絡Ninp并行組成。其中Ns網絡由膨脹卷積組成，Ninp網絡由殘差門卷積組成。相比于高分辨率的復雜原始圖像，圖像的不規則平滑結構更容易修復，我們用容易修復的平滑結構圖像指導修復困難的高分辨率圖像，無疑會降低整個圖像修復的復雜程度。Ns網絡對Ninp網絡的指導功能通過我們提出的多尺度特征指導（Multi-Scale Features Guidance，MFG）模塊實現，Ninp網絡的解碼層利用MFG 模塊特征均衡后的指導信息進行圖像重建。MFG 模塊的設計融入transformer，利用transformer 在局部和全局上下文之間強大的建模能力，使網絡能夠學習到圖像中不同區域之間的依賴關系。本文提出的網絡結構可以有效地避免網絡中錯誤信息的累加和傳播，MFG 的指導信息能夠自動檢驗并及時糾正錯誤的填充內容，保證修復結果的準確性。除此以外，我們的方法不同于之前結構指導修復的方法。之前的方法大多是先重建出圖像的結構，然后在圖像結構的基礎上重建出完整圖像。而在我們的方法中，結構重建和圖像重建是同步進行的，圖像的結構信息不作為次級階段網絡的輸入。這種設計提高了圖像修復的準確性，圖像修復結果與結構指導信息之間的依賴性較低，圖像修復結果不會因為圖像結構中存在噪聲或模糊而受到影響。

2 相關工作

2.1 傳統圖像修復方法

傳統的修復方法主要包括基于擴散的方法和基于塊的方法。傳統方法更加依賴于對圖像的先驗假設，導致對于復雜結構的圖像處理存在一定的局限性。

基于擴散的方法是一種基于局部信息的修復方法，最早由Bartalmio 等人［13］引入到圖像處理中，利用待修補區域的邊緣信息，采用一種由粗到精的方法來估計等照度線的方向，利用傳播機制將信息傳播到待修補的區域內。在基于擴散的圖像修復方法中，最著名的方法是各向異性擴散［14］，該方法的基本原理是根據圖像中像素的梯度信息和鄰域像素差異計算擴散系數，調整各向異性擴散的強度和方向。除此之外，全變分方法［15］通過對歐拉-拉格朗日偏微分方程求解來迭代傳播信息，但視覺連貫性較差。隨后，Chan 等人［16］又提出一種曲率驅動擴散模型并將其運用在古壁畫修復中，該模型彌補了全變分模型修復視覺不連貫的缺陷。這類方法本質上都是基于偏微分方程和變分法的修復算法，只能處理較小孔洞的修復，無法修補缺失區域的合理結構。

基于塊的方法是利用圖像塊的紋理合成技術填充缺失區域。該方法的核心思想是：將圖像分成許多小的塊，在缺失區域的周圍尋找與之相近的紋理塊來匹配缺失區域，借此恢復整個圖像。基于塊的方法主要有基于塊匹配的修復方法、基于塊內插的修復方法和基于塊稀疏表示的修復方法［17］。Irani 等人［18］最早提出一種多尺度圖像匹配算法被廣泛的應用在圖像修復任務中。隨后Criminisi 等人［19］提出一種區域順序填充方法，根據邊緣像素點的填充優先級，在剩余區域查找與優先級最高的像素點相似的像素塊，對缺失孔洞進行填充，但這種方法使用信息有限，在高頻時效果較差。Barnes 等人［20］提出一種塊匹配算法，利用圖像的局部相關性實現快速的相鄰塊匹配。Huang 等人［21］利用圖像中間的平行結構，提出了一種塊填充的自動補全算法。這類方法在面對大面積缺損且紋理結構復雜的圖像時，無法對圖像深層的語義信息進行分析。

2.2 基于深度學習的修復方法

在基于深度學習的方法中，Pathak等人［22］早期提出一種無監督的視覺特征學習方法，提出的架構通過逐像素重建損失和對抗損失來訓練網絡。但自動編碼器網絡的生成能力欠缺，導致了結果的不可信。Yang等人［23］提出了一種殘差學習方法，該方法旨在學習缺失區域的丟失信息，當關鍵結構缺失，全局圖像和局部不一致時，該方法無法實現有效恢復。為此，Iizuka等人［4］引入了全局和局部上下文判別器來訓練全卷積修復網絡。在Iizuka工作基礎上，Demir等人［5］進一步提出了結合全局GAN和新型PatchGAN鑒別器，以達到全局結構一致性和更好的紋理細節。以感受野為關鍵點，Chen等人［24］結合了全局和局部判別器，提高了圖像全局一致性和特征利用率。同樣，Quan等人［25］以不同感受野為基礎，提出了一種局部和全局細化的三階段修復網絡。Zhang等人［26］基于全局和局部判別器，加入了感知操作，以感知損失引導編碼特征接近真實值。在之前全局和局部判別器基礎上，Yu等人［7］提出了一種利用訓練獲取周圍圖像特征的方法，比GLCIC模型［4］收斂更快，但是無法判斷修復位置與整個區域的相互關系。Liu等人［27］關注到不規則孔洞圖像填充問題，提出了部分卷積，通過過濾有效像素，解決了修復圖像產生的顏色差異和模糊的偽影問題。隨后，針對部分卷積，Yu等人［6］提出了門卷積，門卷積的動態特征選擇機制彌補了部分卷積的不足，顯著提高了圖像的顏色一致性和修復質量。Xie等人［28］提出一種可學習的注意力圖模塊，用于端到端的特征重歸一化和掩碼更新學習，能夠有效地適應不規則孔洞和卷積層的傳播。現有的圖像修復技術可以生成合理的結果和語義上的有效輸出，但是每種掩膜圖像只能生成一個合理結果。Zheng等人［29］開創性的提出了一種多元圖像修復方法。類似的，Zhao等人［30］通過將實例圖像空間和修復圖像空間映射到低維多樣性空間的方式實現了多結果修復。GAN網絡在訓練中常出現梯度消失或梯度爆炸問題，Xu 等人［31］提出一種重構采樣和多粒度生成的對抗策略，優化了GAN 的訓練過程。在圖像超分辨率重建任務中，Yi 等人［8］提出了一個上下文殘差聚合機制，可實現對2K 圖像的修復。在結合圖像結構實現重建的工作中，Peng 等人［32］受 到VQ-VAE［33］的啟發，通過VQ-VAE 中的矢量量化對結構信息的離散分布進行自回歸建模，從分布中采樣生成多樣的高質量結構。Ren 等人［11］提出了一種結構和紋理生成器組合修復圖像的網絡，將邊緣平滑處理后的圖像作為結構表示引導圖像修復。Yang 等人［34］提出一種由粗到細的殘差修復網絡，先修復圖像的低頻粗糙輪廓，再將細節作為殘差添加到粗糙輪廓中。除了深度學習外，我們發現基于脈沖耦合神經網絡的類腦算法［35-36］在圖像修復領域也具有較大潛力。

3 平滑結構指導圖像修復模型

本文提出的圖像修復方法由兩個并行網絡組成：圖像結構修復網絡Ns和圖像全文修復網絡Ninp，如圖1 所示。Ns網絡的目標是重建受損圖像的平滑結構。Ninp網絡的目標是修復受損圖像的全文信息。為了匹配圖像的結構和紋理，我們提出多尺度特征指導（MFG）模塊，利用MFG 模塊特征均衡后的信息指導Ninp網絡完成受損圖像的重建。和孔洞內的無效像素區域組成。Ns網絡和Ninp網絡的特征處理層由殘差門卷積［6，37］和膨脹卷積［38］組成，如圖1 所示。考慮到傳統卷積和其他采樣方式［39］在訓練中會出現填充內容模糊和顏色差異等問題，因此在設計網絡時，我們使用門卷積來消除掩碼區域偽影，實現填充內容與圖像原有內容的連貫。在圖像生成任務中，膨脹卷積被用來擴大感受野，使網絡能夠有效地捕捉更大范圍的上下文信息。此外，為了穩定訓練過程，防止梯度消失或梯度爆炸，我們在Ninp網絡的每個卷積層中引入了光譜歸一化方法［40］，通過限制權重矩陣的變化范圍，使判別器滿足Lipschitz 條件，提高模型的魯棒性。

圖1 本文方法的總架構Fig.1 Overall architecture of the proposed method in this paper

在對受損圖像重建的過程中，Ns網絡主要對圖像做全變分平滑處理，提取圖像的結構信息。平滑結構圖像包含了原圖像中的多元信息，如圖像的邊緣、紋理、形狀、顏色和亮度。不同于邊緣結構，平滑結構主要用于表現圖像中的變化程度。在訓練過程中，Ns網絡對Ninp網絡的指導通過MFG 模塊實現，MFG 模塊的輸入包含三個不同維度的多特征空間，特征空間尺寸分別為32×32，64×64 和128×128。特征空間由Ns網絡解碼層的完整平滑結構圖像特征和Ninp網絡編碼層的受損圖像特征融合而成。平滑結構圖像經過平滑、濾波和細節模糊處理后更易于分析，比起原始受損圖像也更容易修復。因此，我們將相同尺寸的完整結構圖像和缺損圖像進行匹配，通過MFG 模塊對兩種特征信息進行建模，建立聯系。特征均衡后的信息根據不同卷積層尺度傳播到Ninp網絡的解碼層，指導信息即為圖1 中的結構特征指導（Structural Features Guidance，SFG）層。在深度學習中，不同感受野可以捕捉不同尺度的特征信息。其中，較小的感受野適合捕捉局部細節信息，較大的感受野能夠捕捉范圍更廣的上下文信息。不同感受野的設置有助于模型全面地理解數據特征，保證重建后的圖像上下文語義一致，Quan 等人［25］已證明不同感受野在圖像修復中的有效性。因此，我們在Ninp網絡中設置了三個不同感受野使網絡充分感知圖像中的紋理細節，建立上下文之間的聯系。

其中：i表示對應圖像的三個尺度，分別是32×32，64×64 和256×256。Igs（i）表示原始完整圖像的平滑結構，ISou（ti）表示Ns網絡的生成結果。M表示二進制掩碼（mask=1）。LShole表示孔洞區域的圖像重建損失，LSvalid表示非缺損區域的圖像重建損失。表示Ns網絡的重建總損失，λrec為平衡因子。

圖像全文修復網絡Ninp的目標是生成上下文語義一致，色彩紋理完整的圖像。Ninp網絡的損失函數設置包括重建損失、對抗損失、風格損失和感知損失。重建損失設置與Ns網絡相類似，如下式所示：

在重建圖像和真實值之間的計算中，我們分別計算三個尺度的重建損失，然后對不同尺寸的損失值累加求和，如圖2 所示。多尺度重建損失能夠使模型在不同尺度上更好的捕捉圖像的細節和結構，也能更好地理解圖像的全局和局部特征，從而生成具有更多細節的圖像。

圖2 Ninp網絡中解碼層與真實值之間不同尺度的重建損失Fig.2 Reconstruction losses of different scales between the decoding layer and ground truth values in the network

對抗損失的設置采用LSGAN方法［41］。與傳統GAN 的對抗損失相比，這種方法可以使生成器產生更真實的結果，降低了梯度消失或梯度爆炸的風險，從而提高模型的穩定性和生成效果。對抗損失定義如下：

其中：LD為判別器對抗損失，LG為生成器對抗損失。受諸多圖像修復工作［9，27-28，42］啟發，我們還設置了感知損失［43］和風格損失［44］。我們使用訓練好的VGG-16 網絡對圖像進行特征提取，在空間特征中計算兩者的損失。通過對圖像語義信息和紋理特征的比較，感知損失能夠有效的衡量生成圖像和真實值之間的差異，進而優化生成模型。上述的風格損失中使用格萊姆矩陣捕捉圖像的風格特征，計算圖像之間的風格差異。格萊姆矩陣是基于特征圖的空間信息進行計算的，它可以將特征圖通道之間的相關性轉化為矩陣的形式。這種相關性可以反映出圖像的紋理和結構信息。感知損失和風格損失定義如下：

其中：Fi表示預先訓練好的VGG-16 網絡中第i 層特征圖。Gi表示格萊姆矩陣，代表了特征之間的協方差矩陣以及每種特征之間的相關性。綜合上述，圖像全文修復網絡Ninp的總損失為：

其中，λg和λp都為平衡因子。

圖像修復任務的難點在于面對復雜的紋理和結構時，網絡模型難以重建出語義合理，內容連貫的圖像。圖像結構的指導能夠在修復過程中準確的定位圖像受損區域，然后根據結構信息與受損圖像之間的匹配關系進行修復。為了建立結構特征和受損圖像特征之間的聯系，我們提出MFG 模塊對圖像關系進行建模，并對Ninp網絡的解碼層進行指導。如圖3 所示，MFG 模塊的輸入為三個不同尺寸的特征空間。不同特征空間的注意力映射矩陣采用transformer encoder 計算。Transformer 方法可以將圖像所有像素展平進行位置編碼，有利于網絡捕捉全局上下文的信息，建立圖像中不同位置之間的依賴關系。不同于傳統卷積神經網絡需要逐層逐通道計算，transformer 可以并行處理輸入序列，擁有更高的計算效率和處理速度。特征空間的注意力映射計算如下所示：

圖3 MFG 模塊結構圖Fig.3 MFG module architecture

其中：Wq和Wk是1×1 卷積濾波器。fi和fj分別表示特征空間中第i個位置和第j個位置的特征。AMij表示對應特征空間的注意力映射。βk，j，i表示第k個特征空間在合成第j個區域時，模型對第i個位置的關注程度。最后MFG 的輸出為O，通過不同的尺度變換分別對Ninp網絡的解碼層進行指導，計算公式如下所示：

其中：γ，α和δ分別為平衡權重的可學習尺度參數，初始值設置為0。F1，F2和F3分別對應32×32，64×64 和256×256 的特征空間。

4 實驗與結果

本節闡述了實驗中選用的數據集、對比方法和詳細的參數設計。通過對比實驗，驗證本文方法的優越性。最后，通過消融實驗驗證了本文利用結構特征對修復網絡指導的有效性。

4.2 定量分析

本文采用了五種廣泛使用的圖像質量評估指標：平均絕對誤差（Mean Absolute Error，MAE）、學習感知圖像塊相似性（Learned Perceptual Image Patch Similarity，LPIPS）、弗雷歇初始距離（Frechet Inception Distance，FID）、結構相似性（Structure Similarity Index，SSIM）和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）。不同的評價指標可以從不同方面反應圖像的重建質量［49］，這五個常用指標都用于度量圖像之間的相似性和失真度。實驗中測試掩碼使用Liu 等人［27］公布的大型掩碼數據集，該數據集共有12 000 張不規則掩碼圖像，專門用于圖像修復任務。根據掩碼大小，依次選取了1%～10%，10%～20%，20%～30%，30%～40%，40%～50% 和50%～60%六張掩碼圖像用于測試，如圖4 所示。每張測試圖像的分辨率為256×256。表1～表3列出了使用不同比例掩碼圖像測試下，本文方法與其他五種先進算法之間的測試數據對比。通過定量分析發現，我們的方法雖然沒有在每項指標中都得到最好的結果，但從整體數據來看存在明顯的優勢。

表1 使用CelebA-HQ 數據集測試Tab.1 Tested on the CelebA-HQ dataset

表3 使用Places2 數據集測試Tab.3 Tested on the Places2 dataset

圖4 定量比較中所選取的6 種掩碼圖像Fig.4 Six mask images selected for quantitative comparison

4.3 定性分析

我們用本文方法與其他五種圖像修復方法在CelebA-HQ，Paris Street View 和Places2 數據集上做相同掩碼區域的測試，如圖5 所示。比較方法包括GC，PIC，MEDFE，RFR 和MADF。首先，在CelebA-HQ 數據集上，本文方法修復出的圖像更加準確細膩，可以完整地恢復出人物面部特征，并且沒有產生模糊和偽影。其他方法的修復結果則出現了偽影、像素模糊和語義不合理等一些問題且重建內容不符合人眼的視覺特性。其次，在Paris Street View 數據集測試中，PIC 方法存在明顯的噪聲（第三排和第四排的第六張圖像），受損圖像的填充紋理出現語義錯誤。最后，在Places2 數據集測試中，RFR 和GC 方法的測試結果較為模糊（第五排的第五張和第七張圖像），其中RFR 測試結果的不同信息（山脈和天空）發生混疊且邊緣不明顯。MADF 和RFR 方法得到的結果雖然合理，但是出現了明顯的較大像素塊（第六排的第三張和第五張圖像），像素塊區域分辨率低，導致圖像整體銜接不自然。在實際圖像測試中，本文方法的測試結果完全符合上下文語意，并且修復后的圖像沒有模糊的紋理塊和偽影。

圖5 本文方法與其他方法在三種數據集上的定性比較。前兩排為CelebA-HQ 數據集圖像，第三和第四排為Paris Street-View 數據集圖像，最后三排為Places2 數據集圖像。每組圖像都使用不同的掩碼進行測試。GT 表示圖像真實值。Fig.5 Qualitative comparison between the proposed method and other methods on three datasets.The first two rows display images from the CelebA-HQ dataset，the third and fourth rows show images from the Paris StreetView dataset，and the last three rows present images from the Places2 dataset.Different masks were used for testing in each image set.GT represents the ground truth.

4.4 消融實驗

為了驗證Ns網絡和Ninp網絡拼接后的特征空間通過MFG 模塊指導圖像修復的有效性，我們將MFG 模塊換為簡單的特征融合模塊進行訓練，將訓練后的網絡與原網絡進行比較，比較結果如圖6 所示。第一組圖像中，沒有MFG 模塊的網絡無法合理的修復出人物的眼睛特征。修復結果和結構指導圖像中的人物眼睛一大一小，無法合理的修復出圖像。圖6 中的第二組圖像也是如此。沒有MFG 模塊網絡的修復結果中，人物的嘴部結構變形且對應的結構指導信息沒有這一區域的結構特征。

圖6 有MFG 模塊網絡與無MFG 模塊網絡的修復結果比較Fig.6 Comparison of inpainting results between networks with MFG module and networks without MFG module

除了定性分析，還對測試結果進行了定量比較，如表4 所示。無MFG 模塊的網絡修復結果在五種客觀指標下都低于有MFG 模塊的網絡。通過實驗，證明了只將結構指導特征融合，無法有效的指導網絡解碼出語義合理的完整圖像。MFG 模塊對圖像修復任務的貢獻在于建立了受損圖像和圖像結構之間的聯系，使修復結果內容合理且滿足上下文語義的一致。

表4 消融實驗定量分析Tab.4 Quantitative analysis of ablation experiments

4.5 置信度分析

為了驗證所提出的網絡結構和MFG 模塊的有效性，選擇了MEDFE［9］和BGCI［50］網絡與本文方法進行置信度比較，這兩種網絡的設計方式和功能組成模塊與本文類似，適合與本文方法進行橫向對比實驗。MEDFE 網絡是通過結構和紋理的特征均衡對解碼器進行指導，與本文方法的平滑結構特征指導修復類似。BGCI 網絡是基于transformer 進行的圖像修復，與本文方法中基于transformer 的MFG 模塊類似。在圖像修復中，置信度是指網絡對修復結果的可信度，一般表示修復結果的可靠性和質量。在實驗中，依次對MEDFE 網絡中接受指導信息的解碼器部分、BGCI 網絡中transformer 后的解碼器部分和本文網絡中MFG 模塊后的解碼器部分進行了置信度分析。為了便于觀察，將置信度分布的像素矩陣可視化為256×256 的圖像，如圖7 所示。

圖7 置信度分布可視化圖示Fig.7 Visualization of the confidence level distribution

從置信度分布的可視化結果來看，顏色越暗的區域表示預測的生成結果區域與圖像真實值越接近，顏色越亮的區域表示預測的生成結果區域與圖像真實值越不一致。第一組人臉圖像測試中，BGCI 方法在人物五官的重建能力方面明顯不如MEDFE 和本文方法。而MEDFE 方法的總體置信度分布低于本文方法。第二組街景圖像測試中，本文方法在整體修復和細節修復方面都勝于其他兩種方法。通過與本文方法類似結構和類似模塊的橫向對比實驗發現，本文網絡中的指導設計和MFG 模塊對圖像修復任務具有較好的效果。

4.6 目標移除

目標移除就是去除圖像中不需要或不想要的對象，以改善圖像的外觀或滿足特定的需求。為了驗證我們的方法可以有效地移除圖像中不需要的目標，在Places2 和Paris Street View 數據集上進行了測試并做出定性分析。定性分析如圖8 所示。MADF 方法的測試結果中存在掩碼區域的輪廓偽影，并且目標移除后的區域存在模糊的紋理塊，該方法的目標移除效果并不理想。GC 方法雖然可以在Paris Street View 數據集上完美地移除圖像中的目標，但是在Places2 數據集上目標移除后的圖像出現了偽影和模糊的紋理塊。本文方法可以成功地將圖像中的目標人物移除。目標移除后的圖像在視覺上實現了逼真的效果，且圖像的掩碼區域沒有產生模糊和偽影。

圖8 不同場景下我們方法與其他兩種方法的目標移除效果對比（GT 表示圖像真實值，Mask 表示掩碼圖像）Fig.8 Comparison of object removal effect between our method and other two methods in different scenarios（GT represents the ground truth，and Mask represents the mask image）

5 結論

本文設計了一個由圖像平滑結構指導圖像修復的并行網絡結構，使用多尺度特征指導模塊對網絡的圖像重建進行指導和約束。圖像結構指導圖像修復的設計與操作，避免了錯誤特征的傳播，降低了結構對圖像生成能力的依賴，極大提高了網絡的魯棒性。本文最后給出的定量與定性對比實驗數據表明，本文方法不僅在圖像修復效果上具有優越性，還可作為具有目標移除功能的圖像編輯工具。