基于注意力和卷積特征重排的圖像修復

摘 要：近年來，基于U-Net與GAN（生成對抗網絡）的深度學習網絡模型在圖像修復領域展現(xiàn)出了獨特的優(yōu)勢，但是修復結果中仍然存在偽影、模糊、紋理細節(jié)退化、對于大面積破損難以修復、修復后的孔洞與背景圖像不相容等現(xiàn)象。為了解決現(xiàn)有模型對大面積破損圖像修復不友好以及修復后的圖像存在退化現(xiàn)象等問題，通過對現(xiàn)有方法進行研究，改進了Shift-UNet（移位網絡）模型：在U-Net與GAN的基礎上，在每一層編碼器和解碼器之間增加了改進之后的注意力機制Attention-UNet并融入Shift-UNet，形成Attention-Shift-UNet；通過研究，將原來下采樣部分的激活函數(shù)由Leaky_ReLU改為了SiLU函數(shù)。改進模型不僅在64×64的中心遮罩上取得了較好的效果，還實現(xiàn)了隨機遮罩，遮罩面積由20%增加到80%。通過實驗結果證明，該模型的修復效果更優(yōu)，特別是針對大面積破損圖像的修復。在CelebA、ParisArchitecture以及Paris Streetview數(shù)據集上經過測試，各評價指標都有明顯的提高，其中結構相似性（SSIM）由原來的0.944 5提高到0.947 1，峰值信噪比（PSNR）由原來的27.992 7提高到28.553 6，L2損失由原來的0.001 7降低到0.001 5。

關鍵詞：圖像修復；Attention-Shift-UNet；特征重排；移位網絡；注意力機制

中圖分類號：TP751.1 文獻標志碼：A 文章編號：1001-3695（2023）02-051-0617-06

doi： 10.19734/j.issn.1001-3695.2022.06.0273

Image restoration based on attention and convolution feature rearrangement

Wu Kaijun， Shan Hongquan， Mei Yuan， Xu Zehao， Wang Mengsi

（School of Electronic amp; Information Engineering， Lanzhou Jiaotong University， Lanzhou 730030， China）

Abstract：In recent years， the deep learning network model based on UNet and GAN（generative adversarial network） has shown unique advantages in the field of image restoration. But， there are still artifacts， blurring， degradation of texture details， difficult to repair large-area damage， and the repaired holes are incompatible with the background image. In order to solve the problems that the current existing models are not friendly to the repair of large-area damaged images and the degraded images after repair， this paper improved the Shift-UNet model by studying the existing methods. On the basis of U-Net and GAN， this paper added an improved attention mechanism Attention-UNet between each layer of encoder and decoder and integrated it into the Shift-UNet to form Attention-Shift-UNet. And through research， it changed the activation function of the origi-nal down-sampling part from Leaky_ ReLU to SiLU. The improved model not only achieved good results on the 64×64 central cover， but also realized the random cover， and the cover area increased from 20 % to 80 %. The experimental results show that the repair effect of the proposed model is better， especially for the repair of large-area damaged images. After testing on CelebA， Paris Architecture and Paris Stree View datasets， the evaluation indexes have been significantly improved， and SSIM has increased from 0.944 5 to 0.947 1. PSNR is increased from 27.992 7 to 28.553 6. L2 loss is decreased from 0.001 7 to 0.001 5.

Key words：image inpainting; Attention-Shift-UNet; feature rearrangement; shift network; attention

0 引言

人類眼睛的成像系統(tǒng)非常地多樣化，并且高度集中， 當看到一幅缺失的圖像時，可以容易地通過缺失區(qū)域周圍的像素去聯(lián)想缺失部分的內容，從而達到通過肉眼去腦補缺失部分。圖像修復目前可分為基于傳統(tǒng)的圖像修復方法與基于深度學習的修復方法兩種。傳統(tǒng)的圖像修復可總結為兩種修復思想：a）基于邊緣擴散、曲率擴散等修復思想，是依據圖像缺失邊緣的信息，進行橫向和縱向的擴散，以達到修復的目的，如Bertalmio等人［1］提出的BSCB模型和Rudin等人［2］提出的加入曲率的模型等，具有代表性的如Adobe［3］就是基于邊緣擴散的方法來達到修復圖像的目的，但是該方法只能修復一些細小破損以及紋理簡單的破損的圖像，對于大面積的缺失修復效果不是很理想，但是針對一些細小的圖像損壞，修復效果較好；b）基于樣本的修復方法，通過從樣本空間中尋找與缺失塊相似度較高的完整塊，如文獻［4～6］，以此來填充破損區(qū)域，達到修復的目的。

傳統(tǒng)的修復方法對于大面積缺失區(qū)域，修復效果遠不能達到人們的預想效果，因此最近幾年，出現(xiàn)了很多基于深度學習的圖像修復的研究成果，在這許多的研究成果中，大多數(shù)采用編碼器和解碼器結構進行合理的預測，再去修補缺失區(qū)域。Pathak等人［7］在2016年提出了一種基于上下文編碼的特征學習修復算法CE，并且第一次將GAN思想應用到圖像修復上。其主要思想是設計編碼器和解碼器的結構，使用帶有隨機初始化的權重從頭開始訓練，并且加入了L2損失對抗性損失［8］，之后通過訓練編碼器和解碼器，使其在捕獲圖片的外表和語義方面得到了很好的展示。Criminisi等人［9］提出了基于樣本的修復方法，通過迭代復制相似度較高的其余完好區(qū)域以達到修復的目的。Wan等人［10］提出了一種三重域翻譯網絡，利用真實照片和大量合成圖像來進行修復。近兩年，關于修復的論文大多也是采用添加遮罩的方法，Peng等人［11］提出了一種基于分層VQ-VAE的多解決方案的圖像修復算法，該算法首先在離散的隱變量上學習自回歸分布，然后將結構和紋理分開，以增強結構的一致性和紋理的真實性。Zhou等人［12］提出了一種多同域轉換的融合修復算法Trans Fill，通過參考與目標圖像共享場景內容的另一個源圖來填補這個洞，之后調整邊緣，將源圖像與目標圖像進行融合，從而達到修復目的。但是隨著網絡深度的增加，單純的CNN以及GAN不能實現(xiàn)遠距離特征遷移，因此Zhou等人［13］針對面部不同成分之間的相關性修復提出了一種基于U-Net結構的人臉補全機制，并且優(yōu)于當時的最新方法。

本文通過改進文獻［14］的原有結構：基于示例和基于CNN的圖像修復方法的優(yōu)點，原論文采用U-Net架構，網絡深度總共23層，其中風格推理18層（包含9層編碼層和9層解碼層），特征重排5層。通過研究發(fā)現(xiàn)，該文的U-Net中加入特殊的Shift-Net，由于網絡較深，通過卷積之后丟失的信息較多，所以通過嘗試，本文在解碼層的每一層直接加入改進后的注意力機制，以使解碼器特性更加接近真實編碼器內容，使得生成的內容更加接近原圖，并且在移位網絡層Shift-Net中的跳躍連接中的下采樣部分將激活函數(shù)Leak-ReLU改為了SiLU在解碼器中的移位層前進行了同樣的改進。

在CelebA、Paris Streetview以及Paris Architecture數(shù)據集上做了大量的實驗，本文模型不僅對于像巴黎建筑這樣單一的數(shù)據集有很好的修復效果，而且對于像人臉這樣復雜結構的數(shù)據集依舊有很好的修復效果。此外，本文不僅在64×64的遮罩缺失上進行了各種實驗，還進行了各種隨機遮罩實驗，同時將遮罩面積由20%逐漸擴大到80%，并且與現(xiàn)有修復算法進行對比。結果表明，本文的Attention-Shift-UNet模型在破損面積更大的圖像中依然可以修復得很好，并且優(yōu)于近期頂會論文文獻［15，16］，可以處理任何形狀缺失區(qū)域，并且能夠產生更清晰，符合視覺效果的圖像。

綜上所述，本文工作的主要貢獻有：

a）通過在解碼器部分增加改進后的上下文注意力機制，使得解碼器生成的圖像更加接近真實值。

b）增加隨機遮罩的面積由20%到80%，并且和原文相比，使得本文的改進點更有說服力。

c）將原論文中下采樣部分的激活函數(shù)LeakReLU改為SiLU，使得本文模型的修復效果有較小的提升。

d）本文Attention-Shift-UNet在各種具有挑戰(zhàn)的數(shù)據集上針對大孔洞破損實現(xiàn)了高質量的修復結果，包括CelebA、Paris Streetview，以及Paris Architecture數(shù)據集。

1 相關工作

1.1 基于GAN與U-Net的圖像修復

基于GAN與U-Net 的圖像修復的文獻主要有文獻［17～21］，以上文獻通過從已知區(qū)域搜索最佳匹配塊以達到修復的目的，并且Barnes等人［17］提出了一個聯(lián)合優(yōu)化框架，可以通過卷積神經網絡為全局內容約束和局部紋理約束建模，來虛構出缺失的圖像區(qū)域，并進一步介紹了基于聯(lián)合優(yōu)化框架用于高分辨率圖像修復的多尺度神經網絡補丁合成算法，這與劉洪瑞等人［18］提出的基于風格感知和多尺度注意力的人臉圖像修復算法類似。然而基于多尺度的補丁合成修復算法在紋理方面有著較好的修復結果。U-Net結構首先被應用于醫(yī)學圖像分割，由于該結構獨特的上下采樣層加跳躍連接，使得該網絡模型可以很好地處理較深層網絡的特征提取任務。Ronneberger等人［19］首次提出U-Net模型，使用捕獲上下文收縮層（上下采樣結構）以及對稱連接（跳躍連接）取代當時的滑動窗口卷積以及全連接層，該模型的出現(xiàn)在當時的比賽任務中以較大優(yōu)勢取得了第一。Zhou等人［20］基于U-Net結構提出了U-Net++結構，用稠密連

接代替了原有的跳躍連接，使得該模型的分割效果又有了提升。Mou等人［21］基于U-Net結構模型提出了新的模型DGUNet（深度廣義展開網絡），該模型將梯度估計策略集成到梯度下降（PGD）算法的計算梯度下降的步驟中，但是對大面積損壞圖像不友好。Wu等人［22］針對邊界和高紋理區(qū)域，提出一種端到端的生成模型方法，首先使用U-Net結構的LBP學習網絡來預測缺失區(qū)域的結構信息，并以此作為指導，將改進的空間注意力機制集成到圖像修復網絡中，使得該算法能更好地修復缺失像素。

1.2 注意力機制介紹

近幾年，注意力機制［23～28］在圖像修復、機器翻譯、圖像視覺，還有目標檢測和NLP方面的文獻大幅度增加，從基礎形態(tài)的注意力發(fā)展到層次注意力、上下文注意力、全局注意力、自注意力、多頭注意力、CBAM等。Yu等人［23］針對大面積破損圖像提出了一種新的基于深度生成模型的方法，并且加入上下文注意力。該方法使用卷積計算前景圖和背景圖的匹配分數(shù)（作為卷積濾波器）；然后應用softmax進行比較，得到每個像素的注意力分數(shù)；最后，通過對注意力得分進行反卷積，用背景塊重建前景塊，上下文注意層是可區(qū)分的，并且是完全卷積的。梁加易［24］引入注意力機制遞歸地進行圖像修復，但是修復后的圖像存在清晰度不高的問題。Zeng等人［25］總結傳統(tǒng)方法不能提取高級語義信息以及深度學習方法不能很好地從圖像密集的潛在特征中生成視覺上很合理的結果，從而提出了一種新的模型PEN-Net（金字塔上下文編碼器），該模型以U-Net模型為基礎，編碼器部分采用金字塔編碼器，并加入ATN（attention transfer network），將已知區(qū)域特征更好地遷移到未知區(qū)域，并且對大面積破損圖像有很好的修復效果。曹承瑞等人［26］提出了多級注意力傳播，該網絡通過將全分辨率圖像中提取的高級特征壓縮為多尺度緊湊特征，進而對該特征進行多級注意力傳播。趙星［27］結合生成對抗網絡和門控卷積，同時融入上下文注意力機制使得修復效果得到很好的改善。Xie等人［28］發(fā)現(xiàn)現(xiàn)有方法對孔洞缺失區(qū)域周圍修復的不連貫，提出一種基于精細化深層生成模型方法，該方法采用新的語義注意力層（CSA），不僅可以保留上下文結構信息，還可以對孔洞周圍信息建模。

2 Attention-Shift-Net模型

2.1 Attention-Shift-Net

本文在文獻［1］的基礎之上，結合上述內容，通過在每一層的解碼器之間引入注意力機制，使得每個卷積層盡可能多地將重要信息保留下來，從而得到一種新的網絡結構模型Attention-Shift-Net。移位連接層本文使用的分辨率大小為32×32，具體模型結構如圖1所示，本文以32×32的分辨率添加了移位連接層。

通過改進上下文注意力模型［29］以及結合文獻［30］，將上下文注意力中的基于前景信息和基于補丁推理的卷積信息替換成適應于U-Net結構的注意力，并且參照文獻［28］中注意力的具體設計，最后形成了本文中的注意力結構。首先將l層編碼器特征與l－1層編碼器特征進行并行操作，l層特征編碼器特征與l－1層編碼器特征首先通過卷積操作轉換成同樣維度的特征再進行加運算，得到融合后的特征數(shù)據，再將該數(shù)據經過激活函數(shù)ReLU過濾掉無意義數(shù)據，之后將得到的特征數(shù)據通過sigmoid判別器，最后得到attention系數(shù)，將該系數(shù)與l－1層編碼器特征數(shù)據相乘，以此使得較為重要的特征信息得以保留，具體如圖2所示。

通過結合圖1的模型結構，在跳躍連接以及解碼器之間加入該注意力模型（具體細節(jié)如表1所示），因U-Net結構使用跳躍連接來連接下采樣層和上采樣層，所以本文在跳躍連接qlskip中間的l層信息結合（L－l）層的解碼器信息kL－lDe經過兩層卷積注意力，從而保留卷積中的重要信息，最后再經過shift移位層，使得該層生成的像素更貼近真實值。

圖像修復的目的是通過補全缺失或者破損部分來使其恢復后的圖像Igt更加接近真實圖像，為此，本文采用U-Net結構，模型結構如圖1所示。接下來，本文首先了解制導損耗以及移動網絡Shift-Net，這是主要的兩個環(huán)節(jié)，該U-Net是由一個編碼器和一個對應的解碼器組成，其中引入跳躍連接將各層編碼器特征和對應的解碼器相連接，這種跳躍連接可以方便地利用編碼器和解碼器提取的特征互相補充，盡量使信息損失降到最低，對于圖像修復等低層次的視覺任務中捕捉局部細節(jié)有著強大的能力。

對于圖像修復而言，U-Net能更好地恢復語義和細小的紋理信息，提高圖像修復效果。其中Ω代表圖片中缺失部分，Ω 代表已知區(qū)域，對于一個L層的U-Net，Φl（I）表示第L層編碼器的特征，ΦL－l（I）表示（L－l）層解碼器的特征。對于最后恢復的圖像Igt，本文希望Φl（I）和ΦL－l（I）傳遞的信息盡量保持一致，對于任意位置像素y∈Ω，使得（Φl（I））y約等于0。因此（ΦL－l（I））y應該傳遞與（Φl（Igt））y相同的信息。通過引入文獻［1］的損失函數(shù)式（2），建立（ΦL－l（I））y與（Φl（Igt））y之間的模型。

值得注意的是，對于x∈Ω，（Φl（I））x接近于（Φl（Igt））x，損失函數(shù)為：當y∈Ω，使得（ΦL－l（I））y≈（Φl（Igt））y，通過連接Φl（I）和ΦL－l（I）可以近似得到Φl（Igt）的所有信息。進一步進行了深度特征可視化實驗，闡明了深度特征（ΦL－l（I））x與（Φl（Igt））y之間的關系。為了可視化（Φl（Igt））y參數(shù)，本文采用了文獻［29］的方法。

可視化表達為

因此{（ΦL－l（I））y|y∈Ω}可由式（4）可視化表達。

圖3顯示了Hgt、Hde以及移位網絡（ΦshiftL－l（I））y的可視化結果。隨著制導損耗的引入，Hde顯然可以作為Hgt的合理估計，并且U-Net在恢復語義和結構方面的效果良好。

2.2 損失函數(shù)

在本文的損失函數(shù)中，依舊采用對抗性損失，該損失在恢復高頻細節(jié)和照片真實感紋理方面顯示了優(yōu)越性。本文使用的對抗性損失為

Ladv=maxD ΕIgt～pdata（Igt）［log D（Igt）］+

其中：Pdata（Igt）表示真實的圖像分布；Pmiss（I）表示輸入圖像的分布；D（.）表示用于預測來自Pdata（Igt）的概率鑒別器。最后加入制導損失、l1損失以及局部對抗性損失，本文Attention-Shift-Net的總體損失函數(shù)如下：

其中：λg和λadv分別是制導損失和對抗性損失的折中數(shù)。

2.3 激活函數(shù)的優(yōu)化

本文通過將原文中解碼層部分的激活函數(shù)Leaky ReLU修改為SiLU，Leaky_RuLU主要是為了解決ReLU神經元死亡的問題，保留的信息較多，對于較深層的網絡，不利于網絡的快速收斂，并且做了響應的消融實驗。

SiLU的函數(shù)如式（7）所示，函數(shù)曲線如圖4（b）所示。

由圖4可以看到，改進之后的激活函數(shù)減少了小于0部分信息的保留，從而加快了網絡的訓練，并且本文做了消融實驗，經過實驗，本文的各參數(shù)均有所提高，因為加入注意力機制后保留了較為關鍵的主要信息，使得修復效果更佳。

2.4 本文編解碼器結構

本文網絡深度總共23層，其中風格推理18層（包含9層編碼層和9層解碼層），特征重排5層，具體編解碼器結構如下所示：

input： image（256×256×3）

［layer 1］ conv.（4，4，64），stride=2;

［layer 2］ LReLU;conv.（4，4，128），stride=2; in;

［layer 3］ LReLU;conv.（4，4，256），stride=2; in;

［layer 4］ LReLU;conv.（4，4，512），stride=2; in;

［layer 5］ LReLU;conv.（4，4，512），stride=2; in;

［layer 6］ LReLU;conv.（4，4，512），stride=2; in;

［layer 7］ LReLU;conv.（4，4，512），stride=2; in;

［layer 8］ LReLU;conv.（4，4，512），stride=2;

［layer 9］ ReLU;DeConv.（4，4，512），stride=2;in;

concatenate（layer 9， layer 7）;

［layer 10］ DeConv.（4，4，512），stride=2; in;

concatenate（layer10，layer 6）;ReLU;

Attention（layer10，layer 6）;ReLU;

［layer 11］ DeConv.（4，4，512），stride=2; in;

concatenate（layer11，layer 5）;ReLU;

Attention（layer11，layer 5）;ReLU;

［layer 12］ DeConv.（4，4，512），stride=2; in;

concatenate（layer12，layer4）; ReLU;

Attention（layer11，layer 5）;ReLU;

［layer 13］ DeConv.（4，4，256），stride=2; in;

concatenate（layer13，layer3）; ReLU;

Attention（layer11，layer 5）;ReLU;

［layer 14］ guidance loss layer;

［layer 15］ shift-connection layer;SiLU

［layer 16］ DeConv.（4，4，128），stride=2; in;

Attention（layer16，layer2）; ReLU;

concatenate（layer17，layer1）; ReLU;

Attention（layer17，layer1）; ReLU;

［layer18］ReLU;DeConv.（4，4，3），stride=2;SiLU;

output： final result（256×256×3）

output： final result（256×256×3）

3 實驗結果與分析

為驗證Attention-Shift-Net模型的優(yōu)越性，本文設計了對比實驗，將本文算法與目前幾種算法進行了定性和定量分析，其中學習率為0.000 1，β1=0.5，批次大小為1（經過實驗得到batch_size的大小為1時修復效果最佳），訓練周期為30輪，損失函數(shù)中λg=0.1，λadv=0.01。另外本文設計了消融實驗，以驗證本文注意力機制以及激活函數(shù)優(yōu)化的合理性。

3.1 數(shù)據集

在數(shù)據集CelebA（30 000張）、Paris Streetview（14 000張）以及Paris Architecture（30 000張）數(shù)據集上進行測試，本文在上述三種數(shù)據集中隨機選取27 000張用于訓練，其余3 000張用于測試（建筑數(shù)據集11 000張用于訓練，其余用于測試）。所有圖片的尺寸全部縮放到256×256×3的大小。訓練和測試的掩碼分別采用了遮罩面積為64×64大小以及隨機破損比例由20%～80%的任意形狀的遮罩數(shù)據集。

3.2 定性分析

為了直觀地展示本文算法的有效性，將本文方法與con-tent fill、content encoder、generating inpainting、GRGM［16］、Shift-Net算法的修復效果進行了比較，如圖5、6所示。

將本文改進之后的算法與原算法在遮罩面積為64×64的中心遮罩和面積為20%、50%、80%的隨機遮罩上的修復效果進行了對比，如圖7、8所示。其中圖8分別是隨機遮罩在20%～80%的修復結果。在做對比實驗context encoder時，將圖像縮放到128×128×3像素，在本實驗中，本文重新縮放到256×256×3像素，另外content encoder算法采用GAN思想將背景和遮罩分離局部卷積修復，修復結果和背景不相容。由圖5、6可以很明顯地觀察到，傳統(tǒng)算法content fill的修復效果很明顯不如深度學習的算法，BGRM算法對于較大面積的缺失，修復效果不佳，但是對隨機遮罩修復效果較好（圖7以及表1），generating inpainting算法修復過于費時，同樣時間下，generating inpainting修復結果較差，通過與Shift-Net算法相比，實驗結果表明，本文Attention-Shift-Net的修復效果最佳。

由圖9可以明顯看到，經過改進之后的模型在第一輪訓練開始，Shift-Net對于紋理和平滑區(qū)域的修復還存在明顯的偽影，本文模型已經很好地學習到遮擋區(qū)域的內容，對于結構區(qū)域，本文模型也更有效地識別并修復了結構部分，并且修復效果優(yōu)于Shift-Net。從圖5、6可以觀測到，傳統(tǒng)的修復算法［2］在修復大面積損壞時，結果很不理想。基于深度學習的算法在圖像大面積損壞的情況下，修復的效果要遠高于傳統(tǒng)算法，在以下各算法的比較中，本文算法的圖像修復結果比其余三種算法在結構重建方面表現(xiàn)得更準確合理，并且本文算法在細節(jié)和紋理重建上也表現(xiàn)得更加細致，高度還原了破損區(qū)域。圖10為本文算法在三種數(shù)據集上采用面積為64×64大小的遮罩上的修復結果，能清晰地觀察到本文算法的適用性以及修復效果的優(yōu)越性。

3.3 定量分析

為了更好地展示本文改進修復算法的優(yōu)越性，進行了定量分析，評估指標包括峰值信噪比（PSNR）、結構相似性（structure similarity index，SSIM）以及L2損失，這些指標分別用來衡量修復圖像與原始差異的像素級差異、整體相似度以及最小化誤差，其中PSNR和SSIM指標越高說明修復效果越好，而L2則相反。定量評價結果如表2～5所示。從測試結果可知，Attention-Shift-Net的PSNR和SSIM指標明顯高于其他幾種方案，而L2指標則低于它們，這說明與現(xiàn)有方案相比，本文提出的Attention-Shift-Net具有更強的修復能力，并且參數(shù)量只增加了4 MB，訓練所需時間相近。由于本文設計的注意力模型只有兩個卷積層，較為簡單，所以復雜性基本保持不變。

3.4 消融研究

為了驗證本文的改進點以及改進方案的有效性，又設計了消融實驗，分別是不加注意力、加入改進的注意力以及加入注意力和激活函數(shù)，使用Paris Streetview數(shù)據集，并使用隨機遮罩面積為40%～60%進行消融實驗，訓練15輪，其中500張用于測試并得到相關評價指標，最后取平均值，具體如表6所示。

圖11分別是Shift-Net以及本文改進之后網絡的損失函數(shù)圖。由圖11可以看到，改進之后的Attention-Shift-Net損失也較穩(wěn)定（見黃色標記），并且網絡收縮的趨勢較Shift-Net有明顯的下降。G_GAN代表對抗損失，由原圖和修復圖之間的差異計算所得，采用G_L1損失是為了確保像素級重建的準確性，D為預測遮罩和背景重建損失，content為遮罩預測和原圖對抗損失，其中對于風格的損失（style）低到幾乎可以忽略不記。

4 結束語

本文提出了一種基于Shift-Net改進的模型Attention-Shift-Net的圖像修復算法，與原方法相比，通過增加注意力模型和改進激活函數(shù)，使用跳躍連接相互對應的編碼層和解碼層，在修復的效果上，尤其是針對大面積缺失、損壞、遮擋的圖像，使得損失的信息更少，在大面積破損圖像的修復算法比對中，本文算法的修復效果更優(yōu)。并且本文方法在CelebA、Paris Architecture以及Paris Streetview數(shù)據集上取得了良好的結果，經過改進之后的模型在訓練一開始就展現(xiàn)出了較強的學習能力，但是盡管生成的圖像足夠逼真、清晰，與原圖相比，還是存在局部細微的差異，如眼睛顏色不同等。希望在進一步的工作中，將基于移位操作的最近搜索與基于像素級的移位搜索相關聯(lián)，以期待得到更好的修復效果。

參考文獻：

［1］Bertalmio M，Sapiro G，Caselles V，et al. Image inpainting［C］// Proc of the 27th Annual Conference on Computer Graphics and Interactive Techniques. 2000： 417-424.

［2］Rudin L I，Osher S，F(xiàn)atemi E. Nonlinear total variation based noise removal algorithms［J］. Physica D： Nonlinear Phenomena，1992，60（1-4）： 259-268.

［3］Adobe. Content-aware fill［EB/OL］. https：//research. adobe. com/project/content-aware-fill.

［4］Jia Jiaya，Tang C K. Image repairing： robust image synthesis by adaptive ND tensor voting ［C］// Proc of IEEE Computer Society Confe-rence on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2003.

［5］Simakov D，Caspi Y，Shechtman E，et al. Summarizing visual data using bidirectional similarity ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2008： 1-8.

［6］Wexler Y，Shechtman E，Irani M. Space-time completion of video［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2007，29（3）： 463-476.

［7］Pathak D，Krahenbuhl P，Donahue J，et al. Context encoders： feature learning by inpainting［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2016： 2536-2544.

［8］Goodfellow I J，Pouget-Abadie J，Mirza M，et al. Generative adversarial nets［C］// Proc of the 27th International Conference on Neural Information Processing Systems. 2014： 2672-2680.

［9］Criminisi A，Perez P，Toyama K. Object removal by exemplar-based inpainting［C］// Proc of IEEE Computer Society Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2003.

［10］Wan Ziyu，Zhang Bo，Chen Dongdong，et al. Bringing old photos back to life ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 2744-2754.

［11］Peng Jialun，Liu Dong，Xu Songcen，et al. Generating diverse structure for image inpainting with hierarchical VQ-VAE［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 10770-10779.

［12］Zhou Yuqian，Barnes C，Shechtman E，et al. TransFill： reference-guided image inpainting by merging multiple color and spatial transformations［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 2266-2267.

［13］Zhou Tong，Ding Changxing，Lin Shaowen，et al. Learning oracle attention for high-fidelity face completion［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 7677-7686.

［14］Yan Zhaoyi，Li Xiaoming，Li Mu，et al. Shift-Net：image inpainting via deep feature rearrangement［C］// Proc of the 15th European Confe-rence. 2018： 3-19.

［15］Yu Jiahui，Lin Zhe，Yang Jimei，et al. Generative image inpainting with contextual attention［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 5505-5514.

［16］Marinescu R V，Moyer D，Golland P. Bayesian image reconstruction using deep generative models［EB/OL］.（2021-12-09）. https：//arxiv.org/abs/2012.04567.

［17］Barnes C，Shechtman E，F(xiàn)inkelstein A，et al. PatchMatch： a rando-mized correspondence algorithm for structural image editing［J］. ACM Trans on Graph，2009，28（3）： article No. 24.

［18］劉洪瑞，李碩士，朱新山，等. 風格感知和多尺度注意力的人臉圖像修復［J］. 哈爾濱工業(yè)大學學報，2022，54（5）： 49-56.（Liu Hongrui，Li Shuoshi，Zhu Xinshan，et al. Face image restoration based on style perception and multi-scale attention［J］ Journal of Harbin Institute of Technology，2022，54（5）： 49-56.）

［19］Ronneberger O，F(xiàn)ischer P，Brox T. U-Net： convolutional networks for biomedical image segmentation［C］// Proc of International Confe-rence on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer，2015： 234-241.

［20］Zhou Zongwei，Rahman S M M，Tajbakhsh N，et al. UNet++： a nested U-Net architecture for medical image segmentation［C］// Proc of International Workshop on Deep Learning in Medical Image Analysis，International Workshop on Multimodal Learning for Clinical Decision Support. Berlin： Springer，2018： 3-11.

［21］Mou Chong，Wang Qian，Zhang Jian. Deep generalized unfolding networks for image restoration ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2022： 17378-17389.

［22］Wu Haiwei，Zhou Jiantao，Li Yuanman. Deep generative model for image inpainting with local binary pattern learning and spatial attention［J］. IEEE Trans on Multimedia，2022，24： 4016-4027.

［23］Yu J，Lin Z，Yang J，et al. Generative image inpainting with contex-tual attention ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2018： 5505-5514.

［24］梁加易. 基于深度學習的圖像修復技術研究［D］. 北京：北京郵電大學，2021.（Liang Jiayi. Research on image restoration technology based on deep learning［D］. Beijing： Beijing University of Posts and Telecommunications，2021.）

［25］Zeng Yanhong，F(xiàn)u Jianlong，Chao Hongyang，et al. Learning pyramid-context encoder network for high-quality image inpainting ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2019： 1486-1494.

［26］曹承瑞，劉微容，史長宏，等. 多級注意力傳播驅動的生成式圖像修復方法［J］.自動化學報，2022，48（5）： 1343-1352.（Cao Cheng-rui，Liu Weirong，Shi Changhong，et al. A generative image restoration method driven by multi-level attention propagation［J］. Journal of Automation，2022，48（5）： 1343-1352.）

［27］趙星. 基于生成對抗網絡的圖像修復算法研究［D］. 西安：西安電子科技大學，2021.（Zhao Xing. Research on image restoration algorithm based on generating countermeasure network［D］ Xi’an： Xidian University，2021.）

［28］Xie Chaohao，Liu Shaohui，Li Chao，et al. Image inpainting with learnable bidirectional attention maps ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 8857-8866.

［29］Xu Chengfeng，Zhao Pengpeng，Liu Yanchi，et al. Graph contextua-lized self-attention network for session-based recommendation［C］// Proc of the 28th International Joint Conference on Artificial Intelligence. 2019： 3940-3946.

［30］Oktay O，Schlemper J，F(xiàn)olgoc L L，et al. Attention U-Net： learning where to look for the pancreas ［EB/OL］.（2018-05-20）. https：//arxiv.org/abs/1804.03999.

收稿日期：2022-06-05；修回日期：2022-07-25 基金項目：國家自然科學基金資助項目（61966022）；甘肅省自然科學基金資助項目（21JR7RA300）；甘肅省敦煌文物保護研究中心開放課題資助項目（GDW2021YB15）

作者簡介：鄔開?。?978-），男，甘肅蘭州人，教授，博導，博士，主要研究方向為神經元的非線性動力學；單宏全（1996-），男（通信作者），甘肅平涼人，研究生，主要研究方向為圖像處理（1554435955@qq.com）；梅源（1998-），男，四川巴中人，研究生，主要研究方向為目標檢測；徐澤浩（1998-），男，浙江嘉興人，研究生，主要研究方向為目標檢測；王夢思（1998-），女，河北邯鄲人，研究生，主要研究方向為圖像處理.