非對(duì)稱(chēng)周期推理循環(huán)漸進(jìn)的人臉修復(fù)算法研究

摘要：針對(duì)生成對(duì)抗網(wǎng)絡(luò)中修復(fù)網(wǎng)絡(luò)無(wú)法兼顧圖像的全局一致性和局部一致性，且計(jì)算負(fù)載較大的問(wèn)題，在非對(duì)稱(chēng)U-Net網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上引入漸進(jìn)修復(fù)的思想。首先，提出了非對(duì)稱(chēng)周期特征推理模塊，增加圖像修復(fù)內(nèi)容與周?chē)阎袼刂g的關(guān)聯(lián)性，提高了修復(fù)圖像的全局一致性表現(xiàn);其次，提出新型的U-Net結(jié)構(gòu)生成器網(wǎng)絡(luò)，避免了編碼器中的未知像素進(jìn)入解碼器，從而破壞解碼器中特征的問(wèn)題;最后，引入了感知損失和風(fēng)格損失，進(jìn)而提高了網(wǎng)絡(luò)在主觀評(píng)價(jià)下的修復(fù)效果。在人臉圖像數(shù)據(jù)集上的實(shí)驗(yàn)表明，該算法在主觀視覺(jué)效果和客觀指標(biāo)上都有顯著的提高。

關(guān)鍵詞：生成對(duì)抗網(wǎng)絡(luò)； 漸進(jìn)式修復(fù)； 非對(duì)稱(chēng)周期特征推理； 圖像修復(fù)

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2022）08-044-2496-04

doi：10.19734/j.issn.1001-3695.2022.01.0009

Asymmetric periodic inference cyclic progressive face completion algorithm research

Li Yaqian， Zhang Xuyao， Li Qilong

（School of Electrical Engineering， Yanshan University， Qinhuangdao Hebei 066004， China）

Abstract：To address the problem that the inpainting network in generative adversarial networks cannot take into account the global consistency and local consistency of images and has a large computational load， this paper introduced the idea of incremental inpainting based on the asymmetric U-Net network architecture. Firstly， this paper proposed an asymmetric periodic feature inference module to increase the correlation between image inpainting content and surrounding known pixels， which improved the global consistency performance of restored images. Secondly， this paper presented a novel U-Net structured generator network to avoid the problem of unknown pixels in the encoder entering the decoder and thus corrupting the features in the decoder. Finally， it introduced perceptual loss and style loss， which improved the inpainting effectiveness of the network under subjective evaluation. Experiments on the face image dataset show that the proposed algorithm shows significant improvements in both subjective visual effects and objective metrics.

Key words：generative adversarial network; gradual inpainting; asymmetric periodic feature inference; image inpainting

0引言

圖像作為人們?nèi)粘Ｉ钪幸粋€(gè)重要的信息載體，當(dāng)其產(chǎn)生破損、老化或者部分信息丟失的時(shí)候很容易使人們對(duì)信息產(chǎn)生誤解。由于現(xiàn)實(shí)中的圖像是在非約束條件下獲得的，所以獲得的圖像可能會(huì)出現(xiàn)遮擋、污漬、破損等情況。當(dāng)圖像中出現(xiàn)上述情況的時(shí)候會(huì)明顯對(duì)圖像的識(shí)別、檢測(cè)與分割產(chǎn)生負(fù)面影響，因此圖像修復(fù)技術(shù)是一種被現(xiàn)實(shí)迫切需要的技術(shù)，特別是在如今圖像識(shí)別、分割等任務(wù)已經(jīng)進(jìn)入日常使用環(huán)境下的今天。

傳統(tǒng)的工匠修復(fù)照片通常首先對(duì)圖像的線條或者物體輪廓進(jìn)行修補(bǔ)，之后再對(duì)圖像的顏色和紋理進(jìn)行修復(fù)。Li等人［1］首次將GAN應(yīng)用在人臉修復(fù)領(lǐng)域，借鑒工匠修復(fù)圖片先輪廓后紋理的思路，在鑒別器中同時(shí)引入全局和局部損失函數(shù)，生成的圖片不僅在語(yǔ)義上有效，視覺(jué)上也比較和諧。由此圖像修復(fù)技術(shù)發(fā)展出了一類(lèi)將修復(fù)任務(wù)分級(jí)的修復(fù)方法。Nazeri等人［2］提出了一種線條—顏色兩步修復(fù)算法，先用一個(gè)Patch GAN［3］進(jìn)行圖像的線條修復(fù)，再用另一個(gè)Patch GAN進(jìn)行顏色修復(fù)，這樣兩個(gè)GAN串聯(lián)的方式可以將修復(fù)網(wǎng)絡(luò)分級(jí)，得到精細(xì)度更好的修復(fù)圖像。Xiong等人［4］提出應(yīng)明確區(qū)分結(jié)構(gòu)推斷和內(nèi)容修復(fù)，所提出的模型通過(guò)精確預(yù)測(cè)邊界來(lái)指導(dǎo)圖像修復(fù)，邊界修復(fù)模塊能夠在待修復(fù)區(qū)域推斷出合理的結(jié)構(gòu)，圖像修復(fù)模塊再根據(jù)預(yù)測(cè)邊界來(lái)生成圖像內(nèi)容，同時(shí)將粗網(wǎng)絡(luò)—細(xì)網(wǎng)絡(luò)修復(fù)［5］的方法融合到了每一個(gè)GAN中。還有一種類(lèi)似的方法是基于分層VQ-VAE的multiple-solution圖像修復(fù)方法［6］，這種方法的模型將結(jié)構(gòu)和紋理分開(kāi)提出為結(jié)構(gòu)特征的分布學(xué)習(xí)一個(gè)條件自回歸網(wǎng)絡(luò)，對(duì)于紋理生成，提出一個(gè)結(jié)構(gòu)注意力模塊，用來(lái)捕捉結(jié)構(gòu)特征的遠(yuǎn)距離相關(guān)性，改善了結(jié)構(gòu)的一致性和紋理的真實(shí)性［7］。Li等人［8］設(shè)計(jì)了一種線條修復(fù)模塊將線條修復(fù)過(guò)程簡(jiǎn)化，從而可以使用一個(gè)GAN進(jìn)行線條—顏色修復(fù)的方法。通過(guò)設(shè)計(jì)可視化結(jié)構(gòu)重構(gòu) （visual structure reconstruction，VSR）模塊可在生成器的初始層中進(jìn)行線條修復(fù)，在生成器的主干通道中進(jìn)行顏色修復(fù)。將線條修復(fù)作為一個(gè)模塊嵌入到網(wǎng)絡(luò)中可以有效地避免分級(jí)修復(fù)中多個(gè)GAN串聯(lián)造成的計(jì)算負(fù)載大和不易收斂的問(wèn)題。隨后Li等人［9］認(rèn)為線條—顏色分級(jí)不是圖像修復(fù)的最優(yōu)解，因此設(shè)計(jì)了周期特征推理（recurrent feature reasoning，RFR）模塊，它采取修復(fù)區(qū)域分級(jí)的方法，逐步向內(nèi)修復(fù)。RFR模塊可以控制每一步修復(fù)的區(qū)域，然后控制下一步修復(fù)采用上次修復(fù)區(qū)域的內(nèi)容作為推理依據(jù)進(jìn)行下一步的填充，通過(guò)在各層推理特征圖中設(shè)計(jì)知識(shí)一致性注意力（knowledge consistent attention，KCA） ［9］機(jī)制來(lái)增強(qiáng)各層推理的相關(guān)性。

上述工作中，大部分模型雖然獲得了更好的圖像修復(fù)效果，但也隨之增加了計(jì)算負(fù)擔(dān)，并且沒(méi)有解決多個(gè)GAN串聯(lián)不易收斂的問(wèn)題。如何在不增加訓(xùn)練難度的同時(shí)引入分級(jí)修復(fù)的思想，針對(duì)修復(fù)任務(wù)設(shè)計(jì)出一種即插即用的特征推理模塊是一種簡(jiǎn)單有效的解決思路。RFR模塊為漸進(jìn)修復(fù)方法提供了一種模塊化設(shè)計(jì)網(wǎng)絡(luò)的新思路，受啟發(fā)于RFR的設(shè)計(jì)理念，本文將RFR模塊進(jìn)行重構(gòu)并結(jié)合非對(duì)稱(chēng)U-Net框架，設(shè)計(jì)了非對(duì)稱(chēng)周期特征推理模塊，從而進(jìn)一步提升模塊的特征推理能力。

本文針對(duì)圖像修復(fù)網(wǎng)絡(luò)無(wú)法兼顧圖像的全局一致性和局部一致性，且需要的計(jì)算負(fù)載較大的問(wèn)題，比較現(xiàn)有方法后發(fā)現(xiàn)RFR模塊在降低編碼器部分的未知像素，提高網(wǎng)絡(luò)的解碼有良好表現(xiàn)，將RFR模塊進(jìn)行重構(gòu)改進(jìn)成非對(duì)稱(chēng)周期特征模塊應(yīng)用于U-Net結(jié)構(gòu)之中，提出了非對(duì)稱(chēng)周期特征推理模塊。本文提出了一種漸進(jìn)修復(fù)［10］的人臉修復(fù)網(wǎng)絡(luò)。引入PatchGAN訓(xùn)練修復(fù)網(wǎng)絡(luò)，使用門(mén)控卷積層作為U-Net結(jié)構(gòu)生成器的編碼器中的卷積函數(shù)，U-Net底層改為雙通道空洞卷積的方式，結(jié)合感知損失和風(fēng)格損失，獲得了良好的人臉修復(fù)效果。實(shí)驗(yàn)在CelebA人臉數(shù)據(jù)集上采用了隨機(jī)mask作為訓(xùn)練和測(cè)試數(shù)據(jù)，并且與EdgeConnect［2］、PConv［11］、GatedConv［12］、GFP-GAN［13］和LaMa［14］現(xiàn)有先進(jìn)的修復(fù)模型進(jìn)行對(duì)比，結(jié)果表明本文算法在提升主觀效果和客觀指標(biāo)上的有效性。

1算法原理

1.1循環(huán)修復(fù)網(wǎng)絡(luò)框架

周期特征推理模塊啟發(fā)于漸進(jìn)修復(fù)思想以及部分卷積中的修復(fù)區(qū)域定位機(jī)制，通過(guò)對(duì)mask通道的更新進(jìn)行每一步修復(fù)區(qū)域的定位。周期推理模塊分為四個(gè)部分，即區(qū)域定位（area identification）［15］、特征推理（feature reasoning）［16］、特征融合（feature merging）、知識(shí)一致性注意力（knowledge consistent attention），模塊結(jié)構(gòu)如圖1所示。與現(xiàn)在流行的圖像修復(fù)方法不同的是，RFR模型中并沒(méi)有使用GAN，網(wǎng)絡(luò)總體上是一個(gè)CNN結(jié)構(gòu)。在本文設(shè)計(jì)非對(duì)稱(chēng)周期特征推理模塊中，引入GAN優(yōu)良的無(wú)監(jiān)督學(xué)習(xí)能力，設(shè)計(jì)PatchGAN結(jié)構(gòu)，采用基于Wasserstein距離［17］設(shè)計(jì)的馬爾可夫判別器訓(xùn)練嵌入了RFR模塊的U-Net生成器。區(qū)域定位采用部分卷積的mask［18］更新機(jī)制定位每一個(gè)循環(huán)體中修復(fù)區(qū)域的大小和位置。基于普通卷積的卷積方式不適合用于圖像空洞填充，因?yàn)榭臻g共享的卷積過(guò)濾器將所有輸入像素或特征視為相同的有效特征，會(huì)導(dǎo)致諸如顏色差異、模糊和孔周?chē)黠@的邊緣反映等視覺(jué)假象，所以本文采用門(mén)控卷積［12］作為特征推理模塊的卷積核使之提高對(duì)修復(fù)內(nèi)容的特征推理能力，構(gòu)建一個(gè)非對(duì)稱(chēng)的結(jié)構(gòu)。本文提出的非對(duì)稱(chēng)周期特征推理模塊框架如圖2所示。

采用上述非對(duì)稱(chēng)特征推理模塊結(jié)合U-Net網(wǎng)絡(luò)結(jié)構(gòu)的跳躍連接［19］機(jī)制提高解碼器的圖像生成能力，從而提高圖像的視覺(jué)表現(xiàn)，采用在人臉數(shù)據(jù)集上預(yù)訓(xùn)練的VGG-Net構(gòu)建感知損失和風(fēng)格損失，可以提升生成圖在圖像視覺(jué)感知和風(fēng)格上的表現(xiàn)。設(shè)計(jì)的非對(duì)稱(chēng)周期推理循環(huán)漸進(jìn)的人臉修復(fù)網(wǎng)絡(luò)框架如圖3所示。其中循環(huán)漸進(jìn)修復(fù)網(wǎng)絡(luò)首先將RFR模塊嵌入在輸入層后面使得進(jìn)入修復(fù)網(wǎng)絡(luò)的編碼器的時(shí)候圖像已經(jīng)沒(méi)有未知區(qū)域，隨后將不含未知區(qū)域的特征圖送入U(xiǎn)-Net中，此網(wǎng)絡(luò)類(lèi)似RNN，特征圖第一次輸入到RFR模塊里輸出的結(jié)果又會(huì)第二次重新輸入到RFR模塊中。第二次則在第一次填充的特征圖基礎(chǔ)上進(jìn)一步填充或預(yù)測(cè)出更合理的值。這樣反復(fù)幾個(gè)循環(huán)后才會(huì)進(jìn)入到下一步的特征融合環(huán)節(jié)。這種循環(huán)機(jī)制帶來(lái)的好處是能反復(fù)利用RFR模塊中的特征，使模型達(dá)到輕便化的同時(shí)預(yù)測(cè)出更合理的特征參數(shù)，進(jìn)一步提升模塊特征推理能力。為了提高圖像在高層特征圖中提取語(yǔ)義的能力，將U-Net的底層設(shè)計(jì)為并聯(lián)空洞卷積結(jié)構(gòu)。該算法使用門(mén)控卷積層作為U-Net結(jié)構(gòu)生成器中編碼器的卷積函數(shù)，U-Net 底層改為雙通道空洞卷積的方式以防止圖像空間結(jié)構(gòu)在生成器的底層被破壞。

1.2馬爾可夫判別器

普通的GAN思想是采用一個(gè)判別器來(lái)判定輸入是來(lái)自真實(shí)數(shù)據(jù)分布pr還是生成數(shù)據(jù)分布pg。與普通GAN的判別器不同，馬爾可夫判別器設(shè)計(jì)為全卷積結(jié)構(gòu)，輸出為一個(gè)N×N的矩陣X，其中矩陣X的元素Xi，j代表在位置（i，j）處對(duì)應(yīng)到原圖一個(gè)M×M大小的感受野內(nèi)圖像塊的真實(shí)度，最后將矩陣所有的值取平均得到圖像的真實(shí)度。網(wǎng)絡(luò)訓(xùn)練采用基于Wasserstein距離的衡量指標(biāo)，保證可以收斂。

采用馬爾可夫判別器相對(duì)于普通判別器來(lái)說(shuō)有以下優(yōu)點(diǎn)：

a）馬爾可夫判別器可以關(guān)注圖像塊的修復(fù)結(jié)果，能夠顯著提升圖像的細(xì)節(jié)表現(xiàn)。

b）通過(guò)關(guān)注輸入的不同區(qū)域，可以通過(guò)學(xué)習(xí)考慮到圖中不同區(qū)域?qū)τ谧R(shí)別該圖是否屬于真實(shí)圖像的貢獻(xiàn)度，從而可以有針對(duì)性地考慮貢獻(xiàn)大的區(qū)域。例如在針對(duì)人臉進(jìn)行修復(fù)的時(shí)候，判別器重點(diǎn)關(guān)注人臉區(qū)域，減少對(duì)背景區(qū)域的關(guān)注。

為了提高PatchGAN的收斂速度，同時(shí)提高修復(fù)的多樣性，參考了Miyato等人的研究，在PatchGAN中引入譜范數(shù)正則化。WGAN能夠收斂所需要的條件是網(wǎng)絡(luò)滿足Lipschitz約束［20］。為了滿足這個(gè)條件，原始WGAN采用了梯度裁剪的方式人為地將所有卷積層的權(quán)重約束到一個(gè)范圍內(nèi)，最后造成了梯度分布不均勻的問(wèn)題。隨后提出的WGAN-G［21］采用梯度懲罰的正則化方式緩解了這個(gè)問(wèn)題。后來(lái) Miyato等人提出了采用譜范數(shù)正則化的方式，進(jìn)而在不對(duì)梯度加以干擾的條件下使得網(wǎng)絡(luò)滿足1-Lipschitz約束。本文所采用的馬爾可夫判別器中采用譜范數(shù)正則化進(jìn)行訓(xùn)練，從而提高判別器的效果。

1.3感知損失與風(fēng)格損失

針對(duì)人臉修復(fù)任務(wù)，本文引進(jìn)了感知損失與風(fēng)格損失［22］。本文算法采用在人臉數(shù)據(jù)集上預(yù)訓(xùn)練的人臉識(shí)別網(wǎng)絡(luò)作為監(jiān)督，對(duì)修復(fù)圖和原圖進(jìn)行感知差別的計(jì)算和風(fēng)格保持的計(jì)算。其中修復(fù)網(wǎng)絡(luò)的輸出和原圖的尺寸為256×256，而VGG16網(wǎng)絡(luò)的輸入為224×224的圖像，因此在訓(xùn)練時(shí)將修復(fù)網(wǎng)絡(luò)的輸出圖與原圖在計(jì)算損失時(shí)尺寸變?yōu)?24×224。所用的VGG16網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

感知損失的計(jì)算在VGG16網(wǎng)絡(luò)的relu3_3層計(jì)算，計(jì)算方式如式（1）所示。

l，jperceptual=1CjHjWj‖j（0）－j（g）‖22（1）

其中：代表VGG網(wǎng)絡(luò);j代表使用VGG網(wǎng)絡(luò)的第j層的特征圖作為輸出;Cj、Hj、Wj分別代表VGG網(wǎng)絡(luò)的第j層輸出的特征圖的通道數(shù)、高度和寬度。采用VGG16作為監(jiān)督網(wǎng)絡(luò)，識(shí)別輸入兩個(gè)圖在特征圖層面的像素級(jí)差別。與直接在圖像上進(jìn)行像素級(jí)差別計(jì)算相比，特征圖可以表示圖像的高層語(yǔ)義特征，因此在特征圖上進(jìn)行像素級(jí)的計(jì)算可以表示兩張圖之間的感知差別。風(fēng)格損失計(jì)算方式如式（2）（3）所示。

Gj（x）c，c′=1CjHjWj∑Hjh=1∑Wjw=1j（x）h，w，cj（x）h，w，c′（2）

l，jstyle（o，g）=‖Gj（o）－Gj（g）‖2F（3）

其中：、j、Cj、Hj、Wj同式（1）；G代表計(jì)算格拉姆矩陣。

1.4總體損失

訓(xùn)練網(wǎng)絡(luò)總共包含四部分的損失，即PatchGAN損失、感知損失、風(fēng)格損失及L1重構(gòu)損失。定義網(wǎng)絡(luò)的輸入圖片為Iin=Igt⊙M，M是掩碼圖像，在M中像素點(diǎn)為0的區(qū)域?yàn)槲粗獏^(qū)域，像素點(diǎn)為1的區(qū)域?yàn)橐阎獏^(qū)域，輸入的破損圖像是由原始圖像和掩碼圖像進(jìn)行逐像素疊加得到的。輸入圖像經(jīng)過(guò)循環(huán)漸進(jìn)人臉修復(fù)網(wǎng)絡(luò)的修復(fù)，輸出為O=Igt⊙M+G（I，M）⊙（1－M），G為網(wǎng)絡(luò)的生成器，輸入圖片未被遮擋的原圖為Igt，網(wǎng)絡(luò)的總損失函數(shù)如式（4）所示。

L=λadvLadv+λperLper+λstyleLstyle+λl1Ll1（4）

其中：Ladv代表生成對(duì)抗網(wǎng)絡(luò)損失［23］；Lper代表感知損失；Lstyle代表風(fēng)格損失；Ll1代表L1重構(gòu)損失。本文網(wǎng)絡(luò)的優(yōu)化方法使用Adam優(yōu)化器，針對(duì)總體損失進(jìn)行優(yōu)化。首先對(duì)網(wǎng)絡(luò)進(jìn)行前向計(jì)算，得到輸出的修復(fù)圖像，隨后根據(jù)式（4）計(jì)算網(wǎng)絡(luò)的損失，采用Adam對(duì)損失進(jìn)行優(yōu)化。所計(jì)算的權(quán)重為

w=w－ηmtnt+ε（5）

式（5）中的一階動(dòng)量mt和二階動(dòng)量nt計(jì)算如下：

mt=mt1－γt1=γt1mt－1+（1－γt1）1－γt1Lw（6）

nt=nt1－γt2=γt2mt－1+（1－γt2）1－γt2Lw（7）

其中：γt1、γt2和ε都是優(yōu)化算法的參數(shù);L是網(wǎng)絡(luò)的總體損失。 梯度反傳過(guò)程首先通過(guò)網(wǎng)絡(luò)的損失對(duì)權(quán)重的梯度計(jì)算出一階動(dòng)量和二階動(dòng)量的無(wú)偏估計(jì)，代入式（5）即可更新權(quán)重。

2修復(fù)實(shí)驗(yàn)結(jié)果

2.1深度學(xué)習(xí)環(huán)境配置

本文算法的實(shí)驗(yàn)代碼采用PyTorch框架實(shí)現(xiàn)。PyTorch是Facebook公司開(kāi)發(fā)的動(dòng)態(tài)計(jì)算流圖的深度學(xué)習(xí)框架。PyTorch框架提供了根據(jù)計(jì)算圖求各節(jié)點(diǎn)導(dǎo)數(shù)的功能，可以動(dòng)態(tài)建立計(jì)算流圖，能夠更加方便地實(shí)現(xiàn)梯度的反向傳播。同時(shí)集成了大量的深度學(xué)習(xí)常用函數(shù)，方便網(wǎng)絡(luò)搭建和實(shí)驗(yàn)。

本文算法的實(shí)驗(yàn)平臺(tái)的操作系統(tǒng)是64位的Linux內(nèi)核系統(tǒng)，版本是Ubuntu 18.04LTS， PyTorch版本為1.2.0，OpenCV為4.4.0.46，NumPy為1.16.5，SciPy為1.1.0，scikit-image為0.13.1。顯卡型號(hào)為NVIDIA 1080Ti 8 GB。

2.2數(shù)據(jù)集介紹與超參數(shù)配置

CelebA［24］是香港中文大學(xué)收集制作的大尺度人臉數(shù)據(jù)集，數(shù)據(jù)集中一共包含202 599張人臉圖片。由于未處理的數(shù)據(jù)集中圖像尺寸不一、人臉位置不一，不方便進(jìn)行學(xué)習(xí)，所以首先采用給出的人臉bbox回歸框標(biāo)注文件進(jìn)行預(yù)處理，得到202 599張對(duì)齊后的圖片，隨后進(jìn)行尺寸變換為256× 256的圖片，然后在圖片中隨機(jī)抽取1 000張作為測(cè)試集，其余圖片均為訓(xùn)練集。

本文的實(shí)驗(yàn)使用Adam優(yōu)化器，訓(xùn)練時(shí)學(xué)習(xí)率為1×10－4，模型調(diào)整優(yōu)化階段（fine-tuning）學(xué)習(xí)率為1×10－5，模型的輸入批次為6，訓(xùn)練450 000次循環(huán)。超參數(shù)設(shè)置為λadv=λper=0.05，λstyle=120，λl1=1。

2.3實(shí)驗(yàn)結(jié)果與評(píng)價(jià)指標(biāo)

本文算法選取的對(duì)比模型都是在人臉數(shù)據(jù)上有優(yōu)秀表現(xiàn)的模型。橫向?qū)Ρ鹊哪Ｐ陀蠩dgeConnect、PConv、GatedConv、GFP-GAN和LaMa。本文采用PConv中所提出的不規(guī)則遮擋（irregular mask）數(shù)據(jù)集作為訓(xùn)練和測(cè)試的mask，該數(shù)據(jù)集提供了不同遮擋比例和不同形狀的隨機(jī)遮擋，可以模擬現(xiàn)實(shí)世界中遮擋的隨機(jī)性，采用該數(shù)據(jù)集作為測(cè)試mask對(duì)于橫向?qū)Ρ榷愿锌陀^性，不同比率的mask遮擋如圖5所示，待修復(fù)圖片如圖6所示。

各算法在人臉數(shù)據(jù)集上的主觀表現(xiàn)如圖7所示。觀察可知，PConv、GatedConv、EdgeConnect、GFP-GAN、LaMa和本文算法均對(duì)還原圖像的全局語(yǔ)義有較好的效果，但本文算法在還原圖像的細(xì)節(jié)結(jié)構(gòu)有更加突出的表現(xiàn)，前五種算法無(wú)法準(zhǔn)確地全部還原圖像中的一些細(xì)節(jié)結(jié)構(gòu)。

為了探索本文算法所提出的非對(duì)稱(chēng)周期特征推理模塊和采用PatchGAN訓(xùn)練的網(wǎng)絡(luò)框架的有效性，設(shè)計(jì)了與RFR進(jìn)行對(duì)比的實(shí)驗(yàn)，對(duì)比結(jié)果如表1所示。

不規(guī)則遮擋數(shù)據(jù)集將不同比例的mask進(jìn)行了分類(lèi)，其中每一個(gè)比例含有2 000張隨機(jī)mask圖像。為了測(cè)試模擬本文算法在不同mask比例下的修復(fù)效果，選取 （0.1，0.2］、（0.3，0.4］以及（0.5，0.6］三個(gè)不同比例的mask數(shù)據(jù)集作為測(cè)試。不同的mask比例下本文算法與其他算法的客觀指標(biāo)橫向?qū)Ρ冉Y(jié)果如表2～4所示。在mask比率為（0.1，0.2］時(shí)，不同模型的修復(fù)效果對(duì)比如表2所示。

表2～4展現(xiàn)了在不同mask遮擋比例下本文算法的客觀有效性。客觀指標(biāo)對(duì)比采用三種不同的指標(biāo)，分別是峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）以及L1誤差。其中PSNR與SSIM指標(biāo)是越大越好，L1誤差是越小越好，L1誤差是修復(fù)圖像與原圖之間的L1范數(shù)。在上述三種客觀指標(biāo)的對(duì)比中，本文算法在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示出了其優(yōu)越性。

實(shí)驗(yàn)表明本文算法相比傳統(tǒng)算法有一定程度的提高。在實(shí)驗(yàn)中發(fā)現(xiàn)，非周期特征推理的迭代次數(shù)對(duì)修復(fù)結(jié)果有影響作用，通過(guò)設(shè)計(jì)不同迭代次數(shù)的實(shí)驗(yàn)得到在迭代次數(shù)為 6 次的時(shí)候網(wǎng)絡(luò)的修復(fù)性能表現(xiàn)最好。實(shí)驗(yàn)如表5所示。

上述的實(shí)驗(yàn)證明了本文創(chuàng)新的有效性，圖8展示了本文算法在不同比例遮擋下的修復(fù)表現(xiàn)，圖9展示了本文算法在同一圖像上不同比例遮擋下的表現(xiàn)。從主觀效果上來(lái)看，本文算法在較大范圍的任意遮擋上獲得了比較好的修復(fù)效果。

3結(jié)束語(yǔ)

針對(duì)修復(fù)網(wǎng)絡(luò)無(wú)法兼顧圖像的全局一致性和局部一致性，且需要的計(jì)算負(fù)載較大的問(wèn)題，本文提出了非對(duì)稱(chēng)周期特征推理模塊，提高了圖像修復(fù)內(nèi)容與周?chē)阎袼刂g的關(guān)聯(lián)性。首先引入漸進(jìn)修復(fù)的思想，將一種漸進(jìn)修復(fù)模塊（RFR）結(jié)合非對(duì)稱(chēng)網(wǎng)絡(luò)的構(gòu)架，對(duì)漸進(jìn)修復(fù)模塊進(jìn)行重構(gòu)；其次采用加入了非對(duì)稱(chēng)RFR模塊的U-Net框架，引入PatchGAN訓(xùn)練修復(fù)網(wǎng)絡(luò)，使用門(mén)控卷積層作為U-Net結(jié)構(gòu)的生成器的編碼器中的卷積函數(shù)，U-Net底層改為雙通道空洞卷積的方式防止圖像空間結(jié)構(gòu)在生成器的底層被破壞；最后結(jié)合感知損失和風(fēng)格損失，獲得了良好的人臉修復(fù)效果。實(shí)驗(yàn)結(jié)果表明，本文算法分別相比于現(xiàn)有一些算法，在信噪比（PSRN）、結(jié)構(gòu)相似性（SSIM）和L1誤差各項(xiàng)客觀指標(biāo)以及主觀視覺(jué)上都有顯著的提高。

參考文獻(xiàn)：

[1]Li Yijun， Liu Sifei， Yang Jimei， et al. Generative face completion［C］//Proc of IEEE Conference on Computer Vision and Pattern Recog-nition.Piscataway，NJ：IEEE Press，2017：3911-3919.

［2]Nazeri K， Ng E， Joseph T， et al. EdgeConnect： generative image inpainting with adversarial edge learning［EB/OL］.（2019-01-11）.http：//doi.org/10.48550/arxiv.1901.00212.

［3]杜雪梅.基于GAN的圖像補(bǔ)全算法研究［D］.成都：電子科技大學(xué)，2021.（Du Xuemei. Research on image completion algorithm based on GAN［D］.Chengdu：University of Electronic Science and Technology of China，2021.）

［4]Xiong Wei， Yu Jiahui， Lin Zhe， et al. Foreground-aware image inpainting［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：5833-5841.

［5]Moskalenko A， Erofeev M， Vatolin D. Deep two-stage high-resolution image inpainting［EB/OL］.（2021-04-27）.http：//doi.org/10.51130/graphicon-2020-2-4-18.

［6]Peng Jialun， Liu Dong， Xu Songcen， et al. Generating diverse structure for image inpainting with hierarchical VQ-VAE［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：10770-10779.

［7]Liao Liang， Xiao Jing， Wang Zheng， et al. Image inpainting guided by coherence priors of semantics and textures［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：6535-6544.

［8]Li Jingyuan， He Fengxiang， Zhang Lefei， et al. Progressive reconstruction of visual structure for image inpainting［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：5961-5970.

［9]Li Jingyuan， Wang Ning， Zhang Lefei， et al. Recurrent feature reasoning for image inpainting［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：7757-7765.

［10]Wang Tengfei，Ouyang Hao，Chen Qifeng.Image inpainting with external-internal learning and monochromic bottleneck［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：5116-5125.

［11]Liu Guilin，Reda F A，Shih K J，et al.Image inpainting for irregular holes using partial convolutions［C］//Proc of the European Confe-rence on Computer Vision.Berlin：Springer，2018：85-100.

［12]Yu Jiahui，Lin Zhe，Yang Jimei，et al.Free-form image inpainting with gated convolution［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：4470-4479.

［13]Wang Xintao，Li Yu，Zhang Honglun，et al.Towards real-world blind face restoration with generative facial prior［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：9164-9174.

［14]Suvorov R，Logacheva E，Mashikhin A，et al.Resolution-robust large mask inpainting with Fourier convolutions［C］//Proc of IEEE/CVF Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2022：3172-3182.

［15]Gong Yunpeng.A general multi-modal data learning method for person re-identification［EB/OL］.（2021-06-01）.http：//doi.org/10.48550/arxiv.2101.08533.

［16]Ai Mingxi，Xie Yongfang，Tang Zhaohui，et al.Deep learning feature-based setpoint generation and optimal control for flotation processes［J］.Information Sciences，2021，578：644-658.

［17]Jam J，Kendrick C，Drouard V，et al.Symmetric skip connection Was-serstein GAN for high-resolution facial image inpainting［C］//Proc of the 16th International Conference on Computer Vision Theory and Applications.2021.

［18]曾文雯，楊陽(yáng)，鐘小品.基于改進(jìn)Mask R-CNN的在架圖書(shū)書(shū)脊圖像實(shí)例分割方法［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（11）：3456-3459，3505.（Zeng Wenwen，Yang Yang，Zong Xiaopin.Improved Mask R-CNN based instance segmentation method for spine image of books on shelves［J］.Application Research of Computers，2021，38（11）：3456-3459，3505.）

［19]李大海，王榆鋒，王振東.面向遙感圖像云分割問(wèn)題的新型U-Net模型［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（11）：3506-3509，3516.（Li Dahai，Wang Yufeng，Wang Zhendong.New U-Net model for Landsat8 remote sensing image cloud segmentation［J］.Application Research of Computers，2021，38（11）：3506-3509，3516.）

［20]He Zhiyu，He Jianping，Chen Cailian，et al.CPCA：a Chebyshev proxy and consensus based algorithm for general distributed optimization［C］//Proc of American Control Conference.Piscataway，NJ：IEEE Press，2020：94-99.

［21]Wei Xiang，Gong Boqing，Liu Zixia，et al.Improving the improved training of Wasserstein GANs：a consistency term and its dual effect［EB/OL］.（2018-03-05）.http：//doi.org/10.48550/arxiv.1803.01541.

［22]Cai Shaoyu，Zhu Kening，Ban Y，et al.Visual-tactile cross-modal data generation using residue-fusion GAN with feature-matching and perceptual losses［J］.IEEE Robotics and Automation Letters，2021，6（4）：7525-7532.

［23]Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial networks［J］.Communications of the ACM，2020，63（11）：139-144.

［24]Liu Ziwei，Luo Ping，Wang Xiaogong，et al.Deep learning face attri-butes in the wild［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015：3730-3738.

收稿日期：2022-01-02；

修回日期：2022-02-25

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（62106214）；河北省自然科學(xué)基金項(xiàng)目（F2019203195）

作者簡(jiǎn)介：李雅倩（1982-），女，湖南岳陽(yáng)人，副教授，碩導(dǎo)，博士，主要研究方向?yàn)閳D像處理、機(jī)器視覺(jué)；張旭曜（1996-），男（通信作者），河北石家莊人，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)（1106343910@qq.com）；李岐龍（1995-），男，河南平頂山人，碩士研究生，主要研究方向?yàn)閳D像修復(fù).