傅里葉變換下的粗細(xì)雙路徑圖像修復(fù)算法

陳 剛，盛 況，楊振國(guó)，劉文印，3

1.廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006

2.廣東開放大學(xué) 人工智能學(xué)院，廣州 510091

3.鵬城實(shí)驗(yàn)室 網(wǎng)絡(luò)空間安全研究中心，廣東 深圳 518005

圖像修復(fù)（image inpainting）是以結(jié)構(gòu)優(yōu)先，紋理兼顧的方式，將破損的區(qū)域利用現(xiàn)有的技術(shù)和周圍的信息進(jìn)行重建的過(guò)程[1]。隨著媒體技術(shù)的發(fā)展，以圖像為標(biāo)的承載的信息充斥著各行各業(yè)，比如老照片的修復(fù)[2]、藝術(shù)品的修復(fù)[3]、車輛違規(guī)的判定[4]、刑偵圖像的增強(qiáng)與修復(fù)[5]、數(shù)字博物館的建設(shè)[6]等等，各行各業(yè)都涉及到圖像修復(fù)的相關(guān)技術(shù)，由此可見，圖像修復(fù)也是當(dāng)前人工智能領(lǐng)域的一個(gè)重要熱點(diǎn)。隨著深度學(xué)習(xí)的不斷發(fā)展，圖像修復(fù)技術(shù)也不斷的推陳出新。Pathak等[7]首次用CNN預(yù)測(cè)周圍環(huán)境中場(chǎng)景的缺失部分，并利用周圍的圖像信息來(lái)推斷缺失的圖像，解決了圖像連續(xù)缺失的問(wèn)題，但是修復(fù)的圖像模糊且視覺一致性較差。Jiang等[8]提出基于生成對(duì)抗的圖像修復(fù)算法（image inpainting based on generative adversarial networks，IIGAN），該算法傳統(tǒng)的基于全局和局部判別器的生成對(duì)抗網(wǎng)絡(luò)的算法基礎(chǔ)上設(shè)計(jì)了具有跳轉(zhuǎn)連接的編碼器-解碼器，同時(shí)使用具有風(fēng)險(xiǎn)懲罰項(xiàng)的對(duì)抗損失代替鉸鏈損失，然而，修復(fù)的圖像結(jié)構(gòu)性差。Sagong 等[9]設(shè)計(jì)了一種共享編碼器和粗細(xì)雙路徑解碼的圖像修復(fù)算法，該算法利用粗路徑生成初始圖像，再通過(guò)CAM（the contextual attention module）模塊利用初始的圖像重建精細(xì)特征，進(jìn)而實(shí)現(xiàn)高質(zhì)量的雙路徑修復(fù)，但是該方法修復(fù)圖像由于存在頻域差而導(dǎo)致圖像邊界模糊和全局結(jié)構(gòu)較差。針對(duì)上述不足，本文提出了傅里葉變換下的粗細(xì)雙路徑圖像修復(fù)算法（coarse and fine dual path image inpainting algorithm based on Fourier transform，F(xiàn)TCFP）。該算法首先在傳統(tǒng)的粗細(xì)雙路徑修復(fù)算法（PEPSI）的基礎(chǔ)上，首先，設(shè)計(jì)具有壓縮獎(jiǎng)懲（squeeze-and-excitation，SE）機(jī)制的編碼器，該編碼器將通過(guò)全局平均池將全局通道特征與圖中位置信息融合，擴(kuò)大了網(wǎng)絡(luò)的全局視野，提高網(wǎng)絡(luò)的全局結(jié)構(gòu)修復(fù)能力；其次，在網(wǎng)絡(luò)訓(xùn)練時(shí)首次引入了焦頻損失（focal frequency loss，F(xiàn)FL）監(jiān)督圖像的修復(fù)，縮小了原始圖像與修復(fù)圖像的頻域差，改善了修復(fù)圖像的偽影和模糊性，進(jìn)而增強(qiáng)了圖像的質(zhì)量。最后將該算法應(yīng)用于實(shí)驗(yàn)，實(shí)驗(yàn)表明，改進(jìn)算法以微小的時(shí)間成本獲得了較好的性能提升，且優(yōu)于基線。

1 相關(guān)研究

目前圖像的修復(fù)算法很多，依據(jù)修復(fù)方法可以分為四類：基于結(jié)構(gòu)的圖像修復(fù)算法、基于紋理的圖像修復(fù)算法、基于稀疏表示的圖像修復(fù)方法以及基于深度學(xué)習(xí)的圖像修復(fù)方法。基于結(jié)構(gòu)的圖像修復(fù)方法，一般是依據(jù)圖像結(jié)構(gòu)信息優(yōu)先原則，采用邊緣擴(kuò)散的方式進(jìn)行圖像修復(fù)，但是該方法修復(fù)的視覺效果差。Bertalmio等[1]提出了基于三階微分方程的圖像修復(fù)算法，該算法是沿著等照線的方向按結(jié)構(gòu)優(yōu)先，紋理兼顧的原則將邊緣信息擴(kuò)散到缺失區(qū)，直到缺失區(qū)域填充完成。然而，該算法修復(fù)圖像的結(jié)構(gòu)性差。基于紋理合成的算法是基于樣本塊的紋理合成，該算法是在缺失區(qū)域邊緣選擇一個(gè)缺失塊，然后在完好區(qū)域采用一定的優(yōu)先級(jí)搜索合適的匹配塊進(jìn)行匹配，直到完成修復(fù)。但是該算法很難匹配到合適的塊。路志英等[10]提出了一種Criminisi 算法的改進(jìn)算法，該算法優(yōu)化了優(yōu)先級(jí)，使得擁有更多信息的像素塊具有更多的優(yōu)先級(jí)，從而避免距離較遠(yuǎn)的關(guān)聯(lián)度低的像素塊很難搜索到的問(wèn)題。然而，該算法的修復(fù)圖像缺乏全局結(jié)構(gòu)。基于稀疏表示的圖像修復(fù)算法，該算法利用過(guò)完備字典和已知的圖像信息進(jìn)行稀疏編碼，通過(guò)不斷地訓(xùn)練和更新過(guò)完備字典而實(shí)現(xiàn)圖像的修復(fù)。Engan 等[11]提出了一種優(yōu)化字典的學(xué)習(xí)算法，該算法在稀疏編碼和字典訓(xùn)練階段，采用最小二乘法對(duì)給定的圖像重建方程進(jìn)行求解。不過(guò)，該算法的求解過(guò)程比較耗時(shí)并且修復(fù)圖像比較模糊。基于深度學(xué)習(xí)的圖像修復(fù)算法，由于神經(jīng)網(wǎng)絡(luò)包含較多的隱含的感知機(jī)，能夠通過(guò)組合底層的網(wǎng)絡(luò)表示高層的抽象特征，因此，具有復(fù)雜結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)具有較強(qiáng)的表征能力和學(xué)習(xí)能力。Wang等[12]設(shè)計(jì)了三個(gè)并行的編碼器產(chǎn)生不同感受野的生成對(duì)抗圖像修復(fù)算法，該算法利用一種隱式多樣化馬爾可夫隨機(jī)場(chǎng)實(shí)現(xiàn)正則化而修復(fù)圖像，但是修復(fù)圖像邊界模糊并且存在偽影。Zeng 等[13]設(shè)計(jì)了基于金字塔式的自編碼器，該自編碼器利用注意力轉(zhuǎn)移網(wǎng)絡(luò)（attention transfer network，ATN）將已知的特征遷移到缺失區(qū)從而實(shí)現(xiàn)較好的填充效果，但是該算法所修復(fù)的圖像比較模糊并且邊界不清晰。Zheng等[14]提出了一種長(zhǎng)短注意力機(jī)制的粗細(xì)雙路徑的多元化的修復(fù)算法，該算法修復(fù)圖像視覺一致性差且紋理模糊。Yu 等[15]提出了一種粗細(xì)兩級(jí)網(wǎng)絡(luò)的圖像修復(fù)算法，該算法用粗路徑產(chǎn)生粗略的生成結(jié)果，再用粗路徑生成結(jié)果經(jīng)過(guò)二級(jí)精細(xì)路徑重建精細(xì)的圖像。雖然該網(wǎng)絡(luò)修復(fù)的圖像細(xì)節(jié)特征豐富，但是所修復(fù)圖像全局結(jié)構(gòu)表現(xiàn)不佳。

2 基于傅里葉變換的粗細(xì)雙路徑圖像修復(fù)

2.1 算法框架

本節(jié)介紹傅里葉變換下的粗細(xì)雙路徑圖像修復(fù)算法網(wǎng)絡(luò)框架[16]，該框架是一種改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)[17-18]，其中生成器包括一個(gè)共享單編碼器和兩個(gè)并行粗細(xì)雙路徑解碼器組成，而判別器是一個(gè)基于全局與局部判別器改進(jìn)的可以修復(fù)隨機(jī)破損塊的一個(gè)集群判別器。修復(fù)網(wǎng)絡(luò)是由一個(gè)10 層的生成器和5 層判別器結(jié)構(gòu)，其中生成器是由一個(gè)單編碼器加雙解碼器組成的結(jié)構(gòu)，如圖1 所示。編碼器負(fù)責(zé)輸入的圖像特征采集，首先將采集的結(jié)果輸入到粗路徑進(jìn)行修復(fù)，修復(fù)產(chǎn)生一個(gè)大致完整的初始圖像。然后利用CAM模塊從粗路徑修復(fù)結(jié)果中提取重建圖像的精細(xì)特征，最終產(chǎn)生一個(gè)令人滿意的修復(fù)結(jié)果。值得注意的是由于傳統(tǒng)的粗細(xì)雙路徑圖像修復(fù)算法[9]存在修復(fù)的圖像高頻的邊界模糊并且全局結(jié)構(gòu)性較差，因此，本文引入了焦頻損失[19]的目的是監(jiān)督網(wǎng)絡(luò)從圖像像素和頻域差兩方面進(jìn)行訓(xùn)練，縮小修復(fù)圖像與原圖像頻域差，改善重建圖像的模糊和偽影，進(jìn)而提高修復(fù)圖像的視覺效果；同時(shí)為了擴(kuò)大編碼器的采集數(shù)據(jù)的感受野引入了壓縮獎(jiǎng)罰機(jī)制[20]，從兩方面改進(jìn)網(wǎng)絡(luò)，提升圖像修復(fù)的全局結(jié)構(gòu)特征。

圖1 所提算法框架圖Fig.1 Frame diagram of proposed algorithm

2.2 生成網(wǎng)絡(luò)

本節(jié)主要介紹生成網(wǎng)絡(luò)，生成網(wǎng)絡(luò)包括一個(gè)6層卷積和4層擴(kuò)張卷積網(wǎng)絡(luò)的單路徑編碼器以及5層粗細(xì)雙路徑解碼器。如圖1所示，在精細(xì)路徑解碼器的前端植入了一個(gè)注意力模塊CAM，同時(shí)為了改善編碼器采集全局信息的能力，本文編碼器的每層卷積網(wǎng)絡(luò)后面引入了壓縮獎(jiǎng)懲網(wǎng)絡(luò)，該網(wǎng)絡(luò)能有效地提取圖像更多的全局特征，改善圖像的全局結(jié)構(gòu)性，同時(shí)，生成器粗細(xì)路徑訓(xùn)練及對(duì)抗訓(xùn)練中引入焦頻損失（FFL），進(jìn)而縮小修復(fù)圖像與原始圖像的頻率差，降低偽影，改善圖像質(zhì)量。具體的實(shí)現(xiàn)過(guò)程為：首先，帶有遮擋MASK 的圖像從共享編碼器輸入，經(jīng)過(guò)帶有壓縮獎(jiǎng)懲網(wǎng)絡(luò)編碼器產(chǎn)生一個(gè)256通道的特征圖。其次，解碼器的粗網(wǎng)絡(luò)負(fù)責(zé)生成一個(gè)大致完整的初步修復(fù)結(jié)果，之后，利用粗網(wǎng)絡(luò)生成的前景和背景之間關(guān)系訓(xùn)練CAM模塊產(chǎn)生精細(xì)路徑的輸入特征，同時(shí)利用CAM 的輸入特征產(chǎn)生更加精細(xì)結(jié)果。最后將精細(xì)網(wǎng)絡(luò)與判別器進(jìn)行對(duì)抗訓(xùn)練，重建質(zhì)量更高的圖像。將圖1 的第一層卷積和壓縮獎(jiǎng)懲塊實(shí)現(xiàn)過(guò)程展示如圖2，其中，圖中X表示輸入，O表示經(jīng)過(guò)Ctr卷積操作的輸出(X,O∈RH×W×C)，Csq表示順著維度將特征進(jìn)行壓縮的操作，Cex表示通過(guò)V為每個(gè)通道生成權(quán)重特征矯正操作，其他層次類似。

2.2.1 基于壓縮獎(jiǎng)懲網(wǎng)絡(luò)的編碼器

傳統(tǒng)的卷積建模的通道關(guān)系是隱式和局部的，導(dǎo)致卷積網(wǎng)絡(luò)數(shù)據(jù)采集的視野受限，從而無(wú)法有效地采集圖像全局特征。從理論上來(lái)說(shuō)卷積網(wǎng)絡(luò)越深越能放大網(wǎng)絡(luò)的局部視野，無(wú)法擴(kuò)展到全局視野。然而，SE塊能夠顯式地改變通道之間的依賴關(guān)系，自適應(yīng)地校準(zhǔn)通道間的響應(yīng)關(guān)系。將SE 塊進(jìn)行疊加，能夠以微小的計(jì)算成本為深層的架構(gòu)產(chǎn)生顯著的約25%性能提升[20]。因此，鑒于文獻(xiàn)[20]和PEPSI 網(wǎng)絡(luò)結(jié)構(gòu)，為了改善深層卷積網(wǎng)絡(luò)的提取全局特征的性能，本文設(shè)計(jì)了一種具有壓縮獎(jiǎng)懲網(wǎng)絡(luò)并能顯式地修改通道中的依賴關(guān)系用于增強(qiáng)網(wǎng)絡(luò)全局表達(dá)能力的編碼器。該編碼器能通過(guò)修改圖像的尺寸大小而統(tǒng)計(jì)全局的平均池來(lái)提取全局的特征。

具體的實(shí)現(xiàn)是在FTCFP 網(wǎng)絡(luò)的前6 層卷積網(wǎng)絡(luò)后面插入壓縮獎(jiǎng)懲塊SE，SE 塊是一個(gè)不改變通道大小的高效的計(jì)算單元。令O=[o1,o2,…,oC]，Ctr表示卷積操作，Q=[q1,q2,…,qC]表示卷積核集合，那么輸入X經(jīng)過(guò)卷積Ctr的輸出O的實(shí)現(xiàn)如公式（1）：

（1）壓縮全局信息

由于傳統(tǒng)的卷積網(wǎng)絡(luò)學(xué)習(xí)到的過(guò)濾器都是在局部的視野進(jìn)行操作的，從而無(wú)法有效地利用該區(qū)域以外的上下文特征，導(dǎo)致修復(fù)的圖像缺少全局結(jié)構(gòu)特征。當(dāng)卷積操作處于網(wǎng)絡(luò)的較低層時(shí)，卷積網(wǎng)絡(luò)的感受野比較小的問(wèn)題更加突出，從而導(dǎo)致該區(qū)域的紋理缺少上下文信息而不連續(xù)。因此，為了解決通道間的依賴關(guān)系，必須引入在卷積過(guò)程必須以全局視野進(jìn)行操作的機(jī)制，該機(jī)制能夠必須能夠以較小的計(jì)算成本代價(jià)換取較大性能提升收益。然而，在所有的注意力機(jī)制當(dāng)中，SE塊就是一種輕便高效的計(jì)算單元。因此，為了改善卷積的網(wǎng)絡(luò)的全局視野問(wèn)題，本文引入SE 注意力塊進(jìn)行協(xié)助。首先，SE塊將全局空間信息壓縮到一個(gè)通道描述器，該通道描述器嵌入了全局特征的分布，使得網(wǎng)絡(luò)的全局通道信息能被較低層的網(wǎng)絡(luò)使用，從而改善了通道的依賴關(guān)系。形式上來(lái)看，通道描述器z∈RC是通過(guò)壓縮所有的輸出oc而生成的，輸出z的第c個(gè)輸出表示如下：

其中，Csq表示壓縮卷積操作。

（2）自適應(yīng)矯正特征

經(jīng)過(guò)（1）的壓縮操作匯聚了全局信息，接著要捕獲通道間的依賴關(guān)系。為了實(shí)現(xiàn)這個(gè)目標(biāo)，將全局信息壓入通道描述器后，本文使用新型門機(jī)制來(lái)捕捉通道之間的非線性的依賴關(guān)系和互斥關(guān)系，同時(shí)使用sigmoid函數(shù)Π的進(jìn)行激活，對(duì)應(yīng)于圖2 的Cex操作，其計(jì)算公式如下：

其中，u∈R1×1×C是一個(gè)全局池化的權(quán)重值，它是通過(guò)全局信息（通道描述器）z經(jīng)過(guò)兩次乘矩陣V∈RC×C實(shí)現(xiàn)全連接操作，具體是V1乘以z得到一個(gè)1×1×C/r的張量（r=16，縮放系數(shù)），將生成結(jié)果經(jīng)過(guò)一個(gè)φ的Relu函數(shù)運(yùn)算，保持維度不變，然后再將V2與剛經(jīng)過(guò)φ激活函數(shù)之后的結(jié)果相乘，其實(shí)一個(gè)全連接過(guò)程，得到最后的維度為1×1×C，其中C為通道數(shù)。最后將得到權(quán)重uc與輸出oc相乘，得到最后的經(jīng)過(guò)SE 塊的特征圖。公式如下：

（3）SE塊性能分析

為了驗(yàn)證SE 塊的有效性，在本文算法的基礎(chǔ)算法PEPSI基礎(chǔ)上添加SE塊與未添加SE塊的算法在峰值信噪比（PSNR）和結(jié)構(gòu)相似比（SSIM）以及得分距離（FID）之間進(jìn)行比較，比較結(jié)果如表1所示。

從表1 可以看出，添加了SE 塊的PEPSI 算法相對(duì)比沒(méi)有添加SE塊算法，在PSNR、SSIM以及FID方面有所提高，特別在結(jié)構(gòu)相似比SSIM 以及距離得分FID 方面有較大提升，說(shuō)明SE 塊能夠提升修復(fù)圖像的全局結(jié)構(gòu)性。

2.2.2 傅里葉變換過(guò)程

眾所周知，圖像是由像素構(gòu)成的。但是除了像素之外它還隱藏了另一個(gè)信息——頻域，表示像素變化快慢和分布的度量單位。因此，對(duì)于目前的圖像修復(fù)來(lái)說(shuō)，修復(fù)圖像與原始圖像之間差距有可能是由于頻域差引起的偏差。減少修復(fù)圖像與原始圖像的頻域差對(duì)于提高圖像重建和合成質(zhì)量是有幫助的。然而F-Principle原則——深度學(xué)習(xí)傾向于優(yōu)先使用低頻來(lái)擬合目標(biāo)函數(shù)[21]，即神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，網(wǎng)絡(luò)模型會(huì)優(yōu)先合成優(yōu)先級(jí)高的低頻成分的像素，而對(duì)于高頻成分難合成的像素則避開，而每一個(gè)像素對(duì)于圖像的代價(jià)是相同的，因此，縮小頻域差可以改善重建圖像的高頻成分進(jìn)而提高圖像質(zhì)量，下面闡述傅里葉變換在FTCFP 算法中實(shí)現(xiàn)過(guò)程。

（1）圖像傅里葉變換的表示

離散傅里葉變換（discrete Fourier transform，DFT）是將滿足一定條件某個(gè)函數(shù)表示成三角函數(shù)，即將特定函數(shù)表示成帶有頻率，振幅，周期等變量的正弦和余弦函數(shù)。為了需要，用(p,q)表示圖像空間中在空間上像素的坐標(biāo)，(s,t)表示該圖像中像素對(duì)應(yīng)的頻譜上的頻率坐標(biāo)，對(duì)應(yīng)二維傅里葉變化公式如下：

其中，W是圖像寬，H表示圖像高，F(xiàn)(s,t)為對(duì)應(yīng)頻譜上的復(fù)頻率值，f(p,q)為空間像素值。e 和i 分別是歐拉數(shù)和虛單位。遵循歐拉公式：

將公式（5）按歐拉公式展開得公式如下：

（2）頻率距離表示

為了表示原始圖像與修復(fù)圖像之間的頻域差，必須設(shè)計(jì)一個(gè)距離來(lái)度量它們之間的差異，同時(shí)這個(gè)距離必須是可導(dǎo)。在頻域中，數(shù)據(jù)在頻譜上表現(xiàn)為空間中的不同頻率；在可視化頻域函數(shù)中，表現(xiàn)為二維函數(shù)的正弦分量。通過(guò)公式（7）可以知道F(s,t)其是具有實(shí)部和虛部的實(shí)函數(shù)。公式（7）可以表示為：

向量在向量空間是由模和相位組成的，模在文中表示為振幅，表示波能量的大小，振幅表示如下：

F(s,t)的第二成分為相位ΔF(s,t)，表示頻譜空間的二維正弦波與起始值的位移，相位的表示如下：

因此，真假圖像在頻域上的差距要考慮兩個(gè)方面的差距，即波的振幅和相位，所以真假圖像的歐拉距離表示為：

其中，F(xiàn)r表示真實(shí)圖像的頻域向量，F(xiàn)f表示修復(fù)（偽造）圖像的頻域向量，d(Fr-Ff)表示原始圖像與修復(fù)圖像頻域的歐拉距離。

（3）動(dòng)態(tài)頻譜權(quán)重矩陣

由于譜偏倚現(xiàn)象[22]，神經(jīng)網(wǎng)絡(luò)對(duì)低頻目標(biāo)函數(shù)學(xué)習(xí)偏倚，即神經(jīng)網(wǎng)絡(luò)在合成目標(biāo)函數(shù)時(shí)有一種傾向優(yōu)先合成低頻率的像素成分，而對(duì)難合成的頻率成分會(huì)避開。然而，每個(gè)像素對(duì)于整體圖像而言具有相同的意義。因此，要使得重建圖像質(zhì)量較以往有較大的提升，必須對(duì)目標(biāo)函數(shù)做適當(dāng)處理，否則與常規(guī)的基于像素的目標(biāo)函數(shù)合成沒(méi)有太大區(qū)別。受到了在線難實(shí)例挖掘[23]和焦點(diǎn)損失[24]的啟發(fā)。本文引入了頻譜權(quán)重矩陣來(lái)動(dòng)態(tài)調(diào)整難合成頻率和容易合成頻率的權(quán)重信息。通過(guò)頻譜權(quán)重矩陣減少容易合成的頻率成分權(quán)重，并且增加難合成的頻率成分權(quán)重，不斷迭代修改矩陣權(quán)重，直到最后模型收斂。頻譜權(quán)重矩陣元素ω(s,t)表示為：

其中，γ是一個(gè)反應(yīng)模型中難易頻率的聚焦的程度的比例因子，越大說(shuō)明難易越難聚焦，本文γ=1，表明高頻與低頻較易聚焦。頻譜權(quán)重矩陣計(jì)算其實(shí)是要兩次遍歷矩陣中所有元素的過(guò)程，每一次遍歷的時(shí)間復(fù)雜度為O(n)，其中，n=H×W為圖像的像素?cái)?shù)也就是輸入特征圖的大小。因此兩次遍歷的時(shí)間復(fù)雜度為O(n)+O(n)=O(n)，然而卷積神經(jīng)網(wǎng)絡(luò)時(shí)間復(fù)雜度依賴所有層的參數(shù)量（特征圖大小的平方×卷積核大小的平方×輸入×輸出）[25]。然而，網(wǎng)絡(luò)模型參數(shù)量遠(yuǎn)大于圖像的大小，并且由于矩陣運(yùn)算是卷積網(wǎng)絡(luò)之后進(jìn)行的，它和網(wǎng)絡(luò)模型是相加關(guān)系，相當(dāng)于增加了一個(gè)很小的偏置，因此其對(duì)算法時(shí)間復(fù)雜度影響很小，而實(shí)際上FTCFP 的每步迭代時(shí)間0.516 s，而PEPSI的為0.508 s。

FFL計(jì)算分三步：首先，頻譜矩陣歸一化，歸一化是將所有的像素點(diǎn)的頻率差遍歷求和。然后，將每個(gè)點(diǎn)的頻率差與之前和相除求商，得到歸一化后的權(quán)重矩陣。頻譜權(quán)重矩陣反映的是每個(gè)像素的頻率差所占整個(gè)圖像的頻域差的比重。最后，將每個(gè)像素頻率權(quán)重與后面歸一化的頻率差的歐式距離相乘，相當(dāng)于放大或者縮小了某個(gè)像素點(diǎn)損失在總損失比重，頻率差越大對(duì)應(yīng)的權(quán)重越大，對(duì)應(yīng)的像素的損失越大。在總訓(xùn)練時(shí)間一定情況下，占用訓(xùn)練時(shí)間越多。因此，可以用頻譜權(quán)重矩陣精確調(diào)節(jié)高頻或者低頻成分的訓(xùn)練時(shí)間。

（4）焦頻損失性能分析

為了驗(yàn)證焦頻損失的有效性，本文將加了焦頻損失函數(shù)FFL 的本文算法和未加焦頻損失函數(shù)FFL 本文算法進(jìn)行實(shí)驗(yàn)，時(shí)間結(jié)果如表2所示。

表2 添加FFL與未添加FFL的本文算法性能比較Table 2 Performance comparison of algorithm with and without FFL loss

從表2可知，F(xiàn)FL既能有效地減少信號(hào)損失，又能提高網(wǎng)絡(luò)的提取特征的能力，因此添加FFL 算法的PSNR與FID 值比未添加FFL 的性能有較大提升。同時(shí)添加FFL 的算法與未添加FFL 的修復(fù)圖像與原圖像的比較如圖3所示。

圖3 添加FFL的算法與未添加FFL算法結(jié)果比較Fig.3 Comparison between algorithm with and without FFL

從圖3 可以看出，添加FFL 的輪廓清晰，沒(méi)有添加FFL的算法邊界不清晰且整體圖像模糊，因此FFL損失可以改善高頻成分的圖像效果，可以給重建圖像提供清晰輪廓。

2.3 判別器網(wǎng)絡(luò)

目前，判別器的輸入是真假圖像，輸出是判別輸入的假圖像是真還是假。大部分的判別器都是基于全局判別器和局部判別器的結(jié)構(gòu)，這種結(jié)構(gòu)判別器能提高修復(fù)的圖像全局結(jié)構(gòu)性，然而，這種結(jié)構(gòu)的判別器只適合處理固定正方形的孔洞，而實(shí)際缺失區(qū)域是任意形狀和大小的，因此，這種局部判別器無(wú)法修復(fù)不規(guī)則的孔洞。為了解決這個(gè)問(wèn)題，本文受文獻(xiàn)[26]的啟發(fā)，設(shè)計(jì)可以單獨(dú)處理多個(gè)任意形狀的孔洞的集群判別器。該集群判別與傳統(tǒng)的局部判別器的最大不同在于最后兩層的設(shè)計(jì)，最后兩層采用了512通道的卷積層及區(qū)域像素的整合層，如圖1所示。集群判別器能通過(guò)區(qū)域整合層將特征劃分為若干個(gè)像素塊，同時(shí)判別每個(gè)像素塊的真假。因此，這種結(jié)構(gòu)使得判別器能對(duì)不同接受域的特征進(jìn)行分類，從而實(shí)現(xiàn)了對(duì)不同大小的圖像區(qū)域進(jìn)行判別分類，進(jìn)一步實(shí)現(xiàn)對(duì)任意大小孔洞進(jìn)行修復(fù)。

2.4 損失函數(shù)

網(wǎng)絡(luò)模型的訓(xùn)練涉及到的損失函數(shù)包括，粗網(wǎng)絡(luò)和細(xì)網(wǎng)絡(luò)訓(xùn)練所涉及的重構(gòu)損失L2，用于減少頻域差的焦頻損失FFL，以及細(xì)路徑用到的鉸鏈對(duì)抗損失。

2.4.1 重構(gòu)損失

本文涉及到重構(gòu)損失的有兩處，（1）粗路徑修復(fù)對(duì)CAM的特征進(jìn)行補(bǔ)全，（2）細(xì)路徑的修復(fù)也用到重構(gòu)損失。根據(jù)文獻(xiàn)[27]，考慮到歐拉距離L2在目標(biāo)函數(shù)合成過(guò)程能避免過(guò)度擬合，同時(shí)L1在非系數(shù)向量計(jì)算中效率低，因此本文的重構(gòu)損失采用L2距離計(jì)算，粗路徑重構(gòu)損失如下：

其中，i為第i塊缺失區(qū)域。

2.4.2 對(duì)抗損失

本文模型中采用了譜歸一化（spectral normalization）來(lái)滿足利普希茨連續(xù)條件。同時(shí)對(duì)抗訓(xùn)練采用鉸鏈對(duì)抗損失Ladv，Ladv分別由LGadv和LDadv組成，公式分別如下：

其中，xfi表示偽造圖像，Pfi表示偽造圖像分布.對(duì)應(yīng)判別損失為：

其中，xri表示真實(shí)圖像，Pxi表示真實(shí)圖像分布，而i表示第i個(gè)原始圖像塊或者偽造圖像塊。偽造圖像塊和對(duì)應(yīng)的原始圖像塊的關(guān)系如下：

其中，xfi和xri分別表示第i個(gè)偽造的圖像塊和原始的圖像塊。λi、λadv為平衡兩種損失的超參數(shù)。

2.4.3 焦頻損失

通過(guò)粗細(xì)解碼器生成特征圖，將生成的特征圖進(jìn)行傅里葉變換，變換過(guò)程參考公式（5）～（7）為了表示真假圖像之間的焦頻損失，參考公式（11）、（12），得到焦頻損失為：

其中，ω(s,t)為頻譜矩陣元素，而W、H為圖像寬高。

2.4.4 目標(biāo)損失

整個(gè)訓(xùn)練過(guò)程中，包括粗路徑及細(xì)路徑，甚至對(duì)抗訓(xùn)練，總損失函數(shù)如下：

其中，F(xiàn)FL表示細(xì)路徑的焦頻損失，T和Tmax分別表示迭代的次數(shù)和最大迭代次數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

本文選用了開源人臉數(shù)據(jù)集CelebA 進(jìn)行實(shí)驗(yàn)，CelebA 是一個(gè)大型的人臉數(shù)據(jù)集，擁有操作20 萬(wàn)張人臉圖像，每張圖像都有超過(guò)40個(gè)屬性以及5個(gè)人臉特征坐標(biāo)，該數(shù)據(jù)包含了大量的姿態(tài)和背景。為了實(shí)驗(yàn)需要，本文從20 多萬(wàn)圖像中抽取了6.2 萬(wàn)照片進(jìn)行實(shí)驗(yàn)，選取了80%的圖像作為訓(xùn)練集，剩下20%作為測(cè)試集。

3.2 評(píng)價(jià)指標(biāo)

圖像評(píng)價(jià)包括定量評(píng)價(jià)和定性評(píng)價(jià)，定量評(píng)價(jià)指標(biāo)比較多，不同的評(píng)價(jià)指標(biāo)有各自的側(cè)重點(diǎn)，本文選取了三個(gè)經(jīng)典的評(píng)價(jià)指標(biāo)，包括峰值信噪比（peak signalto-noise ratio，PSNR）、結(jié)構(gòu)相似性比（structural similarity，SSIM）以及距離得分（Frechet inception distance score，F(xiàn)ID）。其中，PSNR主要表示信號(hào)最大可能功率與影響它的表示精度的破壞性噪聲功率的比值。它以分貝（dB）為單位。公式如下：

其中，xr和xf分別原始圖像和偽造圖像，n表示像素?cái)?shù)。結(jié)構(gòu)相似性指數(shù)SSIM，是衡量?jī)煞鶊D像的相似性指標(biāo)，其公式表示如下：

其中，xr、xf分別表示原始圖像和重建圖像（修復(fù)圖像），A為協(xié)方差，Tr為跡，表示矩陣的主對(duì)角線的和。

3.3 基線和實(shí)施過(guò)程

本文從近幾年的圖像修復(fù)算法中選取一些經(jīng)典的、有代表性的圖像修復(fù)算法為基線。分別為基于生成對(duì)抗的圖像修復(fù)算法[8]，該算法在傳統(tǒng)的全局和局部判別器的基礎(chǔ)上設(shè)計(jì)跳轉(zhuǎn)連接的編碼器-解碼器而實(shí)現(xiàn)圖像修復(fù)；基于生成多列卷積神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)算法（GMCNN[12]）是由多尺度生成器和基于全局與局部的判別器組成的生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)算法；基于金字塔上下文編碼的圖像修復(fù)算法（PENNet）[13]，該算法在生成器中采用金字塔結(jié)構(gòu)設(shè)計(jì)編碼器，同時(shí)引入感知損失和風(fēng)格損失；并行解碼雙路徑網(wǎng)絡(luò)快速圖像修復(fù)算法（PEPSI[9]）是具有共享編碼器和粗細(xì)雙路徑快速的生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)算法；而多樣式圖像修復(fù)算法（PICNet[14]）是具有長(zhǎng)短注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)算法；基于上下文語(yǔ)義生成性圖像修復(fù)算法（GI[15]）采用粗細(xì)兩級(jí)網(wǎng)絡(luò)，同時(shí)在全局和局部判別器的對(duì)抗損失中引入了風(fēng)險(xiǎn)懲罰滿足利普希茨連續(xù)條件的生成網(wǎng)絡(luò)圖像修復(fù)算法。

本實(shí)驗(yàn)平臺(tái)為 Ubuntu18.0 系統(tǒng)，學(xué)習(xí)框架為tensorflow 1.15，對(duì)應(yīng)CUDA=10.0，CUDNN=8.1，GPU為GeForce RTX2080Ti，受文獻(xiàn)[8-9]的啟發(fā)，損失函數(shù)的參數(shù)設(shè)置為λi=0.1，λC=5，λadv=10，batchsize=8，實(shí)驗(yàn)?zāi)芸焖俚厥諗坑?00 epoch 附近。圖4～7 分別展示了粗路徑重構(gòu)損失(Lcr)、細(xì)路徑重構(gòu)損失(Lfr)、對(duì)抗損失(FFL)，焦頻損失(LDadv)的收斂情況。其中粗路徑重構(gòu)損失收斂在0.10～0.13 區(qū)間，細(xì)路徑收斂于0.11～0.12之間。而對(duì)抗損失和焦頻損失分別收斂在1.0和0.05附近。從圖7可以看出，F(xiàn)FL精度還有很大提升，也從另一個(gè)方面說(shuō)明，F(xiàn)FL必須與合適的修復(fù)網(wǎng)絡(luò)才能發(fā)揮更大的性能。

圖5 細(xì)路徑重構(gòu)損失收斂曲線Fig.5 Convergence curve of fine path reconstruction loss

圖6 對(duì)抗損失收斂曲線Fig.6 Adversarial loss convergence curve

圖7 焦頻損失收斂曲線Fig.7 Convergence curve of focal frequency loss

3.4 實(shí)驗(yàn)的定量和定性分析

本文從定量和定性兩個(gè)方面對(duì)本文提出的算法的性能進(jìn)行闡述，表3展示了不同的算法的性能，從表3可知，F(xiàn)TCFP 的峰值信噪比（PSNR）、結(jié)構(gòu)相似比（SSIM）以及距離得分（FID）等性能均優(yōu)于基線。從PSNR 來(lái)看，由于PEPSI 和FTCFP 均是雙解碼器結(jié)構(gòu)，雙解碼器結(jié)構(gòu)能有效地減少信號(hào)的損失[28]，因此兩者的PSNR 均高于其他基線。由于在FTCFP中的編碼器中引入了壓縮獎(jiǎng)懲塊（SE），該結(jié)構(gòu)能對(duì)所有的通道關(guān)系建模，捕捉通道間的依賴關(guān)系，從而實(shí)現(xiàn)擴(kuò)大卷積網(wǎng)絡(luò)的全局視野，提高重建圖像的全局結(jié)構(gòu)，因此FTCFP的SSIM優(yōu)于基線。正由于雙解碼器與壓縮獎(jiǎng)懲塊的協(xié)同作用共同減少了信號(hào)損失，所以，F(xiàn)TCFP的PSNR的值優(yōu)于PEPSI及其他基線。從表3來(lái)看，F(xiàn)TCFP從縮小頻域的角度去重建圖像，使得FTCFP 能提取到其他基線所不能提取到的高頻特征，最終使得FTCFP的FID值顯著優(yōu)于基線34.58%～38.79%。

表3 不同修復(fù)算法修復(fù)效果的比較Table 3 Comparison of inpainting effects of different algorithms

定性性能從圖8 可知，第一列圖8（a）遮擋圖，第二列圖8（b）為PICNet[14]為多樣性修復(fù)算法的修復(fù)結(jié)果圖，修復(fù)效果較差，圖像比較模糊，主要是由于生成路徑訓(xùn)練過(guò)程中存在很大不確定性，導(dǎo)致了長(zhǎng)短注意力沒(méi)有發(fā)揮到圖像增強(qiáng)的作用。第三列圖8（c）為GMCNN[12]圖像修復(fù)算法的修復(fù)結(jié)果，細(xì)節(jié)清晰但是全局結(jié)構(gòu)特征較差，修復(fù)圖像最下一行沒(méi)有生成胡須，修復(fù)圖像與原圖像結(jié)構(gòu)特征明顯不一致。第四列圖8（d）為PENNet[13]算法的修復(fù)結(jié)果結(jié)構(gòu)，該算法修復(fù)的圖像嘴唇和原始圖像不一致，主要是模型中注意力模塊沒(méi)有完全將底層網(wǎng)絡(luò)的特征表示抽象高層語(yǔ)義。第五列為圖8（e）為PEPSI[9]算法修復(fù)結(jié)果，該修復(fù)結(jié)果與圖8（h）的原始圖像結(jié)構(gòu)相差較大，原因在于PEPSI[9]算法修復(fù)圖像無(wú)法提取圖像的全局特征。第六列為圖8（f）為GI[15]算法的修復(fù)結(jié)果，GI 算法修復(fù)圖像紋理清晰但全局結(jié)構(gòu)性不強(qiáng)，該算法核和PEPSI[9]算法為粗細(xì)兩級(jí)圖像修復(fù)算法，可以提取精細(xì)紋理，但是修復(fù)圖像結(jié)構(gòu)一致性不太理想。而第七列8（g）為IIGAN[8]的修復(fù)結(jié)構(gòu)，臉部有斑紋，同時(shí)嘴型不同。相反，與原圖像相比，本文算法修復(fù)圖像無(wú)論是紋理還是結(jié)構(gòu)均優(yōu)于基線。

圖8 不同方法的修復(fù)結(jié)果對(duì)比圖Fig.8 Comparison of inpainted results images by different algorithms

3.5 討論

為了驗(yàn)證網(wǎng)絡(luò)的泛化能力，討論FTCFP 算法對(duì)不同的破損的修復(fù)情況，將不同掩膜的迭代次數(shù)均設(shè)為200 個(gè)epoch，其他硬件環(huán)境和學(xué)習(xí)框架均相同，分別在圖像中心做不同程度的掩膜，圖9（b）～圖9（g）分別為6%、14%以及37%的掩膜情況和修復(fù)結(jié)果。從圖9的全圖來(lái)看，圖9（c）的修復(fù)結(jié)果最好，既保持了原始圖像的結(jié)構(gòu)又保留原圖的局部細(xì)節(jié)；圖9（e）展示了掩膜14%的修復(fù)結(jié)果，雖然保留了原圖的大致結(jié)構(gòu)，然而，眼睛、嘴巴等局部特征及細(xì)節(jié)特征在減弱；圖9（g）展示掩膜37%的修復(fù)結(jié)構(gòu)，與原圖相比修復(fù)結(jié)構(gòu)與原圖還是很大相似，然而與其他掩膜的修復(fù)結(jié)果相比，修復(fù)效果最差。主要是因?yàn)殡S著遮擋率不斷加大，在訓(xùn)練次數(shù)相同的情況，網(wǎng)絡(luò)所能力提取的特征在減少，網(wǎng)絡(luò)的修復(fù)效果越差。另一方面也反映了神經(jīng)網(wǎng)絡(luò)模型與參數(shù)數(shù)量和數(shù)據(jù)集的特征具有較強(qiáng)的相關(guān)性，若是隨著遮擋率不斷加大，數(shù)據(jù)集數(shù)量和迭代次數(shù)也相應(yīng)增加才可能達(dá)到遮擋率較小的網(wǎng)絡(luò)模型相同的效果。

圖9 不同掩膜的修復(fù)結(jié)果Fig.9 Inpainted results of different masks

4 結(jié)束語(yǔ)

本文提出了一種基于多傅里葉變換的粗細(xì)雙路徑的圖像修復(fù)算法，該算法是在傳統(tǒng)的粗細(xì)雙路徑的圖像修復(fù)算法的編碼器中引入了壓縮獎(jiǎng)懲模塊SE，從而提高了網(wǎng)絡(luò)的全局特征信息的提取能力，使得修復(fù)圖像與原始圖像具有較強(qiáng)的視覺一致性；同時(shí)由于修復(fù)圖像和原始圖像始終存在頻域差，導(dǎo)致修復(fù)圖像模糊和存在偽影，因此，在生成器訓(xùn)練時(shí)引入了焦頻損失，從另一個(gè)角度監(jiān)督圖像修復(fù)，縮小了修復(fù)圖像與原圖像的頻域差，加強(qiáng)了修復(fù)圖像的局部圖像與全局圖像結(jié)構(gòu)一致性，改善了圖像重建質(zhì)量。最后，將本文算法應(yīng)用于CelebA數(shù)據(jù)集，結(jié)果顯示FTFCP 算法修復(fù)的圖像結(jié)果都優(yōu)于基線，證明該算法有效。