融合雙向感知Transformer與頻率分析策略的圖像修復(fù)

摘 要：現(xiàn)有圖像修復(fù)技術(shù)通常很難為缺失區(qū)域生成視覺上連貫的內(nèi)容，其原因是高頻內(nèi)容質(zhì)量下降導(dǎo)致頻譜結(jié)構(gòu)的偏差，以及有限的感受野無法有效建模輸入特征之間的非局部關(guān)系。為解決上述問題，提出一種融合雙向感知Transformer與頻率分析策略的圖像修復(fù)網(wǎng)絡(luò)（bidirect-aware Transformer and frequency analysis，BAT-Freq）。具體內(nèi)容包括，設(shè)計了雙向感知Transformer，用自注意力和n-gram的組合從更大的窗口捕獲上下文信息，以全局視角聚合高級圖像上下文；同時，提出了頻率分析指導(dǎo)網(wǎng)絡(luò)，利用頻率分量來提高圖像修復(fù)質(zhì)量，并設(shè)計了混合域特征自適應(yīng)對齊模塊，有效地對齊并融合破損區(qū)域的混合域特征，提高了模型的細(xì)節(jié)重建能力。該網(wǎng)絡(luò)實(shí)現(xiàn)空間域與頻率域相結(jié)合的圖像修復(fù)。在CelebA-HQ、Place2、Paris StreetView三個數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗，結(jié)果表明，PSNR和SSIM分別平均提高了2.804 dB和8.13%，MAE和LPIPS分別平均降低了0.015 8和0.096 2。實(shí)驗證明，該方法能夠同時考慮語義結(jié)構(gòu)的完善和紋理細(xì)節(jié)的增強(qiáng)，生成具有逼真感的修復(fù)結(jié)果。

關(guān)鍵詞：圖像修復(fù)；生成對抗網(wǎng)絡(luò)；小波變換；Transformer

中圖分類號：TP391.41"" 文獻(xiàn)標(biāo)志碼：A"" 文章編號：1001-3695（2025）03-037-0927-10

doi：10.19734/j.issn.1001-3695.2024.05.0214

Image inpainting technique incorporating bidirect-aware Transformer and frequency analysis strategies

Zhao Zhiwei，F(xiàn)an Yao，Zheng Lizhi，Yu Siyun

（School of Information Engineering，Xizang Minzu University，Xianyang Shaanxi 712000，China）

Abstract：

Image inpainting techniques typically encounter difficulties generating visually coherent content for missing regions，primarily due to spectral structure deviations resulting from high-frequency content quality reduction and the inadequacy of limited perceptual fields in efficiently handling non-local feature relationships.To tackle these challenges，this paper proposed an image inpainting network incorporating a bidirect-aware Transformer and frequency analysis strategy，termed bidirect-aware Transformer and frequency analysis（BAT-Freq）.It designed a bidirect-aware Transformer that captured wider contextual information using self-attention and n-gram，aggregating high-level image contexts globally.Moreover，it introduced a frequency ana-lysis guidance network to boost restoration quality through frequency component utilization，designed a hybrid feature adaptive normalization module for efficient alignment and fusion of hybrid region features in damaged regions，thus enhancing detail reconstruction capabilities.The network affected image inpainting by integrating spatial and frequency regions.Experiments conducted across three datasets-CelebA-HQ，Place2，and Paris StreetView-exhibit improvements with PSNR and SSIM averaging 2.804 dB and 8.13% increases，respectively，alongside decreases in MAE and LPIPS averaging 0.015 8 and 0.096 2，respectively.These outcomes illustrate the method’s concurrent consideration of semantic structure refinement and texture detail enhancement，producing restorations with a realistic sensation.

Key words：image inpainting;generative adversarial network;wavelet transform;Transformer

0 引言

隨著數(shù)字媒體技術(shù)的迅速發(fā)展，圖像修復(fù)的任務(wù)已不僅僅局限于簡單還原受損區(qū)域的原始狀態(tài)，而是發(fā)展到了一個新階段，要求“理解”自然圖像的大規(guī)模結(jié)構(gòu)，并能高效生成圖像內(nèi)容。它在各種圖像編輯任務(wù)中得到了廣泛的研究，例如根據(jù)剩余的背景像素填充給定的孔洞或去除不需要的對象。真實(shí)且高保真的圖像修復(fù)仍然是一項具有挑戰(zhàn)性的任務(wù)，特別是當(dāng)損壞區(qū)域很大并且具有復(fù)雜的紋理和結(jié)構(gòu)圖案時，需要學(xué)習(xí)圖像結(jié)構(gòu)并對缺失區(qū)域進(jìn)行像素生成。

傳統(tǒng)的圖像修復(fù)方法，如基于擴(kuò)散的方法［1］、基于樣本的方法［2］，主要通過假設(shè)破損圖像中的已知和未知區(qū)域共享相似的內(nèi)容，將背景像素塊匹配、復(fù)制和重新對齊到缺失區(qū)域。傳統(tǒng)的圖像修復(fù)方法在處理小的缺失區(qū)域時能產(chǎn)生合理的結(jié)果，但它們?nèi)狈φZ義理解，難以為大孔洞破損圖像生成合理的內(nèi)容和連貫的語義信息。相比之下，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的修復(fù)方法［3］以自我監(jiān)督的方式對大規(guī)模數(shù)據(jù)集進(jìn)行訓(xùn)練，顯示了其學(xué)習(xí)豐富紋理模式的能力，并用這些學(xué)習(xí)到的內(nèi)容填充了缺失的區(qū)域。然而，在復(fù)雜的場景下，CNN有限的感受野，不足以獲取生成高質(zhì)量圖像所需的信息，從而導(dǎo)致不必要的偽影和模糊的結(jié)果。

作為在語言任務(wù)中得到充分探索的體系結(jié)構(gòu)，Transformer［4］在各種計算機(jī)視覺任務(wù)中表現(xiàn)出優(yōu)越的性能。與CNN模型相比，它放棄了內(nèi)置的局部歸納先驗，通過多頭自注意力模塊建立遠(yuǎn)程交互關(guān)系，近期的研究［5］也展示了其對圖像結(jié)構(gòu)關(guān)系進(jìn)行建模的能力，且表明了全局信息的早期聚合有利于更大的有效感受野。模型需要有足夠大的感受野來交互和聚合所有本地信息，學(xué)習(xí)到的全局上下文對于視覺場景的整體理解至關(guān)重要。盡管Transformer具有比CNN更高的性能上限，但其計算復(fù)雜度隨著輸入長度的增加而呈二次方增加，復(fù)雜且高昂的參數(shù)量使其難以訓(xùn)練并獲得足夠大的感受野［6］。與此同時，很少有方法探索對圖像修復(fù)任務(wù)有用的圖像內(nèi)在的低頻和高頻信息。F原理［7］證明神經(jīng)網(wǎng)絡(luò)優(yōu)先擬合從低到高的頻率信號。因此，模型傾向于生成具有更高優(yōu)先級和更表面復(fù)雜性的頻率，即僅生成低頻信號。但由于高頻分量包含更細(xì)致的信息，丟失它們可能會導(dǎo)致生成器合成具有更多混疊偽影的模糊圖像，所以在生成圖像時有必要考慮頻率信號，特別是高頻信號，原因是生成器通常會避開它們［7］。解決圖像高頻信息缺失的一種方法是直接使用頻率感知訓(xùn)練目標(biāo)［8］，但他們常面臨感知質(zhì)量和重建的兩難困境，即對抗性損失傾向于修復(fù)高頻紋理細(xì)節(jié)并提高感知質(zhì)量，而重建中的L1損失更側(cè)重于修復(fù)低頻全局結(jié)構(gòu)。簡單地將它們結(jié)合在一起，往往會導(dǎo)致頻間沖突，從而影響修復(fù)區(qū)域的真實(shí)感和完整性。

綜上所述，已有模型在圖像修復(fù)任務(wù)中難以生成令人滿意且合理的結(jié)果的原因可歸結(jié)為以下兩點(diǎn)：a）基于復(fù)雜度和參數(shù)量的限制無法擴(kuò)大感受野范圍，模型缺少對全局信息的理解;b）忽略了頻率信息在整個生成過程中的巨大影響，導(dǎo)致修復(fù)結(jié)果缺少細(xì)節(jié)同時出現(xiàn)更多偽影。針對這些問題，提出了融合雙向感知Transformer與頻率分析策略的圖像修復(fù)（bidirect-aware Transformer and frequency analysis，BAT-Freq）技術(shù)，在擴(kuò)大模型感受野的同時從頻域角度改善圖像修復(fù)質(zhì)量。它可以分為兩個部分。第一部分由三階段不同分辨率的Transformer模塊組成，其中Transformer通過所提出的n-gram［9］雙向感知算法來擴(kuò)大感受野，模擬遠(yuǎn)程交互；并在Transformer中引入密集均勻注意力（dense uniform attention，DUA）以提供所需的密集交互，保持遠(yuǎn)程依賴關(guān)系，使模型的整體優(yōu)化更容易，提高泛化能力。第二部分通過自然保留空間信息的小波變換來分解圖像得到多個頻率分量，并分別修復(fù)每個頻帶中的缺失區(qū)域。將重建好的低頻分量通過跳躍連接送入模型頭部卷積模塊，高頻分量通過跳躍連接送入尾部卷積模塊，為模型提供圖像結(jié)構(gòu)信息的同時緩解生成器生成高頻細(xì)節(jié)的壓力。在頻域內(nèi)重建破損區(qū)域，使模型能夠明確且單獨(dú)地將對抗性損失應(yīng)用于高頻分量，將L1損失應(yīng)用于低頻分量，能夠有效地減輕頻率之間的沖突。此外，設(shè)計了混合域特征自適應(yīng)對齊（hybrid feature adaptive normalization，HFAN）模塊，確保多個頻段和空間域特征的一致性，有助于抑制偽影并有效保留紋理細(xì)節(jié)。其主要貢獻(xiàn)如下：

a）設(shè)計雙向感知Transformer模塊，獲取前向和后向的圖像上下文，擴(kuò)大感受野范圍，增強(qiáng)模型提取信息的能力；并引入密集均勻注意力，提供所需的密集交互，使其整體優(yōu)化更容易，以全局視角實(shí)現(xiàn)更全面和合理的修復(fù)。

b）提出頻率分析指導(dǎo)網(wǎng)絡(luò)，單獨(dú)修復(fù)不同頻段的破損區(qū)域，從而有效地減輕頻率間沖突，同時最大限度地減少對抗損失和重建損失。利用重建的頻率分量來提高圖像修復(fù)質(zhì)量。

c）設(shè)計了混合域特征自適應(yīng)對齊模塊，有效地對齊并融合破損區(qū)域的頻率域和空間域特征，有助于抑制偽影和保留圖像細(xì)節(jié)。

d）將所提BAT-Freq與現(xiàn)有的先進(jìn)方法進(jìn)行比較。在Places［10］、CelebA-HQ［11］和Paris StreetView［3］三個數(shù)據(jù)集上的實(shí)驗表明，BAT-Freq在定性和定量評估方面都表現(xiàn)出了良好的性能。

1 相關(guān)工作

1.1 基于Transformer的圖像修復(fù)

深度神經(jīng)網(wǎng)絡(luò)已被廣泛研究用于圖像生成和修復(fù)［12］。特別的是，生成對抗網(wǎng)絡(luò)［13］已用來生成具有真實(shí)結(jié)構(gòu)和合理外觀的圖像。例如：Pathak等人［3］提出了一種基于GAN的方法來修復(fù)大面積破損區(qū)域的圖像；Nazeri等人［14］利用邊緣作為輔助信息來改善修復(fù)效果；Wang等人［8］采用具有不同感受野的多個分支進(jìn)行修復(fù)。盡管上述方法以不同的方式解決圖像修復(fù)問題產(chǎn)生了優(yōu)越的效果，但大多都難以處理大量缺失的場景。

Transformer［4］在自然語言處理和計算機(jī)視覺領(lǐng)域的許多任務(wù)上取得了良好的性能，因為它學(xué)習(xí)了序列數(shù)據(jù)的遠(yuǎn)程交互。最近基于Transformer的架構(gòu)，例如混合視覺Transformer［15］利用圖像的自注意力在視覺任務(wù)中表現(xiàn)出較高競爭力，然而，由于其二次計算復(fù)雜度和高內(nèi)存使用率，其有限的感受野范圍無法滿足對視覺場景的整體理解需求，自注意力通常也僅限于像素級密集預(yù)測任務(wù)。為了解決這種計算復(fù)雜性，最近提出了各種更有效地處理自注意力的方法。例如：PVT［16］架構(gòu)采用分層金字塔結(jié)構(gòu)來減少計算量；Swin Transformer［17］提出了在非重疊的局部窗口內(nèi)計算自注意力的窗口自注意力（WSA），避免了特征映射分辨率的二次時間復(fù)雜度，但這種方法缺乏不同窗口之間的交互，導(dǎo)致僅存在局部依賴關(guān)系。

1.2 基于小波變換的圖像修復(fù)

眾所周知，圖像本質(zhì)上可視為一種信號形式，故而，信號處理領(lǐng)域的小波變換技術(shù)同樣適用于圖像處理場景，并且已得到廣泛應(yīng)用［18］。文獻(xiàn)［7］已經(jīng)表明神經(jīng)網(wǎng)絡(luò)更喜歡生成復(fù)雜性更低的低頻信號。因此，在特征提取過程中可能會丟失部分高頻信號，從而導(dǎo)致生成帶有噪聲和混疊偽影的圖像。為了探索在圖像修復(fù)時是否出現(xiàn)類似現(xiàn)象，從而設(shè)計優(yōu)化的架構(gòu)，首要步驟便是分析當(dāng)前圖像修復(fù)方法在處理過程中的頻率分量變化情況。

小波變換將信號分解為不同的頻率分量，并在各種圖像處理任務(wù)中展現(xiàn)出良好的性能［19］。基于小波的修復(fù)早在深度學(xué)習(xí)盛行之前就已經(jīng)被研究過。例如，Zhang等人［20］在小波域中分解圖像，分別使用擴(kuò)散和基于樣本的方法生成結(jié)構(gòu)和紋理。WaveFill［21］將圖像分解為多個頻率分量，并用分解信號填充損壞的圖像區(qū)域，從而實(shí)現(xiàn)圖像修復(fù)。這些方法試圖縮小頻域中的信息間隙，以提高模型的性能。盡管這些方法在小波域中操作，但它們僅依賴于修復(fù)網(wǎng)絡(luò)來預(yù)測不同小波子帶中缺失的信息，或直接將空間域信息與小波域信息進(jìn)行融合，不僅無法為大的損壞區(qū)域生成有意義的內(nèi)容，還容易因不同域信息的對齊和融合而產(chǎn)生偽影和模糊。針對以上的問題，本文從擴(kuò)大模型感受野并結(jié)合頻域分析改善圖像修復(fù)質(zhì)量的角度，提出BAT-Freq圖像修復(fù)模型。主要包含雙向感知Transformer修復(fù)瓶頸塊和頻率分析指導(dǎo)網(wǎng)絡(luò)兩個方面。第一個方面以有效的感受野范圍更多地關(guān)注語義內(nèi)容及全局結(jié)構(gòu)，第二個方面通過頻率分析指導(dǎo)學(xué)習(xí)更豐富的圖像紋理和高頻細(xì)節(jié)。兩方面聯(lián)合重建破損圖像，實(shí)現(xiàn)良好的圖像修復(fù)效果。

2 本文模型

BAT-Freq架構(gòu)主要由雙向感知Transformer修復(fù)瓶頸塊、頻率分析指導(dǎo)網(wǎng)絡(luò)和兩個判別器組成。雙向感知Transformer修復(fù)瓶頸塊和頻率分析指導(dǎo)網(wǎng)絡(luò)構(gòu)成了該模型的生成器。兩個判別器分別為高頻分量判別器和BAT-Freq判別器。具體如圖1所示。

2.1 整體架構(gòu)

本文目標(biāo)是以一種有效的方式合成破損圖像的缺失內(nèi)容。為此，提出BAT-Freq網(wǎng)絡(luò)來解決圖像修復(fù)問題。

首先，使用三個卷積層構(gòu)成的頭部卷積模塊對256×256的輸入掩碼圖像Im和掩碼M進(jìn)行三次卷積下采樣，分別提取三個不同分辨率的編碼特征Zenci（i=1，2，3）。使用頭部卷積模塊主要有兩個原因：a）將局部歸納先驗納入早期視覺處理對于更好地進(jìn)行視覺展現(xiàn)和優(yōu)化［22］至關(guān)重要;b）它是為快速下采樣而設(shè)計的，以降低計算復(fù)雜度和內(nèi)存成本。

針對以足夠大的感受野來交互和聚合本地信息，從而獲得對視覺場景的整體理解的目標(biāo)，將頭部卷積模塊輸出的編碼特征Zenc3送入雙向感知Transformer修復(fù)瓶頸塊，該模塊由三個階段不同分辨率的雙向感知Transformer組成，三個階段的輸入特征分辨率分別為32，16，32，形成信息瓶頸層，以增強(qiáng)特征信息的表達(dá)能力和獲取全局結(jié)構(gòu)信息的能力，進(jìn)而生成內(nèi)容自洽的語義內(nèi)容。

為了解決因高頻信息的缺失而導(dǎo)致的生成質(zhì)量的降低，將編碼特征Zenc1和Zenc2分別進(jìn)行小波分解獲得多個頻率分量。獲得低頻和高頻分量后饋送入頻率分析指導(dǎo)網(wǎng)絡(luò)進(jìn)行重建。將重建完成的低頻子帶（LLi，i=1，2）在頭部卷積模塊中采用跳躍連接來保持圖像整體的結(jié)構(gòu)和輪廓；使用小波逆變換將重建后的高頻子帶信號（LHi、HLi、HHi，i=1，2）重構(gòu)為原始特征，并使用跳躍連接送入尾部卷積模塊提供詳細(xì)信息，尾部卷積模塊為頭部卷積模塊的鏡像結(jié)構(gòu)。為了緩解優(yōu)化不同頻率子帶時產(chǎn)生的沖突，對頻率分量中的低頻子帶信息采用L1重構(gòu)損失，高頻子帶信息采用對抗性損失，從而在修復(fù)圖像的同時有效緩解頻率間的沖突。為了實(shí)現(xiàn)頻域內(nèi)部一致性和與空間域的外部一致性，提出了混合域特征自適應(yīng)對齊模塊，可以有效地對齊和融合頻率特征及空間特征，消除不同統(tǒng)計量的特征融合問題。最后將真實(shí)圖像和生成的圖像輸入鑒別器，訓(xùn)練整個模型。

2.2 雙向感知Transformer（BAT）

近期的研究已經(jīng)證明，具有窗口多頭自注意力的Swin Transformer［17］可以有效地從圖像中提取結(jié)構(gòu)和紋理特征，而普通的窗口多頭自注意力由于感受野有限，在進(jìn)行圖像修復(fù)時無法有效修復(fù)大孔洞破損圖像。文獻(xiàn)［23］表明多頭自注意力傾向于學(xué)習(xí)密集的相互作用，但softmax的梯度在密集的注意力周圍不太穩(wěn)定，使得模型更難訓(xùn)練。針對以上問題，設(shè)計了雙向感知Transformer應(yīng)用于圖像修復(fù)任務(wù)中。首先提出n-gram雙向感知算法，將n-gram定義為Transformer中相鄰的局部窗口，通過窗口多頭自注意相互作用，擴(kuò)展了感受野以提供更豐富的上下文信息，如圖2（b）所示。其次，將DUA插入到Transformer中，以提供所需的密集交互。DUA從自注意力中取代了密集的全局聚合，從而保留了模型的長程依賴性，使Transformer的整體優(yōu)化更容易，并提高了其泛化能力，如圖2（c）所示。

如圖2所示，本文采用了SwinV2［24］中提出的尺度余弦注意力（scaled-cosine attention）以及后歸一化（post-normalization）技術(shù)。對于尺度余弦窗口自注意力（WSA），公式如下：

2.3.2 混合域特征自適應(yīng)對齊（HFAN）

將高頻信息投影到特征空間后，HFAN通過聚合低頻到高頻的注意力分?jǐn)?shù)來對齊低頻和高頻的破損區(qū)域。并使用結(jié)合空間域特征的AdaIN來進(jìn)一步豐富缺失的高頻信息，得到細(xì)粒度調(diào)制參數(shù)γH和βH。最后從空間域特征中學(xué)習(xí)粗略調(diào)制參數(shù)γs和βs，將兩組參數(shù)加權(quán)求和，得到最終的像素級細(xì)粒度調(diào)制參數(shù)。具體如圖5所示。

對于進(jìn)行重建的頻率分量，需要在以空間域語義特征為約束的同時，對齊頻率域內(nèi)的低頻和高頻分量，這是不同頻段生成一致且真實(shí)內(nèi)容的關(guān)鍵步驟。頻率域內(nèi)外特征的有效融合面臨兩方面的挑戰(zhàn)：a）對于頻率域內(nèi)部來說，首先，低頻和高頻波段的統(tǒng)計數(shù)據(jù)有明顯的差異，直接將高頻信息相加或拼接，由于其高稀疏性，會極大地抑制高頻信息；其次，對不同的分支進(jìn)行明確的損失函數(shù)訓(xùn)練，學(xué)習(xí)能力在分支之間也有所不同;b）對于頻率域外的空間域語義內(nèi)容來說，空間域特征會對頻率域特征進(jìn)行一定的約束和調(diào)制。因此，當(dāng)單獨(dú)修復(fù)不同分支而不進(jìn)行分支之間的對齊時，一個網(wǎng)絡(luò)分支可能會生成在自己頻段內(nèi)合理，但在其他分支頻段（形狀或大小）不一致的內(nèi)容。這些問題都會導(dǎo)致修復(fù)結(jié)果中的各種模糊和偽影。鑒于此，提出了HFAN，如圖5所示。該方法可以對齊和融合低頻、高頻以及空間域特征，以實(shí)現(xiàn)更合理的修復(fù)。

a）為了對齊頻率域缺失區(qū)域的內(nèi)容，將低頻特征的自注意力分?jǐn)?shù)聚合到高頻特征上。由于注意力圖描述了低頻特征塊之間的相關(guān)性，所以可以通過對未損壞區(qū)域的特征進(jìn)行集體聚合來重建損壞區(qū)域的未對齊高頻特征。應(yīng)用注意力聚合的另一個優(yōu)點(diǎn)是通過建立遠(yuǎn)程依賴關(guān)系來利用遠(yuǎn)距離的互補(bǔ)特征。如圖5中A模塊所示，注意力分?jǐn)?shù)Wj，i是由低頻子帶LL={ll1，…，llN}（N為空間位置的個數(shù)，N=H×W）計算得到的，首先將其分別轉(zhuǎn)換為key和query兩個特征空間，即K=f（LL），Q=g（LL），f和g為1×1卷積。

b）針對統(tǒng)計數(shù)據(jù)差異問題，本文以空間域特征為約束，將低頻特征與目標(biāo)高頻特征對齊，促進(jìn)特征有效融合，降低生成目標(biāo)高頻波段的難度。如圖5中B模塊所示，高頻特征上的聚合輸出H通過四層卷積網(wǎng)絡(luò)來學(xué)習(xí)細(xì)粒度調(diào)制參數(shù)γH和βH（即用于縮放的γH和用于偏差的βH），并在中間兩層使用與空間語義特征結(jié)合的自適應(yīng)實(shí)例歸一化（adaptive instance normalization，AdaIN）將空間域的語義內(nèi)容的均值和方差與高頻子帶的均值和方差對齊，指導(dǎo)空間域與頻率域之間的對齊。同時，將空間域語義圖通過核為3×3的卷積層來學(xué)習(xí)粗略調(diào)制參數(shù)γs和βs。將兩組參數(shù)加權(quán)求和，得到最終的像素級細(xì)粒度調(diào)制參數(shù)γ和β注入到低頻特征LL。

其中：αγ和αβ是可學(xué)習(xí)的權(quán)重參數(shù)；U為調(diào)制特征；μL和σL為LL沿通道尺寸的平均值和標(biāo)準(zhǔn)差。

2.4 損失函數(shù)

為了提高生成的質(zhì)量，本網(wǎng)絡(luò)采用了非飽和對抗損失［13］來優(yōu)化本文的整體架構(gòu)，并且將L1重構(gòu)損失應(yīng)用于分解的低頻子帶，對抗性損失應(yīng)用于高頻子帶，從而在生成修復(fù)圖像的同時有效地緩解了頻間沖突。并且，本文采用了經(jīng)驗系數(shù)較低的感知損失［29］，提高模型的穩(wěn)定性，增強(qiáng)對抗樣本的魯棒性。

本文用Iout表示最終完成的圖像，用{Lout，Hout}表示小波域中的預(yù)測，用Igt表示真實(shí)圖像及其對應(yīng)的小波域分量為{Lgt，Hgt}。G為本文的生成器，DI為該網(wǎng)絡(luò)中整體框架的判別器，DH是小波域中高頻子帶的判別器。

a）對抗性損失。模型BAT-Freq的對抗性損失的計算為

3 實(shí)驗

3.1 數(shù)據(jù)集與指標(biāo)

a）數(shù)據(jù)集。訓(xùn)練和測試是在3個公開可用的數(shù)據(jù)集CelebA-HQ［11］、Place2［10］和Paris StreetView［3］上以256×256分辨率進(jìn)行。CelebA-HQ數(shù)據(jù)集包含30 000個對齊的人臉圖像，本文對其進(jìn)行隨機(jī)分割，生成26 000個訓(xùn)練圖像和4 000個驗證圖像。Place2由365個不同場景的180多萬張自然圖像組成，本文從原始數(shù)據(jù)集中隨機(jī)選擇220 000張圖像作為訓(xùn)練數(shù)據(jù)集，30 000張圖像作為驗證。Paris StreetView是巴黎街景圖像的集合，包含14 900張訓(xùn)練圖像和100張驗證圖像。在實(shí)驗過程中，使用MAT［32］提供的不規(guī)則掩碼進(jìn)行訓(xùn)練。為了模擬實(shí)際情況中的破損，且體現(xiàn)所提方法的泛化性，使用MAT［32］提供的不規(guī)則掩碼和文獻(xiàn)［33］包含的12 000張掩碼對圖像進(jìn)行隨機(jī)掩碼測試。所有圖像和不規(guī)則掩碼的大小均調(diào)整為256×256像素。

b）比較方法。將所提方法與列出的先進(jìn)方法進(jìn)行比較：EC［14］、ICT［5］、WaveFill［21］、MAT［32］、Coordfill［34］、ORFNet［35］。

c）評價指標(biāo)。本文使用四種廣泛采用的評估指標(biāo)進(jìn)行評估：（a）峰值信噪比（PSNR）是一種廣泛使用的客觀測量圖像質(zhì)量的方法；（b）結(jié)構(gòu)相似性指數(shù)（SSIM），是利用符合人類感知的亮度、對比度和結(jié)構(gòu)等因素來評價圖像之間的相似度;（c）平均絕對誤差（MAE）是指兩個值之間的平均絕對誤差;（d）學(xué)習(xí)感知圖像像素相似度（learning perceptual image patch similarity，LPIPS）是一種從感知角度量化圖像之間差異的方法，能夠更好地反映人類對圖像的感知和理解。

d）實(shí)驗細(xì)節(jié)。所提方法使用PyTorch框架實(shí)現(xiàn)，并通過Adam優(yōu)化器優(yōu)化模型，其中β1=0和β2=0.99，并將生成器和鑒別器的學(xué)習(xí)率分別設(shè)置為1E-4和4E-4，訓(xùn)練期間batch size設(shè)置為8。本文的實(shí)驗硬件配置為單張IntelCore i7-11700 CPU，NVIDIA GeForce RTX 3090 24 GB GPU，軟件環(huán)境為Windows 11，PyTorch v1.7.0、CUDA v11.0。

3.2 定量評價

本文使用不規(guī)則掩碼［33］對數(shù)據(jù)進(jìn)行了廣泛的定量評估，并在CelebA-HQ、Place2和Paris StreetView驗證圖像上使用EC、ICT、WaveFill、MAT、Coordfill和ORFNet進(jìn)行基準(zhǔn)測試。實(shí)驗中的不規(guī)則掩碼是基于掩碼區(qū)域占圖像大小的比例進(jìn)行分類的。通過運(yùn)行公開可用的預(yù)訓(xùn)練方法來獲得比較模型的性能。

不規(guī)則掩碼實(shí)驗表明，在不同掩碼比例下，BAT-Freq取得了較好的修復(fù)效果，如表1所示。BAT-Freq的有效性很大程度上歸功于基于頻率分量的指導(dǎo)和雙向感知Transformer修復(fù)瓶頸塊的全局理解，為缺失區(qū)域生成合理的結(jié)構(gòu)和紋理。具體來說，使用小波變換將圖像轉(zhuǎn)換到小波域，在不損失空間信息的情況下，可以將圖像精確地分解到多個頻段，單獨(dú)地對高頻分量應(yīng)用對抗性損失，對低頻分量應(yīng)用L1損失，這緩解了網(wǎng)絡(luò)同時優(yōu)化兩個不同目標(biāo)而引入的內(nèi)容沖突，并采用HFAN，可以實(shí)現(xiàn)高、低頻信息在不同頻帶內(nèi)的對齊，提高圖像PSNR和SSIM的修復(fù)質(zhì)量指標(biāo)。此外，BAT允許模型建立遠(yuǎn)程依賴關(guān)系，這有助于破損圖像生成具有更好感知質(zhì)量的更合理語義的內(nèi)容。

3.3 定性評價

圖6～8分別為CelebA-HQ、Paris StreetView和Place2驗證集上的定性實(shí)驗結(jié)果。將BAT-Freq模型與人臉數(shù)據(jù)集CelebA-HQ上的現(xiàn)有方法進(jìn)行比較。如圖6所示，EC［14］是一種先結(jié)構(gòu)再紋理的兩階段修復(fù)方法，第一階段的結(jié)構(gòu)預(yù)測不完整會導(dǎo)致后一步紋理模糊、邊緣不清晰，如圖6（b）中第二、三行人臉的輪廓和五官結(jié)構(gòu)所示。ICT［5］使用Transformer來重建視覺先驗，然后使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)來修復(fù)細(xì)節(jié)，但如圖6（c）所示，結(jié)果明顯存在語義不合理和邊緣區(qū)域不一致的問題。WaveFill單獨(dú)地合成不同頻段的破損圖像區(qū)域，試圖平衡圖像的頻率域和空間域，但如圖6（d）所示，無法獲取明確的語義信息，導(dǎo)致破損區(qū)域存在不同程度的模糊。

MAT使用掩碼感知機(jī)制來修復(fù)大規(guī)模掩碼，但在修復(fù)的破損區(qū)域與真實(shí)圖像之間的銜接存在不自然、不流暢的現(xiàn)象，如圖6（e）所示。Coordfill能夠以較少的參數(shù)量對破損圖像進(jìn)行快速的修復(fù)，但面對大面積破損的圖像時，會出現(xiàn)語義不明確、邊緣模糊等現(xiàn)象，如圖6（f）所示。ORFNet是一種三階段修復(fù)網(wǎng)絡(luò)，各階段采用不同大小的感受野修復(fù)，能較好地理解圖像的整體結(jié)構(gòu)，但修復(fù)結(jié)果存在一定的偽影，如圖6（g）所示。相比之下，所提方法有效利用了上下文信息，并借助小波變換的頻率指導(dǎo)為圖像提供了更豐富的細(xì)節(jié)，如圖6（h）所示。

在Paris StreetView數(shù)據(jù)集上對不同方法的效果進(jìn)行了可視化分析，結(jié)果如圖7所示。EC在面對大面積破損時，建筑物的窗臺會出現(xiàn)模糊，在人工標(biāo)記的掩碼中，窗戶會出現(xiàn)模糊和變形。ICT在像素級別修復(fù)破損區(qū)域，但它無法很好地捕獲全局語義結(jié)構(gòu)，如圖7（c）所示，破損區(qū)域出現(xiàn)明顯的語義不合理部分。WaveFill的可視化結(jié)果表明其修復(fù)結(jié)果細(xì)節(jié)部分存在模糊現(xiàn)象，回避生成清晰的真實(shí)紋理。MAT利用遠(yuǎn)程上下文來重建結(jié)構(gòu)和紋理，但在圖7（e）第三、四行中出現(xiàn)語義不合理的修復(fù)結(jié)果。盡管Coordfill修復(fù)的結(jié)果較為合理，但破損區(qū)域邊緣仍存在模糊現(xiàn)象。ORFNet由粗到細(xì)再到全局修復(fù)，能生成較合理的全局語義，但生成的窗臺和門框邊緣存在扭曲和變形，如圖7（g）所示。相比之下，所提模型有效生成了語義合理且細(xì)節(jié)紋理真實(shí)的圖像，提高了感知質(zhì)量。如圖7（h）第二、四行所示，BAT-Freq修復(fù)的門和窗戶都有合理的輪廓和清晰的紋理細(xì)節(jié)。

所提方法在Place2數(shù)據(jù)集上進(jìn)行了進(jìn)一步評估，如圖8所示。在面對大面積掩碼的破損圖片時，EC、WaveFill和Coordfill的修復(fù)結(jié)果明顯出現(xiàn)了語義不清、模糊格紋和偽影等情況，導(dǎo)致整體修復(fù)結(jié)果不合理，如圖8第一、三行所示。由于缺乏對全局結(jié)構(gòu)信息的約束，ICT在細(xì)節(jié)修復(fù)時出現(xiàn)不合理的語義，如圖8（c）第五行所示。雖然MAT在生成高分辨率的修復(fù)結(jié)果方面表現(xiàn)更好，但它仍然難以生成與整體圖像上下文平滑集成的紋理，如圖8（e）所示。ORFNet能夠較好地生成圖像的語義細(xì)節(jié)，如圖8（g）第五行所示，但面對大面積破損時，所生成的圖像會出現(xiàn)模糊的紋理，如圖8（g）第一、四行所示。與上述方法相比，所提方法結(jié)合了n-gram雙向感知算法，有效地擴(kuò)大了感受野，能夠更好地學(xué)習(xí)全局結(jié)構(gòu)信息。此外，BAT-Freq采用了頻率分析網(wǎng)絡(luò)提供豐富的細(xì)節(jié)和可感知的信息，獲得高質(zhì)量的修復(fù)結(jié)果，如圖8（h）所示。

3.4 消融實(shí)驗

本節(jié)將梳理框架的哪些組件對最終性能貢獻(xiàn)最大。通過使用Paris StreetView數(shù)據(jù)集中256×256分辨率的圖像訓(xùn)練模型。定量比較如表2所示。

在消融實(shí)驗中，訓(xùn)練了六個網(wǎng)絡(luò)模型：

a）頻率分析指導(dǎo)網(wǎng)絡(luò)。為了用真實(shí)的內(nèi)容快速填補(bǔ)缺失的區(qū)域，本文提出了將編碼特征分解成多個頻率分量，并進(jìn)行低頻跳躍連接以保留輪廓和結(jié)構(gòu)信息，然后通過采用高頻跳躍連接減輕了生成器合成精細(xì)細(xì)節(jié)的困難，從而為生成器提供了豐富的頻率信息。為了更深入地理解，本節(jié)構(gòu)建了一個沒有頻率指導(dǎo)部分的模型（表2中的模型A）。本文認(rèn)為所提頻率指導(dǎo)部分有助于保持顏色一致性和減少模糊。如圖9所示，沒有頻率感知部分的模型在示例中生成顏色不正確的內(nèi)容和模糊的偽影。定量和定性結(jié)果都驗證了頻率感知部分的重要性。

b）高頻子帶跳躍連接。取消高頻子帶跳躍連接（表2中的模型B），發(fā)現(xiàn)指標(biāo)評價都存在下降，特別是在PSNR上，這表明所修復(fù)的圖像失去了一些真實(shí)度。此外，在圖9中展示了可視化的例子。與不使用高頻跳躍連接的網(wǎng)絡(luò)相比，所提模型可以很好地利用高頻細(xì)節(jié)來重建網(wǎng)絡(luò)結(jié)構(gòu)和紋理，顯示出高頻子帶的有效性。

c）低頻子帶跳躍連接。為了處理大掩碼，除了有條件的遠(yuǎn)程交互之外，本文還引入了低頻跳躍連接。為了量化所提網(wǎng)絡(luò)的低頻子帶跳躍連接的作用，去除了低頻跳躍連接部分（表2中的模型C）。從表2的結(jié)果來看，沒有低頻跳躍連接的修復(fù)結(jié)果在結(jié)構(gòu)輪廓上存在著缺失、不連貫，表明低頻跳躍連接有助于生成合理輪廓。

d）HFAN。圖9所示（表2中的模型D），頻率之間直接拼接無法有效對齊不同頻率之間的特征，以獲得更好的內(nèi)容一致性。HFAN有效地解決了這個問題。

e）損失函數(shù)方案。本文將L1重建損失應(yīng)用于分解的低頻子帶，將對抗性損失應(yīng)用于高頻子帶，從而在修復(fù)圖像的同時有效減輕頻間沖突。去除該損失函數(shù)設(shè)計（表2中的模型E），可以發(fā)現(xiàn)PSNR指標(biāo)降低，表明該損失函數(shù)方案的設(shè)計進(jìn)一步增加了修復(fù)圖像的細(xì)節(jié)。

f）BAT。所提框架中，本文探究由BAT建模遠(yuǎn)程上下文擴(kuò)大模型感受野是否有助于修復(fù)大面積掩碼。用原始的Swin Transformer（表2中的模型“F”）替換BAT，發(fā)現(xiàn)所有指標(biāo)性能都有明顯下降，特別是在SSIM上，這表明修復(fù)的圖像失去了一些保真度。

4 結(jié)束語

本文提出了BAT-Freq，一種旨在通過融入頻域分析視角來增強(qiáng)修復(fù)效果的圖像修復(fù)網(wǎng)絡(luò)，它以小波域中的低頻和高頻信息為指導(dǎo)，減輕了生成器生成豐富圖像細(xì)節(jié)的困難，并進(jìn)一步明確且單獨(dú)地將對抗性損失應(yīng)用于高頻分支，將L1損失應(yīng)用于低頻分支，以保持真實(shí)圖像的頻率信息，提高修復(fù)圖像的真實(shí)度。為了確保不同域特征的修復(fù)一致性，提出了混合域特征自適應(yīng)對齊模塊，它可以有效地對齊和融合多頻率特征和空間域特征，保證了不同域特征的一致性，

并有助于抑制偽影和保留圖像紋理細(xì)節(jié)。此外，本文方法設(shè)計雙向感知Transformer應(yīng)用到圖像修復(fù)任務(wù)中，允許模型建立遠(yuǎn)程依賴關(guān)系并有效感知了上下文信息，擴(kuò)大模型感受野。大量實(shí)驗表明，BAT-Freq對于不同掩碼比例下的隨機(jī)掩碼都實(shí)現(xiàn)了出色的圖像修復(fù)效果。在CelebA-HQ、Place2、Paris StreetView三個數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗。具體來說，該模型將峰值信噪比（PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）分別平均提高了2.804 dB和8.13%。此外，

它還將平均絕對誤差（MAE）和學(xué)習(xí)感知圖像塊相似度（LPIPS）分別降低了0.015 8和0.096 2。展望未來，由于結(jié)構(gòu)信息的限制，所提模型不適合多元圖像修復(fù)，筆者將研究如何將小波分解和不同頻段的處理的思想應(yīng)用于多模態(tài)（如文本、姿勢）引導(dǎo)的圖像修復(fù)和圖像生成任務(wù)。

參考文獻(xiàn)：

［1］Levin A，Zomet A，Weiss Y.Learning how to inpaint from global image statistics［C］//Proc of the 9th IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2003：305-312.

［2］Ruic＇ T，Piurica A.Context-aware patch-based image inpainting using Markov random field modeling［J］.IEEE Trans on Image Proces-sing，2015，24（1）：444-456.

［3］Pathak D，Krhenbühl P，Donahue J，et al.Context encoders：feature learning by inpainting［C］//Proc of IEEE Conference on Computer Vision and Patter Recognition.Piscataway，NJ：IEEE Press，2016：2536-2544.

［4］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［5］Wan Ziyu，Zhang Jingbo，Chen Dongdong，et al.High-fidelity pluralistic image completion with Transformers［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：4672-4681.

［6］d’Ascoli S，Touvron H，Leavitt M L，et al.ConViT：improving vision transformers with soft convolutional inductive biases［J］.Journal of Statistical Mechanics：Theory and Experiment，2022，2022（11）：114005.

［7］Xu Z Q J，Zhang Yaoyu，Luo Tao，et al.Frequency principle：Fourier analysis sheds light on deep neural networks［EB/OL］.（2019-01-19）.https：//arxiv.org/abs/1901.06523.

［8］Wang Yi，Tao Xin，Qi Xiaojuan，et al.Image inpainting via generative multi-column convolutional neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：329-338.

［9］Brown P F，Della Pietra V J，De Souza P V，et al.Class-based n-gram models of natural language［J］.Computational Linguistics，1992，18（4）：467-480.

［10］Zhou Bolei，Lapedriza A，Khosla A，et al.Places：a 10 million image database for scene recognition［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（6）：1452-1464.

［11］Karras T，Aila T，Laine S，et al.Progressive growing of GANs for improved quality，stability，and variation［EB/OL］.（2018-02-26）.https：//arxiv.org/abs/1710.10196.

［12］Zhan Fangneng，Yu Yingchen，Cui Kaiwen，et al.Unbalanced feature transport for exemplar-based image translation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2021：15023-15033.

［13］Goodfellow I J，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets［J］.Communications of the ACM，2020，63（11）：139-144.

［14］Nazeri K，Ng E，Joseph T，et al.EdgeConnect：generative image inpainting with adversarial edge learning［EB/OL］.（2019-01-11）.https：//arxiv.org/abs/1901.00212.

［15］Yu Xiaohan，Wang Jun，Zhao Yang，et al.Mix-ViT：mixing attentive vision Transformer for ultra-fine-grained visual categorization［J］.Pattern Recognition，2023，135：109131.

［16］Wang Wenhai，Xie Enze，Li Xiang，et al.Pyramid vision Transformer：a versatile backbone for dense prediction without convolutions［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：548-558.

［17］Liu Ze，Lin Yutong，Cao Yue，et al.Swin Transformer：hierarchical vision Transformer using shifted windows［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：9992-10002.

［18］Dongwook C，Bui T D.Multivariate statistical approach for image denoising［C］//Proc of IEEE International Conference on Acoustics，Speech，and Signal Processing.Piscataway，NJ：IEEE Press，2005：589-592.

［19］Dong Bin，Jiang Qingtang，Shen Zuowei，et al.Image restoration：wavelet frame shrinkage，nonlinear evolution PDEs，and beyond［J］.Multiscale Model amp; Simulation，2017，15（1）：606-660.

［20］Zhang Hongying，Dai Shimei.Image inpainting based on wavelet decomposition［J］.Procedia Engineering，2012，29：3674-3678.

［21］Yu Yingchen，Zhan Fangneng，Lu Shijian，et al.WaveFill：a wavelet-based generation network for image inpainting［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：14094-14103.

［22］Xiao Tete，Singh M，Mintun E，et al.Early convolutions help transformers see better［C］//Proc of the 35th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2024：30392-30400.

［23］Hyeon-Woo N，Yu-Ji K，Heo B，et al.Scratching visual transformer’s back with uniform attention［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2023：5784-5795.

［24］Liu Ze，Hu Han，Lin Yutong，et al.Swin Transformer v2：scaling up capacity and resolution［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：11999-12009.

［25］Pagliardini M，Gupta P，Jaggi M.Unsupervised learning of sentence embeddings using compositional n-gram features［C］//Proc of Confe-rence of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2018：528-540.

［26］Diao Shizhe，Bai Jiaxin，Song Yan，et al.ZEN：pre-training Chinese text encoder enhanced by n-gram representations［C］//Proc of Fin-dings of the Association for Computational Linguistics：EMNLP.Stroudsburg，PA：Association for Computational Linguistics，2020：4729-4740.

［27］Cohen T，Welling M.Group equivariant convolutional networks［C］//Proc of the 33rd International Conference on Machine Learning.New York：JMLR.org，2016：2990-2999.

［28］Daubechies I.The wavelet transform，time-frequency localization and signal analysis［J］.IEEE Trans on Information Theory，1990，36（5）：961-1005.

［29］Johnson J，Alahi A，Li Feifei.Perceptual losses for real-time style transfer and super-resolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：694-711.

［30］Isola P，Zhu Junyan，Zhou Tinghui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1063-6919.

［31］Mescheder L M，Geiger A，Nowozin S.Which training methods for GANs do actually converge？［C］//Proc of International Conference on Machine Learning.［S.l.］：PMLR，2018：3481-3490.

［32］Li Wenbo，Lin Zhe，Zhou Kun，et al.MAT：mask-aware Transformer for large hole image inpainting［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2022：10748-10758.

［33］Liu Guilin，Reda F A，Shih K J，et al.Image inpainting for irregular holes using partial convolutions［C］//Proc of European Conference on Computer Vision.Cham：Springer，2018：85-100.

［34］Liu Weihuang，Cun Xiaodong，Pun C M，et al.CoordFill：efficient high-resolution image inpainting via parameterized coordinate querying［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2023：1746-1754.

［35］劉恩澤，劉華明，王秀友，等.基于優(yōu)化感受野策略的圖像修復(fù)方法［J］.計算機(jī)應(yīng)用研究，2024，41（6）：1893-1900.（Liu Enze，Liu Huaming，Wang Xiuyou，et al.Deep neural network inpainting method based on optimized receptive field strategy［J］.Application Research of Computers，2024，41（6）：1893-1900.）