基于結構嵌入的圖像修復方法研究

王海涌，李海洋，高雪嬌

蘭州交通大學 電子與信息工程學院，蘭州730070

圖像修復是指用合理且細致的內容填充圖像的損壞區域?，F有的修復方法大致分為兩類：傳統方法和深度學習方法。傳統方法通過擴散將低級特征從周圍環境傳播到缺失區域[1]，或者通過搜索融合來自相同圖像或外部圖像數據庫的相似補丁來填充缺失區域[2]。雖然這種方法能夠產生平滑的結果，特別是在背景修補任務中，但它受到可用圖像統計信息的限制，無法捕獲圖像的高級語義或全局結構。在沒有對圖像內容和結構的高層次理解的情況下，尤其是當圖像的很大一部分丟失或損壞時，常規方法通常難以產生語義上有意義的內容。

基于深度學習的方法可以通過自動捕獲內在的層次信息來理解圖像內容，并生成高級語義特征合成缺失的內容，這通常勝于修復任務中的常規方法。基于深度學習的方法可以分為兩類：一階段方法，如Pathak[3]和Iizuka[4]等人提出的方法；兩階段方法，如Yang[5]、Yu[6]、Nazeri[7]和Xiong[8]等人提出的方法。Pathak 提出基于CE（Context Encoder）的修復算法，使用編碼解碼的結構進行圖像修復，能夠修復大小為128×128的圖像中缺失為64×64的區域，這是第一個為大缺失區域提供合理結果的參數化修復算法。Iizuka在編碼解碼的基礎上引入全局鑒別器和局部鑒別器進行圖像修復，使用兩個鑒別器來確保生成圖像的全局和局部一致性。Yang提出了結合圖像內容和紋理約束來進行優化的多尺度神經網絡修復方法，該方法不僅保留了上下文結構，而且利用深度分類網絡中最相似的中間特征層相關性來調整和匹配產生高頻細節信息進行圖像修復。Yu引入了粗略到細化的網絡結構進行圖像修復，第一階段網絡進行初始粗略預測，第二階段網絡將粗略預測作為輸入并預測精確結果，為了獲取更多有用信息在卷積中加入上下文注意力機制提高圖像修復效果。Nazeri 提出利用邊緣結構結合對抗網絡的兩級圖像修復模型。該模型由邊緣生成器和圖像生成器組成。邊緣生成器訓練產生缺失區域的可能邊緣草圖。然后圖像生成器將生成的草圖作為結構的先驗條件生成最終結果。Xiong提出了一個類似的模型，采用輪廓生成器代替邊緣生成器，這更適用于損壞的圖像包含明顯對象的情況。通過引入結構信息，兩種方法都產生了更為直觀清晰的修補結果。

一階段修復模型在復雜場景很難產生較好的修復效果，因此提出了兩階段方法分別進行內容生成和紋理細化。兩階段模型研究表明，邊緣、輪廓等結構知識對生成合理、詳細的圖像修復內容具有重要作用。然而也存在一些問題：由于網絡不斷加深，鑒別器數量增加，模型需要更多的參數；網絡使用串聯的結構，在修復過程中會受到一階段產生的不合理結構影響；在學習過程中，如果沒有明確的結構指導，由于結構的稀疏性和網絡的深度，結構信息可能會被弱化或遺忘，可能無法充分地融合結構信息。兩階段修復仍然會產生一些與周圍區域不一致的邊界偽影、扭曲結構和模糊紋理。

針對這些問題，本文提出使用多任務框架來整合結構進行圖像修復。利用共享的生成器在進行圖像修復的同時產生結構信息。為了進一步融合結構信息，引入結構嵌入模塊，將學習到的結構特征輸入到修復過程中，作為圖像修復的前提條件。同時還加入多尺度注意機制，通過匹配合并不同大小的注意力塊生成的特征圖，捕獲多種尺度的信息，并靈活地利用背景信息來平衡不同樣式的圖像的需求，細化生成的結構和內容。通過采用多任務策略、結構嵌入和注意力機制，可以充分利用結構特征、圖像信息來提高圖像修復質量。

1 相關內容

1.1 生成對抗網絡

2014年Goodfellow等人[9]提出了生成對抗網絡（Generative Adversarial Networks，GAN），其在圖像生成、圖像修復、圖像超分辨率等場景應用中取得不錯的結果。GAN包含生成器、鑒別器兩部分。生成器G（Generator）從樣本中獲取分布生成數據，鑒別器D（Discriminator）將生成圖像與真實圖像輸入用于判斷真偽。訓練過程中通過最大化D，最小化G，交替迭代更新，當生成模型生成出鑒別器無法判斷來源的圖片時達到最優。

從GAN 提出以來出現許多變形，不同類型的GAN在某些方面具有突出的表現。為了改變原始GAN只能輸入噪聲的要求，實現特定條件圖像生成，產生了CGAN（Conditional Generative Adversarial Networks）[10]。為了使生成模型能夠更好地衡量兩個分布的散度，產生更好的效果，誕生了WGAN（Wasserstein GAN）[11]。WGAN-GP[12]解決了模型難以訓練的問題，同時使網絡在訓練過程中更加穩定，并且能夠加快收斂速度。為了判別輸入圖像某些塊的真假，產生了PatchGAN[13]。PatchGAN由全卷積網絡構成，輸出為N×N的矩陣，取輸出矩陣的均值作為真假輸出。輸出矩陣中的每一個輸出，代表著原圖中一個感受野，對應原圖的一個patch。

1.2 注意力機制

近年來，深度卷積神經網絡中的空間注意力的研究與應用越來越多。Jaderberg等人[14]在神經網絡中引入參數化空間注意力模塊STN（Spatial Transform Network）。使用局部模塊對全局曲面特征進行仿射變換，由于模型使用全局變換，不適合在局部修復中使用。Zhou等人[15]在圖像修復中使用外觀預測偏移矢量，通過偏移矢量指定圖像中使用哪些像素進行重構，實現圖像修復。該方法對匹配相同對象的相關視圖是有效的，但是從背景區域到目標區域預測時表現較差。Yu 等人[6]提出使用上下文關注層，獲取遙遠空間位置處的相關特征對圖像進行修復。同時使用空間傳播層，促進關注區域的連貫性。但是在缺失處進行選擇和交換時，由于使用固定大小的補丁，當背景區域缺乏相關內容時會導致效果變差。

圖像修復要求生成與原圖風格一致的圖像，確保樣式一致性的一個重要方法是利用背景信息。在特征圖上進行面或像素匹配有助于提高生成圖像的質量。但是，由于不同圖像對細節和樣式的要求各不相同，很難確定合適的補丁匹配大小。通常，較大的面有助于確保樣式的一致性，而較小的面在使用背景特征映射時更為靈活。通過不同特征面的選擇，解決單一場景匹配的限制問題。因此本文使用多尺度的注意力模塊，該模塊可以根據圖像的風格靈活地利用背景內容。

為了實現缺失像素與周圍環境較好地匹配，本文使用不同大小的補丁進行傳播。選擇使用兩個大小不同的補丁，生成兩個特征圖，并使用余弦相似性匹配補丁與背景。

其中，Sx,y,x′,y′表示已提取像素bx,y與缺失像素fx,y間的相似性。為了計算每個補丁的權重，在得分圖上使用softmax 計算得分S*。由于缺失補丁的偏移可能對背景補丁產生相等的偏移，在注意力傳播過程中使用大小為k的核進行從左到右、從上到下的傳播，將得分較高的補丁進行合并，利用反卷積操作恢復注意力特征圖。

將生成的特征圖和原始特征圖串聯起來，用φin、φatt1×1、φatt3×3表示。為了確定當前圖像上哪一級的細節是最重要的，將特征圖輸入SENet（Squeeze Excitation Networks）模塊以重新加權不同的通道。SENet 模塊首先計算出特征映射的平均池化值，然后將其放入全連接的神經網絡中，計算出原始特征映射各通道的權重，并對其進行加權。fSE輸出表示為：

2 網絡模型與改進

2.1 生成器模型

圖像修復模型由生成模型和對抗模型組成。生成模型由一個共享的生成器組成，同時生成不同比例的圖像和相應結構，其中結構生成作為輔助，為圖像修復任務提供可能的結構提示。

生成模型如圖1所示，生成器由一個空間上下文編碼器和一個解碼器組成，該空間上下文編碼器向下采樣兩次，連接八個殘差塊和一個注意力模塊，解碼器則對其進行兩次向上采樣生成原始大小的圖像。為了更好地利用結構信息，在解碼過程中使用結構嵌入層和注意力層。在結構嵌入層中將結構特征以不同尺度嵌入到解碼階段，作為圖像生成的先驗。它首先從圖像生成分支中分離出來，學習特定的結構特征并預測可能的結構，然后通過級聯操作將學習到的特征合并。這種并行模式不僅為圖像生成提供了結構先驗，而且避免了不適當的預處理帶來的不利影響。

圖1 生成模型結構Fig.1 Generating model structure

使用邊緣結構來表示圖像結構。首先預測包含邊緣信息的梯度圖，然后在金字塔結構損失中引入隱式正則化方案，以學習邊緣結構。在修復過程中，生成邊緣結構梯度圖。一方面，圖像的邊緣結構通常是稀疏的，并且僅能表達草圖信息，因此需要設計用于邊緣生成的專用網絡層。另一方面，梯度圖本身不僅傳達了可能的邊緣信息，而且還代表了紋理信息或其他高頻細節，這對于詳細的紋理合成十分重要。

設I表示真實圖像，C和E分別表示其梯度和邊緣圖。使用Sobel 濾波器提取梯度圖，并使用Canny 檢測器獲取邊緣圖。作為輸入，相應的梯度圖和邊緣圖，遮擋圖M，1 表示已知區域，0表示未知區域，⊙表示哈達瑪積（Hadamard Product）。生成器生成圖像內容，并生成不同比例的梯度圖：

其中，G代表生成器，Ipred表示生成的圖像，表示尺度s的預測梯度圖。表示尺度s的不完全梯度圖，比例尺的數量取決于生成器的結構。最終修復的圖像為：

2.2 鑒別器模型

鑒別器在最小化損失函數的過程中生成最優結果，利用鑒別器判斷生成結果真假。在對抗訓練的過程中不斷反饋調節，提升生成器生成效果。單鑒別器模型雖然能夠修復圖像，但存在生成圖像質量效果差、與原始圖像不一致的問題；使用雙鑒別器模型存在結構較深、訓練不穩定、難以收斂的問題。

針對這些問題，本文算法使用一個Patch-GAN[13]鑒別器和一個預先訓練和固定的VGG-16[16]網絡進行結構生成學習和圖像生成學習。對于結構生成使用Patch-GAN鑒別器評估每個結構補丁的真假。鑒別器網絡使用70×70大小的PatchGAN，對70×70重疊圖像塊是真還是假進行鑒別。PatchGAN鑒別器比全局圖像鑒別器具有更少的參數，并且能夠以完全卷積的方式處理任意大小的圖像。細節生成鑒別器將風格損失和從ImageNet上預先訓練的VGG-16 中獲取的感知損失進行整合。在對抗性損失的幫助下，通過使用不同的對抗性損失權重來控制清晰度和細節的水平，組合訓練目標有利于模型學習產生良好的結構，利于圖像修復。鑒別器模型結構如圖2所示。

圖2 鑒別器模型結構Fig.2 Discriminator model structure

2.3 損失函數

為了使修復模型更加穩定易于收斂，提高修復圖像質量，在圖像修復不同階段使用不同的損失函數。在修復過程中需要找出所需結構特征實現破損圖像修復。在結構匹配的過程中生成器實現兩個目標：找出所需結構和修復損壞的圖像。為了找到所需要的結構，使用金字塔結構損失來獲取結構信息，并引入混合圖像損失來監督圖像修復。使用金字塔結構損失指導結構的生成和嵌入，并將結構信息融入到生成過程中。金字塔結構損失包括預測的梯度圖與對應的真實圖之間的L1 距離，以及學習邊緣結構的正則化項。

生成圖像Ipred與真實圖像之間使用pixel-wiseL1距離來度量：

感知損失計算輸入ImageNet 數據集上預先訓練的VGG-16 網絡[16]后，在特征空間中Ipred與其真實圖像之間的L1距離。

在鑒別過程中，使用了預先訓練和固定的VGG-16的感知損失和風格損失。感知損失和風格損失比較生成圖像的深層特征圖與真實圖像間的差異。計算特征空間中預測與真實圖像之間的L1距離。損失函數形式化如下：

其中，?pooli表示VGG-16 中第i個pooling 層的特征圖。H、W和C表示特征圖的高度、寬度和通道大小，N是VGG16特征提取中生成的特征映射數。將生成的圖像放入VGG-16 特征提取器中，并將pool1、pool2 和pool3中的特征映射與對應的真實圖像進行比較。本文模型中，使用感知損失來衡量高層結構之間的相似性。

感知損失有助于捕捉高層結構，但仍缺乏保持風格一致性的能力。為了解決這個問題，使用風格損失Lstyle保持圖像風格一致性。使用風格損失可以從背景中學習顏色和整體風格信息，風格損失的公式如下：

利用上面討論的損失函數，模型可以生成合理的內容。然而當模型試圖學習更多的細節時，生成的區域往往是模糊的，這就需要有一個鑒別器來生成精細的細節。使用Patch-GAN作為鑒別器，在對抗性損失Ladv的幫助下，通過使用不同的對抗性損失權重來控制清晰度和細節的水平。對抗損失表示為：

綜上整個模型損失函數為：

在實驗中不斷調節測試超參數，其中λ1、λ2、λ3、λ4是平衡不同損失項貢獻的超參數。

3 實驗結果與分析

下面展示本文方法與幾種最先進的圖像修復方法的實驗比較，以及本文方法不同模塊有效性的消融實驗。

3.1 實驗處理與實驗環境

實驗在Places2 數據集上驗證模型效果，并在相同環境下測試其他方法，將修復結果進行對比。Places2是一個含有不同環境的多場景數據集，能夠應用在場景識別、圖像描述等領域。實驗中，使用的圖像大小為256×256，并使用規則和不規則圖像掩膜進行訓練和測試。為了進行比較，使用規則掩膜固定大小，遵循EG[7]模型中常用的基線和不規則掩膜的實驗設置。訓練時對輸入模型場景圖片隨機生成缺失區域和邊緣圖像，將缺失區域與原圖合成缺失圖像，并將缺失圖像及邊緣圖輸入到網絡中進行訓練。用Sobel 濾波器生成梯度映射，用Canny 檢測器生成邊緣映射。模型中參數設置為λ1=0.1,λ2=0.07,λ3=250,λ4=0.3。所有的實驗都是在Ubuntu18.04系統上進行，使用i7-9700F 3 GHz CPU和單個11 GB GeForce GTX 2080Ti 在TensorFlow1.14.0框架中實現。

3.2 實驗結果與分析

為了驗證模型效果，將本文模型與當前其他修復模型進行比較。首先展示了本文模型的修復效果；其次對不同模型修復效果進行比較；最后對本文模型進行客觀評價。

圖3展示了本文模型針對不同缺失類型、不同缺失大小的不同圖像修復效果。對比原圖和修復結果，可以看到修復圖像在結構、完整程度上表現突出，能夠在規則和不規則破損圖像中生成具有邊緣結構和精細細節紋理的逼真圖像。

圖3 修復結果Fig.3 Repair result

為了驗證本文模型的有效性，將本文方法與GL[4]、CA[6]和EG[7]方法進行比較。使用相同的環境與數據對破損圖像進行修復對比，對比結果如圖4所示。

圖4 不同模型修復對比Fig.4 Comparison of repairing different models

GL 是一種有效的語義修復方法，可以處理更大的缺失圖像，生成合成的內容，但修復圖像紋理、結構表現較差。CA 在理解整個圖像的上下文方面是有效的，但是結果往往不易辨識。EG使生成的內容具有與背景區域相似的紋理，然而當背景信息具有誤導性時，表現不佳。與這些方法相比，本文的修復結果所產生的偽影較少，尤其是對于較大缺失圖像。與這些方法相比，本文方法能夠產生更合理美觀的結果，同時能夠生成精細的紋理。

為了客觀評價模型的優劣，將本文模型與其他模型進行定量的比較。分別采用結構相似性指數（SSIM）、峰值信噪比（PSNR）和平均L1 loss 進行比較。表1 表示本文方法在Places2數據集上與GL、CA和EG的數值比較結果。在Places 數據集上，本文方法具有更好的PSNR 和平均L1 loss。L1 loss 和PSNR 用于在像素級測量兩幅圖像之間的相似性。

表1 Places2上數值比較Table 1 Comparison of values on Places2

3.3 模型分析

算法主要在生成階段使用多尺度的結構特征和注意力模塊，同時在修復過程中使用組合損失優化生成結果。為了驗證算法不同模塊的有效性，在Places2 數據集上做消融對比實驗。

為了分析本文方法不同模塊在圖像修復模型中起到的不同作用，以EG生成器為基準，添加不同模塊驗證不同模塊的作用。分別添加學習策略（LS）、結構嵌入模塊（ST）、注意力模塊（AT），直至整個模型建立。在帶有規則缺失的測試集中，對逐漸增加的模塊進行定量和定性分析。定性的比較如圖5所示。

圖5 消融對比Fig.5 Comparison of ablation

使用共享的生成器同時完成圖像和相應結構替代，而不是使用單一修復結構，本文模型生成了更合理清晰的圖像結構。這表明多任務策略將結構信息整合到修補過程中能夠增強修復效果。通過嵌入注意力模塊，學習圖像中類似的結構和相關圖案信息進一步提高修復結果。如表2 所示，與基線相比，隨著逐步集成不同模塊，本文模型在度量標準上的性能逐漸得到改善或得以保留。

表2 消融定量對比Table 2 Quantitative comparison of ablation

4 結束語

本文提出結合圖像結構并使用多尺度注意力模塊的圖像修復算法，使用多任務學習策略，結合結構嵌入，并使用注意力進行圖像修復。在實驗中引入多種損失，包括風格損失、結構損失、對抗損失等，以保證產生精細的修復內容。通過消融研究驗證不同組塊對模型效果的影響，定性定量比較該實驗與當前其他算法的優劣。各種圖像修復對比實驗表明，本文算法能夠充分利用結構知識生成清晰、精細的圖像。