基于新編碼器和相似度約束的圖像修復①

林 竹,王 敏

(河海大學 計算機與信息學院,南京 211100)

圖像修復是在保證圖像的清晰度和它的語義連貫性的前提下,利用圖像中已有的信息,修補圖像中的缺失信息或者移除圖像中的特定信息的圖像處理技術.此技術的核心挑戰在于為缺失的區域合成視覺逼真和語義上合理的像素,以便與現有的像素保持一致.圖像修復具有重要的現實意義,尤其在藝術作品的保護,修復老照片以及基于圖像的渲染和計算機攝影方面有很多應用.

傳統的圖像修復方法多采用圖像級特征來處理修復問題.塊匹配(patch-match)[1]方法提出尋找最佳匹配的補丁塊來重建缺失區域.此方法在本質上可以提供真實的紋理信息,但是他們僅僅是利用給定上下文的低級特征,缺乏預測上下文高層次特征的能力.

為了更好地提取語義層面的信息,也得益于神經網絡和深度學習的不斷發展,更多的基于深度學習的方法被提出.上下文編碼器(context-encoder)[2]是語義修復的一個開創性方法,給定一個缺失區域的掩碼,訓練一個神經網絡對上下文信息進行編碼并對受損內容進行預測,同時利用對抗損失來使得生成的圖像盡可能真實,能夠較好地修復缺失區域.但是此方法仍然缺乏一些修復細節并且存在明顯的修復痕跡.

為了能夠修復更高分辨率的圖像,Iizuka 等人提出添加膨脹卷積層來增加感受野并且聯合局部和全局判別器提升修復的一致性[3].但是此方法無法修復缺失較大的圖像,盡管視覺上修復紋理較連續,但是存在某些高度結構化的圖片修復后存在模糊和不真實的情況,有較明顯的修復痕跡.

為了解決這些問題,該文提出了基于SE-ResNet[4,5]并聯合上下文感知損失的方法.網絡結構由4 個部分組成：生成網絡,上下文感知損失(contextual loss)[6]網絡以及全局上下文判別網絡,局部上下文判別網絡.生成網絡是一個基于SE-ResNet 的全卷積神經網絡用生成完整的圖像,全局和局部上下文判別網絡都是作為訓練時的附屬網絡,并且也是添加了SE-ResNet 殘差塊的網絡,用來判別生成的圖像是否連續且真實.上下文感知損失網絡是一個基于VGG16[7]的特征提取網絡,用來輔助從相似性上修復圖像.

綜上所述,本文提出：

(1)在生成網絡和全局上下文以及局部上下文判別網絡部分添加了基于SE-ResNet 的殘差塊更好的提取特征.

(2)增加了上下文感知損失網絡以輔助約束局部高頻特征的相似性來修復圖像.

1 相關內容

傳統的圖像修復方法是利用待修補區域周邊來傳播紋理信息,這些方法只能修復缺失較小的圖像而且存在明顯的修復痕跡.基于補丁塊的方法通過搜索最佳的匹配塊來優化修復效果,但是這些方法只能提供已有的紋理信息,不能從語義結構上理解圖像,也不能對物體結構做出合理的預測.

隨著深度生成式模型的快速發展,尤其是生成對抗網絡(GAN)[8],GAN 在生成高分辨率圖像方面有著可觀的表現.但是訓練一個生成高清圖像并且穩定的GAN網絡是相當困難的.近期也提出了一些穩定訓練的方法,例如DC-GAN,WGAN-GP,Wasserstein GAN (WGAN),LSGAN 和Progressive GANs[9].這些方法為穩定訓練提供了實用的技巧,能夠產生更加真實的高清圖像.

由Pathak 等人[2]提出的Context-encoder 基于生成對抗網絡(GAN),擴大了可修復缺失范圍.其中的生成網絡是通過判別器輔助訓練,判別器是用來判別生成器生成的圖像是否為真.

由Iizuka 等人[3]提出的基于全局和局部一致的圖像修復在Context-encoder 的基礎上引入了全局和局部判別器,全局判別器判別生成的圖像整體的連貫性,同時局部判別器專注于生成圖片的小區域以保證局部一致性.Iizuka 等人還在生成網絡中加入了膨脹卷積層代替Context-encoder 當中的全連接層,這些操作都是為了擴大網絡的感受野.

Yu 等人[10]提出一種端到端的圖像修復模型,通過采用一種堆疊型的生成網絡確保與周邊顏色以及紋理的連貫性,同時引入了注意力模塊從距離較遠的區域提取近似待修復區域的特征.

Liu 等人[11]提出通過在卷積過程中更新掩膜并使用更新的掩膜值歸一化卷積核的權重值,保證卷積核能夠專注于有效的像素值.

Yu 等人[12]通過引入門控卷積,學習一種特征通道的動態選擇機制,以提高色彩的一致性,同時提出一種高效的判別器SN-PatchGAN 用于輔助修復隨機缺失的圖像.

在生成網絡的編碼部分提取圖像的特征得到低分辨率的特征圖,特征圖中編碼了豐富的語義信息,然而在下采樣過程當中丟失了圖像的結構和語義信息,使得修復效果不清晰.該文通過在編碼部分添加基于SEResNet 的殘差塊來更好地提升網絡特征利用以得到清晰的圖像；同時在判別器部分也添加基于SE-ResNet的殘差塊,目的是加深判別器網絡深度,提升網絡特征利用,使得判別器更好地判別生成圖像與真實圖像.為了在語義上理解并修復圖像,該文增加了上下文感知損失網絡約束局部特征的相似性,然后使用此損失來訓練生成網絡.

2 網絡結構

2.1 SE-ResNet

近年來卷積神經網絡在眾多領域上都取得了巨大的突破.卷積神經網絡由一系列卷積層、非線性層和下采樣層構成,這樣能夠從全局感受野上去捕獲圖像的特征來進行圖像的描述.SENet (Squeeze-and-Excitation Networks)采用一種全新的特征重標定策略,主要通過顯示地建模特征通道之間的相互依賴關系.具體來說就是通過學習的方式來自動獲取到每個特征通道的重要程度,然后依照這個重要程度去提升有用的特征并抑制對當前任務用處不大的特征,這點能為圖像修復生成網絡的編碼器以及判別器部分提取有效特征帶來巨大的作用.

假設網絡的輸入是x(通道數為c1),通過一系列的卷積等操作過后得到通道為c2 的特征.那么SENet 所做的就是使用新的方式來得到通道為c2 的特征.第一個操作就是Squeeze,即特征壓縮,主要采用平均池化操作來進行特征壓縮,在每一個通道上得到一個一維的實數,這個實數表示在特征通道上相應的全局分布.緊接著是Excitation,即激活,這個操作類似于循環神經網絡中的門機制.通過一個全連接層得到特征每個通道的權重,以此來顯式的建模通道間的相關性.最后通過Reweight 操作將上一層輸出的權重通過乘法加權到x的每個通道上,因為上一層輸出的權重代表著每個通道的重要程度,這時就完成了對原始特征的重新標定.ResNet 已經廣泛被用做提取特征,同時能夠減少參數.在本文中我們將SENet 嵌入到ResNet 殘差塊中作為一個SE-ResNet 模塊添加到生成網絡和判別網絡中.

2.2 生成網絡

生成網絡是一個基于全卷積的網絡.生成網絡的輸入是一張三通道的圖像,輸出是一張相同大小的修復后圖像.生成網絡采用了編解碼的結構,在進一步處理圖像之前先降低分辨率,從而減少內存使用和計算時間.降低分辨率需要使用下采樣,下采樣的過程很容易丟失圖像的結構和語義信息,使得修復效果不清晰,因此僅僅對圖像做了兩次下采樣,并且添加了基于SEResNet 的殘差網絡塊(見3.1 節)代替傳統的下采樣方式.當特征圖降為原來的1/4 時,使用4 個膨脹卷積層作為編碼-解碼部分的連接處理[13],來保持圖像的感知野.膨脹卷積在獲取高分辨率最終特征圖中發揮重要作用.生成網絡的結構如圖1所示.

生成網絡的損失函數分為3 個部分：內容損失,對抗性損失和上下文感知損失.

對抗性損失是為了生成器盡最大可能“欺騙判別器”,對抗性損失定義如下其中G代表生成網絡,x代表完整圖片,M為圖像掩膜,生成網絡的輸入為破損圖像；D代表判別網絡,輸入為生成的修復圖片：

圖1 生成網絡結構圖

內容損失采用L2 距離,內容損失是為了生成盡量真實的圖像,盡最大可能使得待修復完成的圖像與原圖像“距離”更小.假設M為圖像掩膜,其與輸入圖像具有同樣大小的尺寸,其中值為0 的部分代表破損像素點,值為1的部分代表未破損像素點,則定義內容損失為如下的形式：

其中,符號⊙代表兩個矩陣的對應元素相乘.

上下文感知損失(見3.4 節)采用VGG16 特征提取器,得到生成圖像和原始圖像的特征圖,通過特征圖計算相似度作為損失來對生成網絡進行訓練,上下文感知損失是為了讓生成網絡具有能夠約束局部特征的相似性的能力,使圖像修復得更加逼真,與原圖更加相似.其形式如下,其中 Φ表示VGG16 網絡,CX為計算相似度的函數：

最后生成器的部分的損失函數如下,其中 λ1和λ2分別表示兩個損失的系數：

2.3 判別網絡

判別網絡是由全局上下文判別網絡和局部上下文判別網絡組成,分別對應整體圖像和局部圖像,它們的作用就是判別生成圖像是真還是假.為了讓判別器具有更好的判別能力,該文在兩個判別網絡中都添加了基于SE-ResNet 的殘差網絡塊,使其能夠提升特征利用.全局和局部的網絡會將圖像壓縮成小的特征向量,然后連接起來作為最終結果去判斷圖像真假.判別網絡如圖2所示,其中全局和局部判別網絡的倒數第2 至倒數第4 層是SE-ResNet 殘差塊.

全局上下文判別器將整個輸入的圖裁剪到160×160 大小并作為網絡輸入,它包括3 個普通卷積層和3 個SE-ResNet 殘差塊以及一個全連接層,輸出為一個1024 維的向量,表示全局上下文信息.其中前4 層普通卷積層和殘差塊均采用步幅2 來減少圖像大小并雙倍增加輸出的通道數(第一層卷積輸出通道數為64),最后兩層通道數不變.

圖2 判別網絡結構圖

局部上下文判別器與全局類似,局部網絡的輸入為96×96 大小的圖像,此圖像包括了缺失區域,但不全是缺失區域,還有一部分是未缺失圖像.由于輸入只是全局網絡輸入的缺失部分,該文去掉全局網絡中的第一層作為局部網絡.輸出同樣為一個1024 維的向量,表示局部上下文信息.

最后全局和局部上下文判別網絡的輸出被拼接成一個2048 維的向量,然后送入一個全連接層并輸出一個實數,最后經過一個Sigmoid 函數將其映射到[0,1]范圍代表圖像真假的概率.

判別器的損失如下：

2.4 上下文感知損失

對于生成網絡,我們希望它具有能夠約束局部特征的相似性,使圖像修復得更加逼真.從近期的圖像修復所使用的損失來看,普遍使用的是像素級的損失即要求修復后的圖像與完整圖像對齊[10-12],這些方法都不利于生成一個完整而又清晰的修復結果.因此該文提出了聯合上下文感知損失網絡訓練生成網絡,將圖像視為特征的集合,忽略特征的空間位置,不要求圖像完全對齊,允許局部形變,并根據特征之間的相似性度量圖像之間的相似性.讓生成的圖像和原始圖像經過VGG16 特征提取器,得到圖像的特征圖,通過特征圖計算相似度作為損失來對生成網絡進行訓練.

上下文感知損失網絡接收兩張160×160 大小的圖像,經過已經訓練好的VGG16 后輸出感知損失.假設x為輸入圖像,則表示生成網絡,表示VGG16 網絡,表示計算相似度的函數,那么上下文感知網絡的損失可以表示為：

更進一步的,對于兩個輸入的圖像x,y經過VGG16的特征提取后的xi,yj,其中CX函數計算兩張圖像的相似性函數如下,對于每個特征yj,找到與它最相似的特征xi,yj,然后對所有yj求和相應的特征相似值：

其中,

其中,wij表示特征xi與yj的相似性,通過下式計算得到.

上式通過求冪從距離轉換到相似性,距離由下式計算得到.

對dij歸一化,其中dij為xi與yj的余弦距離.上述dij計算公式為：

其中,

在訓練過程中,通過不斷的減小此損失(LCX)來優化生成網絡,生成網絡因此而具有約束局部特征的相似性的功能.

3 實驗

3.1 數據集

本文使用來自香港中文大學的開放數據集CelebA[14]和LFW[15].CelebA 是一個大型的人臉屬性數據集,包含1 萬多個名人身份的20 多萬張圖片.LFW 數據集是一個無約束自然場景人臉識別數據集,該數據集由13 000 多張全世界知名人士互聯網自然場景環境人臉圖片組成.

3.2 訓練過程

在實驗中,將CelebA 的12 萬張圖片作為訓練集,剩下的圖片作為測試集,將式(4)中 λ1設置為0.0004,λ2設置為0.004,將batch size 設置為12,圖片被裁剪成160×160 像素大小然后被送進網絡訓練.首先單獨對生成網絡訓練90 000 次,然后對判別網絡訓練10 000 次,最后聯合生成網絡,判別網絡訓練400 000 次.對于LFW 數據集我們將其中的1 萬多張圖片作為訓練集剩下的圖片作為測試集,將式(4)中 λ1設置為0.0004,λ2設置為0.004,將batch size 設置為16,圖片被裁剪成160×160 像素大小,訓練步驟與上述相同.

3.3 SE-ResNet 的效果分析

在3.1 節該文從理論上分析了基于SE-ResNet 殘差塊的生成網絡和判別網絡的優勢,為了進一步從實驗上證明,該文使用了CelebA 數據集對添加SE-ResNet殘差塊進行了定性分析.如圖3.第1 列為原始圖片,第2 列為缺失圖片,第3 列為不使用SE-ResNet 殘差塊的方法修復后圖片,第4 列為使用SE-ResNet 殘差塊的修復后圖片.可以看出,SE-ResNet 的使用對修復效果的影響顯著,這也驗證了SE-ResNet 殘差塊的有效性.

圖3 添加SE-ResNet 殘差塊與否對比圖

3.4 上下文感知損失的效果分析

在3.4 節該文從理論上分析了聯合上下文感知損失網絡訓練生成網絡的有效性,為了驗證上下文感知損失網絡在修復效果上的重要性,分別在訓練時采用上下文感知損失網絡和不采用上下文感知損失網絡對網絡進行訓練,結果如圖4所示.第1 列為原始圖片,第2 列為缺失圖片,第3 列為不采用上下文感知損失網絡修復后圖片,第4 列為采用上下文感知損失網絡修復后圖片.從圖4的第4 行可以看出,對缺失嘴部的修復中,不采用上下文感知損失網絡修復后的圖片存在較為嚴重的修復痕跡,該文的方法能夠有效的減少修復痕跡,與原始圖像相似度更高.

圖4 采用上下文感知損失與否對比圖

3.5 與現有方法的比較

為了證明該文方法的優越性,接下來將從各個方面與文獻[3]的方法進行對比分析.

該文使用了兩種評價標準來評測修復效果.峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16]是一種全參考的圖像質量評價指標.結構相似性(Structural SIMilarity,SSIM)[17],是一種全參考的圖像質量評價指標,它分別從亮度、對比度、結構3 方面度量圖像相似性.SSIM取值范圍[0,1],值越大,表示圖像失真越小.

從CelebA 的測試數據集中隨機的選取128 張圖片,分別計算中心缺失為1/4 和中心缺失為1/3 的原圖,用文獻[3]方法修復的圖像以及本文的方法修復的圖像的PSNR 以及SSIM 值,然后進行對比.從表1可以看出,本文的方法優于文獻[3]的方法,更加接近原圖.另外,圖5定性分析了對比效果.前兩行為中心缺失1/2 的修復效果對比圖,后兩行為中心缺失1/4 的修復效果對比圖,從左到右依次為原圖,缺失圖片,文獻[3]的方法修復后圖片,本文方法修復后圖片.可以看出文獻[3]的修復結果存在較多的瑕點,該文的修復效果更加清晰.另外圖6展示了在隨機缺失的情況下文獻[3]方法與本文方法的對比,可以看出在圖像的高頻信息部分缺失時(如眼睛、鼻子、嘴巴等),文獻[3]方法修復細節較差,且存在較多的偽影,而本文的方法不存在,修復效果更好.

表1 與文獻[3]方法的PSNR 和SSIM 指標對比

圖5 與文獻[3]方法的中心缺失修復效果對比圖

圖6 與文獻[3]方法的隨機缺失修復效果對比圖

圖像邊緣檢測圖中標識了數字圖像中亮度變化明顯的點,反映了圖像中的重要的結構屬性特征,因此本文從修復前后邊緣檢測圖的對比來判斷圖像的修復效果.圖7中第1 列為原圖,第2 列為原圖的邊緣檢測圖,第3 列為修復后圖像的邊緣檢測圖.從圖中可以看出,修復后的邊緣檢測圖與原圖比較接近,表明本文方法能從結構上理解并修復圖像.

圖7 邊緣檢測圖對比

4 結束語

本文提出了一種基于SE-ResNet 的生成對抗網絡聯合上下文感知損失的方法來進行圖像修復工作,通過在生成網絡和判別網絡部分加入SE-ResNet 模塊,提升網絡特征利用,使得修復圖像更清晰.通過聯合contextual loss 約束局部特征的相似性,使得修復圖像更加逼真.多個實驗證明,該文的方法在圖像修復上具有重要的作用.然而當原始圖像的分辨率較大或者缺失范圍越大,該方法修復結果還是會存在明顯的模糊,并且訓練時間更長,因此如何解決這個問題有待于進一步研究.基于深度學習的語義分割技術已經較為成熟,將語義分割技術與圖像修復相結合是一項非常有意義的工作,因此下一步的研究重點就是如何將語義分割應用于圖像修復.