基于雙判別生成對抗網絡的不規則孔洞圖像修復

李海燕, 馬艷, 郭磊, 李海江, 陳建華, 李紅松

(1.云南大學 信息學院, 云南 昆明 650000; 2.云南交通投資建設集團有限公司, 云南 昆明 650000)

圖像修復是用圖像已知信息填充圖像缺失區域的技術,在分散目標、刪除無用對象或生成遮擋區域等領域有廣泛應用。

目前,圖像修復算法主要分為傳統算法和基于深度學習的方法2類。傳統算法中較早、較經典的有基于范例的方法[1],該方法在補丁周圍求解全局最優完成圖像填充,容易造成結構差異,使填充區域與整體不一致,且算法對初始化敏感,容易陷入局部極值。Barnes等[2]于2009年提出PatchMatch算法,利用隨機搜索和快速傳播找到圖像塊之間的最近鄰匹配,產生比較合理的細節紋理,但不能很好捕獲高級語義信息,導致修復細節模糊。為避免以上復制鄰近區域填充缺失區域的不足,Huang等[3]提出結合平面視角和平移規則2種中層結構約束的圖像修復算法,顯著提高了缺失區域合成的質量,但難免存在錯誤檢測的紋理細節,從而在缺失區域的紋理和邊緣處產生偽影。

為了彌補傳統修復算法語義一致性差、存在邊緣模糊及偽影等不足,深度卷積神經網絡(deep convolutional neural networks,CNNs)在圖像修復方面得到廣泛應用[4-5],對抗性網絡[6]被用來改善修復結果的感知質量和自然性。Cai等[7]提出了一種新的風格提取器PiiGAN,并引入一致性損失來指導生成器學習與輸入圖像語義相匹配的各種樣式,該方法能修復大面積規則缺失區域,但是在處理隨機分布、大面積不規則孔洞時,會導致周圍區域不一致的模糊紋理。Li等[8]提出了一種新的生成模型,該方法嵌套了2個生成對抗網絡,在子對抗生成網絡中引入了一種新的殘差連接結構來傳輸信息,有利于修復小面積規則的圖像,但在處理大面積、隨機不規則孔洞時,會產生偽影、結構扭曲等情況。Pathak等[5]提出特征學習驅動的(context encoder,CE)方法,可以修復缺失面積規則的圖像,該方法在處理隨機不規則孔洞時性能下降。Satoshi等[4]提出局部和全局一致的圖像修復算法,其主要實現缺失區域為中心矩形的圖像修復,該方法在處理大面積、隨機不規則孔洞時,不能根據孔洞尺寸、孔洞的隨機位置自適應修復圖像,因此當孔洞覆蓋邊緣時,會導致邊緣模糊或失真。為了更好修復隨機不規則孔洞的結構信息并增強細節,Yu和Yan等[9-10]將基于CNNs的方法與基于范例的方法結合,用掩碼引導編碼器將特征從已知區域傳播到缺失區域,此類算法能處理隨機分布、尺寸較小的不規則孔洞,但是復制和增強操作只在一個編碼和解碼層進行,因此處理大面積、隨機不規則孔時性能較差。劉波寧等[11]等基于文獻[4]提出的模型,在全局判別器網絡中增加了檢測邊緣結構信息的約束,在局部判別器網絡中增加了緩沖池技術,該方法能使矩形掩碼的修復結果更加符合視覺連貫性,抑制過度學習,但當孔洞隨機分布、不規則時,會出現失真、修復偽影等情況。此外,以上模型都是采用標準卷積,對所有輸入像素均無區別地視為有效像素處理,因此修復隨機不規則孔洞時,容易出現顏色差異、模糊或在孔洞周圍產生明顯的邊緣效應。

為了更好地修復隨機不規則孔洞并抑制視覺偽影,Liu等[12]提出了部分卷積(Pconv),解決標準卷積的不足,改進掩碼更新機制,能處理隨機不規則形狀的孔洞并抑制視覺偽影。但是,當孔洞的面積變大時,修復結果缺乏整體和細節的語義一致性。

為了有效修復大面積、隨機不規則孔洞缺失,提出了基于雙判別生成對抗網絡的不規則孔洞的圖像修復算法,其主要創新點在于:①設計圖像生成器為部分卷積定義的U-Net架構,歸一化的部分卷積僅對有效像素完成端到端的掩碼更新,U-Net中的跳過鏈接將圖像的上下文信息向更高層分辨率傳播;②提出了重建損失、感知損失和風格損失的加權損失函數,優化訓練模型;③加權損失函數,結合生成網絡和雙判別網絡一起訓練,進一步增強待修復區域的細節和整體一致性。實驗表明:提出算法在修復大面積、不規則隨機孔洞時,生成的內容清晰、連貫,孔洞區域的生成圖像有合理的整體和細節語義一致性。

1 合成和全局一致的部分卷積

1.1 生成網絡

在填充隨機不規則形狀孔洞時,為了保持孔洞區域的整體語義一致性,以部分卷積網絡為基礎,提出了一種新穎的修復結構,該結構由3個網絡組成:生成網絡、合成判別器、全局判別器。其網絡結構如圖1所示。

圖1 網絡模型

1.1.1 部分卷積層

Pconv[12]層包括2個步驟:①部分卷積運算；②掩碼更新。第一個過程表示為

(1)

式中：I是輸入特征圖；M是二進制掩碼(1表示有效像素；0表示無效像素)；Wk是第k層卷積濾波器的權值；Θ表示為逐元素乘法；y是第k層輸出的新特征值。縮放因子1/sum(M)通過適當的不斷縮放調整有效輸入的變化量。

每次部分卷積操作之后,進行掩碼更新

(2)

只要有連續的卷積操作,且掩碼輸入包含任何有效像素,掩碼端到端的更新確保缺失區域最終會被修復。

1.1.2 生成網絡

生成網絡以U-Net的架構[13]為基礎,為了更好獲取隨機不規則邊界的信息,將所有卷積層替換為部分卷積層。

編碼階段包括7個部分卷積層,步長均為2,內核大小分別為5,5,3,3,3,3,3,對應的通道大小為64,128,256,512,512,512,512,采用ReLU作為激活函數。解碼階段包括7個最近鄰上采樣,每一個上采樣后面都有一個部分卷積層,內核大小均為3,通道大小分別是512,512,512,256,128,64和3,用α=0,2的LeakyReLU作為激活函數,在輸出的最后一層采用標準卷積,用Sigmoid作為激活函數。

U-Net網絡的跳過鏈接可以使上采樣得到的高維特征與對應編碼階段的特征圖拼接,使得輸出更準確。此外,在生成網絡中,除了第一層和最后一層的部分卷積之外,在其余每個部分卷積和ReLU/LeakyReLU層之間均使用了批量歸一化。

1.2 判別網絡

合成判別器和全局判別器的目標是識別真實圖像與合成圖像之間的差別,并進一步縮小差距。該網絡基于卷積神經網絡,將圖像壓縮成低維度的特征向量。網絡的輸出由一個連接層連接,該連接層通過損失函數預測一個連續的值,該值是圖像接近真實圖像的概率。

將未掩蔽區用真實圖片覆蓋,掩蔽區不做任何處理作為合成判別器的輸入,將整張修復圖作為全局判別器的輸入。合成判別器和全局判別器均包括7個卷積層,步長均為2,內核大小均為5,對應的通道為64,128,128,256,256,256和256,最后經過一個全連接層輸出128維向量。

將合成判別器和全局判別器的輸出連接成一個256維的向量,然后由單個的全連接層進行處理,輸出一個連續的值表示圖像接近真實圖像的概率。

1.3 損失函數

為了更好地恢復預測的孔洞值與周圍環境的平滑程度及一致性,加入了針對每像素的重建損失[12],感知損失[14],風格損失[15],對抗性損失[6]以及全變差正則項作為平滑的懲罰項。

1.3.1 像素重建損失

定義孔和非孔每像素在L2范式上的損失

(3)

(4)

式中：Ipred是生成網絡的輸出圖像；Igt是真實圖像,M是初始的二進制掩碼(孔洞區為0),(3)式和(4)式分別表示孔洞區和非孔區的輸出。

1.3.2 感知損失、風格損失

為了獲取高層語義,比較生成圖像的深層特征圖與真實圖像的差異,在定義感知損失和風格損失時引入了在ImageNet上預先訓練的VGG-16網絡[16],在實驗中使用預先訓練的VGG-16的pool-1、pool-2、pool-3層。

感知損失定義為

(5)

風格損失定義為

(6)

式中：Ipred是生成網絡的輸出圖像；Igt是真實圖像；Φpooln是VGG-16中第n層池化層的特征圖。

1.3.3 對抗性損失

為了提升結果的真實性,提高生成圖像的視覺質量,引入對抗性損失函數[6]

(7)

式中：Igt是真實圖像；Md是任意形狀的掩碼；G是生成網絡；Mc是生成網絡的輸入掩碼；D表示判別器。G(Igt,Mc)是生成網絡的預測圖。

1.3.4 懲罰項

為了使圖像在修復過程中能有效去除噪聲,同時保留圖像的邊緣結構,使結果不會過度平滑,引入全變差正則化(the total variation, TV)作為平滑性的懲罰項[17]

(8)

式中，Di,jIcomp表示合成圖像Icomp在像素(i,j)處沿水平和垂直方向的一階有限差分。在L2范式下,該公式是各向同性全變差,具有旋轉不變性,在修復過程中能夠很好地保持圖像邊緣信息。

加權上述損失函數,提出修復模型的目標函數為

(9)

1.4 算法流程

網絡訓練的流程如算法1所示。

算法1 網絡訓練流程

輸入:受損原圖X,隨機掩碼M;

1) 從訓練數據中批量采樣圖像x,為每一批圖像中的每一張圖像生成隨機掩碼,獲得受損圖像;

2) if stage==1:

3) 訓練生成器=True;訓練判別器=False;

4) epochs為30,每輪5 000次迭代,在重建損失、感知損失、風格損失和TV懲罰項的加權損失函數下更新生成網絡,得到修復圖;

5) elif stage==2:

6) 訓練生成器=False;訓練判別器=True;

7) epochs為5,每輪2 000次迭代,在對抗性損失函數下更新判別器;

8) elif stage==3:

9) 訓練生成器=True;訓練判別器=True;

10) 加權所有損失函數來更新整個網絡,epochs為5,每輪2 000次迭代。

2 實驗及分析

用Place365標準數據集的4個場景驗證提出算法的有效性,并將其與現有的5種經典算法進行對比。3個場景的類別是barn、barndoor、chalet,每個類別有5 000個圖像,每類中隨機選擇16幅圖像,從訓練集中刪除,構成驗證集。實驗在Win7系統單個NVIDIA GeForce RTX 2080(8 GB)的Pycharm平臺上完成。

2.1 實驗過程

訓練分為3個階段:首先,使用公式(9)中去除Ladc部分的損失函數訓練生成網絡,批處理大小設為6,每輪5 000次迭代,共30輪,學習率為0.000 2。然后固定生成網絡,使用Ladc損失函數訓練2個判別器,批處理大小設為6,每輪2 000次迭代,共5輪,學習率為0.05。合成判別器的輸入圖像的未掩蔽區域用原圖覆蓋,掩蔽區域保持生成網絡修復結果,不做處理。全局判別器的輸入圖像是生成網絡修復的圖像。最后,將生成網絡和2個判別器聯合訓練,批處理大小設為6,每輪2 000次迭代,共5輪,學習率為0.000 2。

測試時,加載訓練的模型測試圖像,只需要生成網絡,不再進行判別網絡的判斷。

2.2 實驗結果與分析

圖2a)為待修復原圖,掩碼區域面積大且密集。PM修復的房子細節模糊,框內右側區出現大面積失真,無結構信息,見圖2b)。GL的整體修復出現嚴重扭曲現象,修復區域有明顯的合成痕跡和大面積偽影,見圖2c)。文獻[11]的修復結果從周圍索引信息時,出現了結構偏差,見圖2d)。Shift-net的修復結果無偽影,但很多區域(見框中)的細節被過度平滑,如草地部分,修復結果的整體語義一致性較差,見圖2e)。圖2f)是Pconv的結果,框中區域的修復不平滑，平衡紋理的能力欠佳。本文算法修復的結果整體語義一致性好,紋理和細節完整,右側區域的修復結果與周圍環境平滑融入,草地的紋理清晰,見圖2g)。

圖2 對比實驗1

圖3a)中的掩碼位置隨機且分散。PM的房子下部修復結果(框中內容)無結構信息,無法準確獲取圖像語義信息。GL修復的房屋上部的結構存在偽影和扭曲,有明顯的合成痕跡。文獻[11]在黃框內的修復結果出現了顏色失真以及結構信息的缺失。Shift-net的修復結果沒產生偽影,但框內的修復結果較模糊。Pconv在框內的修復結果未能體現圖像顏色信息,對色彩還原效果不足。本文算法的結果兼顧了紋理細節、結構和顏色信息,在視覺上獲得了更好的修復結果。

圖3 對比實驗2

圖4a)為待修復的原圖,掩碼區域疏密適中。PM對框內區域的修復結果無結構信息。GL的修復結果存在大面積偽影,缺失區域有明顯的修復痕跡,如房屋上部的天空。文獻[11]的修復結果出現局部的細節模糊(見框中)。Shift-net對框內區域過度平滑,顏色單調的天空修復后包含了掩碼痕跡。Pconv在框內的修復結果存在模糊的合成痕跡。本文算法的結果在天空區域無掩碼痕跡,對其余掩碼區的修復在色彩、紋理細節上與周圍區域一致性好。

圖4 對比實驗3

從以上不規則、隨機大面積掩碼的修復結果可看出:PM修復的結果無結構信息,修復區域與周圍環境連貫性差。GL在待修復區域產生偽影和不同程度的扭曲。Shift-net的修復結果存在過度平滑導致的模糊、顏色信息丟失,有時平衡結構、紋理細節的能力欠佳。Pconv方法對不規則掩碼的修復效果好,而對復雜的大面積掩碼區域,其修復結果的紋理細節與周圍環境的語義一致性差。相比較而言,本文算法的修復結果無過度平滑,清晰度高,在缺失區域無明顯的邊緣效應,能更好地獲取缺失區域的語義信息,使修復結果清晰、連貫。

本文用峰值信噪比(peak signal to noise ratio,PSNR),結構相似性(structural similarity index,SSIM),梯度幅相似性偏差(gradient magnitude similarity deviation,GMSD),計算時間4個指標對以上算法的所有組的平均修復結果進行定量評價。

對比表1的實驗結果可知,本文在PSNR、SSIM和GMSD指標上均優于對比算法,說明生成網絡使用部分卷積和合成及全局雙判別器,能有效改善生成網絡的預測判別能力。因為增加了判別網絡,將標準卷積層改為部分卷積層,本文算法的運行時間優于文獻[11],但是比其他對比算法長。

表1 各算法的評價指標結果

3 結 論

本文提出了一種基于雙判別生成對抗網絡的隨機、不規則大面積孔洞圖像修復算法,該算法將U-Net架構的卷積改進為歸一化的部分卷積,僅對有效像素完成端到端的掩碼更新,更好地將圖像的上下文信息向高層分辨率傳播;提出了重建損失、感知損失和風格損失的加權損失函數,優化訓練模型,增強了細節修復能力;加權損失函數結合生成網絡和雙判別網絡一起訓練,增強修復區域的整體和局部語義一致性。在公開數據集上對本算法與其余4個經典算法進行了定性和定量的實驗對比,實驗結果表明:本文算法能很好修復隨機不規則大面積孔洞,修復結果有很好的整體和局部語義一致性,避免了過度平滑、紋理模糊、顏色失真、存在人工邊緣等缺陷。后續研究中,要進一步改進算法復雜度,減少算法的運行時間。