基于改進(jìn)的注意力機(jī)制與紋理結(jié)構(gòu)分層的生成對抗網(wǎng)絡(luò)圖像修復(fù)方法

張劍飛，張 灑

（黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，哈爾濱 150022）

圖像修復(fù)是利用破損圖像和訓(xùn)練圖像，獲取數(shù)據(jù)中的結(jié)構(gòu)紋理信息，將破損圖像進(jìn)行填充.近年來被廣泛應(yīng)用于諸多專業(yè)技術(shù)領(lǐng)域，已成為智能圖像處理、神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺等方面的研究熱點(diǎn).傳統(tǒng)圖像修復(fù)方法主要為基于紋理和基于樣本塊，經(jīng)典模型有基于偏微分方程的BSCB模型，填充的Criminisi算法模型等.近年來，深度學(xué)習(xí)的圖像修復(fù)方法取得了許多突破性進(jìn)展，Goodfollow的上下文自動(dòng)編碼器（Content Encoder，CE）［1］首次將生成對抗網(wǎng)絡(luò)［2］（Generative Adversarial Networks，GAN）應(yīng)用于圖像修復(fù)，對圖像上下文語義信息做出預(yù)測，但修復(fù)的圖像存在明顯偽影.為了更好地獲取高級語義信息，Olaf Ranneberger［3］等提出了具有跨通道的U型結(jié)構(gòu)（U-Net），其結(jié)構(gòu)完全對稱，采用疊加操作，有跳躍連接等特點(diǎn)，被廣泛應(yīng)用于計(jì)算機(jī)視覺中.Yan［4］等在U-Net的解碼器中添加了一個(gè)轉(zhuǎn)移連接層，即網(wǎng)絡(luò)為Shift-Net，有效地結(jié)合圖像中相隔較遠(yuǎn)的特征進(jìn)行圖像修復(fù)，但當(dāng)破損孔洞過大時(shí)，存在細(xì)節(jié)紋理不清晰的問題.針對目前圖像修復(fù)方法中高級語義不豐富、邊緣紋理細(xì)節(jié)缺失和圖像的整體結(jié)構(gòu)相似度不足的問題，本文構(gòu)建了一個(gè)以U-Net為基礎(chǔ)的模型，通過引入注意力機(jī)制與紋理結(jié)構(gòu)分層相融合的圖像修復(fù)方法，獲得具有高級語義和清晰紋理的修復(fù)圖像.

1 基于改進(jìn)的注意力機(jī)制與紋理結(jié)構(gòu)分層融合的生成對抗網(wǎng)絡(luò)圖像修復(fù)方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

基于改進(jìn)的注意力機(jī)制與紋理結(jié)構(gòu)分層融合的生成對抗網(wǎng)絡(luò)圖像修復(fù)方法，其網(wǎng)絡(luò)結(jié)構(gòu)針對圖像修復(fù)方法中存在的問題，在生成對抗模型基礎(chǔ)上，著重突出圖像主要特征，添加通道注意力；為得到豐富的特征種類和數(shù)量，采用多尺度卷積，引入移位連接層；為在訓(xùn)練時(shí)加強(qiáng)對模型的約束，采用重建損失、指導(dǎo)損失、風(fēng)格損失和WGAN-GP的對抗損失、感知損失函數(shù)聯(lián)合對生成圖像進(jìn)行約束；為進(jìn)一步提高圖像的紋理邊緣細(xì)節(jié)和圖像的整體結(jié)構(gòu)相似度，加快模型的收斂速度，將圖像下采樣提取特征分為紋理特征與結(jié)構(gòu)特征，將淺層卷積得到的特征融合成新的紋理特征fte，深層卷積得到的特征融合成新的結(jié)構(gòu)特征fst，并采用改進(jìn)的Res2Net殘差塊.網(wǎng)絡(luò)模型主要的結(jié)構(gòu)包括預(yù)訓(xùn)練模塊、生成網(wǎng)絡(luò)、鑒別網(wǎng)絡(luò)和紋理結(jié)構(gòu)分層模塊.

1.2 改進(jìn)的SE Block模塊

在原始的SE Block中，為解決當(dāng)函數(shù)梯度為零，網(wǎng)絡(luò)無法反向傳播的問題，將激活函數(shù)從ReLu變?yōu)長eaky ReLu；為獲得更多輸入圖像卷積下的不同尺度豐富特征，對輸入圖像進(jìn)行多尺度并聯(lián)和多尺度孔洞卷積并聯(lián)，然后將多尺度并聯(lián)和多尺度孔洞卷積并聯(lián)得到的特征圖串聯(lián).

1.3 紋理結(jié)構(gòu)分層

Hongyu Liu［5］等提出的重新思考圖像修復(fù)過程中的一個(gè)觀點(diǎn)——認(rèn)為越淺的卷積代表圖像的紋理結(jié)構(gòu)，越深的卷積越能體現(xiàn)圖像的高級信息即圖像結(jié)構(gòu)信息.利用這種思想，將圖像的紋理信息與結(jié)構(gòu)信息，通過卷積將其分開來，使圖像保持原有的紋理結(jié)構(gòu)不會(huì)被越來越深的卷積鈍化，失去其原有的特征.圖像的細(xì)節(jié)與主體特征進(jìn)行保留，使結(jié)果中結(jié)構(gòu)和紋理保持一致.圖像進(jìn)行特征提取過程中，淺層卷積得到的特征分別為f1，f2和f3，深層卷積得到的特征分別為f4，f5和f6.將淺層卷積得到的特征融合成新的紋理特征fte，深層卷積得到的特征融合成新的結(jié)構(gòu)特征fst，這樣就將圖像的紋理與結(jié)構(gòu)特征分開.

1.4 改進(jìn)殘差塊

為了加強(qiáng)整張圖像中距離較遠(yuǎn)的特征信息之間的聯(lián)系，擴(kuò)大卷積感受野，獲得更多圖像整體信息，在網(wǎng)絡(luò)結(jié)構(gòu)中引入改進(jìn)的殘差塊.（1）相對于原始Res2Net模型，x2組卷積以后的特征沒有通過跨通道跟x3組的特征進(jìn)行融合，主要原因是原始模型中經(jīng)過3×3卷積，再對x3的通道特征進(jìn)行串聯(lián)后，又經(jīng)過3×3卷積，其實(shí)際上就是一個(gè)5×5卷積，但是這樣的尺度太小會(huì)導(dǎo)致圖像不太平滑，圖像中的噪聲也較為明顯.因此，就對x3組的圖像先經(jīng)過3×3的卷積，為擴(kuò)大感受野在進(jìn)行步長為2的3×3的空洞卷積，此時(shí)3×3的卷積串行一個(gè)步長為2的3×3的空洞卷積實(shí)際上等于一個(gè)7×7的卷積，目的是擴(kuò)大感受野，使圖像邊緣更加平滑，圖像中的噪聲更少.（2）將原來x3組得到的特征先跟x4融合，再進(jìn)行3×3的卷積，變成原來x3組得到的特征跟x4進(jìn)行3×3的卷積后的特征進(jìn)行融合，這樣可以盡可能多得到圖像的主要特征，減少無用特征.（3）在圖像進(jìn)行1×1的反卷積后對得到的圖像加入通道注意力，均衡各個(gè)通道之間的權(quán)重，確保圖像突出主要特征.通過改進(jìn)，不僅保留了輸入特征的獨(dú)特性，擴(kuò)大了感受野，增加了不同尺寸卷積下獲得的特征，同時(shí)對殘差塊也進(jìn)行了注意力機(jī)制中通道權(quán)重的調(diào)整，有助改善生成圖像在訓(xùn)練時(shí)梯度爆炸問題.

1.5 重構(gòu)損失函數(shù)

為了使修復(fù)圖像語義更合理，紋理細(xì)節(jié)更清晰，加入重建損失、指導(dǎo)損失、風(fēng)格損失、對抗損失、感知損失，最終將多種損失函數(shù)結(jié)合起來作為整體損失函數(shù)，定義為：

式（1）中，λ1是重建損失權(quán)重，λadv是對抗損失權(quán)重，λg是指導(dǎo)損失權(quán)重，λsty風(fēng)格損失權(quán)重，λper感知損失函數(shù)權(quán)重.

2 實(shí)驗(yàn)結(jié)果與分析

在Celeb A人臉數(shù)據(jù)集和Places365日常場景數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行訓(xùn)練與驗(yàn)證.模擬受損圖像時(shí)，采用不規(guī)則掩碼，添加與現(xiàn)實(shí)情況較為接近的隨機(jī)掩碼.對于圖像的評價(jià)，分為視覺評估和客觀評估.客觀評估有PSNR，SSIM兩個(gè)評價(jià)指標(biāo).

2.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)項(xiàng)處理

搭建實(shí)驗(yàn)環(huán)境，硬件選用中央處理器Intel i710thGen，顯卡GPU GeForce 1650Ti，內(nèi)存4 G，硬盤512 G，操作系統(tǒng)Windows10.運(yùn)行使用Pycharm，使用Pytorch+Tensflow1.4作為支撐框架，搭配Python的多個(gè)庫進(jìn)行實(shí)驗(yàn)驗(yàn)證與分析.使用Adam進(jìn)行參數(shù)優(yōu)化，在優(yōu)化算法的參數(shù)設(shè)定上，一階矩陣的衰減指數(shù)ρ1=0.9，一階矩陣的衰減指數(shù)ρ2=0.999，生成器G的學(xué)習(xí)率為0.001，鑒別器D的學(xué)習(xí)率為0.005，批處理參數(shù)batch-size=4，輸入數(shù)據(jù)完成前向計(jì)算及反向傳播的epoch=50，參數(shù)迭代次數(shù)iteration=200.

由于輸入圖像可能跟網(wǎng)絡(luò)模型處理圖像大小要求不相符，所以需要對輸入圖像進(jìn)行裁剪.設(shè)定輸入圖像大小256×256，像素范圍是［0，255］，通道數(shù)為3.預(yù)處理根據(jù)輸入圖像的寬，截成一個(gè)以寬為邊長的正方形，然后對其長寬進(jìn)行裁剪得到符合模型輸入標(biāo)準(zhǔn)的圖像.標(biāo)準(zhǔn)圖像緊接著用中值濾波器去噪，減小數(shù)字圖像在傳輸過程中常受到設(shè)備與外噪聲干擾，這樣就完成了對圖像簡單的預(yù)處理.

2.2 評價(jià)指標(biāo)

圖像修復(fù)處理過程中，評價(jià)圖像修復(fù)質(zhì)量通常用兩個(gè)指標(biāo)，峰值信噪比（Peak Signal to Noise Ratio，PSNR）［6］和結(jié)構(gòu)相似性［7］（Structural Similarity，SSIM）.峰值信噪比通常用于描述圖像壓縮后各種形式的信號質(zhì)量屬性，PSNR值越大，說明圖像信號質(zhì)量越高.PSNR的計(jì)算公式為：

式（2）中，imax是圖像點(diǎn)顏色的最大值.一般用8位表示，就是255.每個(gè)采樣點(diǎn)用n位線性脈沖編碼調(diào)制表示，imax就是MSE，為均方差.兩個(gè)m×n的單色圖像I，K，則MSE可以表示為：

式（3）中，（m，n）是損失區(qū)域的位置坐標(biāo)，K(i，j)是原來受損圖像已有信息，I(i，j)是修復(fù)后受損圖像像素的任一點(diǎn).（3）式是將修復(fù)圖像減去原圖像差的平方，看兩個(gè)圖像之間的差異.MSE［8］與PSNR之間，MSE越小，則PSNR越大，說明圖像越接近原始圖像，圖像特征越豐富.

結(jié)構(gòu)相似性是一種衡量兩幅圖像相似度的指標(biāo)，對修復(fù)圖像和原始圖像進(jìn)行結(jié)構(gòu)相似性的判斷.結(jié)構(gòu)相似性的范圍為［0，1］，當(dāng)兩張圖像一模一樣時(shí)，SSIM的值為1，即當(dāng)SSIM值越大圖像相似性越高.SSIM主要通過亮度、對比度和結(jié)構(gòu)方面對比.計(jì)算過程為：

將圖像的平均灰度作為亮度測量估計(jì)：

所以，兩幅圖的亮度對比函數(shù)為：

將圖像的標(biāo)準(zhǔn)差作為對比度測量估計(jì)：

于是，兩幅圖像的對比度對比函數(shù)：

結(jié)構(gòu)對比函數(shù)：

最終，三個(gè)對比函數(shù)構(gòu)成SSIM：

即

式（5）（6）（7）（8）（9）中，x是真實(shí)圖像，y是修復(fù)圖像，μx是真實(shí)圖像的均值，μy是修復(fù)圖像的標(biāo)準(zhǔn)差，σx是真實(shí)圖像的標(biāo)準(zhǔn)差，σy是修復(fù)圖像的標(biāo)準(zhǔn)差，是真實(shí)圖像的方差是修復(fù)圖像的方差.c1，c2為常數(shù)，為了避免分母為零的情況，c1，c2通常取值為0.012，0.032.

2.3 實(shí)驗(yàn)結(jié)果對比

采用視覺對比與量化對比.使用兩種不同的數(shù)據(jù)集Celeb A和Places365與中心掩碼結(jié)合模擬受損圖像，通過對原始圖像（Original Image，OI）和破損圖像（Damaged image，DI），將采用上下文自動(dòng)編碼的方法（Context Encoders，CE）、Shift-Net方法和本文提出方法得到的修復(fù)圖像進(jìn)行對比，挑選有代表性的實(shí)驗(yàn)結(jié)果進(jìn)行對比說明，實(shí)驗(yàn)結(jié)果見圖1.

圖1 不同方法在Celeb A測試集下的圖像修復(fù)結(jié)果

由圖1可以看到，CE方法使用上下文自動(dòng)編碼器生成對抗網(wǎng)絡(luò)，能夠?qū)⑷四樀奈骞傩畔⑿迯?fù)出來，但對于大面積缺失圖像，修復(fù)結(jié)果容易出現(xiàn)偽影，不能產(chǎn)生復(fù)雜的紋理結(jié)構(gòu)，圖像在有些地方有嚴(yán)重失真現(xiàn)象，無法修復(fù)高級語義信息.（圖1-1c）修復(fù)的圖像，在鼻子處有較為明顯的模糊，無法修復(fù)出具有高級語義信息、與右側(cè)對稱的法令紋，修復(fù)后左側(cè)臉頰上沒有修復(fù)出.（圖1-2c）修復(fù)的圖像，修復(fù)的左側(cè)瞳孔顏色為藍(lán)色，與右側(cè)為缺損區(qū)域瞳孔顏色不一致，左側(cè)眼睛，山根處有些模糊.（圖1-3c）修復(fù)的圖像在原遮擋區(qū)域出現(xiàn)了明顯的模糊，鼻子處非常模糊，看不到完整的鼻子結(jié)構(gòu)，眼鏡鏡框在修復(fù)后下側(cè)沒有了邊緣輪廓.

Shift-Net方法采用了移位連接層，通過跳躍連接，使特征圖具有良好的全局性，修復(fù)圖像看起來更加真實(shí)，但是對于細(xì)節(jié)處理過于簡單，局部有小范圍的偽影，圖像的紋理結(jié)構(gòu)不一致.（圖1-1d）修復(fù)的圖像，鼻子鼻頭處有小部分偽影，其他修復(fù)基本看不出不合理處.（圖1-2d）修復(fù)的圖像，整體五官修復(fù)還可以，但是仔細(xì)觀察修復(fù)出來的左眼與右眼大小不一樣.（圖1-3d）修復(fù)的圖像，修復(fù)出的鼻子和眼鏡框的下側(cè)依舊有偽影.

本文提出的方法，可以基本修復(fù)人的五官，違和感程度較輕，修復(fù)區(qū)域的偽影很少，相比CE方法修復(fù)的圖像紋理更加平滑，相比于Shift-Net方法修復(fù)的具有更多的細(xì)節(jié)特征，且修復(fù)后圖像整體與原圖更接近，能保持圖像的高級語義基本一致.（圖1-1e）修復(fù)的圖像，整體圖像符合人眼視覺，與原圖在嘴型方面不同，牙齒顏色有差異，但這些都是通過訓(xùn)練網(wǎng)絡(luò)模型依據(jù)自己經(jīng)驗(yàn)給出多樣化的答案，但如果沒有原圖，也不會(huì)覺得修復(fù)圖像異樣.（圖1-2e）修復(fù)的圖像，與原圖較為相似.（圖1-3e）修復(fù)的圖像，符合人眼視覺，僅在鼻型和嘴型與原圖略有不同，整體修復(fù)效果合理.

Celeb A測試集下，不同方法修復(fù)圖像的修復(fù)質(zhì)量評價(jià)指標(biāo)見表1.通過PSNR和SSIM這兩個(gè)圖像質(zhì)量的評價(jià)指標(biāo)，對幾種修復(fù)方法進(jìn)行客觀比較，判斷圖像修復(fù)的質(zhì)量.選用Celeb A圖像結(jié)合中心掩碼模擬受損圖像，選取其中的200張圖像進(jìn)行測試.可以看出本文方法與CE方法相比，PSNR提升了2.28，SSIM提升了0.022.本文方法與Shift-Net方法相比，PSNR提升了1.35，SSIM提升了0.015.以上數(shù)據(jù)表明，本文修復(fù)的圖像與原始圖像更為相似.綜上在視覺與圖像質(zhì)量評價(jià)值，可以看出本章提出的CAMCC方法，在圖像壓縮后，圖像的重建質(zhì)量相對其他方法較好，原始圖像與修復(fù)圖像在結(jié)構(gòu)相似度方面，相對其他方法較好.

表1 Celeb A測試集下圖像修復(fù)質(zhì)量評價(jià)指標(biāo)

不同數(shù)據(jù)集有不同的特點(diǎn)，為了驗(yàn)證模型的泛化性，在Places365數(shù)據(jù)集上對不同算法進(jìn)行測試，修復(fù)結(jié)果圖見2.

由圖2可以看到，通過CE方法修復(fù)（圖2-1c）（圖2-2c）（圖2-3c）的圖像修復(fù)后，在原來的掩碼處，都可以看到明顯的正方形偽影.（圖2-1c）修復(fù)的圖像，房屋邊緣結(jié)構(gòu)非常平滑，不能體現(xiàn)建筑物的結(jié)構(gòu)特征，修復(fù)區(qū)域與原區(qū)域的像素點(diǎn)顏色過渡非常跳躍，對比原圖沒有修復(fù)出左側(cè)的窗戶.（圖2-2c）修復(fù)的圖像，圖像復(fù)原出了樹干缺失部分和草地，但是填充的樹干部分左右顏色不均衡，還有一些偽影.（圖2-3c）修復(fù)的圖像，陽臺(tái)的隔斷門，門框有一些彎曲，且原遮擋區(qū)域有明顯的偽影.

圖2 不同方法在Places365測試集下的圖像修復(fù)結(jié)果

通過Shift-Net方法修復(fù)的圖像基本具有相對完整的紋理結(jié)構(gòu)，但是在細(xì)節(jié)特征方面依舊有提升的空間.（圖2-1d）修復(fù)的圖像，基本修復(fù)除了房屋的外側(cè)，結(jié)構(gòu)上基本合理，但是沒有比較高級的語義信息，沒有根據(jù)右側(cè)的窗戶推測出左側(cè)也應(yīng)有窗戶.（圖2-2d）修復(fù)的圖像相對于（圖2-2c）來說偽影區(qū)域變小，對于草地修復(fù)部分偽影基本看不到.（圖2-3d）修復(fù)的圖像，對于陽臺(tái)的隔斷門的門框修復(fù)較為成功，但是在原遮擋處的陽臺(tái)玻璃背景依舊有偽影，陽臺(tái)上的被子未被注意到.

通過本文方法修復(fù)的結(jié)果很少出現(xiàn)偽影，結(jié)構(gòu)也較為合理.（圖2-1e）修復(fù)的圖像，房屋的結(jié)構(gòu)合理，左右窗戶對稱這樣的高級語義信息都有所體現(xiàn).對照原圖可以發(fā)現(xiàn)，（圖2-2e）較好地補(bǔ)全陽光下樹木枝干及葉子的陰影，樹干草地的像素填充與周圍融為一體，不會(huì)有突兀感和不適感.（圖2-3e）修復(fù)的圖像，基本沒有偽影的現(xiàn)象，細(xì)節(jié)處理的較好.

選用Places365圖像結(jié)合中心掩碼模擬破損圖像，選取300張進(jìn)行測試，得到的評價(jià)圖像修復(fù)質(zhì)量的結(jié)果如表2所示.由表2可以看出，本文方法與CE方法相比，PSNR提升了2.02，SSIM提升了0.023.本文方法與Shift-Net方法相比，PSNR提升了1.1，SSIM提升了0.011.

表2 Places365測試集下的圖像修復(fù)質(zhì)量評價(jià)指標(biāo)

綜上在視覺與圖像質(zhì)量評價(jià)值，可以看出本章提出的方法，在圖像壓縮后圖像的重建質(zhì)量，相對其他方法較好，原始圖像與修復(fù)圖像在結(jié)構(gòu)相似度方面，相對其他方法較好，通過不同數(shù)據(jù)集對比，說明本文提出的方法有一定的泛化性.

3 結(jié)束語

本文以生成對抗網(wǎng)絡(luò)為基礎(chǔ)框架，生成器采用具有對稱性的U-Net，引入通道注意力并結(jié)合多尺度卷積模塊，將圖像下采樣提取特征分為紋理特征與結(jié)構(gòu)特征，采用改進(jìn)的Res2Net殘差塊，并重構(gòu)損失函數(shù).對比實(shí)驗(yàn)結(jié)果表明，從圖像恢復(fù)評價(jià)指標(biāo)來看，在中心掩碼遮擋下的Celeb A數(shù)據(jù)集中，本文提出的方法與Shift-Net方法相比，PSNR提升2.53，SSIM提升0.019；在隨機(jī)掩碼的遮擋下的Places365數(shù)據(jù)集上，本文提出的方法與Shift-Net方法相比相比，PSNR提升2.06，SSIM提升0.022.修復(fù)后圖像的紋理和結(jié)構(gòu)更統(tǒng)一，修復(fù)圖像與原始圖像在高級語義上更加接近.