基于生成對抗網絡的多用途圖像增強魯棒算法

李 英 李 臻

1(內江職業技術學院信息技術系 四川 內江 641000)

2(電子科技大學 四川 成都 610054)

0 引 言

隨著信息技術的快速發展，網絡圖片的數量迅猛增長，人們對圖像真實感的質量要求日益增高。受限于網絡帶寬和計算機存儲空間的約束，網絡中的圖像經常采取有損壓縮和低分辨率的方式進行傳輸，這就需要對低分辨率的壓縮圖像采用圖像增強技術重建出高分辨率的清晰圖像[1]。圖像增強大致可以分為兩個領域：超分辨率方法(Super Resolution，SR)和偽影去除方法(Artifact Removal，AR)。

超分辨率方法是將低分辨率圖像重建為高分辨率圖像的技術，SR主要有3類：基于插值，基于重建和基于學習的方法。因為基于插值和基于重建的方法復雜度低，適用性不強，生成的圖像邊緣輪廓比較模糊，不能滿足高分辨率的需求，所以基于學習的超分辨率技術成為研究的熱點。2014年，卷積神經網絡首次應用于圖像超分辨率領域中，開啟了使用卷積神經網絡的超分辨率(Super-Resolution using Convolution Neural Network，SRCNN)算法[2]。該算法利用3層卷積神經網絡訓練低分辨率到高分辨率的關聯關系，獲取的高分辨率圖像效果比傳統方法有極大改善，但是由于網絡層次結構太淺，圖像深層次的特征難以獲得。Ledig等[3]將生成對抗網絡應用于圖像的超分辨率重建中，提出了基于生成對抗網絡的超分辨率(Super-Resolution using a Generative Adversarial Network，SRGAN)算法。該算法首先利用生成器網絡訓練低分辨率圖像樣本，生成高分辨率圖像，然后用判別器網絡區分高分辨率圖像的來源，當判別器無法辨別出圖像是原始輸入還是網絡生成時，即生成出高質量的高分辨率圖像。與其他深度學習方法相比，SRGAN算法生成的圖片效果在視覺上更逼真。席志紅等[4]針對目前卷積神經網絡的超分辨率算法存在卷積層數少、模型簡單、收斂速度慢等問題，提出了一種基于深層殘差網絡的加速圖像超分辨率重建方法，該方法在提高圖像分辨率的同時加快了收斂速度。謝珍珠等[5]針對基于學習的圖像超分辨率重建算法中存在邊緣信息丟失、易產生視覺模糊等問題，提出一種基于邊緣增強的深層網絡模型用于圖像的超分辨率重建方法，利用反卷積網絡實現邊緣增強的目標。楊文瀚等[6]針對單幅圖像超分辨率重建受到多對一映射的困擾，造成高頻細節缺失的問題，提出了一種數據外補償的深度網絡超分辨率重建方法，該方法采取在構建的深度網絡中對圖像進行內部重建，在線檢索的大數據進行外部高頻信息補償的方式提高算法性能。

偽影去除方法是將壓縮圖像處理為無偽影銳利圖像的技術[7]。圖像的有損壓縮容易產生方塊偽影，不僅降低圖像的視覺效果，同時還影響后續圖像的處理，對于高度壓縮的圖像和視頻，因為重建圖像中的紋理細節通常不存在，使得AR問題尤其突出。Dong等[8]提出了卷積神經網絡的偽影減少(Artifacts Reduction Convolutional Neural Network，ARCNN)算法，利用淺層神經網絡來衰減不同的壓縮偽影，在一定程度上減少了壓縮偽影。Svoboda等[9]提出了L4和L8網絡結構，通過結合殘差學習、跳過架構和對稱權重初始化，在相對較短的時間內訓練出一個具有八層的網絡，相對于ARCNN，利用該網絡處理偽影具有顯著的質量改進，但仍然未能完全刪除高度壓縮的JPEG圖像中的所有偽影。

在當前的圖像增強技術中，不存在任何能夠同時解決AR和SR問題的端到端網絡方法。當互聯網上的圖像或監控視頻中的對象識別和分類同時需要AR和SR時，則必須將圖像應用于兩種不同的算法。因此，同時進行超分辨率和偽影消除的方法在這些場景中非常有用。為了解決高感知質量圖像面臨的這一問題，本文提出了基于生成對抗網絡的多用途圖像增強魯棒算法，該算法能夠在一個網絡中以端到端的方式同時消除偽影和獲取高清晰度和豐富細節的超分辨率。該網絡使用帶跳躍鏈接的U-NET類生成器，方便共享低級信息，而且在生成器最后一層網絡之前設計一個像素解析模塊，提高輸出圖像分辨率，判別器采用自動編碼方式有助于將大量有關生成圖像質量的語義信息傳遞回生成器。本文在SRGAN的基礎上提出了一種基于網絡特征損失、邊緣損失和判別器重構損失三者加權的感知損失函數，該損失函數可以有效保留在圖像增強過程中經常丟失的清晰度。

1 生成對抗網絡

生成對抗網絡(Generative Adversarial Network，GAN)是由Goodfellow等[10]基于博弈論中的二人零和博弈思想提出的。GAN具有強大的圖片生成能力，在超分辨率、圖像修復和合成等方面應用廣泛。

生成對抗網絡是一種通過對抗過程估計生成模型的網絡框架，該網絡的基本框架由一個生成網絡G和一個判別網絡D構成，GAN的流程如圖1所示。

圖1 生成對抗網絡的流程示意圖

生成網絡G利用真實數據樣本x訓練生成新的數據樣本G(z)。判別網絡D是一個二分類器，判斷樣本是來自于原始數據x還是由生成網絡產生G(z)。整個GAN過程網絡G與D同時運行，判別網絡的目的是盡量使D(G(z))接近0，而生成網絡的目的是盡量使它接近1，最終二者在博弈中達到平衡。目標函數表示為：

Ez,P(z)[log(1-D(G(z)))]

(1)

式中：z是潛在表征；x是真實數據樣本；P表示概率分布；E表示期望。

GAN在訓練過程中因為隨機噪聲的存在使得生成網絡的效果不佳。因此，SRGAN的初始化變量不再使用隨機噪聲，而是采用原始數據集的高分辨率圖像IHR經過高斯濾波降采樣得到的低分辨率圖像ILR作為訓練樣本。SRGAN流程如圖2所示。

圖2 生成對抗網絡的超分辨流程示意圖

SRGAN的目標函數表示為:

EILR,P(ILR)[log(1-DθD(GθG(ILR)))]

(2)

式中：GθG和DθD表示由θG和θD參數化的前饋CNN生成網絡和判別網絡；θG={W1:L;b1:L}表示L層深度網絡的權重和偏差，由優化超分辨重建的特定損失函數SR給出，參數θD同理。

SRGAN以感知損失作為優化目標，該損失函數包括對抗損失和內容損失兩項，即:

(3)

2 多用途圖像增強算法

本文是基于生成對抗網絡的圖像增強算法，目標是利用低分辨率和被偽影破壞的圖像ILR估計出一個銳利無偽影的高分辨率圖像IHR。對于具有c通道的圖像，采用尺寸為W×H×C的實值張量來描述ILR。同理，IHR和IGT可由ρW×ρH×ρC描述，其中，IGT表示真實圖像，ρ=2p,p∈{0,1,2,…}。

2.1 網絡架構

為了估計低質量輸入圖像的增強圖像，采用由θG參數化的前饋CNN生成網絡GθG。該網絡使用具有3×3核的卷積層和stead=1，然后進行批量歸一化，激活函數選用泄漏ReLU。每個卷積層的濾波器數量如圖3所示。

圖3 本文網絡的總體架構示意圖

本文方法的深度生成網絡GθG如圖3所示，對于p>0的情況，即輸出的尺度大于輸入時，生成器在最后一層之前引入一個新的模塊，該模塊包含m(m>0)個子像素卷積層，每個像素卷積層將圖像的分辨率提高2倍。圖3展示了兩個像素卷積層，因此，將圖像超級解析為4倍。如果p=0，由于輸出圖像的尺寸與輸入圖像一致，則不需要引入該模塊。

判別網絡DθD的優劣對于提出框架的性能非常關鍵。該網絡采用自動編碼器的形式設計，因此，自動編碼器的輸出是其原始輸入或者生成輸入的重構圖像，這樣設計的目的有助于判別器將大量有關生成圖像質量的語義信息傳遞回生成器，而二進制鑒別器不可能做到。本文方法的判別器包含有18個卷積層，其中增加了多個3×3的濾波核，采用stead=2的步幅卷積來減小特征映射的尺寸，然后使用像素卷積層來提高特征映射的分辨率。

對于圖像增強問題，盡管輸入圖像和輸出圖像的外觀不同，但實際上兩者具備相同底層結構的渲染。在圖像轉換過程中，在輸入圖像和輸出圖像之間存在很多低級共享信息，可以直接通過網絡進行傳遞。Ledig等[3]在SRGAN框架中使用殘差模塊和跳躍鏈接來幫助生成器傳遞這些信息，然而，本文發現按照U-net形狀[11]引入跳躍鏈接在傳遞信息方面更有效，在層n和層L-n之間添加跳躍鏈接，那么跳躍鏈接只是將第n層的所有通道與第L-n層的所有通道連接起來，其中L是總層數。

U-Net網絡結構如圖4所示，整個網絡結構看起來像一個U型，是一種編碼器-解碼器網絡。在U-Net網絡中，通過跳躍連接的方式，直接把底層特征和高層特征結合，從而實現精確的像素分類，特征的結合使用級聯的方式。

圖4 U-Net網絡結構示意圖

2.2 損失函數

損失函數的不同會產生網絡模型性能的差異，因此，適當的損失函數對生成網絡至關重要。本文在文獻[3]的基礎上，通過添加一個邊緣損失項和判別器重構損失項來設計出一個新的損失函數。該函數可以根據感知特征評估圖像，擺脫利用最小化像素差異評估時的局限。由于邊緣損失項和重建損失項的引入，使得在去除偽影和4倍放大后也能夠生成銳利圖像。本文損失函數被定義為：

Floss=r×Eloss+(1-r)×Closs+LD

(4)

式中：Floss表示感知損失函數；Eloss、Closs和LD分別表示特征損失項、邊緣損失項和重構損失項；r表示權重系數。

根據預先訓練的19層VGG網絡的ReLU激活層選擇特征丟失，數學方程式可以定義為：

φi,j(GθG(ILR))x,y)2

(5)

式中：W和H分別表示輸入圖像的寬和高；φi,j表示VGG網絡中第i個最大池化層之前通過第j層卷積產生的特征圖。

邊緣信息的保存對于生成清晰的圖像非常重要，因此，本文引入邊緣損失項：

Θ(GθG(ILR))x,y|

(6)

式中：Θ表示邊緣檢測函數，以尺寸為3×3，σ=0.3的高斯濾波器為核心。

與大多數其他算法不同，本文的判別網絡可以提供判別器輸入的重構圖像。設計重構損失項的目的是為了區分重構的真實圖像和假圖像的損失分布：

(7)

(8)

(9)

kt表示第t次迭代時的平衡因子：

(10)

式中：λ表示學習率，一般取10-3。

3 實 驗

為了驗證提出方法對不同用途圖像的增強效果，選取多個數據集進行測試。選取Live1[12]數據集(29幅圖像)驗證算法的AR性能，Set14[3](14幅圖像)和BSD300[3]數據集(300幅圖像)驗證算法的SR性能。為了驗證方法在AR+SR方面的性能，本文從三個數據集中隨機抽取100幅圖像。在測試過程中，AR數據集的實驗結果都是在JPEG圖像降級到10%的質量系數來完成的，SR實驗的放大因子為4，對于AR+SR，數據集的降質系數為10%，放大因子為4，即對應于圖像像素減少16倍。

本文所有實驗是在NVIDIA DGX-1機器上基于TensorFlow完成的，使用來自ImageNet[13]數據集中60 000幅圖像的隨機樣本訓練網絡。為測試SR、AR和AR+SR，在訓練時將不同的訓練圖像分別裁剪為96×96、256×256、128×128的隨機子圖像。訓練網絡時，學習率設置為10-4，迭代次數為5×104，使用β1=0.9的Adam優化器優化網絡。

3.1 實驗結果分析

圖5-圖7給出了本文算法和其他方法在不同數據集中分別測試AR、SR和AR+SR的部分可視化結果，其中ARCNN+SRGAN算法意味著首先使用ARCNN對圖像進行恢復，然后使用SRGAN超級解析圖像?？梢钥闯觯啾扔谄渌椒?，本文方法不僅在AR實驗中得到更銳利的圖像和SR實驗中獲取更多的紋理細節，還可以在同一網絡中為AR和SR提供一次端到端的解決方案，而且提出方法在顏色梯度較大區域生成的真實照片效果更加的柔和。

(a) 真實圖像 (b) ARCNN (c) L04 (d) 本文方法

(a) 真實圖像 (b) SRCNN (c) SRGAN (d) 本文方法

(a) 真實圖像 (b) SRGAN+ARCNN (c) ARCNN+SRGAN (d) 本文方法

為了進一步驗證，本文利用峰值信噪比(PSNR)、結構相似性指數(SSIM)和梯度幅度相似度偏差(Gradient Magnitude Similarity Deviation，GMSD) 3個評價指標來驗證算法的有效性。

PSNR表示濾波圖像的最大像素值與噪聲的比值，定義為:

(11)

式中：MSE表示均方誤差；fmax和fmin分別表示去噪圖像的最大和最小像素。PSNR越大，說明去噪圖像失真越小，圖像的去噪效果越好。

基于感知模型的歸一化度量SSIM定義為：

S(x,y)=f(l(x,y),c(x,y),s(x,y))

(12)

圖像梯度對圖像失真程度高度敏感，局部質量下降在全局圖像的差異GMSD可以反映圖像的質量，通常運用圖像與線性濾波器Prewitt算子的卷積來提取圖像梯度：

(13)

式中：mIGT、mIHR分別表示圖像IGT和IHR的梯度幅度；hx、hy分別表示Prewitt濾波器的水平和豎直方向算子。然后計算梯度幅度相似度均值：

(14)

(15)

GMSD的值反映整幅圖像的失真嚴重程度，其值越高，圖像失真程度越高，質量越差。

表1給出了不同算法進行AR、SR、AR+SR測試時的指標結果。可以看出，本文方法在AR、SR、AR+SR方面的性能明顯優于其他算法。

表1 不同算法進行AR、SR、AR+SR測試時的指標結果

3.2 消融研究

本文還研究了不同損失函數和判別器結構對網絡性能的影響。實驗采用加權組合的特征損失項和邊緣損失項，以及重構損失項作為損失函數，此處重點分析VGG特征映射和邊緣檢測器對網絡性能的影響。通過研究VGG與Canny、HED邊緣檢測器的結合性能發現，Canny算法不僅快速有效，而且在保持銳度方面有所提升，如圖8所示。表2為不同邊緣檢測器的測試結果。

(a) 原圖 (b) Canny (c) HED

表2 不同邊緣檢測器進行AR、SR測試時的指標結果

實驗采用兩種不同的鑒別器，第一種判別器(Dv1)對像素空間中的圖像進行評估，第二種判別器(Dv2)對特征空間中圖像進行評估，在判斷真假圖像時可以給出0或1的二進制輸出。本文方法采用Dv1判別器，結構如圖3所示，Dv2為文獻[3]中給定的判別器。通過研究了VGG和L1與Canny的結合性能，驗證了引入Canny算子的網絡結構可以提高圖像的感知質量。

表3顯示了算法在不同判別器和損失函數下的定量性能。可以看出，帶Dv1判別器的生成對抗網絡GAN采用引入Canny算子的加權組合損失函數，能夠獲得最佳的性能指標結果。

表3 不同判別器和損失函數進行AR測試時的指標結果

4 結 語

針對當前圖像增強技術不能夠同時解決AR和SR問題的現象，本文提出了基于生成對抗網絡的多用途圖像增強魯棒算法，能夠在一個網絡中以端到端的方式同時進行偽影去除和超分辨率。實驗結果表明，對于高壓縮低分辨率圖像，本文方法可以同時進行偽影去除和超分辨率，相比其他方法，在多個評價指標上都有很好的性能體現。