注意力和生成對抗網絡融合的圖像超分辨率重建

張桐，王華軍，文良華，李慶，陳勁松

（1.宜賓學院 智能制造學部，四川宜賓 644000；2.成都理工大學 地球物理學院，四川成都 610059）

圖像分辨率是評價圖像質量的重要指標，要提高圖像分辨率，物理方法是提高單位面積內感光靶片的容量，增加單位面積內像素的數量，但是會造成光學成像設備的成本大幅增加，從而限制了應用領域[1,2]．超分辨率技術采用軟件算法使低分辨率圖像獲得高分辨率，是計算機視覺的熱點研究方向，在遙感、醫(yī)學和災害應急管理等領域得到廣泛應用．

超分辨率技術分為三種類型，分別是基于插值[3-4]、基于重建[5-9]和基于學習[10-15]．基于插值和基于重建的算法數學模型單一，造成重建圖像質量不高．基于學習的算法通過對樣本數據集的學習，建立高分辨率和低分辨率圖像對之間的端到端映射關系，然后對輸入的低分辨率圖像進行重構．由于深度學習技術的迅速發(fā)展，基于學習的算法已成為超分辨率技術的研究重點．

生成對抗網絡是深度學習技術的重要分支．DONG[16]首次將深度學習的方法應用于圖像超分辨率，提出了一種基于卷積神經網絡的SRCNN 模型，主要分為圖像特征表示、特征非線性映射和圖像重建三個模塊；但將圖像劃分成小區(qū)域圖像塊進行訓練，導致收斂速度太慢．Goodfellow[17]提出了一種生成對抗網絡，該網絡結構主要由一個生成器和一個判別器構成，低分辨率圖像輸入生成器生成高分辨率圖像，判別器判斷生成器生成的圖像是真實圖像還是假圖像；但是生成對抗網絡存在生成器損失函數不收斂和圖像紋理模糊的問題．LIM[18]通過實驗證明，在網絡結構中加入批量規(guī)范化層，使輸入數據近似服從標準正態(tài)分布，雖然可以改善訓練不穩(wěn)定，但是并未提高輸出圖像的紋理細節(jié)．

為了解決上述問題，本文提出一種融合注意力機制和殘差模塊的生成對抗網絡．首先采用像素損失函數作為基本的超分辨率模型，依次加入紋理損失、感知損失和對抗損失．其次，生成器用殘差模塊實現密集連接和跳躍連接，連接每一個卷積層的輸入與該層尾部的激活輸出；將輸入的圖像特征通過卷積后，進入注意力模塊進行加權，并對生成器圖像特征提取的多級關系進行權重分配．最后，通過上采樣模塊重構高分辨率圖像．

1 生成對抗網絡

1.1 超分辨率模型

超分辨率重建是指采用軟件算法將低分辨率圖像轉換成高分辨率圖像的過程．在分析過程中，對原始圖像進行降質和加噪聲處理，得到低分辨率圖像．低分辨率圖像和原始圖像之間的關系表示為：

其中，Input表示低分辨率圖像，H表示高分辨率圖像，Fk表示退化矩陣，Nk表示高斯噪聲．

1.2 生成對抗網絡

生成對抗網絡是深度學習中重要的網絡模型結構，它采用對抗學習的方法，使生成器和判別器達到納什均衡．生成對抗網絡主要包含生成器和判別器兩部分，生成器的作用是將低分辨率圖像轉換成高分辨率圖像，判別器的作用是比較真實圖像和生成器生成的假圖像，判斷生成圖像的真假．

生成對抗網絡的對抗過程本質是一個優(yōu)化過程．首先，保持生成器的目標函數不變，優(yōu)化判別器，使得判別器的判別準確率提高，真樣本的預測值接近1．相反，當對生成器進行優(yōu)化時，保持判別器的目標函數不變，使得生成器的判別準確率最小，假樣本的預測更接近于0．將兩種優(yōu)化模型相結合，構成二元極小極大的目標函數．生成對抗網絡的結構表示如下：

其中Pdata(x)表示真實圖像的概率分布，Pz(z)表示由發(fā)生器生成的圖像分布，LG是發(fā)生器，LD是鑒別器．

2 網絡設計與原理

2.1 網絡設計與優(yōu)化

生成器輸入一幅低分辨率圖像，通過卷積提取淺層特征，為了擴大網絡的接受域，在殘差模塊之后，引入注意力模塊，然后通過8 組殘差模塊進行密集連接提取深層特征，每個殘差模塊包含3×3 卷積和Leaky ReLU 激活函數．從低分辨率圖像中提取特征后，通過殘差模塊獲取豐富的圖像細節(jié)，利用上采樣模塊放大到原圖像尺寸，最后通過卷積層完成對圖像重構．圖1 為含有注意力和殘差模塊的生成器網絡結構．

在殘差模塊結構單元中，BN 層歸一化可以保證梯度下降，但增大了計算量，導致降低了收斂速度，延長了提取圖像信息的訓練時間．去除BN 層不但提高了圖像重建的速度，而且增強了圖像重建的效果．殘差模塊具體內部結構由卷積和Leak ReLU 激活函數構成一組，共有三組進行串聯構成殘差模塊（如圖1）．

卷積網絡在處理圖像信息時，往往通過深層建立網絡中各層圖像之間的連接．然而，深度卷積網絡不可避免地會產生更多的參數，導致計算效率低下．通過添加注意力模塊可以建立單獨的空間關系．輸入圖像通過兩個1×1的卷積映射到兩個新的特征空間，分別經過MaxPool 和AvgPool 模塊（如圖1）．然后將兩個模塊輸出進行融合，再通過1×1 的卷積，進行非線性劃分兩個卷積，再次分別經過MaxPool 和AvgPool 模塊．由sigmoid 激活函數得到權系數，通過改變維數來恢復輸入通道的數目．注意模塊的輸出表示為：

其中，x表示輸入圖像，α表示矩陣變形輸出，μ表示尺度參數，y表示注意模塊輸出．

判別器由圖像特征提取和分類模塊組成．特征提取模塊由8 個卷積層組成，每個卷積層后面是Leaky ReLU 激活函數和BN層．特征提取模塊之后是分類模塊，采用兩個全連接的層，然后是一個sigmoid 激活函數．判別器的訓練有利于生成對抗網絡中高分辨率圖像的生成．

2.2 損失函數

在生成對抗網絡中，生成器損失函數的設計對高分辨率圖像的生成起到至關重要的作用．生成器損失函數包括內容損失、感知損失、紋理損失和對抗性損失．內容丟失主要用于優(yōu)化生成的高分辨率圖像和真實圖像像素之間的平方方差．像素插值越小，重建圖像越逼真．感知損失從預先訓練好的網絡中提取高級特征進行語義比較，捕獲兩幅圖像之間的相似特征，避免了對圖像像素一致性的要求．紋理損失函數促進了紋理信息的局部匹配，減少了圖像的偽影，生成了更逼真的紋理．對抗性損失主要用于判斷生成器獲得高分辨率圖像的概率．生成器損耗函數表達式如下：

其中，α、β、γ是損失函數的平衡系數；Lcon表示內容損失函數，Ltext表示紋理損失函數，Lpec表示感知損失函數，Ladv表示對抗性損失函數．

3 實驗和結果分析

3.1 數據集

在模型訓練時，使用Div2K[19]數據集作為訓練集，包括800 幅高清圖像，并通過旋轉和剪切對訓練集進行擴展．測試集采用公共數據集SET5[20]、SET14[21]和BSDS500[22]進行測試．本文采用客觀量化的圖像超分辨率方法，對重建圖像與原始圖像的峰值信噪比（PSNR）和結構相似性（SSIM）進行了描述．PSNR 值越高，代表超分重建的圖像失真度越?。擲SIM 越接近1 時，說明超分重建圖像與原始圖像的相似度越高．

3.2 不同算法比較

比較不同模型對低分辨率圖像進行超分辨率重建．訓練批為64 個，將高、低分辨率圖像劃分成像素為32×32 的圖像對．像素參數和塊的批量越大，模型訓練效果越好．培訓分兩步進行．在第一步中，使用像素損失訓練模型對生成器進行訓練，并將學習速率設置為1×10-4，每5 000 次迭代衰減一次．對生成器模型進行微調，通過像素損失對模型進行優(yōu)化，以獲得滿意的結果．優(yōu)化器采用Adam 優(yōu)化器．在生成器訓練完成后，加入判別器，交替訓練生成器和判別器，直至模型收斂．然后，添加殘差模塊和注意力模塊．與其他網絡相比，本文算法在峰值信噪比和相似度上獲得了最優(yōu)效果（見表1，其中最佳量化值以粗體顯示）．圖2 顯示了不同網絡模型在放大4 倍時，生成的高分辨率圖像．其他網絡方法生成的圖像邊緣比較模糊，本文生成的圖像細節(jié)更清晰，特別是邊緣的紋理效果更好．

表1 不同網絡模型的定量分析結果Table 1 Quantitative results of different network models in Set5, Set14, and BSDS500

圖2 雙三次、SRCNN、VDSR、SRGAN和本文重建圖像的比較Fig.2 Comparison of bicubic, SRCNN, VDSR, SRGAN and Ours reconstruction results

3.3 不同迭代次數的比較

實驗在不同迭代次數下進行，模型經過70 000次迭代的訓練，用以觀察圖3 的紋理細節(jié)．經過40 000 次迭代，圖像的細節(jié)已經由模糊變清晰．隨著程序的迭代次數增大，圖像細節(jié)變化幅度趨于平穩(wěn)．

圖3 不同迭代次數的重建結果比較Fig.3 Comparison of different iterations and, Ours reconstruction results

3.4 注意力模塊實驗

注意力模塊實驗主要通過消融實驗來驗證有無注意力模塊的網絡性能．本實驗的訓練集是Div2K數據集，測試集是Set5 數據集．超分辨率比例因子為4，每個模型經過70 000 次迭代的訓練，記錄最高的PSNR 值，得到表2 的結果．從表2 中可以看出，注意力模塊的加入可以有效地提高網絡模型的PSNR 和SSIM 值，分別提高0.45db 和0.02．可見，注意力模塊可以提高分辨率圖像的生成準確率．

表2 注意力模塊消融實驗Table 2 Results of ablation experiments to verify the network performance with or without the attention module

4 結語

本文提出在生成對抗網絡的基礎上，加入注意力模塊和殘差模塊，構成一種注意力和生成對抗網絡相結合的新型網絡，經過與雙三次、SRCNN、VDSR 和SRGAN 主流算法對比，不僅提高了模型訓練的穩(wěn)定性，而且減少了網絡參數的個數，提高了計算效率，從而進一步提高了圖像的紋理細節(jié)．