基于邊緣指導的雙通道卷積神經網絡單圖像超分辨率算法

李春平 周登文 賈慧秒

摘要 當前基于卷積神經網絡（CNN）的超分辨率（SR）重建算法，雖然取得了很大的成功，但是重建圖像高頻紋理的效果仍然不能令人滿意，其高分辨率（HR）圖像局部邊緣存在明顯的震蕩.本文提出一種結合形態學成分分析（MCA）分解的邊緣指導雙通道CNNSR算法：待處理的低分辨率（LR）圖像通過MCA分解為紋理部分和平滑結構部分；紋理部分和原LR圖像共同組成雙通道，輸入到改進的網絡結構中重建HR紋理部分；結合HR紋理輸出與LR平滑結構部分重建HR圖像.訓練過程采用最小化紋理損失與原圖像損失之和最優化網絡模型參數.后處理包括：執行網絡輸出與LR輸入圖像的直方圖匹配使色調保持一致，提升感官效果；應用迭代的反向映射使HR重建與LR輸入保持退化算子一致性提高PSNR值.實驗結果顯示：該方法能夠很好地恢復HR圖像的紋理細節，對紋理細節豐富的圖像恢復效果更好.關鍵詞

超分辨率；卷積神經網絡；形態學成分分析；雙通道輸入

中圖分類號 TP391.41

文獻標志碼 A

0 引言

單圖像超分辨率（SR，Super-Resolution）技術是指通過軟件方式把一幅低分辨率（LR，Low-Resolution）圖像恢復成高分辨率（HR，High-Resolution）圖像的過程.該技術具有廣泛的應用，如視頻監控、醫學成像、遙感衛星成像等.現有的超分辨率算法可分為3類：基于插值[1]、基于重建[2]和基于學習的方法[3-10].其中基于學習的圖像SR算法，學習LR和HR圖像之間的函數映射關系，生成最終的HR圖像，具有更好的復原效果，是近年來研究的熱點.

Chang等[4]引入局部線性嵌入法（LLE，Locally Linear Embedding）計算重建圖像加權平均的權值.假設HR圖像塊和對應的LR圖像塊在幾何上具有相似性，通過LLE算法計算出一組最優的線性組合系數，使得樣本庫中的K個最近鄰樣本LR塊經過這組系數加權平均得到的圖像與輸入LR圖像塊之間的誤差最小；再將這組系數直接應用于K個樣本中的HR圖像塊，從而得到HR圖像.Yang等[6-7]對LR和HR樣本圖像塊構成的樣本庫進行稀疏表示，并通過聯合訓練的方式找到LR和HR圖像塊對應的過完備字典.這種聯合訓練的方式迫使對應的LR塊和HR塊通過各自的字典所獲得的稀疏系數相同，并由此建立起LR與HR之間的橋梁.基于稀疏字典的圖像SR算法[7]建立稀疏先驗約束，在稀疏編碼過程自動選擇參與SR重建的字典原子數量，而非LLE中人為的設定.這類方法較LLE方法重建質量更高，但是稀疏編碼和重建過程需要多次迭代，算法復雜度較大.Jing等[8]改進了Yang等[6-7]的算法，分別重建圖像高頻紋理部分和平滑部分，紋理部分采用稀疏表示的方法重構，平滑部分簡單地用插值的方法恢復，然后組合HR圖像，增強了圖像紋理細節.

以上基于學習的SR算法主要分為特征提取、學習和重建3個階段.各階段分別獨立設計優化，且學習模型的特征提取與表達能力有限.近年來，深度學習引起了廣泛的關注，它的出現彌補了傳統基于學習方法的不足.其中，Dong等[9]率先將卷積神經網絡（CNN，Convolutional Neural Network）引入到圖像SR復原問題中，設計了基于深度CNN的圖像SR復原方法（SRCNN）.該方法主要思想是：以深度學習與傳統的稀疏編碼之間的關系為依據，將網絡分為圖像塊提取、非線性映射和重建3個階段，再將這3個階段統一到一個深度CNN的框架中，學習LR圖像到HR圖像之間的端到端映射關系.網絡結構上，將稀疏編碼過程看作卷積操作，利用3層卷積層完成圖像塊提取、非線性映射和重建操作.優化方式上，傳統的基于學習的SR方法對3個階段分別獨立優化處理，忽略了整體框架的優化.SRCNN采用聯合優化方式，圖像重建性能有了較大的提高.SRCNN模型證明了直接學習LR和HR之間端到端的映射簡單可行，效果也很好，但重構出的高頻特征仍然不能令人滿意.

受文獻[8-9]等方法的啟發，本文提出一種結合形態學成分分析（MCA，Morphological Component Analysis）[11]分解的邊緣指導雙通道CNN算法.首先，利用MCA算法，將待處理的LR圖像分解為邊緣紋理部分和平滑結構部分；邊緣紋理部分和原LR圖像共同組成雙通道，輸入到CNN中得到HR紋理圖像輸出；再將HR紋理輸出圖像與原LR圖像合并，得到重建的HR圖像；最后通過最小化紋理損失和原圖像損失之和訓練網絡結構參數.實驗結果表明，本文提出的邊緣指導雙通道模型超分辨率算法在結果圖像中能夠保留更多高頻細節信息，同時也可以很好地減弱振鈴現象.實驗的評價指標PSNR值也證明了本文模型算法的有效性.

1 本文算法

本章首先介紹如何提取邊緣紋理信息構建雙通道輸入網絡結構；然后，進一步解釋如何將邊緣先驗信息嵌入到深度CNN中，以便更好地預測圖像SR的高頻細節.

1.1 MCA圖像分解算法

通過以上算法模型得到圖像的結構部分和紋理部分如圖1所示.

1.2 邊緣指導的雙通道輸入CNN結構

本文提出一種端到端可訓練的邊緣指導雙通道輸入卷積神經網絡算法.該算法拓寬了輸入圖像的維度，圖2是提出的邊緣指導雙通道輸入網絡結構，輸入是提取的LR圖像紋理部分和原LR圖像組成的圖像塊.算法包括以下幾個部分：

1）LR邊緣紋理提取.在1.1節詳細提到利用基于稀疏表示和全變分的MCA方法提取LR圖像的邊緣紋理信息，這也可以推廣到建模其他自然圖像先驗信息上.這里表述如何在深度網絡中嵌入邊緣信息，具體地，將LR圖像中提取的邊緣紋理特征與原LR圖像共同作為雙通道輸入，旨在預測HR輸出圖像的高頻紋理特征，然后將其用于復原HR圖像.

2）邊緣指導雙通道輸入深度網絡.該網絡結構旨在學習高、低分辨率紋理圖像之間的映射函數.網絡由n層組成：第1層塊的提取和表示層，從輸入圖像中緊密的裁剪小塊，并表示成一個特征向量，如圖2采用64個大小為3×3的濾波器提取特征，相當于濾波器作用在2個輸入通道的3×3空間區域（特征映射）上，該特征提取層是一個線性操作，激活函數ReLU對特征提取層輸出的所有特征映射作非線性處理，得到特征圖（或圖像塊）第1層的操作如下所示：

最后一層重構層用單一的濾波器大小為3×3×64將HR邊緣紋理小塊拼接成一幅完整的圖像：

中間層由若干個特征映射層組成，不同層可以逐步恢復不同頻域的HR圖像特征，即把不同頻域的LR圖像小塊的低維特征向量表示成高維特征向量，最終組合成一幅HR紋理輸出，其中每一層相當于大小為3×3×64濾波器作用在64個通道的3×3的空間區域上.表示如下：

3）HR圖像預測.因為LR圖像包含重要的LR細節，基于邊緣指導的雙通道網絡主要恢復高頻成分，HR圖像重建過程依然需要LR圖像細節的輔助，因此最終HR圖像輸出是用Y-Ttαt替代后的LR平滑結構圖片Nl與HR紋理圖像輸出的和表示，即=Nl+l.

4）訓練.重構損失采用HR 圖像和HR邊緣紋理損失聯合訓練邊緣指導的雙通道輸入網絡結構，把高頻紋理特征的恢復應用到網絡訓練的誤差上，使恢復圖像更接近真實的HR圖像.

1.3 網絡訓練

2 實驗結果及分析

為了驗證本文提出的基于雙通道CNNSR算法的有效性，LR圖像先利用雙三次插值（Bicubic）得到初始HR大小的圖像，然后用A+算法[13]、ScSR算法[7]、SCN算法[14]、SRCNN算法[9]以及本文的算法SR重建得到的結果進行對比.實驗測試使用的仿真軟件為：Matlab R2016a，實驗的環境為GeForce GTX TITAN GPU，32 GB內存，Ubuntu操作系統.圖像效果用主觀效果和客觀效果評價，測試圖像選用Set5、Set14和BSD200.

1）模型細節：實驗過程中選取SRCNN實驗中使用的91幅圖像，采取高斯核模糊（δ=1.2），并雙三次插值下采樣得到訓練集.隨機裁剪大小為33×33的小塊，采用零均值，標準方差0.001（偏置項為0）的高斯分布初始化每一層的權重，權重衰減項0，動力0.9，采用Adam的策略，無dropout.作為后處理步驟，執行網絡的圖像輸出與LR圖像輸入的直方圖匹配提升感官效果；應用迭代的反向映射使HR圖像重建與LR圖像輸入保持退化算子一致性，提高圖像復原質量.

2）主觀效果：限于篇幅，僅給出紋理豐富、對本文算法非常敏感的測試圖像Butterfly的視覺結果.如圖3，是一個3倍放大的Butterfly，LR圖像是以因子為3下采樣原HR圖像得到的.可以看到：由于雙三次插值方法沒有考慮沿邊緣紋理插值，蝴蝶翅膀較大的內部支架紋理不豐富、偏模糊；ScSR，A+，SRCNN方法中蝴蝶的翅膀較大的內部支架和本文方法一樣較清晰，但由于沒有考慮高頻紋理的特征提取，翅膀的細小邊緣部分恢復比較模糊；本文的方法提取了更多的高頻紋理特征用于SR重建，并逐一恢復不同頻率的高頻細節，蝴蝶翅膀的細小邊緣細節恢復更加清晰.因此從主觀上來看，本文算法效果整體優于對比算法.

3）客觀效果：采用峰值信噪比（PSNR）進行對比.PSNR對重建圖像和原始圖像的誤差進行定量計算，值越大復原的效果越好.計算式（11）所示：

I和K分別表示原HR圖像和重構的HR圖像，尺寸為H×W.從表1、表2、表3中得出：不同放大因子，本文方法的PSNR均值都高于對比方法，當放大倍數為3時在Set5上平均PSNR值比SRCNN和SCN方法高出約0.4 dB.對于所有的測試圖像，本文的方法都勝出了其他方法.對于顯著邊和豐富紋理的Butterfly本文超出其他方法近1 dB.

3 結束語

本文提出了結合MCA分解的邊緣指導雙通道卷積神經網絡算法，LR邊緣紋理信息從原圖像中分離出來作為輸入特征的一部分，引導圖像的SR重建.采用最小化紋理損失與原圖像損失之和最優化網絡模型參數以確保訓練的平穩性，并執行直方圖匹配的后處理與LR圖像保持相同的色調和反差，提高圖像的感官效果.實驗結果表明，本文算法較好地恢復了一般圖像的邊緣和細節信息，尤其對細節比較豐富的圖像復原效果更加明顯.下一步工作是將傳統的超分辨率方法與基于深度學習的SR方法結合做進一步研究.

參考文獻

References

[1] Zhang L，Wu X L.An edge-guided image interpolation algorithm via directional filtering and data fusion[J].IEEE Transactions on Image Processing，2006，15（8）：2226-2238

[2] Rasti P，Demirel H，Anbarjafari G.Image resolution enhancement by using interpolation followed by iterative back projection[C]∥IEEE Signal Processing and Communications Applications Conference，2013，DOI：10.1109/SIU.2013.6531593

[3] Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications，2002，22（2）：56-65

[4] Chang H，Yeung D Y，Xiong Y M.Super-resolution through neighbor embedding[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004，DOI：10.1109/CVPR.2004.1315043

[5] Chan T M，Zhang J P，Pu J，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J].Pattern Recognition Letters，2009，30（5）：494-502

[6] Yang J C，Wright J，Huang T S，et al.Image super-resolution as sparse representation of raw image patches[C]∥IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8

[7] Yang J C，Wright J，Huang T S，et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing，2010，19（11）：2861-2873

[8] Jing G D，Shi Y H，Lu B.Single-image super-resolution based on decomposition and sparse representation[C]∥International Conference on Multimedia Communications，2011：127-130

[9] Dong C，Loy C C，He K，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307

[10] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C]∥International Conference on Neural Information Processing Systems，2012：1097-1105

[11] Bobin J，Starck J L，Fadili J M，et al.Morphological component analysis：An adaptive thresholding strategy[J].IEEE Transactions on Image Processing，2007，16（11）：2675-2681

[12] Starck J L，Elad M，Donoho D L.Image decomposition via the combination of sparse representations and a variational approach[J].IEEE Transactions on Image Processing，2005，14（10）：1570-1582

[13] Timofte R，De Smet V，Van Gool L.A+：Adjusted anchored neighborhood regression for fast super-resolution[C]∥Asian Conference on Computer Vision，2014：111-126

[14] Wang Z W，Liu D，Yang J C，et al.Deeply improved sparse coding for image super-resolution[J].arXiv e-print，2015，arXiv：1507.08905