基于稀疏神經網絡的圖像超分辨率重建算法

黎浩民，李光平

（廣東工業大學信息工程學院，廣州 510000）

0 概述

單幀圖像超分辨率（Single Image Super-Resolution，SISR）重建是指通過特定的算法模型對丟失高頻特征信息的低分辨率圖像重建出一張清晰的高分辨率圖像。近年來，SISR 技術被廣泛應用于移動端設備的視覺成像、監控成像、遙感衛星成像、醫學成像等多個領域。

現有SISR 重建算法主要分為基于插值和基于深度學習兩類。基于插值的重建算法計算復雜度較低，重建速度較快，其依據低分辨率圖像的已知特征信息和空間的維度相關性在合適的位置插入若干像素點來提高低分辨率圖像的分辨率。由于此類算法主要是通過簡單地評估相鄰像素點之間的相關性來擴充低分辨率圖像的特征信息，因此在重建的過程中難以獲取真實圖像的高頻信息，導致高分辨率圖像丟失細節特征，并且成像視覺效果較差。基于深度學習的重建算法主要通過神經網絡模型學習低分辨率圖像與對應高分辨率圖像之間的映射關系，利用這個映射關系的先驗知識將低分辨率圖像映射為高質量的高分辨率圖像。文獻［1-3］研究表明，基于深度學習的算法比基于插值的算法具有更強大的重建性能，能夠顯著提高重建圖像的質量。

在基于深度學習的重建算法中，特征表達能力強的網絡層能夠更有效地學習圖像的特征表示，捕獲更細粒度和豐富的細節特征。部分基于深度學習的SISR 重建算法［3-4］通過使用更深的網絡層和更復雜的連接方式來提高網絡模型的整體特征表達能力，進而提升重建性能。雖然在一定程度上通過擴大網絡層的深度和復雜的連接方式能夠增強網絡層的整體特征表達能力，但是過度依賴于這種方式會導致網絡模型中的參數量和計算復雜度急劇上升。在神經網絡中，參數量代表了網絡模型的規模，而計算復雜度代表了網絡模型前向推理的效率。從實際應用的意義上來說，網絡模型的規模和超分辨率圖像的重建速度會限制SISR 網絡模型在現實場景中的應用。文獻［5］指出，舍棄深度網絡層中冗余的參數不僅能夠減小網絡模型過參數化所帶來的消極影響，而且還能提高特征表達的穩定性。

神經網絡的剪枝算法通過舍棄部分參數的方式來減少網絡模型的參數量。現有剪枝算法主要可分為結構化剪枝算法和非結構化剪枝算法兩大類。結構化剪枝算法通過舍棄網絡層中部分的通道達到減少參數量的效果。由于這種方式是在網絡結構上做出的調整，因此原來的網絡結構會發生改變。非結構化剪枝算法通過將網絡層中部分參數歸零的方式來舍棄部分參數，因此，不會改變原來的網絡結構。文獻［6-7］將結構化剪枝算法應用到圖像超分辨率網絡模型中，在確保重建性能的情況下，最大化地輕量化網絡模型的規模，以部署到實際應用場景中。

文獻［8］提出神經網絡的非結構化剪枝算法LTH。算法的設計思想是將一個復雜的神經網絡視作一個獎池，而中獎彩票則是一組權重參數所對應的稀疏子網絡。實驗結果表明，LTH 算法通過搜索最優的稀疏子網絡，在圖像分類任務上取得了顯著的效果，但應用在圖像超分辨率任務上卻效果較差。

LTH 算法采用非均衡的特征學習策略，只注重于網絡模型的稀疏程度，而忽視了特征表達的多樣性。為進一步提高圖像重建性能，本文結合圖像超分辨率重建任務的特點，在LTH 算法的基礎上提出一種基于均衡學習策略的動態非結構化剪枝算法RLTH。該算法在保證網絡模型稀疏性的同時還注重權重參數學習的多樣性，能夠解決圖像超分辨率重建任務中網絡模型過參數化導致重建性能下降的問題，并在不改變網絡結構和不增加計算復雜度的前提下提高重建超分辨率圖像的質量。

1 相關工作

1.1 基于深度學習的單幀圖像超分辨率重建算法

文獻［9］提出SRCNN 模型，通過三層CNN 分別實現低分辨率圖像的特征提取、特征的非線性映射和高分辨率圖像的重建過程。相對于傳統基于插值的圖像超分辨率重建算法，SRCNN 重建的高分辨率圖像具有更豐富的細節特征，且圖像的輪廓清晰可見。文獻［10］提出DRN 網絡模型，通過訓練低分辨率圖像與高分辨率圖像之間的對偶映射關系，并利用閉環的映射關系來降低低分辨率圖像對高分辨率圖像的依賴性，進而解決真實樣本的超分辨率問題。文獻［11］提出RFANet 網絡模型，利用殘差模塊和增強空間注意力模塊的有效特征提取能力，將它們整合為殘差特征聚合框架，從而提高超分辨率圖像的質量。文獻［12］提出的TTSR 網絡模型是一種可學習的紋理提取器，其通過訓練來獲取最適合超分辨率重建的紋理信息，為紋理遷移和紋理合成提供豐富的紋理基礎信息，最終生成高質量的超分辨率圖像。

現有的SISR 重建算法中大部分通過設計較深的網絡結構和使用復雜的網絡連接策略來增強特征提取能力，以利用有效的特征提取能力從低分辨率圖像中學習和捕獲豐富的紋理特征，進而獲得高質量的超分辨率圖像。但是，這種過量擴大網絡深度和使用復雜的連接方式會導致網絡模型的大小和計算復雜度急劇上升。

1.2 神經網絡的非結構化剪枝算法

神經網絡的非結構化剪枝算法［13-15］通過將某些參數歸零的方式來獲得稀疏子網絡，一般地，神經網絡的稀疏性可以提高特征選擇和泛化的能力。一方面，一些研究者通過探索有效的非結構剪枝方式去獲得稀疏子網絡，如利用不同的正則化技術或設計可行的剪枝策略。文獻［13-14，16］所提出的方法是通過利用L2 正則化技術優化基于卷積神經網絡（Convolutional Neural Network，CNN）的模型來獲得稀疏子網絡。文獻［15］通過L0 正則化技術來獲得稀疏子網絡。文獻［17］通過聯合正則化技術和參數的敏感度評估來實現剪枝的過程。不同于上述利用正則化技術的方法，文獻［8］通過迭代的動態剪枝過程將不重要的參數歸零來搜索最優的稀疏子網絡。另一方面，一些研究者把注意力放在了非結構化剪枝方法所帶來的效率問題上，并探索如何將這種效率落實到硬件設備上。文獻［18］探索了在CNN 模型中找到平衡的稀疏度并在硬件設備上加速神經網絡的推理過程。文獻［19］通過對網絡參數的評估來實現參數的剪枝和復原過程，并嘗試最大化地壓縮基于密集神經網絡（Dense Neural Network，DNN）或CNN 的模型來加速訓練的過程。此外，文獻［13］將稀疏網絡部署到單獨設計的硬件設備上，獲得了非常高的加速效率。

2 均衡學習的動態非結構化剪枝算法

2.1 LTH 剪枝算法

神經網絡的非結構化剪枝算法處理的對象是網絡層中的權重參數，其目的是剪掉網絡層中冗余的或者對網絡模型最終輸出結果幾乎不產生影響的權重參數。因此，這種剪枝算法只是在網絡層的權重參數層面進行處理，而不會影響整個網絡模型的具體結構。LTH 算法通過迭代訓練的方式在每輪迭代中將無意義的權重參數歸零來實現剪枝的過程，從而進一步搜索最優的稀疏子網絡。具體地，LTH 算法是通過比較權重參數和閾值的大小關系來判斷網絡層中的一個權重參數是否是具有意義的。當權重參數的值小于閾值，則認為該權重參數是無意義或者冗余的，否則認為該權重參數是具有學習潛力和有意義的。閾值λ是一個動態的值，其計算公式為：

其中：Wt表示經過t次迭代后任意一層網絡層中的權重參數；frank是一個將Wt進行遞增排序的函數；F是一個計算有序權重參數的第p百分位數的函數。對于將權重參數歸零的剪枝過程，LTH 算法通過使用掩碼m與相應的Wt對應位置上的元素相乘來實現。掩碼m的定義可以表示為：

其中：i、j和k表示一個張量中的元素索引。從式（2）中可以看出，當低于動態閾值λ時，在掩碼m對應的索引位置上將元素的值設置為0，否則將元素的值設置為1。通過這種方式，在每輪的迭代剪枝中舍棄無意義的權重參數，而保留具有潛力的權重參數去學習數據的特征表示。網絡層中權重參數的歸零處理可以被表示為：

其中：W0是網絡層進行隨機初始化時的權重參數；⊙運算符表示2 個張量之間相同位置上的元素相乘。通過式（3），在每輪迭代剪枝中使用網絡層初始化時的權重參數W0來初始化本次迭代的權重參數，并將其作為模型微調的初始狀態。雖然LTH 算法在圖像分類任務上通過搜索最優的稀疏子網絡獲得了突出的性能表現，但是在圖像超分辨率重建任務上卻不能獲得較好的效果。

2.2 RLTH 剪枝算法

本文在LTH 算法的基礎上改變權重參數的非均衡學習策略，提出一個基于均衡學習策略的非結構化剪枝算法RLTH。通過在訓練的過程中監聽網絡層權重參數的變化過程，將參數值落入局部小范圍內的權重參數加入到凍結隊列中。權重參數一旦加入到凍結隊列，將在本次迭代中保持當前的值，不再對參數進行更新。換言之，當權重參數在訓練的過程中變成一個極小的值，則其對輸出特征圖所產生的影響是微乎其微的。因此，對于這類權重參數，可以選擇不再對其進行參數的更新，而將特征學習的側重點放在有潛力的權重參數上。在具體實現時，本文通過控制權重參數在訓練過程中所產生的梯度來實現，其中梯度的控制可以表示為：

其中：Lloss是損失函數是網絡層中相應索引位置上權重參數的梯度值；EPS 是一個固定的正數閾值。在訓練的過程中，本文將絕對值大小在閾值范圍內的權重參數的梯度歸零，限制它們在微調訓練的過程中學習特征的表達。最終，Wt的參數優化過程可以表示為：

其中：α是參數優化的學習率。通過這種均衡的學習方式，本文所提出的RLTH 算法在滿足特征多樣性的前提下使網絡層的權重參數能夠最大化地學習到圖像的特征信息。相對而言，雖然LTH 算法通過非均衡的學習策略能夠實現網絡層最大化的稀疏程度，但其忽略了負數階的權重參數在特征多樣性的學習中所占的比重。對于圖像超分辨率重建任務而言，特征多樣性的學習扮演了最重要的角色。算法1描述了RLTH 算法的過程，其中：T表示迭代剪枝的次數；E表示訓練的迭代次數；D表示訓練數據集。

算法1RLTH 算法

2.3 基于RLTH 剪枝算法的MSRResNet 網絡模型

本文所使用的網絡模型MSRResNet［6］整體框架如圖1 所示。

圖1 MSRResNet 網絡模型框架Fig.1 Framework of MSRResNet network model

低分辨率圖像ILR作為該端到端網絡模型的輸入，首先經過卷積層的特征提取過程，可以表示為：

其中：Cextract是實現特征提取的卷積神經網絡；Ifea是卷積神經網絡對低分辨率圖像ILR所提取到的特征圖。然后，特征圖Ifea經過深度網絡模塊的非線性映射過程，可以表示為：

其中：Cdeep是實現特征的非線性映射的卷積神經網絡；Ideep是特征圖Ifea經過深度網絡模塊的非線性映射后得到的深度特征圖。最后，Ideep在經過上采樣和特征融合過程后重建為超分辨率圖像，該過程可以表示為：

其中：Cup是實現上采樣的卷積神經網絡；Cmerge是實現特征融合的卷積神經網絡；IHR是最終重建的超分辨率圖像。

圖1 所示的網絡層可以分為兩類，一類是由獨立的卷積層作為特征學習的模塊，另一類是由多層深度的卷積層通過復雜的連接策略所構成的Basic Block 網絡模塊。其中，Basic Block 網絡模塊是一個可擴展和替換的特征學習網絡模塊。值得注意的是，本文只是對網絡模型中參數量占主導地位的Basic Block 網絡模塊應用RLTH 算法，利用該算法的迭代剪枝方式和均衡的學習策略去搜索最優的稀疏子網絡，具體流程如圖2 所示。通過這種方式，可以舍棄Basic Block 網絡模塊中冗余的參數，把特征學習的側重點放在有潛力的權重參數上，避免冗余的參數所帶來的消極影響。

圖2 RLTH 算法搜索稀疏子網絡的過程Fig.2 The process of RLTH algorithm searching for sparse sub-networks

3 實驗結果與分析

3.1 數據集與實驗參數

為了與之前的SISR 研究工作保持一致，本文采用DIV2K［20］的800 幅訓練圖像進行訓練。在開始訓練之前，對訓練數據集進行旋轉和翻轉的數據增強預處理。值得注意的是，輸入模型的訓練圖像是從一張高分辨率圖像上隨機裁剪得到的96×96×3 大小的子圖像。為保證測試的可靠性，本文選擇Set5［21］、Set14［22］和BSD100［23］測試數據集進行實 驗。同 時，使用MSRA［24］對網絡的參數進行初始化，采用Adam［25］優化器進行優化，初始學習率設置為10-4。Adam 優化器的初始參數為：β1=0.9，β2=0.999，ε=10-9。此外，用于優化網絡模型采用的是均方誤差（Mean Square Error，MSE）損失函數。

3.2 結果分析

本文在不同的測試集上對分別應用LTH 算法和RLTH算法的MSRResNet［6］網絡模型進行 性能比較。為了保證比較的公平性，對比模型采用作者提供的官網代碼，并在實驗中使用作者設定的默認參數。對于圖像質量的客觀評估標準，本文采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似度指數（Structural Similarity，SSIM）評估重建的超分辨率圖像質量。在實驗中，分析通過LTH 算法和RLTH 算法的剪枝過程后網絡模型在不同稀疏百分比情況下的重建性能，并進一步分析RLTH 算法在不同的剪枝率條件下的重建性能。除此之外，還比較重建超分辨率圖像的運行時間和模型的大小，以及超分辨率圖像的視覺效果。

3.2.1 客觀評價標準分析

對比各個模型在Set5、Set14 和BSD100 測試集上的平均PSNR 和SSIM，如表1 和表2 所示，其中最優結果通過字體加粗的方式表示。表1 列出了不同的網絡模型所重建的4 倍超分辨率圖像在RGB 通道上的平均PSNR 和SSIM。可以看出：應用本文所提出的RLTH 算法在不同的測試集上的平均PSNR 和SSIM 都是最高的；與應用LTH 算法相比，應用RLTH算法在Set5 測試集上平均PSNR 和SSIM 分別提高0.65 dB 和0.009 7，在Set14 測試集上分別提高0.48 dB 和0.011 5，而在BSD100 測試集上分別提高0.37 dB 和0.011 6；與原始模型相比，應用RLTH 算法在Set5、Set14 和BSD100 測試集上分別提高0.1 dB和0.002 1、0.07 dB 和0.000 7、0.08 dB 和0.001。表2列出了重建的4 倍超分辨率圖像在Y通道上的平均PSNR 和SSIM。可以看出：應用RLTH 算法的網絡模型在不同的測試集上表現最好。

表1 在Set5、Set14和BSD100測試集上的性能評估（RGB通道）Table 1 Performance evaluation on the Set5，Set14 and BSD100 test set（sRGB channel）

表2 在Set5、Set14 和BSD100 測試集上的性能評估（Y 通道）Table 2 Performance evaluation on Set5，Set14 and BSD100 test set（sY channel）

本文在Set5 測試集上對比通過LTH 算法和RLTH 算法的剪枝過程后，網絡模型在不同的稀疏百分比情況下的重建性能，如圖3 所示。可以看出，應用RLTH 算法的網絡模型總體上是先逐漸上升而隨后逐漸下降的，并在稀疏百分比為7.95%時獲得了最優的平均PSNR。雖然應用LTH 算法的網絡模型總體上與應用RLTH 算法的趨勢相似，但是由于該算法采用不平衡的學習策略而忽視了權重參數學習的多樣性，導致在圖像超分辨率任務上效果較差。相對而言，本文所提出的RLTH 算法在保證網絡模型的稀疏性的前提下，同時能夠確保權重參數學習的多樣性。因此，網絡模型在應用RLTH 算法之后，重建的性能得到了明顯的提高。

圖3 不同稀疏百分比下的PSNR 比較Fig.3 Comparison of PSNR under different sparsity percent

在Set5 測試集上進一步分析剪枝率對應用RLTH 算法的網絡模型所產生的影響，如圖4 所示。可以看出，網絡模型在采用較小剪枝率的條件下獲得了較高的平均PSNR，而采用較大的剪枝率反而效果較差。實驗結果表明，網絡模型搜索最優的稀疏子網絡是一個漸進搜索和微調的過程，不能采用大范圍的搜索方式。

圖4 不同剪枝率下的PSNR 比較Fig.4 Comparison of PSNR under different pruning percent

3.2.2 主觀評價標準分析

對重建的4 倍超分辨率圖像進行視覺效果比較，如 圖5和圖6所示，相 關PSNR 和SSIM 指標如表3 所示。可以看出，應用RLTH 算法的網絡模型所重建的超分辨率圖像擁有更豐富的細節特征，并且內容的輪廓更清晰。在圖5 中，應用RLTH 算法的模型所重建的Butterfly 圖像在翅膀上的斑點更清晰，并且擁有更多的細節特征。在圖6 中，應用RLTH 算法的模型所重建的Woman 圖像在整體和局部的輪廓上更清晰，而原始模型所重建的圖像在局部細節上相對比較模糊。

圖5 Butterfly 重建圖像的視覺效果比較Fig.5 Comparison of visual quality of the reconstructed Butterfly image

圖6 Woman 重建圖像的視覺效果比較Fig.6 Comparison of visual quality of the reconstructed Woman image

表3 Butterfly 與Woman 重建圖像性能指標Table 3 Performance index for reconstructed Butterfly and Woman images

3.2.3 運行效率分析

在Set5 測試集上比較重建4 倍超分辨率圖像所消耗的時間，如表4 所示。為了保證比較的公平性，本文在同一個平臺環境（Inter Core i5 10600+NVIDIA GTX2060 Super）中對網絡模型進行測試。可以看出，應用RLTH 算法的網絡模型與原始模型在重建超分辨率圖像時所消耗的時間基本一致。同時，網絡模型的大小也是保持一致的。由于RLTH算法的剪枝過程只是在訓練階段通過剪枝評估策略對權重參數進行評估，并將被評估為冗余的權重參數置為零，因此這種非結構化的剪枝方式僅僅改變的是網絡層中權重參數的大小，并不會改變網絡模型的整體結構。此外，RLTH 算法在訓練階段實則是起到一個指導訓練的作用，而并非是一個具體的網絡層模塊。因此，應用RLTH 算法的模型與原始模型的大小是一致的，并不會增加網絡模型的參數量，模型大小均為5.8 MB。

表4 重建高分辨率圖像所消耗的時間Table 4 Time consuming for high-resolution images reconstruction ms

4 結束語

本文基于LTH 算法提出適用于圖像超分辨率重建任務的動態非結構化剪枝算法RLTH，在保證網絡模型稀疏性的同時，通過均衡的學習策略來確保權重參數學習特征的多樣性。實驗結果表明，在不改變網絡結構和不增加計算復雜度的前提下，RLTH 剪枝算法應用在SISR 網絡模型上能夠明顯提高重建的超分辨率圖像質量。后續將在圖像超分辨率重建任務中應用神經網絡的結構化剪枝算法，使圖像質量和效率得到進一步提升。