簡化退化模型的真實圖像超分辨率網絡*

林旭鋒，吳麗君

(福州大學 物理與信息工程學院，福建 福州 350108

0 引言

單圖像超分辨率(Single Image Super-Resolution，SISR)旨在從低分辨率(Low Resolution，LR)圖像恢復高分辨率 (High Resolution，HR)圖像。在訓練SISR的網絡時，人們常使用二三次下采樣生成超分辨率數據集從而使網絡學習到相應的退化模型，進而恢復圖像高頻分量。但實際低質量圖像的形成有兩大主因：成像設備性能以及環境因素干擾，這與二三次下采樣生成的低質量圖像在退化模型上會有較大出入。

學者通過構造數據集，將真實的LR-HR數據集應用于超分辨率網絡的訓練，使超分網絡能更好地應用于真實的低分辨率圖像。例如利用不同的拍攝器材或調整參數構造LR-HR數據集[1-5]以及利用生成對抗模型生成更接近于真實場景的LR-HR數據集[6]。

如圖1所示，與利用二三次下采樣得到的數據集不同，真實世界低分辨率數據集的退化模型復雜度較高，并且不同的設備型號以及不同的參數設置均會導致退化模型發生變化。而利用二三次下采樣得到的數據集則具有較為固定的退化模型，僅在圖像的高頻分量產生退化，而低頻分量則與原圖近似。

在處理真實低質圖像的超分辨率問題中，真實世界超分辨率數據集發揮了核心作用。通過直接訓練方法，成功克服了超分辨率網絡在真實低質圖像應用上的局限，顯著提升了在真實低質數據集上的性能表現。例如Kong等人[3]提出對圖像區域分而治之的想法，對圖像內容分類成為平坦、角點以及邊緣三種區域利用網絡分開對待。通過不同頻率特征優化對真實圖像直接訓練的網絡的超分結果。然而，這種方法仍存在局限性，如受到增加處理支路影響，會消耗更多的計算資源并降低訓練速度。

近年，RealBasicVSR[7]提出大動作清洗(視頻預處理)模塊，主要負責解決真實低質視頻數據集中的動作較大導致的殘影問題。通過預清洗模塊對復雜退化模型進行簡化，在真實的低分辨率視頻數據集的上表現有明顯的提升。據不完全統計，暫時還沒有使用預處理模塊處理復雜的真實圖像退化模型的真實圖像超分辨率重建方法。

通過預處理模塊簡化真實LR復雜的退化模型，將增強后的圖片輸入超分網絡，實現真實圖像的超分辨率重建。相較于直接使用數據集進行超分辨率網絡訓練，利用預處理模塊來適應真實低質圖像由于模塊的參數較少，可以更快地通過訓練得到，從而增強原始超分辨率網絡的適應能力。此外，由于預處理模塊僅針對退化模型，可以適配所有基于二三次下采樣數據集訓練的超分辨率網絡。最后，通過將預處理模塊與超分辨率網絡進行多任務聯合訓練，可以進一步提升超分辨率效果。總的來說，預處理模塊由于模型參數小，訓練速度、模型收斂速度更快，更適用于實用環境。

因此，進一步研究如何優化預處理模塊以更好地適應真實世界的復雜退化模型，并提高訓練效率和計算資源的有效利用，對于推進圖像超分辨率技術的發展具有重要意義。針對預處理模塊，本研究取得了以下成果：首先，本文提出了一個預處理模塊的架構，該架構能夠有效地簡化真實世界低質圖像的退化模型；其次，本文利用超分網絡的輸出特征學習，進一步提升了預處理模塊的性能以及其與超分模塊的匹配度；最后，提出了預處理模塊與超分網絡在后續聯調中的多任務學習機制，這有助于進一步提高利用預處理模塊的超分網絡的性能指標。通過在真實數據集DrealSR[4]和真實低光照數據集RELLISUR[5]上進行實驗證明所提出架構和訓練策略的有效性。

1 退化模型預處理模塊架構

如圖2所示，本文采用密集塊[8](Dense Block)作為基礎架構模塊，密集塊的設計理念在于其能夠融合多層次的特征信息，進而形成更為平滑且準確的決策邊界。這種設計在很多深度學習任務中都被證明是行之有效的。預處理階段產生的圖像偽影不僅影響超分辨率網絡對圖像特定區域紋理的重構，還可能引入不必要的噪聲或誤差。利用密集塊平滑的決策邊界可以有效地避免引入額外的圖像偽影。

圖2 增加預處理模塊網絡基礎結構

為了進一步提升網絡深度并增強預處理模型的特征映射能力，本文在密集塊的基礎上引入殘差連接[9]。這種連接方式允許信息在層與層之間直接流動，從而增強了網絡的表示能力。這種新架構被命名為殘差致密塊(Residual Dense Block，RDB)。在加深RDB的深度時，ESRGAN[10]曾經指出批標準化層(Batch Normalization，BN)可能會導致架構輸出偽影紋理。考慮到這一點，移除基礎模塊中的所有BN層，以優化網絡的性能。

為了從輸入圖像中初步提取普通圖像特征，本文在網絡的起始部分增加了卷積層，這些層能夠有效地提取淺層特征。之后，在RDB堆疊后，再次增加卷積層，以整合特征信息。這種設計滿足了從前往后的殘差連接需求，從而更好地集合了不同尺度下的特征結構。最后，通過兩個卷積層對整合的特征進行映射，輸出預處理后的圖像。這個過程確保了預處理后的圖像不僅提高圖像質量，而且保留了原始圖像的重要細節和紋理。完整的網絡結構如圖2所示。

2 退化模型預處理模塊訓練和整體網絡優化

2.1 特征學習單模塊訓練

如圖3所示，本節的核心目標是利用真實世界超分辨率數據集訓練預處理模塊，使其能夠學習到二三次下采樣退化模型與真實退化模型之間的差異。

圖3 預處理模塊訓練模式

數據集準備：選用通過調整拍攝設備獲得的具有不同分辨率和質量真實世界超分辨率數據集作為訓練數據集。為了讓預處理模塊習得真實的退化模型，采用真實高質圖像進行二三次下采樣生成LR*，使用真實低質圖像作為LR。這種LR-LR*數據集為預處理模塊提供了關于圖像退化過程的信息。

預處理模塊訓練：通過使用LR-LR*數據集對預處理模塊進行訓練，使預處理模塊能夠學習到從低質圖像到高質圖像的映射關系。訓練過程中，超分辨率網絡不進行參數優化，這有助于減短整體訓練過程，并使預處理模塊適用于所有二三次下采樣數據集訓練得到的超分網絡。

特征學習與損失函數設計：為了使預處理模塊更好地適應超分辨率網絡，引入了特征損失的概念。通過特征學習，預處理模塊能夠更好地理解原始數據的底層結構，并從中提取出有用的特征。這種基于特征損失的設計使得預處理模塊能夠與超分辨率網絡緊密集成，從而提高整體性能。

根據所使用的超分辨率網絡類型的不同，預處理模塊會展現出不同的優化方式。本文中選用ESRGAN作為超分辨率網絡，利用其特征對預處理模型進行優化。實驗結果表明，優化后的預處理模型在結果中展現出與超分GAN網絡相似的特性，顯著提高了圖像的感知質量。這進一步證明了本文方法的有效性和適用性。

2.2 多任務模塊聯調優化

為了預處理模塊的快速訓練而對超分網絡進行的凍結處理存在由于超分網絡的訓練數據集與實際應用場景的不匹配問題。當需要進一步提高超分效果時，不能僅依賴單一模塊的優化。為了達到最佳的超分辨率效果，需要對整體網絡的超分模塊和預處理模塊進行更為細致的聯合調優。

本文中，將這種聯調方式通過式(1)進行表示。在式(1)中，IHR代表真實高分辨率圖像，ILR表示真實低質圖像，LOSStotal表示網絡的整體優化目標，LOSSpreprocessing{·}表示預處理模塊的優化目標，LOSSSRNet{·}表示超分模塊的優化目標。函數downsample4(·)表示以縮放因子為4的下采樣操作，而Preprocessing(·)則代表預處理模塊的映射函數。

LOSStotal=LOSSpreprocessing{ILR，downsample4(IHR)}+

LOSSSRNet{SRNet[Preprocessing(ILR)]，IHR}

(1)

值得注意的是，由于預處理模塊和超分模塊的優化目標可能存在差異，這可能導致在聯調過程中出現側重于某一模塊優化的現象。這種不均衡的優化可能導致聯調失敗，進而導致性能指標的下降。為了解決這一問題，本文提出了一種利用損失值來為多任務優化目標賦予自適應權重的策略。這種方法有效地平衡預處理模塊和超分模塊之間的權重，從而避免因過度側重某一模塊而導致聯調失敗的情況。優化后的表達式如式(2)所示，其中ABS(·)表示對損失值求絕對值。

(2)

通過這種方式能夠確保預處理模塊和超分模塊在聯調過程中的協同優化，從而提高整體網絡的超分辨率性能。并且根據實際需求下的性能要求，可以選擇是否需要進行聯合調優，避免計算資源的浪費。

3 實驗細節

3.1 數據集、指標和訓練細節

根據參考文獻，訓練網絡所選擇的數據集和測試集均為DrealSR[4]和RELLISUR[5]。在評價指標上，選擇了PSNR、SSIM和學習感知圖像塊相似度(Learned Perceptual Image Patch Similarity，LPIPS)作為評價指標。

網絡訓練所用平臺為Windows11，實驗在單張NVIDIA GeForce GTX 3070顯卡上完成。模型參數使用Adam算法優化，算法中參數設置為β1=0.9、β2=0.999。在學習策略方面，初始學習率設為1×10-4，將200K iterations設為一個周期，每經過200K 迭代學習率重置為1×10-4。

3.2 消融實驗

由于預處理模塊輸出的視覺圖像效果對最終的超分辨率重建質量具有顯著影響，本文以直觀的視覺圖像對比圖來評估預處理模塊的有效性。圖4展示了有無預處理模塊情況下二三次下采樣訓練得到的ESRGAN對真實低質的超分辨率重建結果。

圖4 預處理在真實圖像上的消融表現

在沒有預處理的情況下，ESRGAN在處理復雜的退化模型時表現出一定的局限性，難以有效去除圖像中的模糊效果。這表明，面對復雜的退化模型，單純的超分辨率網絡可能無法達到理想的重建效果。然而，通過引入預處理模塊，本文能夠顯著改善ESRGAN的超分辨率性能。預處理模塊有效地簡化了圖片中復雜的退化模型，為后續的超分辨率重建提供了更為清晰、準確的圖像信息。

3.3 算法對比

為了全面評估本文提出的預處理模塊在超分辨率重建方面的性能，本文將預處理模塊單模塊訓練后的超分網絡ESRGANpre以及聯調后的ESRGANpre*與近年來一些先進的圖像超分網絡進行了對比。

3.3.1 DrealSR

在本節中與ESRGAN[10]、CDC[4]、STCN[11]、OR-Net[12]進行對比。對比實驗中的數據均來自相關論文，以便于公正客觀地評估各方法的性能。

通過表2，可以看到預處理模塊的應用在不過量增加模型參數量的同時，在ESRGAN中顯著提高了最終超分結果的感知質量指標表現。由于預處理模塊學習的特征來源于超分GAN網絡，這導致在提高感知質量的同時，傳統指標值有所降低。

表2 指標對比

通過多任務學習后的整體網絡在不過度削弱結果感知質量的同時，大大提高傳統指標表現。這一發現進一步證實了聯調方法在平衡超分辨率重建的感知質量和傳統指標方面的有效性。

此外，本文還對模型的訓練時長進行數據對比，多個實驗均在同一配置情況下進行訓練，訓練過程中輸入圖像數據均為48×48大小。顯然，ESRGANpre與ESRGANpre*所需每次迭代的訓練時長小于利用真實圖像對直接對ESRGAN進行訓練，能更好地滿足快速匹配需求的要求。

為了直觀展示不同方法的超分辨率效果，本文提供了如圖5所示的對比圖。上圖顯示了ESRGANpre*與CDC在保持圖像結構方面的比較。可以看出，ESRGANpre*在強化圖像邊緣和紋理細節方面表現出色。下圖則展示了本文方法與CDC在恢復圖片上草塊的顏色與紋理方面的對比。通過對比可以明顯看出，本文方法能夠更好地還原原有圖像的質量。

圖5 主觀視覺效果對比圖

3.3.2 RELLISUR

為了驗證預處理模塊在其他真實退化模型的泛化能力，對比預處理模塊性能以及其單獨訓練策略的有效性，本文選擇同樣具有分網絡訓練的低光照超分辨率重建任務[5]，數據均來源于論文。

低光照圖像增強網絡與超分網絡分別訓練的策略，與單獨訓練預處理模塊的訓練策略進行對比，證明預處理模型及單獨訓練策略的有效性。

其中，MIRNet為低光照增強網絡，DBPN為超分網絡。MIRNet利用RELLISUR數據集中低光照圖像-×1圖像對優化，即將低光照圖像處理為真實低質圖像。DBPN和ESRGAN用RELLISUR數據集中×1-×4圖像對優化，即真實低質圖像到真實高質圖像的處理過程。

如表3所示，本文策略在該任務中在大幅減小模型大小的前提下，提高了SSIM和LPIPS指標的表現，PSNR也取得了較為先進的結果。如圖6所示，在視覺效果對比中，本文的方法在圖像亮度和邊緣的恢復效果上表現更好，并且去除了大量的圖像中的噪聲，有更好的視覺質量。

表3 低光照超分指標對比

圖6 低光照超分視覺效果對比圖

實驗結果說明預處理模塊能夠應對各種不同的真實情況下的退化模型，同時也證明了利用超分特征學習能使得預處理模型良好的匹配于雙三次下采樣數據集訓練得到超分網絡。

文獻[12]中指出，目前低光照超分暫時未有較好的解決方案，針對類似的圖像增強與超分相結合的底層視覺任務，在匹配速度(訓練速度)和精度上均有要求的實際場景中，本文提出了一個良好的思路。

4 結論

針對圖像超分辨率算法在處理真實世界低分辨率圖像時難以消除復雜退化模型的問題，本文提出了一種創新的預處理模塊，旨在優化超分辨率網絡的應用。通過結合真實圖像預處理模塊和多種訓練策略，本文成功地簡化了真實低分辨率圖像中的復雜退化模型。這一改進不僅提高了重建效果和感知質量，還有著快速訓練匹配任務的特點，為真實世界單低質圖像超分辨率領域提供了新的思路和方法。