基于UNET模型的圖像去噪算法優化研究

摘要：文中運用了卷積神經網絡結合照亮每一處黑暗（Lighting Every Darkness，LED） 策略處理圖像去噪，基于U-Net模型引入了重新參數化噪聲去除模塊（Reparameterized Noise Removal，RepNR） ，以提升去噪及泛化能力。經過虛擬相機采樣合成噪聲圖像預訓練與目標相機少量圖像微調后，系統可快速部署于特定相機中。經仿真試驗驗證，對極低光照條件下的索尼A7S2圖像集進行圖像去噪任務（Extreme Low-light Denoising，ELD） 處理后，結果顯示本文算法的去噪效果優于ELD算法，圖像灰度更集中、頻譜高頻成分更少、等高線更平滑，且在特定條件下訓練時間最短。

關鍵詞：圖像去噪；U-Net模型；噪聲建模；深度學習

中圖分類號：TP391" " 文獻標識碼：A

文章編號：1009-3044（2025）07-0001-05

開放科學（資源服務） 標識碼（OSID）

0 引言

基于學習的圖像去噪方法雖在使用成對真實數據集時取得進展[1]，但為各相機型號定制廣泛的真實原始圖像格式（Raw Image Format，RAW） 圖像數據集不切實際，因其獲取成本高。這促使人們使用合成數據集，但用合成數據訓練的去噪方法處理真實照片性能差，急需找到縮小二者差距的途徑。探索合成數據集與真實圖像去噪的結合，有助于深入理解噪聲特性和去噪算法。通過研究可把握其物理規律與統計特性，為算法設計提供堅實理論基礎，為圖像去噪算法的發展帶來新方向和思路，推動算法不斷進步。

在消除合成圖像與真實照片領域差距方面，Linh Duy Tran等人[2]提出使用生成對抗網絡（Generative Adversarial Network，GAN） 來模擬真實噪聲模式；Yoonsik Kim等人[3]通過遷移學習將大規模合成圖像數據集上訓練好的模型遷移到真實圖像數據集上進行微調。在基于校準的噪聲合成方法方面，Kaixuan Wei等人[4]通過深入研究光照條件、傳感器特性等物理因素構建精確噪聲模型，提高了算法對真實噪聲的處理能力。Jin X等人[5]摒棄了傳統基于顯式校準的噪聲模型，通過虛擬相機預訓練和目標相機少量樣本微調的兩階段方法，顯著提升了算法在不同相機模型上的適應性和去噪效率。Feng H等人[6]從數據視角出發，利用噪聲建模來改造真實配對數據，使其能夠提供可學習性更好的數據映射供神經網絡學習，提升去噪效果。

本文采用了卷積神經網絡，首先使用了LED策略[5]對圖像去噪過程進行了處理，在預訓練時采用LED策略，選用五個虛擬相機進行訓練，而在微調部署階段，以新視角看待數據映射關系，降低噪聲復雜度。其次，通過將LED與用于降噪的成對數據建模（Pairwise Data Modeling for Noise Reduction，PMN） 的訓練策略[6]相結合，降低了部署階段的實驗時間。同時，改變部署階段迭代次數后，在使用PMN訓練策略時，即使迭代次數很大也不影響模型學習數據特征。這不僅為圖像去噪算法的發展提供了新的思路和方法，還切實解決了部署階段實驗時間長以及迭代次數對模型學習數據特征影響的問題。

1 算法設計原理

文中所提核心算法是基于U型網絡架構（U-Net： Convolutional Networks for Biomedical Image Segmentation，U-Net） 模型的圖像去噪方法，該算法框架如圖1所示。

整個算法流程分為4個關鍵階段：1） 對一組m臺虛擬攝像機進行采樣，后期負責合成噪聲；2） 利用m個相機特定對齊參數（Camera-Specific Alignment，CSA） 合成配對圖像，并對去噪網絡進行預訓練；3） 利用目標相機獲取有限數量的真實噪聲圖像對；4） 利用真實噪聲數據對預訓練的去噪網絡進行微調，使網絡適應目標攝像機的特點。

1.1 噪聲模塊設計原理

所提算法中的傳感器模型采用的是目前占主導地位的互補金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor，CMOS） 傳感器模型。該模型模擬了入射光從光子轉換為電子，再從電子轉換為電壓，最后從電壓轉換為數字的噪聲電子成像管道[7]。CMOS傳感器簡化成像模型如圖2所示。

在原始圖像空間中，通常將捕獲的信號D視為干凈圖像I與各種噪聲分量N的和，表示為[Eqn]：

[D=I+N] （1）

式中：D為捕獲的信號，I為干凈圖像，N為噪聲分量。

假設N遵循噪聲模型：

[N=Ndark+Nread+Nrow+Nquant+ε] （2）

式中：[Ndark]、[Nread]、[Nrow]、[Nquant]和[ε]分別代表暗電流噪聲、讀取噪聲、行噪聲、量化噪聲和模型外噪聲。

除模型外噪聲外，其他噪聲分量從特定分布中采樣：

[Ndark+I～P1KK] （3）

[Nread～Tλ;μc，σT] （4）

[Nrow～N0，σT] （5）

[Nquant～U-12，12] （6）

式中：K為系統總體增益，P、N和U分別代表泊松分布、高斯分布和均勻分布。[Tλ;μc，σT]為Tukey-lambda分布，形狀為[λ]，均值為[μ]，標準差為[σ]。

根據ELD中的假設[4]，[K，σT]和[K，σr]的聯合分布服從線性關系，表示為：

[logK～UlogKmin，logKmax] （7）

[logσTlogK～NaTlogK+bT，σT] （8）

[logσrlogK～NarlogK+br，σr] （9）

式中：[Kmin]、[Kmax]表示整個系統增益的范圍，由最小和最大感光度（International Standards Organization，簡稱ISO值） 決定。a、b和[σ]分別表示線的斜率、偏置和標準差的無偏估計量。

在這種情況下，相機可以近似為一個十維坐標C：

[C=Kmin，Kmax，λ，μc，aT，bT，σT，ar，br，σr] （10）

所提算法中的數據構成的參數空間進行采樣后得到坐標C，如公式（10） 所示。

1.2 訓練策略

可學習性增強框架如圖3所示。本算法的訓練策略包含散點噪聲增強（Shot Noise Augmentation，SNA） 和暗陰影校正（Dark Shading Correction，DSC） 兩種有效技術。SNA通過增加數據量提高數據映射精度，而DSC通過降低噪聲復雜度來降低數據映射的復雜度。

SNA是針對散粒噪聲的數據增強方法，通過增加散粒噪聲不斷合成新的無噪聲數據對，以增加有限的數據量。DSC是對讀噪聲的解耦，先校準時間穩定分量（暗陰影） ，再在校正后的成對真實數據中降低噪聲復雜度。SNA和DSC都不改變噪聲模型，可在不破壞真實噪聲分布的情況下增強映射的可學習性。

訓練時，先用DSC校正噪聲原始圖像中的暗陰影，再通過SNA對干凈圖像和噪聲圖像進行增強，得到新的數據對。最后，用增強的噪聲圖像和增強的干凈圖像訓練具有U-Net結構的去噪器。推理時，使用訓練好的去噪模型對暗陰影校正后的噪聲圖像進行去噪。

1.3 基于U-Net模型的圖像去噪

U-Net網絡架構圖如圖4所示，從其架構圖上可以明顯看出其兩大特點：第一，U-Net網絡呈現出對稱的“編碼器-解碼器”架構；第二，在編碼器和解碼器之間，存在著直接相連的跳躍連接。

正是因為其架構上的顯著特點，U-Net網絡模型可以同時捕捉圖像的全局信息（通過編碼器） 和局部細節信息（通過解碼器） ，并且解碼器可以獲取到編碼器中豐富的低級特征信息，這有助于在恢復圖像細節時保留更多的原始信息，避免在處理過程中丟失重要的圖像細節。U-Net的架構相對簡潔，在保證性能的同時，計算效率較高。與一些更為復雜的網絡架構相比，U-Net的參數數量相對較少，計算復雜度較低，這使得它在訓練和推理過程中都能夠更快地運行。這也是本文算法選擇U-Net網絡模型作為改進基礎的原因。

基于U-Net模型的圖像去噪算法，首先構造了U-Net網絡架構，并在其架構上引入了重新參數化噪聲去除模塊（RepNR） 。在U-Net網絡架構中，RepNR模塊取代了原有的卷積塊，成為新的核心處理單元，這樣的操作不會產生額外的成本[8]，也有利于后續與其他方法進行比較。該模塊在預訓練階段和微調階段采用了不同的優化策略。

針對不同階段對RepNR塊引入了不同的優化策略。為了處理真實噪聲，用一個新的相機特定對齊（Camera-Specific Alignment，CSA） 層代替多分支CSA層，表示為CSAT。與預訓練期間的多分支CSA不同，CSAT層通過平均預訓練的CSA來初始化，以提高泛化能力。CSAT之后的3×3卷積分支即為模型內噪聲去除分支（In-Model Noise Removal，IMNR） 。

CSA層是專門為對齊由合成噪聲增強的特征而設計的，但在真實噪聲和IMNR可以處理的噪聲（即公式中的ε） 之間仍然存在差距。因此，引入模型外噪聲去除分支（Out-of-Model Noise Removal，OMNR） ，以衡量真實噪聲與建模分量之間的差距。

OMNR僅包含一個3×3卷積，旨在從少量原始圖像對中捕獲真實噪聲的結構特征。鑒于缺乏噪聲余項的先驗信息，將OMNR的權重和偏置初始化為張量0。將IMNR與OMNR結合可得到RepNR塊。

CSAT的初始化策略和再參數化過程說明如圖5所示。其中圖5（a）為預訓練期間的RepNR模塊；圖5（b）為參數共享塊，將RepNR塊看作是m個參數共享塊，每個塊對應一個特定的虛擬攝像機；圖5（c）為CSAT生成，通過平均預訓練的CSA來初始化CSAT，這可以被認為是模型集成；圖5（d）為再參數化過程，將部署期間的參數重新更新，代表重新參數化。

CSAT初始化分析如上所述，通過在多分支CSA層中平均預訓練的CSA來初始化CSAT。考慮到在多分支CSA中，每條路徑都共享卷積，這個初始化可以被定義為m個模型的集合，其中m為路徑的個數，如圖5中的（a）～（c）所示。

與其他同類型的去噪網絡類似[9]，本算法使用了L1損失。對于圖像去噪任務，L1損失（平均絕對誤差，MAE） 能夠有效地衡量去噪后圖像與原始干凈圖像之間的差異。它關注的是像素值的絕對差異，這與人類視覺系統對圖像質量的感知有一定的相關性。

L1損失的優點在于它對異常值相對不那么敏感，相比于其他一些損失函數，在處理數據中的離群點時能更穩健地反映模型預測與真實值之間的偏差。計算方式簡單直觀，就是預測值與真實值之差的絕對值的平均值，易于理解和實現。

2 仿真試驗

2.1 試驗參數

試驗數據分別來自SID（See in the Dark） 項目[10]與ELD項目的公開數據。SID數據集中分別有大小為12GB的Sony A7S2清晰-噪聲圖像對與22GB富士清晰-噪聲圖像對，ELD的公開數據集中含有Canon EOS 70D、Canon EOS 700D、Nikon D850、Sony A7S2四款相機的圖像。

在訓練時，采用SID的索尼數據集的子集進行訓練，隨機選擇每個額外數字增益（×100、×250和×300） 下的兩對數據，共6對作為少樣本訓練數據集。測試時則使用ELD數據集中的數據進行測試，使用前兩個場景的配對原始圖像對預訓練網絡進行微調，剩余八個場景用于評估，即微調集與測試集的比例約為1∶4。將使用的所有數據全部轉化為與SID數據集同樣的格式后進行裁剪，裁剪成長度和寬度均為512像素、步長為256像素的非重疊圖像塊，通過這種方式增加了每個epoch的迭代次數（從161次增加到1 288次） 。本文算法各階段的詳細迭代次數與學習率如表1所示。

試驗訓練環境：內存：16GB；CPU：Intel（R） Core（TM） i7-9750H CPU @ 2.60GHz；GPU：NVIDIA GeForce GTX 1650。

模型部署環境：AutoDL算力云；內存：120GB；CPU：16 vCPU Intel（R） Xeon（R） Platinum 8352V CPU @ 2.10GHz；GPU：RTX 4090 （24GB） × 1。

編碼環境：Python版本：3.8（Ubuntu 20.04） ；鏡像框架名稱：Miniconda；鏡像框架版本：conda3；CUDA版本：11.8。

2.3 試驗結果

表2列出了不同策略下測試圖像集的去噪效果對比。其中去噪算法分別采用了經典的U-Net算法與NAFNAT算法，在策略上分別采用了ELD文獻與PMN文獻的相關策略，測試圖像集為ELD文獻中的Sony A7S2拍攝的圖像集。

表2中測試圖像集的定義如下所示。

測試圖像集1：短曝光與長曝光的圖像對曝光時長比例為1∶1，例如相同場景下短曝光時長為400 s的圖像與長曝光時長為400s的圖像為一對。

測試圖像集10：短曝光與長曝光的圖像對曝光時長比例為1∶10，例如相同場景下短曝光時長為40 s的圖像與長曝光時長為400s的圖像為一對。

測試圖像集100：短曝光與長曝光的圖像對曝光時長比例為1∶100，例如相同場景下短曝光時長為4 s的圖像與長曝光時長為400s的圖像為一對。

測試圖像集200：短曝光與長曝光的圖像對曝光時長比例為1∶200，例如相同場景下短曝光時長為2 s的圖像與長曝光時長為400s的圖像為一對。

由表2中的結果可見，選擇U-Net網絡模型以及ELD的訓練策略時，模型訓練時間最短，各測試集的指標也是最好的。

圖6展示了不同算法處理后的效果圖，圖6（a）為原始噪聲圖像的原圖，圖6（b）為通過ELD算法處理后的效果圖，圖6（c）為通過本文算法的預訓練模塊處理后的效果圖，圖6（d）為通過本文完整算法處理后的效果圖。

由圖6中的各類效果圖可見，通過本文完整算法處理后的效果圖是最為清晰且無噪的。

圖7（a）為原始噪聲圖像的灰度直方圖，圖7（b）為通過ELD算法處理后的灰度直方圖，圖7（c）為通過本文算法的預訓練模塊處理后的灰度直方圖，圖7（d）為通過本文完整算法處理后的灰度直方圖。

圖8（a）為原始噪聲圖像的頻譜圖，圖8（b）為通過ELD算法后出來的頻譜圖，圖8（c）為通過本文算法預訓練模塊后的頻譜圖，圖8（d）為通過本文完整算法后的頻譜圖。

圖9（a）為原始噪聲圖像的等高線圖，圖9（b）為通過ELD算法處理后的等高線圖，圖9（c）為通過本文算法的預訓練模塊處理后的等高線圖，圖9（d）為通過本文完整算法處理后的等高線圖。

通過多維度分析對比本文算法與ELD算法的去噪效果可知，在灰度直方圖方面，原始噪聲圖像的灰度分布分散、多峰且跨大范圍，ELD算法改善有限，而本文算法的預訓練模塊使灰度分布更集中、峰值減少，完整算法處理后效果最佳，能有效降噪優化灰度分布；在頻譜圖上，原始圖像高頻成分多、散射亮點多表明噪聲大，ELD算法處理后高頻成分仍有殘留，本文算法的預訓練模塊減少高頻成分，完整算法高頻成分最少，能有效去除高頻噪聲并保留主要信息；在等高線圖中，原始圖像等高線雜亂、不規則區域多，ELD算法處理后仍有不足，本文算法的預訓練模塊使等高線更平滑，完整算法處理后等高線最平滑、不規則區域最少，能有效降噪使像素值分布更均勻。綜上，本文完整算法在去噪和優化圖像特性方面表現更優。

綜上所述，效果圖從視覺直觀角度、直方圖從灰度分布角度、頻譜圖從頻率成分角度、等高線圖從像素值分布角度，分別為本文圖像去噪算法的優越性提供了證據。

3 結束語

本文提出了一種基于U-Net模型的圖像去噪算法，其中引入了RepNR模塊，并選取了L1損失函數。通過對不同算法處理后的效果圖、灰度直方圖、頻譜圖以及等高線圖進行細致分析，更為有力地驗證了本文所提出的完整算法在圖像去噪領域具有顯著的優越性，它能夠使圖像的灰度值分布更加合理且集中，有效減少高頻成分，同時讓像素值分布更加均勻，從而極大地提升了圖像的質量和清晰度。盡管本研究在圖像去噪方面取得了一定成果，但仍有許多值得進一步探索的方向，比如可以探索更復雜的網絡架構或者改進RepNR模塊，與其他圖像處理技術融合拓展跨領域應用。

參考文獻：

[1] LI C Y，GUO C L，HAN L H，et al.Low-light image and video enhancement using deep learning：a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（12）：9396-9416.

[2] TRAN L D，NGUYEN S M，ARAI M.GAN-based noise model for denoising real images[C]// Computer Vision – ACCV 2020.Cham：Springer International Publishing，2021：560-572.

[3] KIM Y，SOH J W，PARK G Y，et al.Transfer learning from synthetic to real-noise denoising with adaptive instance normalization[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：3479-3489.

[4] WEI K，FU Y，ZHENG Y，et al.Physics-based noise modeling for extreme low-light photography[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（11）：8520-8537.

[5] JIN X，XIAO J W，HAN L H，et al.Lighting every darkness in two pairs：a calibration-free pipeline for RAW denoising[C]//2023 IEEE/CVF International Conference on Computer Vision （ICCV）.October 1-6，2023，Paris，France.IEEE，2023：13229-13238.

[6] FENG H S，WANG L Z，WANG Y Z，et al.Learnability enhancement for low-light raw denoising[C]//Proceedings of the 30th ACM International Conference on Multimedia.October 10 - 14，2022，Lisboa，Portugal.ACM，2022：1436-1444.

[7] ZHANG Y，QIN H W，WANG X G，et al.Rethinking noise synthesis and modeling in raw denoising[C]//2021 IEEE/CVF International Conference on Computer Vision （ICCV）.October 10-17，2021，Montreal，QC，Canada.IEEE，2021：4573-4581.

[8] DING X H，ZHANG Y Y，GE Y X，et al.UniRepLKNet：a universal perception large-kernel ConvNet for audio，video，point cloud，time-series and image recognition[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 16-22，2024，Seattle，WA，USA.IEEE，2024：5513-5524.

[9] CHENG S，WANG Y Z，HUANG H B，et al.NBNet：noise basis learning for image denoising with subspace projection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 20-25，2021.Nashville，TN，USA.IEEE，2021：4896-4906.

[10] CHEN C，CHEN Q F，XU J，et al.Learning to see in the dark[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：3291-3300.

【通聯編輯：唐一東】