基于無監督深度圖像生成的盲降噪模型

摘 要：鑒于有監督神經網絡降噪模型的數據依賴缺陷，提出了一種基于無監督深度生成（UDIG）的盲降噪模型。首先，利用噪聲水平評估（NLE）算法測定給定噪聲圖像中的噪聲水平值并輸入到主流FFDNet降噪模型中，所得到的降噪后圖像（稱為初步降噪圖像）作為UDIG降噪模型的輸入；其次，選用編碼器—解碼器架構作為UDIG模型的骨干網絡并用UDIG模型的輸出圖像（即生成圖像）分別與初步降噪圖像、噪聲圖像之間的均方誤差之和構建混合loss函數；再次，以loss最小化為優化目標，通過隨機梯度下降（SGD）網絡訓練算法調整網絡模型的參數值從而獲得一系列生成圖像；最后，當殘差圖像（噪聲圖像與生成圖像之間）的標準差逼近之前NLE算法所測定的噪聲水平估計值時及時終止網絡迭代訓練過程，從而確保生成圖像（作為降噪后圖像）的圖像質量最佳。實驗結果表明：與現有的主流降噪模型（算法）相比，UDIG降噪模型在降噪效果上具有顯著優勢。

關鍵詞：圖像降噪；數據依賴；圖像生成；噪聲水平估計；初步降噪圖像；內外圖像先驗

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695（2022）07-049-2224-06

doi：10.19734/j.issn.1001-3695.2021.10.0601

基金項目：國家自然科學基金資助項目（62162043，61662044，62162042）；江西省研究生創新專項資助項目（YC2021-S145）

作者簡介：陳曉軍（1998-），男，江西上饒人，碩士研究生，主要研究方向為圖形圖像處理、機器視覺；李芬（1995-），女，江西南昌人，碩士，主要研究方向為圖形圖像處理、機器視覺；徐少平（1976-），男（通信作者），江西九江人，教授，博導，博士，主要研究方向為圖形圖像處理、機器視覺、虛擬手術仿真等（xushaoping@ncu.edu.cn）；肖楠（1999-），男，江西吉安人，碩士研究生，主要研究方向為圖形圖像處理、機器視覺；程曉慧（1999-），女，江西上饒人，碩士研究生，主要研究方向為圖形圖像處理、機器視覺．

Blind denoising model based on unsupervised deep image generation

Chen Xiaojun，Li Fen，Xu Shaoping?，Xiao Nan，Cheng Xiaohui

（School of Mathematics amp; Computer Sciences，Nanchang University，Nanchang 330031，China）

Abstract：In view of the data dependence that is the major drawback of the supervised deep neural network （DNN）-based denoising models，this paper proposed an unsupervised deep image generation （UDIG） denoising model.Firstly，it utilized a noise level estimation （NLE） algorithm to measure the noise level of a given noisy image，the estimated noise level and the noisy image fed into the state-of-the-art denoising model （i.e.，fast and flexible denoising convolutional neural network，FFDNet） to obtain a preliminary denoised image as the input to the UDIG model.Secondly，it chose the encoder-decoder architecture as backbone network，while using the sum of the mean square error among the output image of UDIG model （i.e.generated image），and the preliminary denoised image，and the given noisy image to define mixed loss function.Then，the regular stochastic gradient descent （SGD） algorithm optimized the loss function，adjusted the hyper-parameters of the UDIG model to generating a series of generated images.Finally，when the standard deviation of the residual image between the noisy image and generated image approximates the noise level measured by the NLE algorithm，the network iterative process was terminated adaptively，ensuring the image quality of the gene-rated image （treated as the denoised image）.Extensive experiments show that，the proposed UDIG denoising model has a better performance than other state-of-the-art counterparts with regard to denoising effect.

Key words：image denoising；data dependency；image generation；noise level estimation；preliminary denoised image；internal and external priors

0 引言

一般來說，圖像受到噪聲干擾后的退化過程可以建模為y=x+n。這里，y是噪聲圖像，x為無失真圖像，n為噪聲。為研究方便，n通常被假設為滿足零均值正態高斯分布N（0，σ²），即加性高斯白噪聲，其中標準差σ反映圖像受噪聲干擾嚴重程度，稱為噪聲水平值^［1，2］。近幾十年來，研究者們致力于構建和設計復原效果更好的圖像降噪算法（模型）以使得所獲得的降噪后圖像更接近于x。2007年，文獻［3］提出了一種基于塊匹配和濾波的（block matching and 3D-filtering，BM3D）降噪算法。該算法充分利用了圖像中非局部自相似性（non-local self-similarity）和稀疏（sparsity）性，在降噪效果和執行效率兩個方面的性能比較均衡，成為較有影響力的基準對比算法^［4～7］。非局部自相似性在各類后繼提出的算法中得到了廣泛的應用^［6～8］，也取得了很大的成功。2013年，Dong等人^［8］將稀疏表示和非局部自相似性先驗相結合，提出了非局部集中稀疏表示（non-local centralized sparse representation，NCSR）的圖像復原算法。該算法降噪效果較好，但屬于非盲降噪算法，只有準確提供關于噪聲圖像的噪聲水平值參數才能獲得最佳降噪效果。2014年，Gu等人^［9］提出了一種所謂的加權核范數最小化方法（weighted nuclear norm minimization，WNNM）。該方法可以較好地復原圖像，但其每一次迭代優化過程都要進行奇異值分解（singular value decomposition），導致計算復雜度比較高。上述各類利用非局部自相似特性、稀疏和低秩先驗知識（含混合使用多種先驗約束）構建的降噪算法都是首先利用圖像先驗知識構建正則項（regularization term）并結合保真項（fidelity term）后構成目標函數，然后通過求解目標函數最優值實現降噪。由于所定義的目標函數一般是非凸的，通常需要設計復雜的迭代優化算法才能實現求解，算法設計難度較高。對于任意給定的噪聲圖像，在實際應用中通常需要根據經驗手動調整算法中若干參數值才能獲得最優的降噪結果^［10］，在易用性方面存在一定的局限。

近年來，深度神經網絡（deep neural network，DNN）因其強大的非線性映射、特征學習與表達能力被廣泛地應用于圖像降噪領域，并取得了巨大成功^{［11，12］}。2017年，Zhang等人^［13］提出了一種被稱為DnCNN （denoising convolutional neural network）的降噪模型，該模型將批處理歸一化（batch normalization，BN）集成到殘差學習框架中，在降噪效果和執行效率兩個方面的性能較之前提出的各類降噪模型（算法）具有明顯優勢。然而，DnCNN降噪模型要想獲得最佳的降噪性能，需要訓練多個專用的非盲（non-blind）降噪模型（各自針對相對較窄噪聲水平值范圍），導致其靈活性和實用性在一定程度上受到限制。為此，文獻［14］在DnCNN降噪模型的基礎上，通過引入噪聲水平映射圖（noise level map，NLM）作為模型的輔助輸入通道，獲得了一個降噪能力相當但靈活性更高的FFDNet（fast and flexible denoising convolutional neural network）降噪模型，FFDNet僅需要訓練一個降噪模型即可在較廣的噪聲水平值范圍內達到甚至超過DnCNN噪模型的降噪性能。嚴格來說，FFDNet降噪模型仍然屬于非盲降噪模型，因為生成NLM映射圖必須準確測定噪聲圖像中的噪聲水平值。與之前提出的各類降噪算法相比，基于DNN技術構建的降噪模型在設計上的難度相對較低。只要提供充分多的訓練對（training pairs）數據，通過成熟的訓練算法就可確定網絡模型的參數值，即獲得降噪模型。依賴于深度網絡模型參數強大的非線性映射能力，DNN降噪模型的降噪效果顯著優于基于目標函數值優化技術構建的各類經典降噪算法^{［15，16］}。而且，降噪模型一旦訓練完成，其在完成降噪任務時所有網絡參數值無須調整優化（固定不變），故在使用上更為方便。然而正因為如此，對于任意給定的噪聲圖像，如果用于訓練模型的圖像與噪聲圖像存在較大差異，DNN降噪模型則很難獲得最佳的降噪效果。尤其是當噪聲圖像內容或者受噪聲干擾程度顯著異于訓練圖像時，容易導致降噪后圖像中出現幻影（hallucinant）結構。換句話來說，以DnCNN降噪模型為代表的DNN降噪模型具有嚴重的數據依賴（data dependency）缺陷。最近，Zhong等人^［17］從圖像生成（image generation）角度提出了一種基于生成對抗網絡（generative adversarial network，GAN）的降噪模型。在訓練階段，GAN降噪模型基于零和博弈原理訓練獲得生成器和判別器兩個網絡模型。在降噪階段，GAN降噪模型僅利用生成器模型基于給定的噪聲圖像在圖像空間（image space）^［18］中生成一張圖像作為降噪后圖像。這類基于圖像生成策略構建的降噪模型是近年DNN應用于圖像降噪領域后又一有益探索，在一定程度上提升了降噪效果。然而，GAN降噪模型在降噪階段的生成器網絡模型中的參數值仍然固定不變，數據依賴（泛化性能差）的問題并沒有得到根本解決。

為解決基于有監督訓練降噪模型的數據依賴問題，本文將圖像降噪問題看做圖像生成的過程，并提出了一種基于無監督深度生成（unsupervised deep image generation，UDIG）的盲降噪模型。與有監督DNN降噪模型固定輸出一張圖像作為降噪后圖像不同，UDIG降噪模型試圖利用圖像生成技術，在無監督模式下通過不斷調整網絡模型參數值，在圖像空間^［18］中生成一系列圖像并確定一張具有最佳降噪效果的圖像作為降噪后圖像。具體地，在無監督訓練模式下，UDIG降噪模型參數值能針對任意給定的噪聲圖像作適應性的調整，通過網絡參數強大的非線性映射能力生成某張圖像質量最佳的圖像作為降噪后圖像。相對于有監督DNN降噪模型來說，UDIG降噪模型無須特定的訓練圖像，故其在使用上的靈活性非常好。此外，噪聲水平評估模塊的引入使得UDIG降噪模型能在無監督訓練中對受不同嚴重噪聲程度干擾的噪聲圖像進行自動終止，從而使其具有了盲處理能力。實驗數據表明：與現有各種主流的降噪模型（算法）相比，所提UDIG降噪模型有效解決了有監督降噪模型所存在的數據依賴問題，具有更好的細節保護能力，降噪效果更優。

1 GAN降噪模型

近年來，基于GAN的降噪模型開始應用于降噪領域^{［17，19，20］}。如圖1所示，GAN降噪模型主要由生成器G和判別器D兩個網絡模型組成。GAN降噪可通過求解式（1）所定義的最大最小化問題實現。

minGmaxDLad（D，G）=Ex～pdata（x）［log D（x）］+Ey～pnoise（y）［log（1-D（G（y）））］（1）

其中：y是噪聲圖像分布pnoise的數據樣本;x是無失真圖像（訓練數據）分布pdata樣本;Lad表示對抗損失函數。GAN降噪模型的訓練基于零和博弈原理（兩人游戲）進行，生成器G接收噪聲圖像y并輸出生成圖像G（y）。判別器D則把G（y）和無失真圖像x作為輸入，判定G（y）與無失真圖像x的差異程度。以式（1）為優化目標，通過訓練更新生成器G和判別器D中的網絡參數值，使得G（y）逐漸逼近真實圖像，最終使判別器D無法區分無失真圖像x和生成圖像G（y），即當pg≈pdata時，生成網絡學習的圖像分布將接近于無失真圖像分布pdata，此時生成器G和判別器D網絡達到最佳匹配狀態，從而完成GAN降噪模型的訓練。在降噪階段，GAN降噪模型僅利用生成器G網絡將y映射到x，即x=G（y；θ）。這里θ是網絡模型參數集合。

與有監督DNN降噪模型一樣，GAN降噪模型生成器G中的參數值仍需通過離線訓練獲得。由于生成器G的參數值在使用時保持固定不變，同樣存在著數據依賴問題，導致其降噪性能在很多情況下仍會劣于現有主流的DNN降噪模型。另外，從圖像生成角度構建的GAN降噪模型在精準控制其生成內容方面仍有較大改進空間^［21］。

2 UDIG降噪模型

2.1 基本思想

理論上來講，使用固定參數值使得DNN降噪模型所能獲得的降噪后圖像其實是各種合理清晰圖像的平均值，導致降噪后圖像細節存在模糊化的趨勢，甚至在訓練圖像與待噪聲圖像差異較大的情況下，有可能產生幻影結構，故圖像質量并不是最佳的。為此，本文提出一種無監督的UDIG降噪模型，試圖通過在線優化不斷調整網絡模型參數值，基于給定的噪聲圖像生成一系列生成圖像作為候選對象（即在圖像空間中生成各種可能的清晰圖像）。在此基礎上，通過終止迭代訓練判定機制判定某張生成圖像的質量達到最優時及時終止降噪過程。因此，UDIG降噪模型的靈活性較強，能針對給定噪聲圖像自身內容特點生成圖像細節保護水平更高的圖像，從而有效解決有監督降噪模型的數據依賴問題，并在此基礎上進一步提高降噪效果。

2.2 模型描述

UDIG降噪模型可以形式化地描述為

其中：為所謂的初步降噪圖像，其具體是利用某個主流降噪模型處理給定噪聲圖像y后所獲得的圖像（圖像質量已大為提升）；loss函數L（Gθ（）；，y）被定義為生成圖像Gθ（）分別與初步降噪圖像和噪聲圖像y之間的均方誤差（mean squared error，MSE）之和，具體詳見式（3）；（Gout-y）是生成Gout減去噪聲圖像y后所獲得的殘差圖像，當|std（Gout-y）-σ|lt;ε時，即殘差圖像的標準差逼近NLE算法所測定的噪聲水平值σ時，網絡參數θ記為最優參數θ*并停止網絡迭代過程。綜上所述，UDIG降噪模型的在線訓練過程如算法1所示。

算法1 UDIG降噪模型在線訓練

輸入： 初步降噪圖像。

輸出： 降噪后圖像G*out。

隨機初始化網絡參數θ⁰，i=0

do until std（Giout-y）=σ

獲得生成圖像Giout=Gθi（）

計算loss函數L（Gθi（）；，y）

i=i+1

使用網絡訓練算法更新參數值θi

end do

θ*=θi，Gout=Gθ*（）

2.3 具體實現

2.3.1 骨干網絡

理論上來講，目前常用的DnCNN^［13］、DenseNet^［22］、U-Net^［23］等類型的DNN架構均可以作為UDIG降噪模型生成網絡G的骨干網絡。如圖2所示，所提UDIG降噪模型的骨干網絡采用了U-Net編碼器—解碼器（encoder-decoder）架構。其中，編碼器包含四個卷積塊和四個下采樣層，每個卷積塊含有兩個卷積核大小為3×3（步長為1）的卷積層。解碼器包含四個卷積塊和四個上采樣層。對于網絡的上采樣，采用卷積核大小為3×3，步長為2的卷積層實現。標準U-Net網絡中的skip連接為簡單的直連模式，為了確保編碼器—解碼器同層級之間更為有效的信息傳遞，所提UDIG降噪模型采用了改進的稠密連接（dense skip）方式。采用稠密連接的好處有：a）同層之間的稠密連接有助于提高信息傳遞效果，減輕梯度消失的問題；b）稠密的連接具有正則化效果，降低了網絡過擬合風險^［22］。

2.3.2 網絡輸入

通常情況下，UDIG網絡模型應使用噪聲圖像y作為網絡輸入，但噪聲圖像y僅能提供少量清晰圖像的先驗信息，使得生成網絡參數值調整到收斂點時間較長（迭代次數多）。故本文將UDIG模型的輸入改為初步降噪后圖像，圖像具體獲得方法為：首先，利用筆者之前提出的NLE算法^［1］快速而準確地預測出任意給定噪聲圖像的噪聲水平值；然后，將基于噪聲水平值生成NLM并與噪聲圖像一起輸入到主流FFDNet降噪模型處理；最后，FFDNet降噪模型的輸出圖像作為降噪后圖像。

UDIG網絡模型引入初步降噪圖像作為網絡輸入具有以下優點：

a）初步降噪圖像的圖像質量顯著優于噪聲圖像y，能夠向UDIG網絡提供豐富的信息，UDIG模型中參數值調整也將更為容易，有利于減少訓練迭代次數，從而提高UDIG降噪模型的執行效率。

b）NLE算法配合FFDNet降噪模型能處理各種噪聲圖像，使用初步降噪后的圖像，實際上使得UDIG降噪模型具備了盲降噪能力。

c）宏觀上看UDIG降噪模型這種設計也可以看成是兩階段處理策略。即首先利用主流FFDNet降噪模型對圖像進行大體降噪（因FFDNet降噪模型降噪性能較好，初步降噪圖像的圖像質量已經較噪聲圖像有較大幅度的提升），然后以初步降噪圖像為基礎通過生成網絡對圖像中仍然沒有得到很好修復的部分進行再修補，從而獲得更佳的效果。其整體上可以看成是一個串行的兩階段降噪過程。筆者之前的研究工作表明，DNN降噪模型采用兩階段策略能有效提升降噪效果^［24］。

d）在UDIG模型所設計的混合loss函數中，利用初步降噪后圖像也有利于限定生成圖像的搜索范圍（具體說明見下一小節），從而獲得更好的降噪效果。

2.3.3 loss函數

UDIG降噪模型的loss函數包括兩個部分：

a）使用初步降噪圖像與圖像Gout之間的均方誤差構建Loss1=MSE（Gout，）。經過FFDNet降噪模型處理后的圖像其圖像質量較噪聲圖像顯著改善，利用它構建loss函數，可控制UDIG網絡模型演進方向，使得UDIG模型的輸出圖像Gout被限制在初步降噪圖像的流形（manifold）空間中。

b）利用噪聲圖像y與圖像Gout之間的均方誤差構建loss函數loss2=MSE（Gout，y）。雖然噪聲圖像y受到噪聲的干擾，但是圖像中仍然會存在一些有用的圖像信息未被噪聲干擾（尤其是噪聲圖像本身受噪聲干擾的程度不是很高的時候）。因此，本文聯合利用噪聲圖像y和初步降噪圖像共同參與構建混合loss函數：

其中：Giout表示生成網絡迭代到第i次時輸出的生成圖像；y為噪聲圖像；為初步降噪后圖像。UDIG降噪模型的loss函數在網絡訓練時承擔著導引網絡參數調制的作用，限定了生成圖像Gout在圖像空間中的生成范圍（必須從噪聲圖像y流形空間和初步降噪圖像流形空間的交集中產生），確保了圖像Gout的圖像質量。

2.3.4 網絡訓練

如圖3所示，首先UDIG降噪模型參數值θi（i=0）被隨機初始化，隨后利用SGD（stochastic gradient descent）網絡訓練算法以混合loss值L（Gθi（）；，y）最小化為優化目標更新網絡參數值并獲得θⁱ⁺¹。在網絡參數θⁱ⁺¹的作用下，深度生成網絡G生成新的圖像Gⁱ⁺¹out=Gθⁱ⁺¹（）。這樣反復迭代訓練可獲得一系列生成圖像，這些生成圖像的質量逐漸逼近最優值。最終，在迭代到某個步驟i時，生成圖像具有最佳的圖像質量。此時，網絡參數θi記為θ*。在其作用下，生成圖像Gout=Gθ*（x）在圖像空間中應位于初步降噪圖像流形空間與噪聲圖像y流形空間的交集附近。由此可見，UDIG降噪模型的降噪過程是通過在線訓練完成的。模型中的參數值是依據優化目標通過在線訓練而生成的，模型一旦完成訓練，降噪過程也相應結束。因此，在完成訓練后的UDIG模型中，參數值與特定噪聲圖像的內容是相匹配的，是可變和專用的。這種特性使得UDIG模型能很好地處理特定圖像中的細節，不易在圖像內容上產生像有監督降噪模型那樣的幻影結構，在降噪保真性方面優于有監督降噪模型。由于不依賴圖像訓練數據集（僅利用噪聲圖像本身），無監督的UDIG降噪模型與有監督降噪模型相比最大的優勢在于沒有數據依賴問題，故應用領域范圍更加廣泛。

2.3.5 自適應迭代終止條件

本文基于筆者之前研究的NLE算法^［1］提出了一種簡單而有效的迭代終止條件，以確保生成圖像獲得最佳的圖像質量和避免過擬合。具體地，將噪聲圖像y減去UDIG降噪模型迭代訓練第i步輸出圖像Giout能獲得殘差圖像i，i的標準差記為std（Giout-y）。顯然，在網絡迭代訓練的早期階段，因為網絡輸出圖像Giout的圖像質量較差，與無失真圖像x相差較大，故殘差圖像i的標準差std（i）比較大。當迭代到某個合適的次數i時，網絡輸出圖像Giout距離無失真圖像x較為接近，此時殘差圖像i的標準差將逼近NLE模塊所測定的噪聲水平值σ。因此，可將std（Giout-y）≈σ作為UDIG自適應終止迭代過程的條件。

如圖4所示，為了驗證自適應終止條件的有效性，使用UDIG降噪模型處理σ=20的Barbara噪聲圖像，并記錄Barbara噪聲圖像在各個迭代次數下所獲得輸出圖像的PSNR值（最佳PSNR值為32.01 dB，最佳迭代次數為9 242次，用圓點標出）。同時，給出根據采用自適應終止迭代所獲得的數據（PSNR值為31.93 dB，迭代次數為9 103次，用三角形點標出）。由圖4可知：采用自適應終止迭代條件所獲得輸出圖像僅比最佳輸出圖像在圖像質量上相差僅為0.08 dB，而自適應終止時的迭代次數與獲得最優輸出圖像時的迭代次數大體相當，表明自適應迭代次數終止迭代過程合理有效。一般地，噪聲圖像具有不同的圖像內容且受噪聲干擾的程度也不盡相同，UDIG降噪模型如果采用固定迭代次數作為終止迭代過程條件很難整體保證降噪效果，而基于筆者之前所提出的NLE算法對σ值準確的估計，當迭代進行到殘差圖像標準差與σ值近似時即可終止UDIG網絡迭代過程。由于NLE算法可以穩健地工作在具有不同圖像內容、不同級別噪聲水平值的噪聲圖像上，故采用本文所提自適應終止條件魯棒性很好，可有效保證UDIG降噪模型所獲得的降噪效果與最優結果相近，確保了UDIG降噪模型的盲降噪能力。

3 實驗結果及其分析

3.1 測試環境

為了全面評價所提出的UDIG降噪模型整體的降噪性能，將其與BM3D^［3］、NCSR^［8］、WNNM^［9］、DnCNN^［13］、FFDNet^［14］、VDNet^［15］和GAN^［20］共七個降噪算法（模型）在兩個圖像測試集上進行對比實驗（其中，GAN算法根據原文內容重新編碼實現，其余對比算法所使用代碼均為原文提供，參數為默認最優設置）。這兩個測試集合分別為：a）常用圖像集，如圖5所示，由各個文獻中被廣泛使用的10張測試圖像組成，包括house、peppers、Barbara、boat、cameraman、couple、hill、Lena、man和monarch；b）BSD圖像集，由BSD500數據庫^［25］中的50張圖像組成。BSD500圖像集中的圖像具有豐富的內容和紋理細節，非常適合用來驗證UDIG降噪模型對圖像內容的魯棒性。所有算法（模型）都在相同硬件平臺（Intel Xeon CPU E5-1603 v4@2.80 GHz RAM 16 GB）和軟件環境（Windows 10操作系統）上運行。

3.2 模型配置

3.2.1 網絡輸入

初步降噪圖像在UDIG模型中作為網絡輸入圖像替換了噪聲圖像y。為了分析這種改進對UDIG降噪模型所帶來的益處。把隨機張量z（生成網絡常用輸入）、噪聲圖像y和初步降噪后圖像分別作為降噪模型UDIG-1、UDIG-2和UDIG的輸入，三種模型的loss函數均定義為L（Gθ（）；，y）=Loss1+Loss2。選取圖5所示的10張測試圖像構成的測試圖像集，并在這些圖像上施加了噪聲水平值為40的高斯噪聲。將UDIG-1、UDIG-2和UDIG降噪模型在噪聲水平值為40下的不同圖像上所獲得的峰值信噪比（peak signal to noise ratio，PSNR）指標值記錄于表1中。由表1可知：UDIG降噪模型（使用初步降噪后圖像作為輸入）能明顯優于UDIG-1模型（使用隨機張量z作為網絡輸入），PSNR值提升了1 dB，且降噪效果遠高于UDIG-2模型（使用噪聲圖像y作為網絡輸入），這充分說明了利用初步降噪圖像作為網絡的輸入可以有效提高降噪性能。其原因在于：初步降噪圖像有較好的圖像質量，因此UDIG模型基于初步降噪圖像生成降噪后圖像的難度顯著降低，而圖像質量則穩步提高。

3.2.2 loss函數

為了分析混合loss函數的改進對UDIG模型所帶來的益處，將網絡輸入設置為初步降噪后圖像，將loss函數設置為L（Gθ（）；）=Loss1=MSE（Gout，），此模型記為UDIG-3。將UDIG-3和UDIG降噪模型在噪聲水平值為40時10張常用圖像上所獲得的PSNR值記錄于表2中。從表2中可以看出，UDIG降噪模型獲得的PSNR均值高于UDIG-3降噪模型0.7 dB左右，表明利用噪聲圖像本身構成混合loss函數能有效提高降噪效果。這主要是因為噪聲圖像本身也含有部分有效信息，對于限定生成圖像在圖像空間的范圍具有輔助作用。需要說明的是：噪聲圖像提升UDIG模型降噪效果的作用在噪聲水平值較低時表現更為明顯，因為此時噪聲圖像中包含了更多可靠的信息。

3.3 客觀評價

為了全面地驗證所提UDIG降噪模型的降噪效果，各個對比方法在10張常用圖像集上完成了對比實驗，測試圖像中分別添加了不同噪聲水平值的高斯噪聲（10～60，間隔10）。用各個對比方法對各個噪聲圖像進行降噪，并分別計算在不同噪聲水平值下各個方法所獲得的降噪后圖像的PSNR均值和SSIM（structural similarity index measurement）均值，分別如表3、4所示。由表3、4可知：在常用的圖像集上，UDIG降噪模型的降噪效果在所有噪聲水平值上顯著優于其他對比方法，且PSNR均值超過排名第2的FFDNet降噪模型0.25 dB以上，在SSIM評價指標上所提UDIG降噪模型也是最優的。綜上可知，所提UDIG降噪模型的降噪效果不但與原始無失真圖像更接近，且在視覺效果上更符合人眼感知特性。

為了進一步驗證UDIG降噪模型對圖像內容的魯棒性，在圖片紋理細節較為復雜的BSD測試集合上進行了測試，實驗數據列在表5中。由表5可以看出：各對比方法的降噪性能均有不同程度的下降，表明處理BSD圖像難度更大。盡管如此，UDIG降噪模型的降噪性能總體上仍然顯著優于各對比方法，展示出UDIG降噪模型對輸入圖像的內容具有很好的魯棒性。

3.4 主觀評價

為了直觀地比較所提出的UDIG降噪模型的降噪效果，利用各個對比算法（模型）對施加了σ=40高斯噪聲后的Lena圖像進行降噪，并計算降噪后圖像的PSNR值，局部放大區域的視覺對比效果如圖6所示。從視覺上可以直觀地發現：a）在所有參與比較的方法中，基于圖像自相似、稀疏和低秩特性構建的BM3D、NCSR和WNNM算法降噪與基于深度學習構建的DnCNN、GAN、VDNet和UDIG降噪模型能力較弱，表明基于DNN網絡構建的降噪模型具有優勢；b）相對來說，GAN模型對邊緣也具有一定的保持能力，但相對UDIG降噪模型來說還是顯得比較粗糙，表明其精細生成能力有限。而UDIG降噪模型很好地保留了圖像中較弱的邊緣細節（框內箭頭所指處），PSNR指標值也印證了上述觀察。總之，在所有參與比較的方法中，所提UDIG降噪模型保持圖像細節能力最強，表明UDIG降噪模型很好地利用了圖像生成技術，相關改進措施是有效的。

4 結束語

本文提出基于無監督深度生成網絡構建一種被稱為UDIG的新型降噪模型。相較于各類主流降噪模型（算法），UDIG降噪模型在降噪效果上具有顯著優勢，這主要得益于針對噪聲圖像特定內容通過在線訓練而得到的可變參數值能有效避免有監督降噪模型在圖像降噪過程中引入幻影結構而導致人工失真（artifacts）的問題，最大限度地保護了圖像中的細節。與大多數GAN模型一樣，UDIG降噪模型中的參數值θ是被隨機初始化的，導致需要相當多的迭代次數才能使得生成圖像達到最優值，故在執行效率方面比較低。未來可考慮采用文獻［26］類似方法給出參數值θ較為準確的初始化值，從而實現經過少量迭代次數即可完成迭代訓練，達到提高UDIG降噪模型執行效率的目的。

參考文獻：

［1］徐少平，李崇禧，林官喜，等.基于主成分分析與深度神經網絡的快速噪聲水平估計算法［J］.電子學報，2019，47（2）：274-281.（Xu Shaoping，Li Chongxi，Lin Guanxi，et al.Fast image noise level estimation algorithm based on principal component analysis and deep neural network［J］.Acta Electronica Sinica，2019，47（2）：274-281.）

［2］Xu Shaoping，Lin Zhenyu，Zhang Guizhen，et al.A fast yet reliable noise level estimation algorithm using shallow CNN-based noise separator and BP network［J］.Signal：Image and Video Processing，2020，14（4）：99-112.

［3］Dabov K，Foi A，Katkovnik V，et al.Image denoising by sparse 3-D transform-domain collaborative filtering［J］.IEEE Trans on Image Processing，2007，16（8）：2080-2095.

［4］Bnou K，Raghay S，Hakim A.A wavelet denoising approach based on unsupervised learning model［J］.EURASIP Journal on Advances in Signal Processing，2020，2020（1）：article No.36.

［5］Helou M E，Susstrunk S.Blind universal Bayesian image denoising with Gaussian noise level learning［J］.IEEE Trans on Image Processing，2020，29（3）：4885-4897.

［6］Chatterjee P，Milanfar P.Clustering-based denoising with locally lear-ned dictionaries［J］.IEEE Trans on Image Processing，2009，18（7）：1438-1451.

［7］Yu Guoshen，Sapiro G，Mallat S.Solving inverse problems with piecewise linear estimators：from Gaussian mixture models to structured sparsity［J］.IEEE Trans on Image Processing，2012，21（5）：2481-2499.

［8］Dong Weisheng，Shi Guangming，Li Xin.Nonlocal image restoration with bilateral variance estimation：a low-rank approach［J］.IEEE Trans on Image Processing，2013，22（2）：700-711.

［9］Gu Shuhang，Zhang Lei，Zuo Wangmeng，et al.Weighted nuclear norm minimization with application to image denoising［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：2862-2869.

［10］Joseph G，Murthy C R.On the convergence of a Bayesian algorithm for joint dictionary learning and sparse recovery［J］.IEEE Trans on Signal Processing，2020，68（11）：343-358.

［11］Li Jinxing，Guo Xiaobao，Lu Guangming，et al.DRPL：deep regression pair learning for multi-focus image fusion［J］.IEEE Trans on Image Processing，2020，29（3）：4816-4831.

［12］Wang Faqiang，Huang Haiyang，Lin Jun.Variational-based mixed noise removal with CNN deep learning regularization［J］.IEEE Trans on Image Processing，2020，29（9）：1246-1258.

［13］Zhang Kai，Zuo Wangming，Chen Yunjin，et al.Beyond a Gaussian denoiser：residual learning of deep CNN for image denoising［J］.IEEE Trans on Image Processing，2017，26（7）：3142-3155.

［14］Zhang Kai，Zuo Wangming，Zhang Lei.FFDNet：toward a fast and flexible solution for CNN based image denoising［J］.IEEE Trans on Image Processing，2018，27（9）：4608-4622.

［15］Yue Zongsheng，Yong Hongwei，Zhao Qian，et al.Variational denoising network：toward blind noise modeling and removal［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.2019：article No.151.

［16］Lefkimmiatis S.Universal denoising networks：a novel CNN architecture for image denoising［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：3204-3213.

［17］Zhong Yue，Liu Lizhuang，Zhao Dan，et al.A generative adversarial network for image denoising［J］.Multimedia Tools and Applications，2020，79：16517-16529.

［18］He Jingwen，Dong Chao，Qiao Yu.Interactive multi-dimension modulation with dynamic controllable residual learning for image restoration［C］//Proc of the 16th European Conference on Computer.Berlin：Springer-Verlag，2020：53-68.

［19］Chen Jingwen，Chen Jiawei，Chao Hongyang，et al.Image blind denoi-sing with generative adversarial network based noise modeling［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2018：3155-3164.

［20］Zhu Shipeng，Xu Guili，Cheng Yuehua，et al.BDGAN：image blind denoising using generative adversarial networks［C］//Proc of Chinese Conference on Pattern Recognition and Computer Vision.Berlin：Springer，2019：241-252.

［21］Ledig C，Theis L，Huszár F，et al.Photo-realistic single image super-resolution using a generative adversarial network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：105-114.

［22］Huang Gao，Liu Zhuang，Laurens V D M，et al.Densely connected convolutional networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：2261-2269.

［23］Ronncberger O，Fischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin：Springer-Verlag，2015：234-241.

［24］Fu Jian，Dong Jianbing，Zhao Feng.A deep learning reconstruction framework for differential phase-contrast computed tomography with incomplete data［J］.IEEE Trans on Image Processing，2020，29（1）：2190-2202.

［25］徐少平，劉婷云，林珍玉，等.用于去除隨機脈沖噪聲的兩階段盲卷積降噪模型［J］.計算機學報，2020，43（9）：1673-1690.（Xu Shaoping，Liu Tingyun，Lin Zhenyu，et al.Learning a two-stage blind convolutional denoising model for the removal of random-valued impulse noise［J］.Chinese Journal of Computers，2020，43（9）：1673-1690.）

［26］Arbelaez P，Maire M，Fowlkes C，et al.Contour detection and hierarchical image segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2011，33（5）：898-916.

［27］Pan Xingang，Zhan Xiaohang，Dai Bo，et al.Exploiting deep generative prior for versatile image restoration and manipulation［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2020：262-277.