基于擴散模型的圖像去噪方法研究

薛永航，白 帆，李 娜

（沈陽理工大學，遼寧 沈陽 110168）

0 引言

在實際工程中，圖像采集和傳輸過程中會受到外界因素干擾，尤其噪聲的影響，從而導致圖像特征提取不準確。因此，如何能夠有效去除圖像中的噪聲，在圖像處理領域具有重要意義。傳統去噪方法容易造成信息丟失、計算復雜度高和參數選擇困難等問題。隨著深度學習的發展[1]，從卷積神經網絡、循環神經網絡、到變分神經網絡。這些方法從圖像特征角度處理噪聲，難以學習時頻圖像噪聲分布，由此導致時頻圖噪聲去除時邊緣信息丟失多，效果較差[2]。為了提高神經網絡在時頻圖像的噪聲去除效果，通過Wigner-Ville（Wigner-Ville Distibution，WVD）分布算法[3]，提供了時頻圖像在時域和頻域上的局部信息，使得在時間和頻率上同時具有較高的分辨率[4]。讓網絡學習到噪聲圖像和無噪聲圖像的特征，極大降低了該算法在通用數據集上的敏感程度，有效提升了模型泛化能力。

本文通過基于LoRA 的擴散模型神經網絡結構[5]，將其應用于時頻圖像去噪，解決了在復雜工況下時頻圖像噪聲難以去除的問題，通過學習含噪信號及無噪信號圖像概率分布，達到去除噪聲的目的。實驗結果表明，相對于傳統深度學習去噪模型，該模型能夠有效去除時頻圖像的噪聲。

1 算法原理

1.1 基于LoRA 的去噪擴散模型

該算法將擴散模型以及LoRA 網絡結構相結合，用于時頻信號圖像的去噪，整個網絡分為兩大部分，訓練階段和采樣階段。

（1）訓練階段

首先，使用已預訓練的自編碼器將時頻圖像從像素空間映射到潛在空間，以學習時頻圖像的隱式表達，同時壓縮圖像尺寸，減少計算該網絡計算復雜度和模型的參數量。然后，由文本編碼器對含有噪聲的時頻圖像的提示文本進行編碼，生成大小為[B，K，E] 的嵌入文本詞。其中，B 表示批次大小，K 表示文本的最大編碼長度，E 表示嵌入的維度，嵌入文本能夠有效捕捉時頻圖像語義特征。基于LoRA 的擴散模型輸出噪聲?θ，通過計算時頻圖像與真實噪聲之間的誤差作為損失函數。通過反向傳播算法，更新模型中的參數。

（2）采樣階段

采樣階段包括對時頻圖像文本編碼和時頻圖像解碼過程。在文本編碼過程中，文本編碼器由輸入的描述文本標簽，對時頻圖像的描述文本進行編碼，包括時頻噪聲生成與恢復潛在表示，隨機產生大小為[B，Z，H/8，W/8] 的噪聲，利用訓練好的模型，對網絡中參數進行迭代，逐步去除時頻圖像中的噪聲，恢復時頻圖像的潛在表示。

1.2 LoRA 結構應用

LoRA 預訓練模型（Pretrianed Weight）可以用于時頻圖像去噪任務的模塊中，通過調整替換矩陣A和B，可以達到凍結共享模型的作用，能夠有效的切換不同訓練任務，即訓練時頻圖像和圖像描述文本，從而顯著的降低數據參數存儲需求，使得LoRA 的訓練更加有效。

通過訓練時頻圖像的提示文本，可以替代整個擴散模型的參數訓練，在原有對圖像特征提取的基礎上，可以使該算法識別到噪聲圖像的準確率有效提升。

圖1 LoRA 結構

1.3 擴散過程

擴散過程中將隨機噪聲添加到數據中，從噪聲中構造所需的數據樣本。與VAE 模型不同，擴散模型是通過固定過程學習，并且潛在變量具有與原始數據相同方法。

（1）前向過程

逐步添加高斯噪聲到圖像中，得到一個含有噪聲的時頻圖像。其中，Xt時刻的分布等于Xt-1時刻的分布加上高斯分布的噪聲。

式中：Xt表示t時刻圖像，其中t?[1，T]，αt是噪聲的衰減值，Z表示高斯噪聲。

重復迭代后，可由初始狀態X0得任意t時刻分布：

（2）逆向過程

在此過程中，逐步從噪聲中復原出原始時頻圖。由貝葉斯公式可知：

q（Xt-1|Xt）為給定Xt時Xt-1的概率分布，由于q（Xt-1）分布無法直接求取，因此用條件概率分布q（Xt-1|Xt，X0）近似求解，如（4）式所示。

在已知X0的情況下，可以求出Xt-1時刻的分布。

重復迭代后，最終可預測出X0時刻的分布。

式中：βt= 1 -αt，?θ（Xt，t）表示t時刻模型預測的噪聲，σt表示預測的噪聲方差。

2 實驗結果與分析

2.1 實驗流程

為了驗證該算法去噪性能，本次研究采用一組工況數據集，該數據是兩相電流信號，維度是2×10000，首先，對該數據維度進行處理，然后，將二維信號處理成一維信號，截取部分信號數據，通過WVD 算法，將該數據轉成時頻圖，以便于更好捕捉信號在不同頻率上的瞬時特性。并且，對原始數據添加均值為0.2 和標準差為0.35 的高斯噪聲，以驗證算法的可靠性。整個訓練過程，選擇Adam（Adaptive Moment Estimation）參數優化器，學習率設置為0.001，訓練150 個周期。

2.2 評價指標

（1）峰值信噪比計算（Peak signal-to-noise ratio，PSNR）：

峰值信噪比通過均方差（MSE）進行定義，方差定義為：

由方差可知，峰值信噪計算公式如下：

（2）結構相似度計算（Structural Similarity，SSIM）：

通過從圖像的亮度、對比度、結構三個方面度量圖像相似性，計算如下：

其中，μX，μY分別表示圖像X和Y的均值，σX，σY分別表示圖像X和Y的方差，σX σY表示圖像X和Y的協方差，C1、C2、C3表示一個常數。SSIM 的取值范圍在[0，1]之間，它的值越大，表示圖像的失真越小。

2.3 實驗結果

通過WVD 算法處理后的時頻圖像，數據信息被壓縮，時頻圖像特征信息區分不明顯，在VAE 算法中，首先對原始時頻圖圖像進行編碼，輸入的時頻圖像X 通過編碼器輸出兩個M 維向量，這兩個向量是潛在空間Z 的兩個參數。其次，在潛在空間Z 中增加約束條件，這個約束條件迫使潛在空間Z 產生服從單位正態分布的潛在變量。最后，Z 通過解碼器生成一個樣本，由于是隨機采樣，從而導致潛在空間Z 的不確定性，變分后驗難以選擇。因此，當時頻圖像中噪聲分布不均勻時，實際輸出時頻圖像數據和輸入圖像數據出現較大偏差，導致VAE 難以學習原時頻圖像分布，無法近似真實后驗，網絡模型去噪效果差，且容易引入新的噪聲。由圖2 可知，a 圖噪聲去除但時頻信息損失較多，b 圖噪聲仍分布于中間區域，未去除完全。圖像的峰值信噪難以達到20，其結構相似度低于0.9。

相較于VAE 算法，采用基于LoRA 的擴散模型去噪方法，先對隨機噪聲樣本進行采樣，通過逐步采樣噪聲樣本，將采樣后的噪聲樣本進行嵌入，包括時間嵌入以及文本嵌入，時間嵌入即上文提到的擴散過程，通過前向過程和逆向過程，對時頻圖像進行加噪和去噪，從而能夠有效還原時頻圖像的峰值信息，其次，文本嵌入引入LoRA 語言模型，極大增強了網絡對時頻圖像噪聲的理解，彌補了網絡在時頻圖像的低峰值區域的不敏感程度，使得該網絡能夠有效理解時頻圖像輸入信息以及噪聲水平，該方法在時頻圖像去噪中效果更好，通過將去噪圖像與原始噪聲圖像對比分析可知，該時頻圖像細節恢復較高，噪聲去除效果顯著。不同于VAE 算法中高斯采樣，基于LoRA 的擴散模型去噪方法采樣方式更多，有Euler 一階采樣器以及擴散概率模型求解器（Dirichlet Process Mixture，DPM），數據表明DPM++采樣方式效果最優，該算法相較于VAE，峰值信噪比提升20.2%，結構相似度提升11%，訓練時間縮短0.7 h。由圖3 可知，在a 圖及b圖中，該算法針對時頻信號圖像，去除了大部分噪聲并保留了原始圖像的邊緣信息。VAE 去噪算法以及基于LoRA 擴散模型去噪算法，計算峰值信噪比和結構相似度指標見表1。該算法去噪效果見圖2 和圖3。

表1 VAE 及擴散模型在時頻信號圖中PSNR 和SSIM 指標

圖3 基于LoRA 的擴散模型去噪效果

3 結語

針對時頻圖像的噪聲分布，本研究采用基于LoRA 微調的擴散模型對時頻圖像去噪，在時頻圖像恢復中取得了顯著的效果。該模型通過深度神經網絡模型，學習含有噪聲的時頻圖像分布，成功地降低了噪聲對時頻圖像的影響，并恢復了原始時頻圖像的細節，提高了時頻圖像的清晰度。

該算法在峰值信噪比和結構相似度評價指標上表現出較為理想的結果，驗證了在時頻圖像去噪任務上的有效性和可靠性。通過對比原始噪聲圖像和去噪圖像，可以明顯看出時頻圖像噪聲顯著減少，去噪質量顯著提高。在未來研究中可以考慮優化網絡結構、增加訓練數據量、引入更多微調方式進行模型訓練，以進一步提升去噪效果。