基于即插即用框架的脈沖噪聲圖像復(fù)原算法

梅金金

（阜陽(yáng)師范大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，安徽 阜陽(yáng) 236037）

引言

圖像復(fù)原是圖像處理研究中不可或缺的一個(gè)步驟，被廣泛地應(yīng)用于計(jì)算機(jī)視覺處理、壓縮感知、醫(yī)學(xué)成像和高光譜遙感成像等諸多領(lǐng)域。圖像在采集和傳輸過(guò)程中經(jīng)常會(huì)出現(xiàn)一定的模糊、失真以及受到各類噪聲的污染，這就導(dǎo)致圖像的清晰度受到嚴(yán)重的影響。近年來(lái)，很多學(xué)者提出了經(jīng)典的圖像復(fù)原算法。比如，Tikhonov 正則化模型可以有效地去除圖片的噪聲，但是隨著去噪效果逐漸增強(qiáng)，會(huì)導(dǎo)致圖片的邊緣信息越來(lái)越模糊[1]。為了在去除噪聲的同時(shí)保留圖像的邊緣信息，基于全變分（Total Variation,簡(jiǎn)稱TV）的ROF模型引起了廣大學(xué)者的關(guān)注，但復(fù)原圖像中出現(xiàn)一定程度的階梯效應(yīng)[2]。為抑制去噪圖像中的階梯效應(yīng)，學(xué)者在TV 正則的基礎(chǔ)上進(jìn)行改進(jìn)，陸續(xù)提出了高階全變分（Higher Degree Total Variation，簡(jiǎn)稱HOTV）[3]、廣義全變分（Total Generalized Variation，簡(jiǎn)稱TGV）[4]、非局部全變分(Nonlocal Total Variation，NLTV)[5]、分?jǐn)?shù)階全變分（Fractional Order Total Variation，簡(jiǎn)稱FOTV）[6]與交疊組合稀疏高階全變分（Overlapping Group Sparsity Total Variation，簡(jiǎn)稱OGSTV）[7]等。這些正則化方法在一定程度上抑制了TV 所引起的階梯效應(yīng)，但圖像復(fù)原算法還有進(jìn)一步提升的空間。Kostadin 等人根據(jù)圖像塊之間的相似性，結(jié)合空域思想和轉(zhuǎn)換變換的方法提出BM3D 算法，以此來(lái)提升圖像的去噪復(fù)原效果[8]。Gu 等人提出的加權(quán)核范數(shù)最小化方法（簡(jiǎn)稱WNNM），結(jié)合矩陣奇異值稀疏性與核范數(shù)權(quán)重，有效利用測(cè)試圖像的相似結(jié)構(gòu)，但算法運(yùn)行需要耗費(fèi)大量的時(shí)間[9]。Zhang 等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)方法提出將噪聲圖作為網(wǎng)絡(luò)輸入的FFDNet 算法，其訓(xùn)練時(shí)間短、迭代次數(shù)小，而且能處理不同噪聲水平及空間變化的噪聲[10]。

因此，根據(jù)以上各類去噪算法的優(yōu)勢(shì)，我們提出一個(gè)新的基于Lp 保真項(xiàng)的數(shù)學(xué)優(yōu)化模型[11]，能夠保證在去除脈沖噪聲的同時(shí)更多地保留圖像的細(xì)節(jié)信息。同時(shí)，結(jié)合即插即用算法框架的特點(diǎn)[12,13]，利用變量分離算法將目標(biāo)函數(shù)解耦為保真項(xiàng)與正則項(xiàng)，為利用基于FFDNet 去噪器提供了可能性。然后，應(yīng)用交替方向迭代算法求解所提出的數(shù)學(xué)模型，并對(duì)算法進(jìn)行加速處理。數(shù)值上，與L1 保真項(xiàng)的模型算法相比，改進(jìn)方法獲得的復(fù)原圖像視覺效果更好，在量化指標(biāo)上也具有一定的優(yōu)勢(shì)。

1 脈沖噪聲

針對(duì)脈沖噪聲下的圖像復(fù)原問(wèn)題，圖像退化模型可以表示為

其中f∈Rmn為模糊圖像，u∈Rmn為原始圖像，K為模糊算子，N(·)為脈沖噪聲。這類噪聲包含椒鹽噪聲和隨機(jī)值噪聲，具體如表1 所示。

表1 脈沖噪聲類型

其中fmin，fmax表示退化圖像f所有像素值的最小值與最大值，θ是均值等于0 服從正態(tài)分布的隨機(jī)變量。

2 模型建立

近年來(lái)，學(xué)者們已經(jīng)開始廣泛關(guān)注脈沖噪聲下的圖像復(fù)原問(wèn)題。研究表明，L2 范數(shù)下的保真項(xiàng)會(huì)使得復(fù)原圖像中出現(xiàn)大量的偽同心圓，不適用于消除脈沖噪聲。L1 范數(shù)下的保真項(xiàng)符合脈沖噪聲的統(tǒng)計(jì)學(xué)特性，可以很好地抑制脈沖噪聲。因此，在文獻(xiàn)[14]中，Nikolova 等人結(jié)合TV正則項(xiàng)和L1 數(shù)據(jù)保真項(xiàng)提出一種新的凸優(yōu)化模型，其離散形式表示如下：

其中‖ ‖·1表示向量1 范數(shù)，?表示梯度算子，‖ ?u‖1表示TV 的離散形式，μ＞0 表示正則參數(shù)，起到調(diào)節(jié)TV 正則項(xiàng)與L1 數(shù)據(jù)保真項(xiàng)的作用。同時(shí)，我們把上面的模型簡(jiǎn)稱為L(zhǎng)1TV 模型。在文獻(xiàn)[15]中，利用Lp 非凸保真項(xiàng)解決稀疏信號(hào)復(fù)原與矩陣補(bǔ)全問(wèn)題，驗(yàn)證Lp 保真項(xiàng)比L1 保真項(xiàng)的復(fù)原結(jié)果更好。

因此，為了利用圖像的相似性和神經(jīng)網(wǎng)絡(luò)方法，提高圖像的復(fù)原效果，我們提出了一種新的去除脈沖噪聲的數(shù)學(xué)優(yōu)化模型：

其中Re(u)表示隱式的去噪器，可以應(yīng)用KSVD[16]，non-local means[17,18]，BM3D[8]，WNNM[9]，F(xiàn)FDNet[10]等去噪器。

3 模型求解

根據(jù)非凸問(wèn)題下ADMM 算法[19]的收斂性質(zhì)和即插即用算法框架[12,13]的優(yōu)點(diǎn)，我們考慮利用該算法求解模型（3）。首先，引入兩個(gè)新的變量v,z∈Rmn，將（3）式轉(zhuǎn)化為如下離散約束非凸模型：

令λ1為約束條件v=u的Lagrange 乘子，λ2為約束條件z=Ku-f的Lagrange 乘子，則可得到共增廣的Lagrange 函數(shù)：

其中β1,β2是大于0 的罰參數(shù)。因此，求解的數(shù)學(xué)模型（3）式的ADMM 算法歸納總結(jié)如下：

為計(jì)算v-子問(wèn)題，我們考慮利用基于學(xué)習(xí)的隱式去噪器，具體計(jì)算公式表示如下：

其中D(·)為去噪器算子。為了深度提取圖像的特征信息，同時(shí)考慮到運(yùn)行時(shí)間和計(jì)算的復(fù)雜度，我們?cè)跀?shù)值實(shí)驗(yàn)中僅采用BM3D[8]和FFDNet算法[10]進(jìn)行去噪處理。

同時(shí)，對(duì)于z-子問(wèn)題，令tk=(Kuk-f)-，則上述問(wèn)題可寫為

上述問(wèn)題是一個(gè)Lp 范數(shù)優(yōu)化問(wèn)題，它的極小值點(diǎn)可以利用Lp 范數(shù)的近端算子[15]表示，具體計(jì)算公式為：

針對(duì)u-子問(wèn)題，我們求解它的Euler-Lagrange 方程，即

經(jīng)過(guò)簡(jiǎn)單的整理后，上述方程可轉(zhuǎn)化為

在周期邊界條件下，考慮利用快速傅里葉變換求解，即：

其中F,F-1分別表示快速傅里葉變換與逆傅里葉變換。

為進(jìn)一步加快算法的收斂速度，我們考慮利用FISTA 算法[20,21]對(duì)z-子問(wèn)題加速。結(jié)合上述三個(gè)子問(wèn)題的計(jì)算，加速的PnP-Lp 算法可以詳細(xì)整理如下：

4 數(shù)值實(shí)驗(yàn)

本文通過(guò)一些數(shù)值實(shí)驗(yàn)展示所提出的數(shù)學(xué)模型與算法在去除脈沖噪聲的有效性。以灰度圖像Boat 為測(cè)試圖像（如圖1 所示），像素值均映射到數(shù)值范圍[0,1]。同時(shí)，為了驗(yàn)證所提出模型去除脈沖噪聲的有效性，我們將基于Lp 保真項(xiàng)的算法PnPBM3D-lp、PnPFFDNet-lp 與基于L1 保真項(xiàng)的算法PnPBM3D-l1、PnPFFDNet-l1 做對(duì)比。數(shù)值實(shí)驗(yàn)是在Matlab R2021a 的編程環(huán)境、CPU2.80 GHz Inter Core 處理器和內(nèi)存為8GB 的臺(tái)式計(jì)算機(jī)。

圖1 測(cè)試圖像

在實(shí)驗(yàn)過(guò)程中，為客觀評(píng)估復(fù)原圖像的質(zhì)量，我們考慮如下兩個(gè)度量標(biāo)準(zhǔn)：峰值信噪比（Peak Signal-to-Noise Ratio，簡(jiǎn)稱PSNR）和結(jié)構(gòu)相似度（Structural Similarity Index Measurement，簡(jiǎn) 稱SSIM）[22]。峰值信噪比的計(jì)算公式表示如下：

其中μu,σu是原始圖像u的均值和標(biāo)準(zhǔn)差，μuˉ,σuˉ是復(fù)原圖像-u的均值和標(biāo)準(zhǔn)差，c1,c2是大于0 的常數(shù)，σu-u是u與uˉ的協(xié)方差。當(dāng)結(jié)構(gòu)相似度越趨向等于1，說(shuō)明復(fù)原圖像與原始圖越相似。

對(duì)于算法2，設(shè)置參數(shù)在0 到1 范圍之內(nèi)，參數(shù)μ，β1，β2的選擇對(duì)復(fù)原結(jié)果有著很大的影響。為獲得更好的圖像復(fù)原結(jié)果，獲得最大的PSNR 值，手動(dòng)調(diào)整參數(shù)μ，β1，β2。對(duì)于z-子問(wèn)題，涉及到計(jì)算變量的牛頓內(nèi)迭代算法，將其迭代次數(shù)設(shè)為5。對(duì)于算法的收斂性，以30%的椒鹽噪聲、高斯模糊下的退化圖像為實(shí)驗(yàn)對(duì)象，給出這四個(gè)算法的PSNR 值與復(fù)原結(jié)果的相對(duì)誤差隨著迭代次數(shù)變化的曲線圖，其中復(fù)原圖像的相對(duì)誤差計(jì)算公式表示如下：

根據(jù)圖2 所示，這四種算法的PSNR 值整體上呈現(xiàn)遞增趨勢(shì)，在迭代次數(shù)達(dá)到30 次時(shí)逐漸趨向于平緩。再考慮到算法所需要的CPU 時(shí)間，所有算法的迭代次數(shù)均設(shè)為30。同時(shí)，隨著算法迭代次數(shù)的增加，復(fù)原圖像的相對(duì)誤差逐漸降低直至趨于穩(wěn)定，這說(shuō)明算法在數(shù)值實(shí)驗(yàn)上是收斂的。

圖2 四種算法的PSNR 與ReErr 曲線圖

在數(shù)值實(shí)驗(yàn)中，灰度圖“Boat”是被高斯核模糊，同時(shí)受到椒鹽噪聲或隨機(jī)值噪聲的污染，其中高斯模糊核的標(biāo)準(zhǔn)差為5，大小為7×7，脈沖噪聲的水平分別為30%，40%與50%。表2 和表3 分別是椒鹽噪聲與隨機(jī)值噪聲下四種算法得到的復(fù)原圖像的PSNR 值與SSIM 值。通過(guò)對(duì)比數(shù)值結(jié)果，與L1 模型相比，本文提出的基于Lp 保真項(xiàng)的模型獲得更高的PSNR 值與SSIM 值。同時(shí)，因?yàn)锽M3D 或FFDNet 去噪器的作用，圖像復(fù)原的數(shù)值結(jié)果提升得非常明顯。

表2 標(biāo)準(zhǔn)差為5、大小為7×7 的高斯模糊核椒鹽噪聲下的復(fù)原結(jié)果

表3 標(biāo)準(zhǔn)差為5、大小為7×7 的高斯模糊核隨機(jī)值噪聲下的復(fù)原結(jié)果

為了更好地呈現(xiàn)復(fù)原圖像的效果，圖3 和圖4給出了椒鹽噪聲與隨機(jī)值噪聲下的噪聲圖像與四種算法獲得的復(fù)原圖像。通過(guò)觀察，我們發(fā)現(xiàn)基于Lp 保真項(xiàng)的算法在視覺效果上顯得更清晰，能夠盡可能多地保留圖像的紋理和細(xì)節(jié)，同時(shí)很好地去除脈沖噪聲。

圖3 標(biāo)準(zhǔn)差為5、大小為7×7 的高斯模糊核椒鹽噪聲下的復(fù)原圖像

圖4 標(biāo)準(zhǔn)差為5、大小為7×7 的高斯模糊核隨機(jī)值噪聲下的復(fù)原圖像

5 結(jié)束語(yǔ)

本文以基于學(xué)習(xí)的去噪器為正則項(xiàng)，提出了基于Lp 保真項(xiàng)的脈沖噪聲模型。在數(shù)值計(jì)算上，結(jié)合即插即用框架，利用ADMM 算法將優(yōu)化模型分解為三個(gè)子問(wèn)題。針對(duì)子問(wèn)題，依次應(yīng)用FFDNet 算法、Lp 近端加速算法與快速傅里葉變換進(jìn)行求解。經(jīng)過(guò)數(shù)值實(shí)驗(yàn)對(duì)比，與其他脈沖噪聲模型相比，所提出的模型獲得的PSNR 與SSIM 值都有一定程度的提升。所提出模型得到的復(fù)原圖像在視覺效果上更清晰，保留了圖像中大量的細(xì)節(jié)和紋理，且去噪效果顯著，有效提升了復(fù)原圖像的質(zhì)量。但是，由于即插即用(PnP)框架與Lp 保真項(xiàng)的非凸性，所提出算法在理論上的收斂性還無(wú)法保證，這也是我們進(jìn)一步討論和研究的問(wèn)題。