基于深度學(xué)習(xí)優(yōu)化的圖像高質(zhì)量動態(tài)降噪算法

摘要：電子設(shè)備采集圖像會受到光照、濕度等因素影響，從而產(chǎn)生噪聲污染，影響圖像的視覺效果.本研究以殘差網(wǎng)絡(luò)深度學(xué)習(xí)模型為基礎(chǔ)，融合注意力機制構(gòu)建圖像動態(tài)降噪方法，采用深度可分離殘差網(wǎng)絡(luò)模型取代傳統(tǒng)CNN網(wǎng)絡(luò)來進行圖像去噪的特征提取，同時在殘差網(wǎng)絡(luò)模型中加入了非局部注意力模塊和通道注意力模塊來優(yōu)化去噪中的特征提取任務(wù).實驗結(jié)果表明，構(gòu)建的模型參數(shù)具備更好的圖像降噪特征提取效果，其PSNR（Peak Signal-to-Noise Ratio，PSNR）值最大為28.88.同時在不同的數(shù)據(jù)集性能測試中，AD-ResNet降噪模型在高斯噪聲的處理中最高峰值信噪比為27.32，最高結(jié)構(gòu)相似度為0.7826；而在泊松噪聲處理中，最高峰值信噪比為26.61，最高結(jié)構(gòu)相似度為0.7374.本文方法實現(xiàn)了高精確率和高效率圖像降噪，具備有效的圖像降噪處理性能.

關(guān)鍵詞：殘差網(wǎng)絡(luò)；降噪；注意力機制；圖像處理

中圖分類號：TP391 文獻標志碼：A

Image Quality Dynamic Noise Reduction Algorithm Basedon Deep Learning Optimization

ZHANG Lei¹， LI Guo^2*

（1.Department of Mechanical and Electrical Information， Anhui Vocational and Technical College of Press and Publishing， Hefei 230601， China；

2.Department of Journalism and Communication， Anhui Vocational and Technical College of Press and Publishing， Hefei 230601， China）

Abstract：Electronic devices may be affected by factors such as light and humidity when collecting images， resulting in noise pollution and damaging the visual effect of the images. This study is based on the residual network deep learning model and integrates attention mechanism to construct a dynamic image denoising method. This study uses a deep separable residual network model to replace traditional CNN networks for feature extraction in image denoising. At the same time， non-local attention modules and channel attention models are added to the residual network model to optimize the feature extraction task in denoising. In the dataset experiment， the model parameters constructed in this study have the best performance in image denoising feature extraction， with a maximum PSNR （Peak signal to noise ratio， PSNR） value of 28.88. In performance tests on different datasets， the highest peak signal-to-noise ratio and structural similarity of the AD ResNet denoising model in Gaussian noise processing were 27.32 and 0.7826， respectively. In Poisson noise processing， the highest peak signal-to-noise ratio is 26.61， and the highest structural similarity is 0.7374. The experiment shows that this research has achieved both high accuracy and efficiency， and has effective image denoising processing performance.

Key words：residual network; noise reduction; attention mechanism; image processing

隨著計算機互聯(lián)網(wǎng)的快速發(fā)展，視覺信息的重要性不斷凸顯.圖像處理技術(shù)和降噪技術(shù)成為現(xiàn)階段的研究熱點.李婷等^［1］針對圖像強輻射環(huán)境干擾構(gòu)建了殘差網(wǎng)絡(luò)降噪模型，同時采用了數(shù)據(jù)增廣技術(shù)和交叉熵損失函數(shù)對模型進行完善，該模型將峰值信噪比提升了9 db，具有較好的降噪性能.劉文斌等^［2］則將殘差網(wǎng)絡(luò)模型的去噪方法應(yīng)用在了醫(yī)學(xué)CT圖像處理之中，通過多尺度殘差模型的降噪處理，低劑量CT圖像的噪聲干擾和偽影干擾得到有效處理，構(gòu)建了深度可分離殘差去噪模型，通過級聯(lián)訓(xùn)練和增量進化的方式優(yōu)化模型的訓(xùn)練^［3］.同時，在模型結(jié)構(gòu)之中增加了非局部注意力模型和通道注意力模型，用于增加模型對噪聲特征的全面提取和通道之間的聯(lián)系性.在上述方法的基礎(chǔ)上，本文構(gòu)建一種能夠針對高斯泊松混合噪聲的降噪模型，提高圖像降噪處理的適用范圍.

1 融合注意力機制和殘差網(wǎng)絡(luò)的圖像動態(tài)降噪方法

1.1 圖像的深度殘差降噪模型研究

傳統(tǒng)的圖像降噪方法如非局部自相似性、三維協(xié)作濾波等，在測試階段常常陷入復(fù)雜的計算優(yōu)化過程^［4］.為了提高圖像降噪的效率，基于深度學(xué)習(xí)方法的圖像降噪方法得到廣泛關(guān)注.卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生，而殘差網(wǎng)絡(luò)則是于2015年提出的新型卷積網(wǎng)絡(luò)結(jié)構(gòu)，具備更加優(yōu)越的數(shù)據(jù)處理性能和效率.因此本文將構(gòu)建深度殘差降噪模型（DResNet），并利用注意力機制（Attention Mechanism，AM）進行優(yōu)化，從而構(gòu)建融合注意力機制的深度殘差圖像動態(tài)降噪模型（Attention-D ResNet，AD-ResNet）^［5］.同時，采用深度可分離殘差網(wǎng)絡(luò)的觀點來降低標準殘差網(wǎng)絡(luò)的規(guī)模，進一步降低計算成本.標準殘差、簡化深度殘差及深度可分離簡化殘差的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1中C表示卷積計算、BN表示骨干網(wǎng)絡(luò)，ReLU表示激活函數(shù).而DWC則表示深度卷積、1*1 C表示1×1卷積.在圖1（c）結(jié)構(gòu)中，卷積核運算中的稀疏連接和權(quán)值共享能力可以將圖像原本的特征進行提取保留，因此深度殘差去噪的1*1結(jié)構(gòu)減少了計算量.ReLU激活函數(shù)的公式表示為

g（x）=max（0，x）.（1）

從式（1）可以看出，ReLU激活函數(shù)的優(yōu)點在于當輸入為正時，梯度恒定為1，不會出現(xiàn)梯度飽和或梯度消失的問題.本研究對殘差網(wǎng)絡(luò)的訓(xùn)練采用綜合級聯(lián)訓(xùn)練和增量訓(xùn)練的方式進行^［6］.級聯(lián)訓(xùn)練過程中所有階段的輸出大小相同，因此該過程中可以共享樣本.在生成一個可以自動學(xué)習(xí)的深度可分離殘差去噪模型之后，圖像去噪便是將噪聲圖和無噪聲圖放入網(wǎng)絡(luò)中進行端到端訓(xùn)練，最終使降噪的結(jié)果圖更加接近沒有噪聲的圖像.常見的噪聲類型中，高斯噪聲和泊松噪聲的數(shù)據(jù)模型分別表示為

{Y_i=D（X_i）=X_i+n_i，Y_i=D（X_i）=p_i，p_i∈P（X_i）.（2）

其中，第1行表示高斯噪聲模型；Y_i為第i個觀察像素；X_i表示未添加噪聲的原圖像素；n_i表示加性高斯噪聲.高斯噪聲通常用來模擬與信號無關(guān)的熱噪聲或者其他干擾項.第2行為泊松噪聲模型，PX_i表示泊松隨機變量，泊松噪聲通常產(chǎn)生于低光射出的噪聲引發(fā)的信號退化.本次去噪模型將對兩種噪聲進行混合去噪，因此將泊松-高斯噪聲模型表示為

Y_i=D（X_i）=αp_i+n_i，（3）

其中，α表示兩種噪聲在圖像中的西格瑪峰值比重.

1.2 融合注意力機制的動態(tài)降噪方法

注意力機制的提出，來源于人們視覺獲得信息的方式，將注意力集中在理想的區(qū)域上，對那些不重要的信息給予較少的關(guān)注權(quán)重，從而可以提升信息的處理效率.在此基礎(chǔ)上，學(xué)界提出了一種基于注意力的算法，即增強對有效特征的抽取，并對無意義特征進行過濾.在圖像加工過程中，注意力機制能夠?qū)D像中所包含的各種信息進行加權(quán).常用的通道注意力方法是基于信息關(guān)聯(lián)性的，對其進行整體壓縮，重構(gòu)出具有更好表達性能的特征圖，構(gòu)建的深度可分離殘差去噪模型雖然減少了卷積計算的參數(shù)量，但是在圖像的降噪中采取全像素統(tǒng)一重要程度的處理方式，當圖像既具備噪聲特征，又具備無噪聲特征時，該方法在圖像的全局特征提取上受到限制.因此，本文引入注意力機制來優(yōu)化DResNet模型，從而構(gòu)建動態(tài)降噪模型.通過注意力機制的引入增加模型對含噪聲部分圖像像素的關(guān)注程度，從而更好地捕捉圖像噪聲特征.動態(tài)降噪的主要思路是用視頻圖像中不同幀數(shù)之間的噪聲特征不同來模擬圖像內(nèi)部不同像素之間的噪聲特征，為不同重要程度的像素賦予不同權(quán)重，以此加強噪聲特征的提取學(xué)習(xí).融合注意力機制與DResNet去噪模型的圖像特征提取過程表示為

x^m_j=g（∑_i∈Mjw^m_ijx^m－1_i+b^m_j），（4）

其中，M_j表示模型輸入的噪聲特征圖；m表示卷積層數(shù)；j表示圖像編號；x表示圖像在m層的輸出特征；g表示式（1）中的ReLU激活函數(shù)；x^m－1_i表示圖像在m－1層的輸出特征；w^m_ij表示卷積核運算；b表示模型偏差.同時模型的損失函數(shù)通過殘差思想構(gòu)建，具體公式為

l（θ）=12N∑^N_i=1‖S（y_i;θ）－（y_i－x_i）‖²_g，（5）

其中，θ表示訓(xùn)練過程中的權(quán)重參數(shù)和偏置參數(shù)；當損失函數(shù)達到最小值的時候，模型參數(shù)值最優(yōu).N表示圖像數(shù)量；S表示殘差映射；x和y分別表示圖像噪聲位置和無噪聲位置.在深度可分離殘差去噪模型中，注意力機制的引入表現(xiàn)為注意力模塊的添加，本文同時增加非局部注意力模塊和通道注意力模塊，兩者針對的問題不同.非局部注意力模塊包含了1*1卷積核和Softmax函數(shù)處理，在兩個卷積核運算得出特征圖參數(shù)之后，將特征參數(shù)做點積運算，得出相似性特征矩陣.相似性權(quán)重矩陣的應(yīng)用可以增強模型對噪聲特征的學(xué)習(xí).Softmax函數(shù)公式為

y=Softmax（x^TW^T_θW_φx）q（x），（6）

其中，x^TW^T_θW_φx表示1*1卷積核點積運算結(jié)果，q（x）表示1*1卷積計算之后的特征參數(shù).在非局部注意力模塊的引入下，本文優(yōu)化了圖像全局噪聲特征信息的捕獲精確性.而在通道注意力模塊則是增強獨立層通道之間的聯(lián)系.在進行全局平均池化之后，得出噪聲圖像的全局特征后采用ReLU激活函數(shù)層和Sigmoid激活函數(shù)層計算得出通道之間的權(quán)重.將權(quán)重系數(shù)和特征參數(shù)做點積運算即可得出通道注意力加權(quán)之后的輸出特征.Sigmoid激活函數(shù)的公式為

f（x）=1/（1+e^－x）.（7）

傳統(tǒng)的CNN網(wǎng)絡(luò)隨著結(jié)構(gòu)的加深會出現(xiàn)梯度消失或者梯度爆炸問題，而網(wǎng)絡(luò)結(jié)構(gòu)過寬會出現(xiàn)過擬合現(xiàn)象.因此，本文采用優(yōu)化的殘差網(wǎng)絡(luò)模型來改善圖像識別性能.網(wǎng)絡(luò)結(jié)構(gòu)的主要特點是對于每一個殘差模塊中的輸入經(jīng)過加權(quán)層、ReLU激活函數(shù)和另外一個加權(quán)層，與輸入做一個連接，最后再經(jīng)過ReLU函數(shù)之后，作為下一層的輸出.殘差網(wǎng)絡(luò)有效解決了由于網(wǎng)絡(luò)過深出現(xiàn)的梯度問題，使網(wǎng)絡(luò)可以捕獲更深層次的特征.提出的深度可分離殘差降噪模型構(gòu)建優(yōu)化流程如圖2所示.

如圖2所示，本研究采用的殘差網(wǎng)絡(luò)去噪模型引用了CNN模型的殘差學(xué)習(xí)策略，其主要運算過程依靠卷積運算.運用卷積運算提取噪聲圖像的特征，其公式表示為

F=Conv（R），（8）

其中，F(xiàn)表示圖像特征；R表示含噪圖像；Conv表示卷積運算.由于在殘差去噪網(wǎng)絡(luò)模型中增加注意力模塊進行加權(quán)處理，因此通過殘差模型的卷積運算得出圖像特征之后，還需要在注意力模塊中進行二次提取，同樣依靠卷積運算完成，其公式為

F′=Conv（F），（9）

其中，F(xiàn)′表示注意力模塊加權(quán)二次提取之后的圖像特征.注意力模塊可以定義為

A=

wUH_j（H_j－1（H_j－2）（…）（H₁）F（…））+F，（10）

其中，A表示注意力殘差模塊；w表示權(quán)重取值；H表示多注意力模塊；j表示注意力模塊的數(shù)量；F表示圖像特征1；表示元素乘法.

2 AD-ResNet降噪模型的性能分析實驗

實驗通過pascal voc數(shù)據(jù)集進行AD-ResNet降噪模型訓(xùn)練和性能測試.該數(shù)據(jù)集有11 540個圖像樣本，將其中1 000張圖像作為測試數(shù)據(jù)，其余樣本用于模型訓(xùn)練.本次實驗對于圖像降噪性能的評價采用峰值信噪比（Peak Signal-to-Noise ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity Index Measure，SSIM）進行評估.PSNR值越大，表示降噪處理之后的圖像與原圖像越接近.而SSIM值越大，則表示在降噪過程中圖形的結(jié)構(gòu)改變越小，具體實驗結(jié)果如圖3所示.

實驗中，圖像大小均為640×480.圖3（a）中，橫軸坐標表示圖像的高斯-泊松噪聲的比值，1～8分別表示0.1/1、0.2/2、0.5/5、1/10、2/20、3/30、6/60、12/120；而3（b）中的1～4為高斯西格瑪值，分別為10、25、50、75，而5～8為泊松峰值，分別為1、2、4、8.從圖4中可以看出，在高斯-泊松混合噪聲圖像降噪之中，0.1/1～12/120 8種噪聲情況下13層模型略微高于其他層數(shù)的模型.整體上觀察隨著Sigma和峰值的越大，AD-ResNet降噪模型的峰值信噪比上升.同時，層數(shù)越多，模型的性能越好.在13層模型中，PSNR值最大為28.88，高于其他情況.

最后將不同降噪模型在pascal voc測試集中進行混合噪聲降噪性能分析，實驗結(jié)果如圖4所示.圖4（a）中，本文降噪模型的峰值信噪比整體高于其他兩種算法，降噪模型的PSNR整體隨著西格瑪/峰值的上升而上升.AD-ResNet的

PSNR處于22.64～28.78，而BM3D模型的PSNR值區(qū)間為21.28～28.43.DN-CNN模型的混合噪聲處理中PSNR值區(qū)間為21.56～28.45.從圖4（b）可以看出，本文方法的結(jié)構(gòu)相似度整體高于BM3D模型.AD-ResNet的SSIM處于06044～0.828，而BM3D模型的SSIM值區(qū)間為0.5451～0.7962.DN-CNN模型的混合噪聲處理中SSIM值區(qū)間為0.6037～08177.在Set14和BSD200數(shù)據(jù)集的測試實驗中，模型在高斯噪聲降噪處理中最高峰值信噪比為27.32，最高結(jié)構(gòu)相似比為0.7826.而AD-ResNet在泊松噪聲降噪處理最高高峰值信噪比為26.61，最高結(jié)構(gòu)相似比為0.7374.

為了直觀地展示不同降噪模型在高斯-泊松混合降噪中的圖像處理性能，將數(shù)據(jù)集中的實驗結(jié)果圖進行對比，結(jié)果如圖5所示.

從圖5可以看出，BM3D模型和DN-CNN模型均具備一定程度上的失真或模糊，本文構(gòu)建的AD-ResNet模型的降噪處理效果最佳.

3 結(jié)語

本文提出了用于圖像降噪的AD-ResNet模型，并通過數(shù)據(jù)集訓(xùn)練和測試進行了模型的優(yōu)化性能驗證.在pascal voc數(shù)據(jù)集訓(xùn)練中，AD-ResNet的13層模型PSNR值最大為28.88，高于其他結(jié)構(gòu)，平均每張圖的處理速度小于10 ms.在混合噪聲降噪性能分析實驗中，AD-ResNet的PSNR處于22.64～28.78，而BM3D模型的

PSNR值區(qū)間為21.28～28.43.DN-CNN模型的混合噪聲處理中PSNR值區(qū)間為21.56～28.45.AD-ResNet的SSIM處于0.6044～0.828，而BM3D模型的SSIM值區(qū)間為0.5451～0.7962.DN-CNN模型的混合噪聲處理中SSIM值區(qū)間為0.6037～08177.實驗數(shù)據(jù)表明，本文構(gòu)建的AD-ResNet在圖像混合噪聲處理中的性能優(yōu)越，模型的輸出結(jié)果失真和模糊的程度較少.

參考文獻：

［1］ 李婷，胡浩行，劉理想，等.基于深度殘差網(wǎng)絡(luò)的強輻照圖像去噪方法研究［J］.儀表技術(shù)與傳感器，2019（7）：78-87.

［2］ 劉文斌，崔學(xué)英，程小霞.基于多尺度殘差網(wǎng)絡(luò)構(gòu)架的低劑量CT圖像去噪［J］.寧夏師范學(xué)院學(xué)報，2020，41（10）：61-68.

［3］ 申興成，楊學(xué)志，董張玉，等.結(jié)合擴張卷積的殘差網(wǎng)絡(luò)SAR圖像去噪［J］.測繪科學(xué)，2021，46（12）：106-114.

［4］ 任學(xué)智，何鵬，龍鄒榮，等.基于全卷積金字塔殘差網(wǎng)絡(luò)的能譜CT圖像降噪研究［J］.光譜學(xué)與光譜分析，2021，41（9）：2950-2955.

［5］ 潘凱，侯亮.基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像降噪［J］.現(xiàn)代信息科技，2020，4（12）：60-65.

［6］ 井貝貝，郭嘉，王麗清，等．結(jié)合降噪卷積神經(jīng)網(wǎng)絡(luò)和條件生成對抗網(wǎng)絡(luò)的圖像雙重盲降噪算法［J］．計算機應(yīng)用，2021，41（6）：1767-1774.

［7］ 周旭東，陳明惠，馬文飛，等.多尺度條件卷積的OCT視網(wǎng)膜圖像降噪研究［J］.光學(xué)技術(shù)，2022，48（1）：102-108.

［責任編輯：李 嵐］