一種基于U-Net的圖像去模糊方法

張乾俊，廉佐政，趙紅艷

一種基于U-Net的圖像去模糊方法

張乾俊，廉佐政，趙紅艷

（齊齊哈爾大學 計算機與控制工程學院，黑龍江 齊齊哈爾 161006）

針對現有深度學習的圖像去模糊方法存在網絡接受域小、制約去模糊效果的問題，提出了一種改進的U-Net（U形卷積神經網絡）模型，該模型使用深度可分離卷積實現標準卷積操作，以減少模型計算和參數．模型中嵌入小波變換，分離圖像的上下文和紋理信息，降低模型訓練的難度．設計的密集多接受域通道模塊可以提取圖像細節信息，從而提高小波重構圖像的質量．實驗表明，該方法在峰值信噪比（PSNR）和結構相似性（SSIM）方面具有較好的性能，模型參數較少，圖像恢復時間較短．

深度可分離卷積；U-Net模型；密集多接受域通道模塊；小波變換

目前，模糊圖像廣泛存在，引起圖像模糊的原因很多，如光學系統的像差、成像過程中目標的相對運動、低光照、環境噪聲等．這些模糊圖像不僅主觀上影響視覺體驗，而且影響了目標檢測等后續的視覺任務．因此，圖像去模糊是計算機視覺中的一個關鍵性問題．圖像模糊問題的解決方法主要包括非盲和盲去模糊兩大類，前者需要已知圖像的模糊過程，來確定模糊核函數，后者則不需要．在實際應用中，模糊圖像的模糊過程大多是未知的，因此盲去模糊方法應用廣泛．傳統的盲去模糊方法大多采用正則化和手工制作圖像先驗來估計模糊核，再用迭代優化的方式逐步恢復清晰圖片，這就涉及復雜模糊核的估計，導致去模糊的過程繁瑣，實時性差，算法的性能不高．隨著深度學習快速發展，基于深度學習的盲去模糊方法[1]已逐步得到應用．歐陽寧[2]等基于對抗網絡提出一種基于自適應殘差的運動圖像去模糊方法，能夠重建出紋理細節豐富的高質量圖像．Nah[3]等提出基于深度學習端到端去除圖像模糊，用多尺度卷積神經網絡直接從模糊圖像恢復到清晰圖像．毛勇[4]等用生成對抗網絡設計車牌去運動模糊模型，有效去除合成運動模糊圖像和真實場景下運動模糊圖像中存在的運動模糊．Tao[5]等提出一種基于高分辨率特征保持的圖像去模糊網絡，并行連接由高至低各分辨率特征子網絡，無需由低分辨率到高分辨率的重建過程．Zhang[6]等使用卷積神經網絡（Convolutional Neural Networks，CNN）學習每個位置的循環神經網絡（Recurrent Neural Networks，RNN）的像素權重，來增加接受域．用RNN或CNN只能捕獲小部分領域信息，無法有效獲得全局上下文依賴信息．Zeng[7]等采用了密集網絡來進行圖像的去模糊，可以避免梯度消失問題．

文獻[1-7]的方法存在網絡的接受域較小的問題，不能獲取更多的圖像信息，影響了圖像的去模糊效果．本文針對這些問題，提出新的方法，即構建了U-Net（U-shaped Convolutional Neural Network）模型，分析了去模糊原理，并通過實驗進行效果評估，驗證了該方法具有良好的去模糊效果．

1 基于U-Net的去圖像運動模糊方法

1.1 模型設計

本文設計的模型見圖1．該模型由深度可分離卷積、深度可分離殘差卷積、哈爾小波變換、密集多接受域通道模塊組成．模型左側為編碼器，右側為解碼器．為了減少網絡模型中參數，編碼器用深度可分離卷積實現卷積操作，用深度可分離殘差卷積完成殘差卷積．使用二維離散哈爾小波來實現下采樣，以獲取到圖像不同頻率的上下文和紋理信息，降低計算復雜性，減少訓練難度．在深層編碼時使用了密集多接受域通道模塊，來獲取不同尺度的圖像信息，緩解梯度消失、重用特性的出現．在解碼階段，用哈爾小波的逆變換來實現上采樣過程，減少圖像信息的損失．再通過深度可分離卷積和深度可分離殘差卷積對圖像進行有效重建．對模型的關鍵部分小波變換及其逆變換、密集多接受域通道模塊進行分析．

圖1 模型設計

1.2 哈爾小波變換及其逆變換

哈爾小波是小波變換中最易于實現、操作簡單的一種變換，因此本文用二維離散哈爾小波變換及其逆變換實現圖像下采樣和上采樣操作，即實現圖像的分解和重構，其過程見圖2．圖2左半部完成小波變換，首先沿著列方向進行行濾波，再進行下采樣，然后將得到的濾波結果沿著行方向進行列濾波，再下采樣，從而獲得4個不同的頻帶，一個近似分量A，水平、垂直、對角等方向的３個細節分量H，V，D．圖2右半部完成小波逆變換，首先對D，V進行上采樣，再沿著列方向進行行濾波，H，A也做同樣的操作．然后將其結果進行上采樣，再沿著行方向進行列濾波，最后將濾波結果融合，得到重構的去模糊圖像．這個過程中不僅避免圖像信息丟失，且會生成更多的高頻信息．因此，可以獲得清晰的圖像．

圖2 小波變換及其逆變換

1.3 密集多接受域通道模塊

為提取圖像的深層語義信息，提高圖像去模糊的性能，提出密集多接受域模塊．密集多接受域通道模塊，由4個多接受域通道塊和1個瓶頸層組成（見圖３）．通過多接受域通道塊來提取圖像的語義特征，再用瓶頸層來減少特征輸入的數量，來提高模型的緊湊性和計算效率．用密集連接的方式，來加強圖像特征的傳遞，更加有效地利用圖像特征．密集多接受域通道模塊表示為

式中：表示串聯層混合的接受域塊所產生的特征圖；表示將多個輸入張量轉化為單個張量；表示瓶頸層的輸出；為瓶頸層的超參數，瓶頸層采用的濾波器大小為1×1．

圖4 多接收域通道塊

2 實驗分析

2.1 實驗準備

本文使用了GOPRO數據集[8]來訓練本文的模型，它由3 214模糊清晰圖像對組成，包含了22個不同的場景．選用2 103對圖像作為訓練集，1 111對圖像作為測試集．為了提高模型的泛化能力，對訓練集進行數據增強操作，分別采用隨機旋轉，隨機左右、上下翻轉，高斯噪聲，旋轉角度為90°，180°，270°，噪聲均值為0，方差為0.000 1．

2.2 損失函數

圖像去模糊采用均方誤差（MSE）損失作為常用指標，通過使用歐式距離來測量預測值與實際值之間的差值

同時為獲得圖像邊緣細節信息，使用了SSIM損失函數[10]

2.3 效果評價

使用峰值信噪比（PSNR）和結構相似度（SSIM）來作為評價指標，它們的值越大，代表圖像的質量就越好，計算公式

本文方法的平均PSNR和平均SSIM與其它方法的比較情況見表1．通過比較發現，本文方法在PSNR和SSIM方面優于其他方法，比文獻[5]的PSNR高0.59，SSIM高0.014．

表1 各算法在數據集上的定量評估

本文方法在GOPRO測試數據集上所用的時間、模型參數大小見表2．本文比文獻[3]和文獻[5]的所需的時間更少，模型參數更?。?/p>

表2 各算法在數據集上的運行時間和網絡模型大小

3 結語

本文提出了一種基于改進U-Net模型的圖像去模糊方法，該方法引入了二維離散哈爾小波，并設計了密集多接受域通道塊．模型中的下采樣采用小波變換，上采樣采用小波逆變換，從而獲得了更多的圖像細節，降低了計算復雜度．密集多接受域通道塊以密集連接方式連接多個接收通道塊，增強了網絡的傳輸能力．本文的方法不僅可以顯著降低模型的參數，而且可以減少模型恢復清晰圖像的運行時間，達到良好的圖像去模糊效果．

[1] 潘金山．基于深度學習的圖像去模糊方法研究進展[J]．計算機科學，2021，48（3）：9-13．

[2] 歐陽寧，鄧超陽，林樂平．基于自適應殘差的運動圖像去模糊[J]．計算機工程與設計，2021，42（6）：1684-1690．

[3] Nah S，Kim T H，Lee K M．Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring[C]// IEEE Computer Society．2017 IEEE Conference on Computer Vision and Pattern Recognition．Honolulu，USA：IEEE，2017.

[4] 毛勇，陳華華．基于深度學習的車牌圖像去運動模糊技術[J]．杭州電子科技大學學報，2018，38（5）：33-37．

[5] Tao X，Gao H，Wang Y，et al．Scale-recurrent Network for Deep Image Deblurring[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City，USA：IEEE，2018．

[6] Zhang J，Pan J，Ren J，et al．Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）．Salt Lake City，USA：IEEE，2018．

[7] Zeng Tao，Diao Changyu．Single Image Motion Deblurring Based On Modified DenseNet[C]//2020 2nd International Conference on Machine Learning，Big Data and Business Intelligence（MLBDBI）．Chengdu：Institute of Electrical and Electronics Engineers Inc，2020．

[8] 黃彥寧，李偉紅，崔金凱，等．強邊緣提取網絡用于非均勻運動模糊圖像盲復原[J]．自動化學報，2021，47（11）：1-17．

[9] Liu H L，Tian X．AEGD：Adaptive Gradient Decent with Energy[J/OL]．arXiv preprint arXiv 2020，1（1）：1-25. https://arxiv.org/abs/2010.05109.

[10] Wang Z，Bovik A C，Sheikh H R，et al．Image quality assessment:from error visibility to structural sim-ilarity[J]. IEEETransactions on Image Processing，2004，13（4）：600-612.

An image deblurring method based on U-Net

ZHANG Qianjun，LIAN Zuozheng，ZHAO Hongyan

（School of Computer and Control Engineering，Qiqihar University，Qiqihar 161006，China）

The existing deep learning image deblurring methods have the problems of small network receptive field and restricting the deblurring effect，an improved U-Net（U-shaped Convolutional Neural Network）model is proposed．The model uses depth-wise separable convolution to archive standard convolution operation to reduce model calculations and parameters．The wavelet transform is embedded in the U-Net model to separate the context and texture information of the image and reduce the difficulty of model training．In order to improve the image quality of wavelet reconstruction，dense multi-receptive field channel module is used to extract image detail information．Experiments show that the image deblurring method has better performance in PSNR（peak signal-to-noise ratio）and SSIM（structural similarity），with fewer model parameters and shorter recovery time.

depth-wise separable convolution；U-Net model；dense multi-receptive field channel module；wavelet transform

1007-9831（2022）05-0047-05

TP391

A

10.3969/j.issn.1007-9831.2022.05.008

2022-01-20

黑龍江省高等教育教學改革研究項目（SJGY20200770，SJGY20190710）；齊齊哈爾大學教育科學研究項目（ZD201802）

張乾?。?996-），男，陜西漢中人，在讀碩士，從事深度學習應用研究．E-mail：1123495150@qq.com

廉佐政（1977-），男，黑龍江海倫人，副教授，碩士，從事機器學習與人工智能應用研究．E-mail：lianzuozheng@163.com