基于深度學(xué)習(xí)的圖像恢復(fù)技術(shù)研究與實(shí)現(xiàn)

陸佳磊 張永健

摘要：針對(duì)現(xiàn)有的基于傳統(tǒng)算法的圖像恢復(fù)技術(shù)無法有效地恢復(fù)出高質(zhì)量圖像問題，本文提出了基于深度學(xué)習(xí)技術(shù)的圖像恢復(fù)方法。對(duì)現(xiàn)有的圖像恢復(fù)網(wǎng)絡(luò)進(jìn)行改進(jìn)，總體網(wǎng)路模型基于生成對(duì)抗網(wǎng)絡(luò)，其中生成網(wǎng)絡(luò)總體結(jié)構(gòu)基于UNet網(wǎng)絡(luò)，對(duì)上采樣下采樣的次數(shù)作調(diào)整，根據(jù)數(shù)據(jù)集的特點(diǎn)，減少了網(wǎng)絡(luò)的下采樣次數(shù)，防止因?yàn)榫W(wǎng)絡(luò)的層數(shù)過多導(dǎo)致的特性信息的流失。特征提取模塊中加入密集網(wǎng)絡(luò)的特征提取模塊，在減少網(wǎng)絡(luò)參數(shù)的同時(shí)提升提取特征的能力。數(shù)據(jù)集使用了經(jīng)過光加密系統(tǒng)后的CGH（Computer Generated Holograms）計(jì)算生成全息圖作為生成的噪聲圖像，并使用本文提出深度學(xué)習(xí)方法對(duì)該測試集進(jìn)行恢復(fù)，對(duì)恢復(fù)的結(jié)果使用PSNR和SSIM指標(biāo)進(jìn)行評(píng)價(jià)，結(jié)果顯示本文提出算法的有效性能。綜上可知，本文算法所實(shí)現(xiàn)的模型能夠有效地對(duì)現(xiàn)有的受損圖像恢復(fù)并且恢復(fù)出高質(zhì)量的圖像，對(duì)圖像恢復(fù)領(lǐng)域有著較高的實(shí)用價(jià)值和意義。

關(guān)鍵詞：圖像恢復(fù);深度學(xué)習(xí);圖像去噪;計(jì)算生成全息圖;圖像光加密

中圖分類號(hào)：TP391? ? 文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)：1009-3044（2021）14-0164-02

在如今信息技術(shù)高度發(fā)展的時(shí)代，信息安全變得尤為重要，光加密作為一種可靠的圖像加密技術(shù)具有安全，高效等特點(diǎn)。在光加密系統(tǒng)中，隨機(jī)相位掩膜面積有限，為一截?cái)嗉兿辔荒０?，因此傅立葉譜不可能是一純相位函數(shù)，故生成的圖像具有嚴(yán)重的圖像噪聲。直接對(duì)數(shù)據(jù)集使用光加密系統(tǒng)的噪聲圖像使用深度學(xué)習(xí)去噪需要大量的數(shù)據(jù)樣本，無法達(dá)到實(shí)際使用的要求。

計(jì)算全息技術(shù)是光學(xué)技術(shù)與計(jì)算機(jī)技術(shù)結(jié)合的產(chǎn)物，通過計(jì)算機(jī)對(duì)于三維虛擬物體的光波和參考光的干涉進(jìn)行模擬計(jì)算，通過波前調(diào)制設(shè)備加載干涉條紋重現(xiàn)三維虛擬物體。對(duì)數(shù)據(jù)集使用計(jì)算全息圖后在使用圖像加密系統(tǒng)對(duì)圖像進(jìn)行加密，計(jì)算全息圖生成的圖像特征類似，使用深度學(xué)習(xí)技術(shù)只需要學(xué)習(xí)相似的圖像特征，這就能克服需要大量的數(shù)據(jù)樣本來學(xué)習(xí)圖像權(quán)重恢復(fù)圖像的缺點(diǎn)，通過這種方法只需要少量的數(shù)據(jù)樣本就能對(duì)解密后的噪聲圖像進(jìn)行恢復(fù)。

基于傳統(tǒng)的圖像去噪算法對(duì)受損嚴(yán)重的圖像無法有效的去噪?，F(xiàn)有的深度學(xué)習(xí)算法如DnCNN和一些去霧去雨的網(wǎng)絡(luò)針對(duì)的數(shù)據(jù)集噪聲簡單，而本文的噪聲干擾較為嚴(yán)重，需要對(duì)特征提取模塊和網(wǎng)絡(luò)的總體結(jié)構(gòu)重新設(shè)計(jì)來達(dá)到去除圖像噪聲的目的。

1 相關(guān)工作

本文數(shù)據(jù)集通過仿真實(shí)驗(yàn)生成數(shù)據(jù)集。在生成數(shù)據(jù)的過程中，預(yù)先使用數(shù)據(jù)集轉(zhuǎn)化為CGH圖，再將CGH圖像通過光加密系統(tǒng)加密解密，最后生成的解密圖像伴隨嚴(yán)重的噪聲干擾，通過深度學(xué)習(xí)技術(shù)對(duì)解密后的噪聲圖去噪，恢復(fù)出高質(zhì)量的無噪聲圖。

本文去噪技術(shù)的實(shí)現(xiàn)使用深度學(xué)習(xí)算法，其中網(wǎng)絡(luò)基于GAN[1]（Generative Adversarial Networks）生成對(duì)抗網(wǎng)絡(luò)對(duì)圖像進(jìn)行去噪，與傳統(tǒng)的深度學(xué)習(xí)模型不同的，生成對(duì)抗網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩個(gè)部分組合而成，生成網(wǎng)絡(luò)的參數(shù)更新根據(jù)判別網(wǎng)絡(luò)而來。判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)通過交替更新參數(shù)的方式訓(xùn)練，最后達(dá)到一個(gè)納什平衡，生成最優(yōu)的圖像。生成網(wǎng)絡(luò)擬合出接近于原圖像的數(shù)據(jù)分布，可以生成質(zhì)量較高的圖像，在本文中，通過對(duì)抗訓(xùn)練的方式去除圖像的噪聲，最后擬合出高質(zhì)量的無噪聲圖像。

生成網(wǎng)絡(luò)基于UNet[2]拓?fù)浣Y(jié)構(gòu)，通過控制UNet網(wǎng)絡(luò)的下采樣參數(shù)來調(diào)整網(wǎng)絡(luò)的最優(yōu)結(jié)果。為了增加網(wǎng)絡(luò)的性能，受到Dense Block[3]密集網(wǎng)絡(luò)模塊啟發(fā)，在網(wǎng)絡(luò)的特征提取模塊中加入了特征提取模塊提升網(wǎng)絡(luò)的性能。

根據(jù)EfficientNet[4]的啟發(fā)，影響網(wǎng)絡(luò)性能主要有三個(gè)指標(biāo)，即網(wǎng)絡(luò)的深度，網(wǎng)絡(luò)的寬度和分辨率直接影響著網(wǎng)絡(luò)的性能。網(wǎng)路的深度通過堆疊卷積層的數(shù)量實(shí)現(xiàn)，網(wǎng)絡(luò)的寬度通過對(duì)不同尺度下的特征圖提取特征實(shí)現(xiàn)，Inception V3中通過對(duì)輸入的特征圖使用不同尺度的卷積核提取了特征的方式來增強(qiáng)網(wǎng)絡(luò)的寬度。而網(wǎng)絡(luò)的分辨率可以通過選擇下采樣的方式來控制，例如通過采樣最大池化層和通過設(shè)置卷積核的步長來控制分辨率因素?；谠摾碚摚疚耐ㄟ^深度參數(shù)來控制網(wǎng)絡(luò)的深度，使用卷積核的方式會(huì)造成圖像的失真問題，通過設(shè)置下采樣的方式為最大池化層提取最有表征能力的特征。

2 網(wǎng)絡(luò)模型搭建

針對(duì)本文中CGH噪聲圖像特點(diǎn)，如何提取出圖像中的有效特征信息是一個(gè)具有挑戰(zhàn)性的問題，本文中的特征提取模塊加入密集網(wǎng)絡(luò)模塊，每個(gè)密集網(wǎng)絡(luò)模塊使用由5個(gè)卷積層和歸一化層、激活函數(shù)層基本構(gòu)件Base Block組合而成。使用BN（Batch normalization）層[5]可以加快網(wǎng)絡(luò)的收斂速度，同時(shí)可以防止過擬合的過程，但是這也造成了網(wǎng)絡(luò)中的參數(shù)過多?；谙袼丶?jí)別的圖像恢復(fù)算法需要大量的網(wǎng)絡(luò)參數(shù)來提升網(wǎng)絡(luò)的性能，這樣造成的網(wǎng)絡(luò)的訓(xùn)練速度過慢，在模型中的加入1×1的卷積可以在不影響網(wǎng)絡(luò)性能的情況下減少網(wǎng)絡(luò)的參數(shù)，此外1×1的卷積可以對(duì)網(wǎng)絡(luò)的通道進(jìn)行非線性的融合，提升網(wǎng)絡(luò)的擬合能力。故每個(gè)Dense Block由2組Base Block和一個(gè)1×1的卷積組合而成。生成網(wǎng)絡(luò)的總體網(wǎng)絡(luò)結(jié)構(gòu)基于UNet，原始的UNet網(wǎng)絡(luò)對(duì)輸入的特征圖做4次的下采樣，其原理基于圖像金字塔理論，通過特征圖的變換提取不同尺度下特征圖的特征信息，提升網(wǎng)絡(luò)的魯棒性。

而針對(duì)不同的數(shù)據(jù)集的特點(diǎn)應(yīng)該控制下采樣的次數(shù)，在本文的數(shù)據(jù)集中，下采樣次數(shù)的增強(qiáng)會(huì)造成網(wǎng)絡(luò)中卷積層數(shù)的增加，這樣會(huì)導(dǎo)致特性信息的流失，同時(shí)，會(huì)造成網(wǎng)絡(luò)的參數(shù)過多。在實(shí)驗(yàn)的過程中發(fā)現(xiàn)了將下采樣次數(shù)控制在2次的情況下生成最優(yōu)的圖像質(zhì)量。

生成網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示，將噪聲圖像輸入到生成網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)經(jīng)過3個(gè)Dense Block提取特征，該過程中對(duì)特征圖做兩次的下采樣。相應(yīng)的將特征圖經(jīng)過兩次上采樣恢復(fù)出原圖像的尺度大小，在上采樣和下采樣的對(duì)應(yīng)維度特征圖下通過skip concat跳躍連接來共享特性圖的信息流，這樣保證特征信息能在網(wǎng)絡(luò)中有效地傳遞?；謴?fù)出高質(zhì)量的圖像。最后生成網(wǎng)絡(luò)輸出去噪后的干凈圖像。

3 實(shí)驗(yàn)過程與結(jié)果

3.1模型的訓(xùn)練過程

本文的網(wǎng)絡(luò)模型搭建基于tensorflow1.0框架，實(shí)驗(yàn)中使用Rtx 2080ti訓(xùn)練數(shù)據(jù)集，實(shí)驗(yàn)的數(shù)據(jù)使用26個(gè)英文字母，每種英文字母使用50張不同的圖像共1300張作為訓(xùn)練集，其中測試每種英文字母使用5種不同的圖像作為測試集。

在訓(xùn)練的過程中，控制初始學(xué)習(xí)率為0.001，在訓(xùn)練的過程中學(xué)習(xí)率指數(shù)衰減的方式自適應(yīng)的變換。在經(jīng)過50萬輪次的學(xué)習(xí)過后，損失函數(shù)下降趨于平穩(wěn)。此時(shí)訓(xùn)練結(jié)束。

訓(xùn)練的結(jié)果如圖2所示，從左往右開始，第一張為經(jīng)過光學(xué)加密系統(tǒng)的二值圖像，第二張為經(jīng)過本文對(duì)抗網(wǎng)絡(luò)訓(xùn)練后算法去噪后的圖像，第三張為原CGH圖。第四張為原始圖像，第五張為經(jīng)過去噪后重現(xiàn)的CGH圖像，第六張為原始CGH重現(xiàn)后的圖像。

3.2圖像評(píng)價(jià)指標(biāo)

本文算法使用了SSIM和PSNR作為實(shí)驗(yàn)的去噪后的參考指標(biāo)。結(jié)果使用BM3D傳統(tǒng)算法和本文算法進(jìn)行了對(duì)比，其數(shù)據(jù)指標(biāo)結(jié)果如表1所示。從指標(biāo)數(shù)據(jù)可以得知本文去噪算法的有效性。

4 結(jié)束語

本文主要提出了針對(duì)光學(xué)圖像加密和CGH圖像的嚴(yán)重噪聲干擾圖像的去噪方法。通過重新設(shè)計(jì)特征提取模塊和設(shè)計(jì)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)來提升網(wǎng)絡(luò)的性能。使用了基于密集網(wǎng)絡(luò)的模塊結(jié)構(gòu)來提取圖像中的有效特征信息。針對(duì)網(wǎng)絡(luò)訓(xùn)練過程中圖像的參數(shù)過多的問題，使用了1×1的卷積在不影響網(wǎng)絡(luò)性能的前提下來減少網(wǎng)絡(luò)的參數(shù)。通過仿真實(shí)驗(yàn)來生成深度學(xué)習(xí)的訓(xùn)練集和測試集，通過觀察去噪后的結(jié)果證明本文算法對(duì)于去除受到嚴(yán)重噪聲干擾的圖像的有效性。

參考文獻(xiàn)：

[1] Isola P，Zhu J Y，Zhou T H，et al.Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：5967-5976.

[2] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[4] Tan M X，le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019

[5] S. Ioffe and C. Szegedy. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In Proceedings of The 32nd International Conference on Machine Learning （ICML），2015：448-456.

【通聯(lián)編輯：梁書】