基于深度學習的圖像恢復技術研究與實現

陸佳磊 張永健

摘要：針對現有的基于傳統算法的圖像恢復技術無法有效地恢復出高質量圖像問題，本文提出了基于深度學習技術的圖像恢復方法。對現有的圖像恢復網絡進行改進，總體網路模型基于生成對抗網絡，其中生成網絡總體結構基于UNet網絡，對上采樣下采樣的次數作調整，根據數據集的特點，減少了網絡的下采樣次數，防止因為網絡的層數過多導致的特性信息的流失。特征提取模塊中加入密集網絡的特征提取模塊，在減少網絡參數的同時提升提取特征的能力。數據集使用了經過光加密系統后的CGH（Computer Generated Holograms）計算生成全息圖作為生成的噪聲圖像，并使用本文提出深度學習方法對該測試集進行恢復，對恢復的結果使用PSNR和SSIM指標進行評價，結果顯示本文提出算法的有效性能。綜上可知，本文算法所實現的模型能夠有效地對現有的受損圖像恢復并且恢復出高質量的圖像，對圖像恢復領域有著較高的實用價值和意義。

關鍵詞：圖像恢復;深度學習;圖像去噪;計算生成全息圖;圖像光加密

中圖分類號：TP391? ? 文獻標識碼： A

文章編號：1009-3044（2021）14-0164-02

在如今信息技術高度發展的時代，信息安全變得尤為重要，光加密作為一種可靠的圖像加密技術具有安全，高效等特點。在光加密系統中，隨機相位掩膜面積有限，為一截斷純相位模板，因此傅立葉譜不可能是一純相位函數，故生成的圖像具有嚴重的圖像噪聲。直接對數據集使用光加密系統的噪聲圖像使用深度學習去噪需要大量的數據樣本，無法達到實際使用的要求。

計算全息技術是光學技術與計算機技術結合的產物，通過計算機對于三維虛擬物體的光波和參考光的干涉進行模擬計算，通過波前調制設備加載干涉條紋重現三維虛擬物體。對數據集使用計算全息圖后在使用圖像加密系統對圖像進行加密，計算全息圖生成的圖像特征類似，使用深度學習技術只需要學習相似的圖像特征，這就能克服需要大量的數據樣本來學習圖像權重恢復圖像的缺點，通過這種方法只需要少量的數據樣本就能對解密后的噪聲圖像進行恢復。

基于傳統的圖像去噪算法對受損嚴重的圖像無法有效的去噪。現有的深度學習算法如DnCNN和一些去霧去雨的網絡針對的數據集噪聲簡單，而本文的噪聲干擾較為嚴重，需要對特征提取模塊和網絡的總體結構重新設計來達到去除圖像噪聲的目的。

1 相關工作

本文數據集通過仿真實驗生成數據集。在生成數據的過程中，預先使用數據集轉化為CGH圖，再將CGH圖像通過光加密系統加密解密，最后生成的解密圖像伴隨嚴重的噪聲干擾，通過深度學習技術對解密后的噪聲圖去噪，恢復出高質量的無噪聲圖。

本文去噪技術的實現使用深度學習算法，其中網絡基于GAN[1]（Generative Adversarial Networks）生成對抗網絡對圖像進行去噪，與傳統的深度學習模型不同的，生成對抗網絡由生成網絡和判別網絡兩個部分組合而成，生成網絡的參數更新根據判別網絡而來。判別網絡和生成網絡通過交替更新參數的方式訓練，最后達到一個納什平衡，生成最優的圖像。生成網絡擬合出接近于原圖像的數據分布，可以生成質量較高的圖像，在本文中，通過對抗訓練的方式去除圖像的噪聲，最后擬合出高質量的無噪聲圖像。

生成網絡基于UNet[2]拓撲結構，通過控制UNet網絡的下采樣參數來調整網絡的最優結果。為了增加網絡的性能，受到Dense Block[3]密集網絡模塊啟發，在網絡的特征提取模塊中加入了特征提取模塊提升網絡的性能。

根據EfficientNet[4]的啟發，影響網絡性能主要有三個指標，即網絡的深度，網絡的寬度和分辨率直接影響著網絡的性能。網路的深度通過堆疊卷積層的數量實現，網絡的寬度通過對不同尺度下的特征圖提取特征實現，Inception V3中通過對輸入的特征圖使用不同尺度的卷積核提取了特征的方式來增強網絡的寬度。而網絡的分辨率可以通過選擇下采樣的方式來控制，例如通過采樣最大池化層和通過設置卷積核的步長來控制分辨率因素。基于該理論，本文通過深度參數來控制網絡的深度，使用卷積核的方式會造成圖像的失真問題，通過設置下采樣的方式為最大池化層提取最有表征能力的特征。

2 網絡模型搭建

針對本文中CGH噪聲圖像特點，如何提取出圖像中的有效特征信息是一個具有挑戰性的問題，本文中的特征提取模塊加入密集網絡模塊，每個密集網絡模塊使用由5個卷積層和歸一化層、激活函數層基本構件Base Block組合而成。使用BN（Batch normalization）層[5]可以加快網絡的收斂速度，同時可以防止過擬合的過程，但是這也造成了網絡中的參數過多。基于像素級別的圖像恢復算法需要大量的網絡參數來提升網絡的性能，這樣造成的網絡的訓練速度過慢，在模型中的加入1×1的卷積可以在不影響網絡性能的情況下減少網絡的參數，此外1×1的卷積可以對網絡的通道進行非線性的融合，提升網絡的擬合能力。故每個Dense Block由2組Base Block和一個1×1的卷積組合而成。生成網絡的總體網絡結構基于UNet，原始的UNet網絡對輸入的特征圖做4次的下采樣，其原理基于圖像金字塔理論，通過特征圖的變換提取不同尺度下特征圖的特征信息，提升網絡的魯棒性。

而針對不同的數據集的特點應該控制下采樣的次數，在本文的數據集中，下采樣次數的增強會造成網絡中卷積層數的增加，這樣會導致特性信息的流失，同時，會造成網絡的參數過多。在實驗的過程中發現了將下采樣次數控制在2次的情況下生成最優的圖像質量。

生成網絡的結構圖如圖1所示，將噪聲圖像輸入到生成網絡中，生成網絡經過3個Dense Block提取特征，該過程中對特征圖做兩次的下采樣。相應的將特征圖經過兩次上采樣恢復出原圖像的尺度大小，在上采樣和下采樣的對應維度特征圖下通過skip concat跳躍連接來共享特性圖的信息流，這樣保證特征信息能在網絡中有效地傳遞。恢復出高質量的圖像。最后生成網絡輸出去噪后的干凈圖像。

3 實驗過程與結果

3.1模型的訓練過程

本文的網絡模型搭建基于tensorflow1.0框架，實驗中使用Rtx 2080ti訓練數據集，實驗的數據使用26個英文字母，每種英文字母使用50張不同的圖像共1300張作為訓練集，其中測試每種英文字母使用5種不同的圖像作為測試集。

在訓練的過程中，控制初始學習率為0.001，在訓練的過程中學習率指數衰減的方式自適應的變換。在經過50萬輪次的學習過后，損失函數下降趨于平穩。此時訓練結束。

訓練的結果如圖2所示，從左往右開始，第一張為經過光學加密系統的二值圖像，第二張為經過本文對抗網絡訓練后算法去噪后的圖像，第三張為原CGH圖。第四張為原始圖像，第五張為經過去噪后重現的CGH圖像，第六張為原始CGH重現后的圖像。

3.2圖像評價指標

本文算法使用了SSIM和PSNR作為實驗的去噪后的參考指標。結果使用BM3D傳統算法和本文算法進行了對比，其數據指標結果如表1所示。從指標數據可以得知本文去噪算法的有效性。

4 結束語

本文主要提出了針對光學圖像加密和CGH圖像的嚴重噪聲干擾圖像的去噪方法。通過重新設計特征提取模塊和設計網絡的拓撲結構來提升網絡的性能。使用了基于密集網絡的模塊結構來提取圖像中的有效特征信息。針對網絡訓練過程中圖像的參數過多的問題，使用了1×1的卷積在不影響網絡性能的前提下來減少網絡的參數。通過仿真實驗來生成深度學習的訓練集和測試集，通過觀察去噪后的結果證明本文算法對于去除受到嚴重噪聲干擾的圖像的有效性。

參考文獻：

[1] Isola P，Zhu J Y，Zhou T H，et al.Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：5967-5976.

[2] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[4] Tan M X，le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019

[5] S. Ioffe and C. Szegedy. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In Proceedings of The 32nd International Conference on Machine Learning （ICML），2015：448-456.

【通聯編輯：梁書】