一種基于深度學習的圖像盲去運動模糊算法

朱龍闖

（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065）

0 引言

圖像運動去模糊，即從帶有運動性質模糊的原始圖像中恢復出包含重要細節的清晰圖像，一直是計算機視覺領域一項具有挑戰的工作。隨著網絡媒體的發展，生活中產生了大量與人臉相關的圖片和短視頻等媒體信息。盡管近年來，數字成像技術已經取得了巨大的進步，但在捕獲內容的同時，由于在成像傳感器曝光的期間，場景中物體或者相機的相對運動所引起的運動模糊也成為了一個普遍存在的現象。由此帶來了顯著的視覺質量的下降、圖像細節的丟失等諸多問題，在文獻[1]中表明因模糊而退化的低質圖像可能造成許多計算機視覺任務（例如人臉識別）的性能下降。因此，一種專門設計的，人性化的去運動模糊算法對于處理以人像為中心的視覺數據是十分必要且有益的。

深度學習的興起和發展，給計算機視覺領域的研究帶來了前所未有的成就。尤其是文獻[2]提出的生成式對抗網絡（GAN）以及其變形因為能夠更好地建模數據分布，保留圖像的紋理細節，來生成更加清晰銳利令人信服的圖像，目前已經運用于生成高質圖像、圖像翻譯與風格遷移、圖像還原與修復等任務中。受圖像超分辨率、圖像修復等工作的啟發，本文的工作正是以GAN 作為框架，通過端對端的學習方式估計運動對象的模糊內核，結合對于生成器以及判別器網絡的修改，來更好地適應高分辨率圖像任務，同時增加了人臉先驗的損失函數設計可以有效約束引導網絡學習。

總而言之，工作的主要貢獻是：提出了一種高效的盲去運動模糊的框架，可以提高高分辨率運動模糊圖像的處理能力。結合人臉先驗信息，能夠更好地定位人臉，高效獲取特定位置和場景下的圖像語義信息。

1 相關研究

1.1 圖像去運動模糊

在傳統研究中，可以將單張圖像去模糊分為盲去模糊與非盲去模糊。前者將以估計模糊核的形式進行處理，通過反卷積的方式生成清晰圖像；后者則是通過大量的圖像先驗信息和已知的模糊核進行圖像恢復，是一種更加“理想化”的去模糊方法。然而無論是函數簡單擬合模糊核還是手工選取的圖像先驗，都難以估計真實圖像中的模糊變化。

隨著深度學習的興起，推動了計算機視覺任務的突破性發展。Sun 等人[12]首次利用卷積神經網絡（CNN）來估計模糊核。Chakrabarti[13]注重局部信息，獨立對各圖像局部進行推理恢復。此外，Nah[14]直接使用端對端的方式，跳過了模糊核估計這一步驟，直接從模糊圖像恢復中恢復清晰圖像，效果令人印象深刻。

GAN 在圖像領域作出了重大貢獻。文獻[15,17]借鑒了圖像翻譯的思路[16]去解決圖像模糊問題。特別文獻[6]結合Wasserstein GAN[17]、PatchGAN[16]的思想，更加適應高分辨率圖像任務的處理。Lu 等人[18]將內容和模糊進行拆分解纏，利用兩個編碼器分別對內容和模糊進行特征提取和模糊信息捕獲。

1.2 生成式對抗網絡

生成式對抗網絡[2]由Goodfellow 于2014 年提出，其包含兩個部分：生成器和判別器。生成器負責根據輸入的信息，通過不斷訓練學習，生成能夠欺騙判別器的人工合成樣本數據，而判別器負責對輸入的數據進行驗偽，同時也不斷學習提高自身鑒別能力。兩者本質上構成了最大-最小化的博弈游戲。其目標函數表示如下：

眾所周知，GAN 目標函數的優化也一直是一個難題。文獻[17]證明了傳統的GAN 存在著兩大問題：梯度消失/爆炸和模式崩潰，為此提出了以Wasserstein 距離代替JS 散度的方法來幫助優化。Mao[20]、Berthelot[21]、Qi[22]等均在損失函數設計上作出了貢獻。

除了在目標函數上通過非正則化或正則化的基礎改進，為滿足實際任務的需求，GAN 的模型結構上也做出了諸多調整。cGAN[18]指導了如何通過指定標簽生成數據；InfoGAN[11]通過從噪聲z 中拆分出結構化的隱含編碼的方法，使得生成過程具有一定程度的可控性、可解釋性；DCGAN[10]引入CNN 概念，極大增強了GAN 的數據生成質量。

2 算法實現

整個算法流程圖如圖1 所示。

生成器網絡以帶有運動模糊的圖像做為輸入，估計并處理恢復出相應的圖像。同時，判別器網絡將生成器網絡生成的圖像與原始清晰圖像做為圖像對，判斷并輸出反饋兩者之間的差別。

2.1 生成器結構

本工作的生成器借鑒了“U-Net”[24]類似的編碼-解碼的網絡結構，通過躍層連接形式，將不同層次之間的信息共享。在本文的場景中，人臉的圖像結構相對固定。對于人臉盲去運動模糊，其中一項任務就是對人臉結構以及背景信息的精準分割。躍層連接通過融合不同尺度的特征信息，可以起到補充信息的作用：在高層補充了語義信息，在底層細化了分割的輪廓，使網絡能夠更好地適用于高分辨率圖像的學習過程，生成更加清晰的圖像。此外文獻[3]研究指出這種跳級連接能夠促使網絡的最小化過程更平坦，從而對新的數據敏感度更低，泛化能力更強。同時，為了提升網絡的魯棒性，減輕網絡梯度消失的問題，更有效地利用網絡特征，加強了特征之間的傳遞與共享，減少參數量和計算量，同時保證網絡效果，本文引入Dense Block[8]的設計，在同層網絡之間進行稠密連接。生成器網絡結構如圖2 所示。

圖1 算法流程圖

生成器包含4 個躍層結構。每一層網絡都會經過兩次3×3 的卷機操作，卷積后利用Instance Norm 進行歸一化，并利用Dense 思想通過Concat 操作進行結合，同時為了快速獲取底層信息和恢復圖像，引入了最大池化和相應的上采樣過程。

圖2 生成器網絡結構圖

2.2 判別器結構

在對抗博弈思想中，判別器的作用就是區分輸入的圖像是由生成器生成還是原圖。在不斷學習強化自身判別能力的同時，給予生產器相應的反饋，幫助生成器生成更加逼真，接近原始狀態的圖像。原始GAN 的判別器最終得到的是一個判斷為整體圖像真假概率的二分向量。但是在圖像間，尤其是高分辨率圖像的轉換任務中，為了得到更好的效果，僅使用整體圖像真假概率這一信息顯然是不夠的。因此在本文的工作中，改進了原始GAN 的判別器結構。本文通過引入PatchGAN[16]中對于判別器的改進，將我們工作中的判別器輸出調整為一個N×N 的向量矩陣，采用矩陣中的每一個向量可以表示圖像局部的信息來代替整體圖像的真假概率信息。L1 損失可以使模型學到低頻的特征，PatchGAN 的結構可以使模型學到高頻的特征，可以更好地恢復人臉的紋理、風格等信息。

2.3 損失函數

在本文工作中，將損失函數表示為對抗損失、內容損失與人臉先驗差別的組合：

其中，在本文實驗中的λ值設定為100，μ的值設定為1000。本文工作選擇了WGAN-GP 做為評價函數，因為其被證實在生成器的結構上更具有魯棒性。損失函數計算如下：

在內容損失上，由于L1 或者MSE 損失函數會造成生成圖像出現模糊的假象[23]。本文工作為更好適應清晰化圖像的場景，選擇了感知損失[9]，基于生成圖像與目標圖像之間的特征圖差別。它的定義如下：

其中?i,j表示圖像特征圖，IS,IB表示原始清晰圖像和模糊圖像。

在人臉先驗上，通過利用dlib[4]，來計算生成器圖像與原始圖像人臉之間的特征點差別，并使用歐氏距離絕對值作為衡量。公式如下：

對抗損失側重于恢復一般內容，內容損失能夠更好地恢復紋理信息，加上人臉先驗可以更好地定位人臉，適應人臉去運動模糊的場景。

3 網絡訓練與結果對比

3.1 數據集的處理

相較于其他例如超分辨率和風格遷移的圖像到圖像轉換任務，去運動模糊問題很難得到大量有效的清晰-模糊的圖像對用于訓練。由于人臉場景運動模糊的公開數據集過少，我們的數據集主要利用開源數據集CelebA[5]篩選出的清晰人臉圖像，借鑒文獻[6]中的做法，利用Boracchi 和Foi[7]提出的通過馬爾科夫隨機過程生成隨機生運動軌跡的方法，然后對軌跡進行子像素插值法生成模糊核模擬二維空間上的運動。處理后的數據集效果如圖3。

圖3 原圖與運動模糊處理后圖像對（a）原始圖像；（b）運動模糊處理后的圖像

3.2 訓練細節

我們使用CPU：Intel Core i7-9897，GPU：NVIDIA RTX2080，內存16G 的硬件平臺進行實驗。實驗訓練數據集由5077 對清晰-模糊的圖像對組成，另外847張模糊圖像作為訓練過程中的驗證數據集。所有圖像的分辨率為300×300。實驗選取Adam 優化器，學習率10-4等超參設置下進行100 輪訓練。訓練共計用時110 小時。

3.3 實驗結果

為了更好地評價算法的有效性，我們使用了峰值信噪這一客觀評價指標。峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）經常用于對圖像重建質量的評價，可以通過均方誤差MSE 進行變形定義。

圖4 實驗結果圖（a）原始圖像；（b）運動模糊處理后的圖像；（c）通過算法恢復的圖像

原圖與模糊圖像之間的峰值信噪比均值僅17.69，經過本文算法處理后生成的圖像在峰值信噪比評價指標上得到了26.79 的平均值，說明算法對于恢復圖像質量上效果顯著。

4 結語

本文提出了不用預先估計模糊核，利用GAN 對運動模糊圖像進行盲去運動模糊的方法。通過加入人臉先驗信息，感知損失，修改網絡結構等方法得到了擁有盲去運動模糊能力的生成式對抗網絡模型。將隨機運動模糊的圖像作為網絡的輸入，經網絡模型處理可以恢復出清晰的圖像。本文通過圖像在客觀圖像質量評價指標下的數值驗證了網絡的有效性。但是網絡仍然存在一些問題：例如網絡參數量過大，訓練速度緩慢，生成的圖像存在明顯的規則的色素塊等，這些將是接下來需要解決的問題。