生成對抗網絡用于視頻去模糊

申海杰，邊 倩，陳曉范，王振鐸，田新志

(西安思源學院電子信息工程學院，陜西西安710038)

近年來，隨著手持拍攝設備的廣泛普及，人們越來越傾向于采用錄制視頻的方式記錄自己的生活。然而，在拍攝的過程中由于拍攝設備的抖動或拍攝目標的運動會使得拍攝到的視頻出現不必要的模糊，這就大大降低了視頻圖像的質量。因此，需要一種有效的視頻去模糊的算法來實現對模糊視頻的復原。目前，最有效的視頻去模糊方法是利用相鄰幀的圖像信息來銳化模糊圖像[1]，該方法通過從相鄰幀圖像中提取質量好的像素或圖像區域，并將其進行聚合，從而重建出高質量的清晰圖像。文獻[2-3]的工作表明，與傳統的反卷積去模糊方法相比，基于圖像塊合成的方法能夠取得更好的效果。對于此類方法而言，使用圖像配準的方法將多幀模糊圖像進行對齊是實現圖像去模糊的前提，相鄰幀圖像的配準一般可通過最近鄰圖像塊查找[2]或光流法[3]來實現。然而這種圖像配準的方法在紋理較低的區域魯棒性較差，且時間消耗大。

近年來，深度學習的方法被不斷應用于圖像及視頻去模糊的任務中[4-6]，并通過大量研究證明了該方法在圖像去模糊方面的優越性。在視頻去模糊方面，文獻[1]首次提出了一種基于卷積神經網絡的端到端的視頻去模糊算法，該方法將相鄰幀圖像依據圖像三色通道進行疊加，然后放入卷積神經網絡模型中學習多幀模糊圖像與清晰圖像之間的映射關系，從而達到復原中心幀圖像的目的。此外，文獻[7]還將生成對抗網絡[8](Generative Adversarial Network，GAN)應用于視頻去模糊中，并通過使用三維卷積實現了對輸入相鄰幀圖像空間信息的提取和融合。

以上所提到的基于深度學習的視頻去模糊算法均采用端到端的模型來實現對清晰圖像的預測，其最終生成清晰圖像的效果僅依據模型所確定的均方誤差函數來進行誤差的反向傳播。然而，人眼對圖像質量的評價受多種因素的影響，并非單一誤差函數可以決定。文中將像素空間損失函數與特征空間損失函數相結合，使得真實圖像與網絡生成的圖像可以分別在像素空間和特征空間進行比較，如此可保證復原圖像具有更好的視覺效果。此外，傳統生成對抗網絡中的判別網絡僅依據圖像的整體信息來判斷圖像的真偽，這樣會導致圖像信息的嚴重丟失。文中受馬爾可夫判別器[9-10]思想的啟發設計了一個判別網絡，該網絡可以對圖像塊信息甚至像素信息的真偽做出判斷，使得網絡更注重紋理信息的學習。

1 方法提出

文中工作的目標是通過學習多幀模糊圖像與真實清晰圖像之間端到端的映射關系以實現視頻的去模糊，為此，基于生成對抗網絡設計了一個視頻去模糊網絡。如圖1所示，給定一組模糊圖像序列，首先分別通過生成網絡的第一層卷積層進行空間信息的提取，接著將提取的空間特征進行融合，融合后的空間信息通過一個16層的深度殘差網絡類來學習模糊圖像序列與清晰圖像之間的映射關系，隨后生成的圖像被送入判別器中以判斷其真實程度，以保證最終生成與真實圖像高度相似的圖像。

注：該網絡由基于深度殘差網絡的生成網絡和由4層卷積網絡組成的判別網絡構成。其中，Conv表示卷積層，BN表示歸一化層，ReLU表示激活層的線性整流函數。圖1 視頻去模糊網絡結構圖

1.1 生成網絡

文中提出的生成網絡的詳細結構圖如圖1左側所示，該網絡主要由空間特征提取與融合模塊，淺層特征提取模塊，基于深度殘差網絡的深層特征提取模塊，以及圖像重建模塊4部分組成。要通過綜合多幀模糊圖像的信息生成單幀清晰圖像，首先需要學習多幀圖像之間的空間關系。為此，這里分別在輸入的每幀模糊圖像后接入一層卷積層來對每幀圖像的空間特征信息進行提取，接著將卷積層提取到的特征進行拼接，以實現空間信息的融合，此過程的表達式如下：

(1)

(2)

其中，GSF表示空間特征提取操作，Gconcat表示空間特征拼接操作。接著，采用一層卷積層來實現淺層特征的提取，提取的淺層特征隨后經過一組深度殘差網絡來提取更深層的特征。

F2=GCF(F1) ，

(3)

F3=GDR(F2) ，

(4)

其中，GCF和GDR分別表示含有一層卷積層的淺層特征提取模塊和包含16個殘差塊的深層特征提取模塊。經過深層特征提取后生成的特征圖，經3層卷積層進行重建，生成最終的復原圖像IR。

IR=GREC(F3) ，

(5)

其中，GREC表示圖像重建模塊。

1.2 判別網絡

受馬爾可夫判別器和Wasserstein GAN[11](WGAN)的啟發，文中設計了一個判別網絡。如圖1右側所示，該網絡由4層卷積層構成，其中，最后一層用于輸出一個圖像真偽的判斷矩陣。該矩陣中的每個元素分別代表判別器對每個圖像塊的判斷結果，此操作可以保證圖像細節信息的精確恢復。此外，文中還引入Wasserstein距離作為衡量訓練效果的指標。由于在大多數情況下，Wasserstein距離具有連續且幾乎處處可微的理想性質，因此，使用Wasserstein距離來衡量生成圖像與真實圖像之間的差異可以防止梯度消失，并可獲得更好的復原效果。WGAN通過解決式(6)的最小最大對抗性問題來獲得最優的生成和判別網絡。其主要目標是希望生成網絡生成的圖像能夠騙過判別器D，使得判別器無法判斷該圖像是真實的還是生成的，通過生成器與判別器之間的相互博弈，使得網絡最終可以復原出與真實清晰圖像高度相似的圖像。

(6)

1.3 損失函數

文中設計的模型使用的損失函數是由對抗損失函數LGAN，基于像素空間的損失函數Lpixel以及基于特征空間的損失函數Lperceptual組成的，其表達式為

L=LGAN+aLpixel+bLperceptual,

(7)

其中，a和b分別為像素空間損失函數和特征空間損失函數的權重，用于衡量對每個損失函數的重視程度。由于特征空間的損失函數權重過大會導致圖像灰度信息的缺失，故文中a=100,b=0.001。

1.3.1 像素空間損失函數

像素空間損失函數主要用于保證生成圖像與真實圖像在內容上的相似性。由于使用L2損失函數常會導致生成的圖像模糊[9, 12]，所以文中使用L1損失函數作為像素空間損失函數。L1函數定義如下：

(8)

其中，W和H分別為圖像的長和寬。

1.3.2 特征空間損失函數

像素空間損失可以用于保證生成圖像與真實圖像之間的相似性，但僅僅在像素空間上對圖像進行比較，不利于圖像紋理細節信息的復原。文中將生成的圖像與真實圖像送入訓練好的19層卷積神經網絡(VGG19)中，通過計算生成圖像特征圖與原始圖像特征圖之間的歐氏距離來計算其感知損失函數[13]，即

(9)

其中，φi,j是第i個池化層之前的第j個卷積所獲得的特征映射，Wi,j和Hi,j是φ的維度。

1.3.3 對抗損失函數

文中使用的對抗損失函數基于Wasserstein GAN，定義如下：

(10)

其中，N是數據集中圖像的數量。

2 實驗結果

2.1 數據準備

為了對文中提出的網絡進行訓練，需要兩組包含相同內容的視頻，一組是高質量的清晰視頻，另一組是相對應的因拍攝設備抖動或目標運動而產生的模糊視頻，但通過拍攝來獲取這樣兩組視頻是十分困難的。一種常用的方法是通過模擬模糊核函數，生成出清晰視頻相對應的模糊視頻。然而，通過此方法合成的模糊視頻與真實拍攝到的模糊視頻有很大的差異。文獻[1]提出對高速攝像機拍攝的連續視頻短曝光幀進行平均來生成模糊視頻幀，相對應的清晰視頻幀則通過對高速相機拍攝的視頻進行下采樣而得到。由于此方法能夠模擬在真實視頻中常見的相機抖動和物體運動等情況，所以能夠生成更加真實的模糊視頻。

為了更好地對文中所提出的算法進行比較，文中使用文獻[1]中的數據集進行訓練和測試，該數據集中包含由手機，運動相機，以及單反相機拍攝的71段視頻，每段視頻大概3～5 s，將相鄰的5幀分為一組，最終數據集中共有4 000組，其中3 200組用于訓練，800組用于測試。

2.2 實驗環境及參數設置

文中提出的網絡所使用的優化器是RMSprop[14]，訓練批次為16，初始學習率為0.000 1，訓練的總周期為200，且在前100個訓練周期結束之后，學習率呈線性衰減直至為0。所提出的網絡在配置為一塊英特爾E5-2620 CPU 和一塊英偉達GTX 1080 Ti GPU的臺式電腦上訓練了近10小時。

2.3 測試集實驗結果與分析

對測試集中的數據進行了視頻去模糊，并采用圖像峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)，圖像結構相似度 (Structural SIMilarity, SSIM)，以及感知距離[15](Perceptual Distance, Percept Dist)對復原結果進行了量化評估。峰值信噪比在一定程度上能夠反映復原圖像的真實度，其公式如下：

(11)

其中，N為圖像大小，xn指原始圖像第n個像素值，yn指重建圖像的第n個像素值。

圖像結構相似度用于衡量復原后的圖像與原始清晰圖像之間的相似程度，給定兩幅圖像x和y，其圖像結構相似性計算如下所示：

(12)

其中，ux、uy,sx、sy，sxy分別是x和y的平均值，標準差，協方差。c1和c2是用于保持穩定的常數。

感知距離則能夠反映圖像的視覺效果，感知距離越小，表明圖像的視覺效果越好。假設x0和y0分別是來自于圖像x和y上的圖像塊，則感知距離的計算可表示如下：

(13)

其中，x0l和y0l分別是從網絡的l層中提取的經過通道數歸一化后的特征。

接著將文獻[1, 4-5]中的方法與文中方法進行了定量對比，其中，文獻[4-5]中的方法屬于基于單幀圖像的去模糊方法，而文獻[1]中的方法與文中方法均屬于基于視頻去模糊方法。四種方法對比結果如表1所示。

表1 測試集中視頻去模糊結果對比

由于在大多數的圖像或視頻去模糊任務中，模糊核都是未知量，故此類問題屬于典型的不適定性問題。而與基于單幀圖像的去模糊算法相比，基于多幀圖像的去模糊算法能夠更好地聚合到相鄰幀圖像之間的相關信息，故而能夠生成出圖像質量更高的清晰圖像。如表1所示，基于多幀圖像的去模糊方法在峰值信噪比值、結構相似度值和感知距離方面均優于基于單幀圖像的方法。此外，與文獻[1]中的方法相比，文中方法的峰值信噪比值約提高了1.37 dB，結構相似度值約提高了0.015 2，感知距離約減小了0.012 4，這說明將基于像素空間的損失函數與基于特征空間的損失函數結合對提高圖像的質量有著重要作用。

此外，還對文中方法，文獻[1, 4-5]中方法的圖像去模糊的視覺效果進行了對比，如圖2所示。為了便于對圖像去模糊效果更好地對比，這里對模糊圖像，原始清晰圖像，以及文獻中方法和文中方法去模糊后圖像的局部細節進行了放大。通過對局部放大圖進行對比，可以看出使用文中方法復原后的圖像，其紋理細節更加清晰，在圖像視覺效果上超過了文獻[1]中的視頻去模糊算法，這是由于文中設計的基于馬爾可夫判別器的判別網絡能夠對圖像塊甚至像素的真偽進行判斷，促進了網絡對圖像紋理信息的學習，同時使用像素空間與特征空間相結合的損失函數也使得生成圖像的質量得到了提高。

圖2 測試集中視頻去模糊結果對比

2.4 真實數據實驗結果與分析

文中數據集中所使用的生成模糊視頻的方法雖與真實情況下產生的模糊視頻十分接近，但這畢竟只是模擬的方法，與現實中產生的模糊圖像還是有一定差距。為了進一步驗證文中方法的有效性，這里對20段在日常生活中拍攝的真實的模糊視頻進行了去模糊處理，真實模糊視頻由文獻[1]提供，并對其復原結果進行了對比和分析。圖3為使用文中方法，文獻[1, 4-5]的方法對真實模糊視頻進行復原后的對比。從圖中看出，文中方法在圖像細節恢復方面具有更加優越的效果。

圖3 真實視頻去模糊結果對比

由于對于真實模糊視頻而言并沒有與之相對應的真實清晰中間幀圖像，為了對經不同方法去模糊后的視頻進行定量的對比分析，這里使用了文獻[16]中提出的盲圖像質量指標(Blind Image Quality Indices, BIQI)來對真實視頻的去模糊效果進行評價，盲圖像質量指標值介于0到100之間，BIQI值越小，表示圖像的質量越好。盲圖像質量指標值的計算可分為兩步，首先使用訓練好的分類器將輸入的圖像分為5種失真類型 (JPEG，JPEG2000，噪聲，模糊，快衰落)并得到對應類型的概率值pi{i=1,…,5}，然后根據相應的失真類型來判斷圖像的質量，每個類型對應的質量分數為qi{i=1,…,5}，盲圖像質量指標值的計算公式如式(14)所示。如表2所示，文中方法的盲圖像質量指標值比文獻[1]中方法低2.45，說明了文中方法在真實視頻去模糊中的有效性。

(14)

表2 真實視頻去模糊結果對比

3 結束語

文中提出了一種基于生成對抗網絡的視頻去模糊算法。將基于像素空間與基于特征空間的損失函數相結合，設計了一種基于馬爾可夫判別器的判別網絡，大大促進了網絡對圖像紋理細節的學習，使得生成的清晰圖像質量得到了提升。將文中提出的方法與文獻[1, 4-5]中方法在測試集以及真實視頻上的去模糊效果進行了定性定量的對比。實驗結果表明，經文中算法處理后，圖像的峰值信噪比值和結構相似度值均有了明顯的提升，感知距離和盲圖像質量指標值也有了一定程度的下降，證實了文中方法在視頻去模糊中的有效性。