條件GAN去模糊算法在人臉識別中的應用

曾凡智，鄒 磊，周 燕，邱騰達

(佛山科學技術學院 計算機系，廣東 佛山528000) E-mail：coolhead@126.com

1 引 言

近年來，計算機成像領域已經取得了巨大的進步，但對于捕獲的模糊內容的處理仍然是一個挑戰.圖像模糊[1]的一種起因是由傳感器曝光期間，場景中的物體或照相機運動所造成.除了明顯降低圖像的視覺質量外，模糊造成的失真會導致諸多計算機視覺任務的性能大幅下降.商業上有一些可用的相機，它們可以以高幀頻捕獲幀，從而減少模糊現象，但是這會使圖像擁有更多噪聲.

由于圖像模糊本身的不確定性，它依然是計算機視覺中一個具有挑戰性的問題.目前運用相對廣泛的圖像去模糊方法主要有以下兩類：盲去模糊和非盲去模糊.非盲去模糊是當模糊核[2]已知時，采取有針對性的反卷積操作獲取清晰圖像，因此模糊核估計的準確性就成了圖像去模糊的關鍵.目前主流的模糊核估計方法大部分建立在概率先驗模型之上.韓陽[3]提出兩階段圖像恢復方法，首先利用圖像的稀疏性，在多尺度情況下估計模糊核，再結合非盲反卷積獲取清晰圖像.黃英豪[4]提出一種基于經典L0梯度先驗的人臉圖像去模糊算法，通過隨機森林模型進行人臉輪廓檢測，然后利用人臉的結構化特征進行非盲去模糊.徐弦秋[5]等提出利用模糊核對各個通道彩色分量圖造成的差異性，對圖像的RGB通道分別進行模糊核估計，此方法取得了不錯的去模糊效果.

隨著人工智能的不斷興起，新興的深度學習技術推動了圖像修復任務的突破.在圖像去模糊任務中，通過模型的先驗知識，不提前進行模糊核估計的方法(即盲去模糊)越來越受到研究者的青睞.Nah[6]等通過使用多尺度殘差網絡，通過從粗糙到精細的方式聚合特征，直接對圖像去模糊，避免了對模糊核進行估計；Ramakrishnan[7]等結合使用pix2pix框架和稠密連接網絡DenseNet[8]執行圖像無核盲去模糊；陳陽[9]等提出一種基于自編碼深度神經網絡的方法，對輸入圖像中的模糊區域進行準確標記，并對這些區域進行去模糊處理，這能在保證圖像不發生失真的同時有效去除局部模糊；Kupyn[10]等針對運動模糊提出一種基于生成對抗網絡的圖像盲去模糊方法，將梯度懲罰和感知損失引入生成對抗神經網絡，這不僅使圖像保留了更多的紋理細節，運行效率也有大幅提高；Li[11]等采用數據驅動的先驗鑒別并設計了基于半二次分裂法的圖像盲去模糊算法；Shen[12]等人結合人臉的深度語義信息進行盲去模糊，通過合并全局語義先驗輸出，并且在多尺度神經網絡中加入局部結構損失來正則化輸出，獲得了較好的人臉圖像去模糊效果.

現有大部分基于深度神經網絡的圖像去模糊算法存在參數量眾多，對人臉識別準確率提升不明顯等問題.本文基于生成對抗網絡[13]框架，提出一種條件GAN圖像去模糊算法，致力于解決圖像去模糊技術運用在人臉識別相關場景中準確率提升不明顯等問題.

本文的主要貢獻如下：

1)提出Group-SE模塊，將分組卷積和注意力機制結合，在降低模型參數量的同時提高模型的性能；

2)改進了原SE模塊，將全局深度卷積引入其中，代替全局平均池化層提取全局性的通道特征；

3)將全局性稠密連接引入DenseNet，強化了模型的特征重用能力；

4)提出了一種新的可用于人臉識別的去模糊算法.

2 生成對抗網絡與條件生成對抗網絡

生成對抗網絡GAN作為一種新興的深度學習模型，在圖像超分辨率重構[14]等任務上取得了不錯的成績.它由一個生成器網絡和一個判別器網絡組成.判別器的訓練目的是能夠區分生成器的輸出樣本與來自真實數據的樣本，生成器的訓練目的是欺騙判別器.GAN的一個顯著優勢是可以不用計算復雜的馬爾科夫鏈，只需要憑借反向傳播算法就可以獲得梯度[15].GAN的訓練是兩個角色之間“動態”博弈的過程，是以價值函數V(D，G)最小化最大值為目標的對抗過程，價值函數V(D，G)見式(1)：

(1)

其中D，G分別代表判別器和生成器，x為真實數據，z為噪點數據，pdata(x)為真實數據分布，pz(z)為噪點分布，Ex～pdata(x)為真實數據x的數學期望，Ez～pz(z)為噪點數據z的數學期望，D(x)為x來自真實數據的概率，D(G(z))為噪點z經生成器產生的樣本被判定為來自真實數據的概率.

在原始非條件的生成模型中，模型無法有效控制生成樣本的類型，但是如果通過給模型增加額外信息(即加入約束條件)，則可以引導模型生成的方向.條件生成對抗網絡[15]的價值函數V(D，G)見式(2)：

(2)

其中y為模型引入的額外信息，y可以是類別標簽或者是來自其他模型的數據(本文中y為原始清晰圖像)，D(x|y)為x在y的條件下被判定來自真實數據的概率，G(z|y)為在y的條件下噪點z生成的樣本.

3 整體算法結構

本文基于生成對抗網絡框架進行圖像去模糊算法設計，整體算法結構由生成器和判別器組成，其結構如圖1所示.模糊圖像從生成器網絡輸入層輸入，首先經過一個7×7標準卷積層，并將輸出用非線性激活函數和特征歸一化(Activation and Normalization，AN)進行處理，以增強模型的非線性表達能力和加速模型收斂，再將結果依次送入32個Group-SE塊中提取特征，其中Group-SE塊包含1×1卷積層、3×3分組卷積層(Group Convolution，GConv)、非線性激活層、歸一化層、SE塊(Squeeze and Excitation，SE)、1×1卷積層及特征融合層(Add)，SE塊又由特征篩選層(Feature Selection，FS)和特征重標定層(Scale)組成，最后將結果送入反卷積層(ConvTranspose)，用于將低分辨率圖像上采樣為高分辨率清晰圖像；同時將生成器網絡得到的模擬圖像作為負樣本送入判別器中，而正樣本是原始清晰圖像，本文使用的判別器是具有全局性稠密連接的改進DenseNet網絡，網絡通過Softmax分類器輸出判別清晰圖像的真假結果.

圖1 本文算法整體結構圖Fig.1 Overall structure of the algorithm in this paper

3.1 生成器網絡

受到ResNeXt[16]和SENet[17]設計思想的啟發，本文提出一種結合了分組卷積和注意力機制的模塊，稱為Group-SE模塊.Group-SE模塊主要由輕量級的分組卷積和具有注意力機制的SE模塊組成，具體結構如圖1生成器部分所示，目的是使生成器在大幅降低參數量和計算量的情況下仍然可以保持較好的性能.

3.1.1 分組卷積

分組卷積是ILSVRC(ImageNet Large Scale Visual Recognition Challenge)2016分類任務亞軍模型ResNeXt中大力推廣的一種新興卷積方法，它主要先對輸入的特征圖進行分組，再對每組分別進行卷積操作，其運算方式如圖2所示.它常用在輕量級的高效神經網絡中，因為它可以用較少的運算量和參數量產生大量的特征圖，而大量的特征圖就意味著網絡能夠編碼更多有用信息.

圖2 標準卷積與分組卷積Fig.2 Standard convolution and group convolution

假設某一層的輸入特征圖尺寸為C·H·W(分別為輸入特征圖數量、特征圖高和寬)，輸出特征圖數量為N，卷積核邊長為K，分成G組.

標準卷積：卷積核參數量為C·K·K·N；

3.1.2 改進SE(Squeeze-and-Excitation)模塊

SE模塊是ImageNet 2017競賽分類任務冠軍模型SENet中所提出的一種方法，其組成如圖3(a)所示.它首先對輸入特征圖使用全局平均池化層(Global Average Pooling，GAP)進行壓縮(Squeeze)操作，得到通道級的全局特征，然后對全局特征進行激勵(Excitation)操作，學習各個通道之間的關系.第1個全連接層(Fully Connected，FC)主要的目的是降維，這可以極大地減少參數量和計算量，并將輸出用非線性激活函數和特征歸一化(Activation and Normalization，AN)進行處理，以增強模型的非線性表達能力、加速模型收斂以及更好地擬合通道間復雜的相關性.第2層的全連接層屬于擴張層，它的輸出通道又回到了原來的輸入的數量，為后面的權重歸一化預先做準備.Sigmoid函數對上一步的通道進行最后的篩選，獲得0～1之間歸一化的權重，即越是重要的通道，它的權重就越大.最后的Scale為特征重標定，即將歸一化后的權重加權到原先輸入的每個通道的特征上，最終完成SE模塊對圖像特征的篩選工作.

圖3 SE模塊與GDC-SE模塊Fig.3 SE module and GDC-SE module

全局平均池化層的使用會在一定程度上降低模型的表達能力[18]，具體分析如圖4所示，雖然中心點感受野RF2大小與邊角點的感受野RF1大小相同，但是中心點的感受野包括了完整的圖片，邊角點的感受野卻只有部分圖片，因此特征圖中每個點的權重應該不一樣，但是全局平均池化層卻把它們當做一樣的權重去考慮，這使得網絡的表達能力下降.

圖4 特征圖像素點的不同感受野分析Fig.4 Analysis of different receptive fields of feature map pixels

針對這一問題，可以使用全局深度卷積[18](Global Depthwise Convolution，GDC)代替全局平均池化層進行通道性特征提取.全局深度卷積對特征圖的每個像素點賦予了不同的權重，使得圖像不同位置的感受野具有不同的重要性，進一步增強模型的表達能力，全局深度卷積的計算公式如式(3)所示：

Gm=∑i，jKi，j，m·Fi，j，m

(3)

其中Gm為第m個通道輸出特征，尺寸為1×1×M；K為深度卷積核，尺寸為W×H×M；F為第m個通道特征圖，尺寸為W×H×M；i和j為像素的橫縱坐標.W，H，M分別為特征圖的寬，高，輸入通道數，全局深度卷積的尺寸與輸入特征圖大小一樣，輸出通道數與輸入通道數相同.

本文將全局深度卷積引入SE模塊，代替全局平均池化層提取全局性通道特征，同時依據文獻[19]對通道壓縮的思考.本文去除了原SE模塊的壓縮層，減少通道信息在壓縮層的損失.最后，本文將改進后的模塊稱為GDC-SE模塊，具體結構如圖3(b)所示.

本質上GDC-SE模塊是一種帶有注意機制的模塊，這種注意機制可以讓模型更加關注信息量大的通道特征，而抑制那些并不重要的通道特征，起到對特征重標定的作用.本文將GDC-SE模塊加入到生成器網絡中，推動網絡快速地尋找到模糊圖像存在的潛在有效特征，幫助生成器網絡模擬出欺騙判別器網絡的“真”樣本.

3.2 判別器網絡

判別器網絡借鑒了2017 CVPR最佳論文所提出的DenseNet[8]模型，DenseNet通過稠密連接改善了網絡中信息和梯度的流動問題，進而使網絡易于訓練；通過密集的特征重用方法，使DenseNet可以在計算量和參數量更少的情形下實現比前輩ResNet[20]更優的性能.本文為進一步增強DenseNet特征重用的能力，在原DenseNet網絡結構的基礎上引入全局性稠密連接，將特征重用的對象由DenseBlock內部擴展到DenseBlock之間，具體如圖5所示.

圖5 具有全局稠密連接的網絡組成結構Fig.5 Network composition structure with globally dense connections

針對不同DenseBlock的特征圖之間因為尺度不一致而無法拼接(Concatenate)問題，本文分別采用2×2池化和4×4池化的下采樣方案，對于相同尺度的特征圖則采用恒等映射方案.最后，配合全局深度卷積(GDC)輸出全局性的通道特征，完成判別器部分的深度特征提取.

4 損失函數

本文將內容損失(Content loss)與對抗損失(Adversarial loss)的總和作為訓練整個生成對抗網絡的總體損失，具體表達式如式(4)所示：

Ltotal=Lcont+λLadv

(4)

其中Ltotal為總體損失，Lcont為內容損失，Ladv為對抗損失，λ為權重系數，本文λ=1×10-4.

4.1 內容誤差損失

本文采用帶有L2正則項的像素均方誤差(Mean Square Error，MSE)作為本部分的損失函數，具體表達式如式(5)所示：

(5)

4.1.1 均方誤差損失(Mean Square Error，MSE)

在算法中采用MSE作為內容損失的一部分，用于計算由生成器模擬的圖像與目標圖像對應像素間的歐幾里得距離.通過使用MSE訓練得到的模型，其模擬的圖像在細節上更加接近真實圖像[11].目前，MSE被廣泛運用在圖像去模糊、超分辨率圖像重構等模型的訓練中.MSE具體表達式如式(6)所示：

(6)

4.1.2 L2正則化

min(Loss(Data|Model))

(7)

轉變為以最小化損失和復雜度為目標：

min(Loss(Data|Model)+Complexity(Model))

(8)

其中min為最小化操作，Data為模型需擬合的數據，Model為需訓練的模型，Loss(Data|Model)為損失項，用來衡量模型與數據的擬合度；Complexity(Model)為正則化項，用于衡量模型的復雜度.

1)求Lcont(w1)的梯度：

(9)

2)參數w1更新：

(10)

(11)

(12)

由式(12)可知，每一次迭代，w1都要先乘以一個小于1的因子，從而使權重|w1|不斷衰減使模型復雜度逐漸減小，降低了模型出現過擬合的風險.

4.2 對抗損失

基于生成對抗網絡互相對抗的原理，本文將結合了輕量級分組卷積與改進SE注意力機制的Group-SE模塊作為生成器的主體部件，將引入了全局性稠密連接的改進Den-seNet作為判別器核心，整個網絡在無監督學習下通過約束對抗損失迫使生成器模擬出更加清晰、高質量的圖像，具體對抗損失表達式如式(13)所示，在訓練過程中，生成器G嘗試去最小化對抗損失Ladv，而判別器D則竭盡所能最大化Ladv.

Ladv=EIs～psharp(s)[logD(Is)]+
EIb～pblur(b)[log(1-D(G(Ib)))]

(13)

其中EIs～psharp(s)為原清晰圖像數據分布的數學期望，EIb～pblur(b)為模糊圖像數據分布的數學期望，Is和Ib分別為清晰圖像和模糊圖像，D(Is)為Is被判定是清晰圖像的概率，D(G(Ib))為模糊圖像Ib經生成器模擬后的圖像被判定是清晰圖像的概率，G(Ib)為經過清晰圖像y(見公式(2))引導得到的模擬圖像.

5 實驗與結果分析

本文使用CASIA WebFace人臉數據集對本文算法進行實驗驗證，CASIA WebFace人臉數據集是由中國科學院發布的一個大規模人臉數據集，目前廣泛運用于人臉識別和身份驗證等任務.本文將CASIA WebFace以7：3的拆分比，拆分成訓練集和驗證集，驗證集不參與訓練.同時，本文額外加入LFW(Labeled Faces in the Wild)人臉數據集，以進一步驗證本文算法在人臉識別上的性能.LFW數據集由馬薩諸塞大學建立，用于評測非約束條件下的人臉識別算法性能，是人臉識別領域使用最廣泛的評測集合.

由于CASIA WebFace和LFW全為高清圖像，本文通過DeBlurGAN[10]提供的方法將數據集全部轉化為具有不同模糊程度的人臉圖像用于本文實驗，部分圖像如圖6所示.

圖6 CASIA WebFace部分原圖與模糊化后的圖像Fig.6 Part of the original and blurred images of CASIA WebFace

5.1 參數設置

本文實驗均在Window8.1操作系統上進行，使用Anaconda下基于Python語言的PyCharm解釋器，深度學習框架為MXNet，計算機CPU為AMD Ryzen7 2700X，GPU使用的是NVIDIA RTX 2080.本文網絡總共訓練600個周期，學習率為0.001，采用帶有動量的SGD算法優化器.

5.2 測試與對比

為驗證本文提出的算法在圖像去模糊上的性能，實驗通過CASIA WebFace驗證集和LFW進行測試，采用結構相似性(Structural SIMilarity，SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)作為圖像質量客觀評估主要指標，SSIM和PSNR數值越高，表明去模糊后的圖像質量越好.

本文測試主要包含以下4部分：

1)測試對比Group-SE模塊中，使用全局平局池化層和全局深度卷積之間，在圖像去模糊效果上的差異；

2)測試對比生成器網絡中使用Group-SE模塊與僅使用分組卷積、經典ResNet殘差塊、新興DenseNet稠密連接塊之間的性能差異，測試對比判別器部分使用原DenseNet網絡與引入了全局性稠密連接的改進DenseNet網絡的性能差異；

3)測試對比本文算法與DeepDeblur[6]、DeblurGAN[10]流行算法在去模糊后圖像質量、參數數量和測試時間上的差異；

4)測試對比在開源人臉識別算法SphereFace[21]、CosFace[22]和ArcFace[23]的基礎上各自分別加入基于DeblurGAN、DeepDeblur和本文算法的預處理模塊后，在人臉識別準確率上的差異.

5.2.1 對比實驗1

本部分實驗將對本文提出的GDC-SE模塊與原始SE模塊進行對比，對比實驗在CASIA WebFace驗證集上和LFW上進行.

由表1可知，在CASIA WebFace和LFW數據集上，使用GDC-SE模塊的方法相比使用了原始SE模塊的方法，在評價標準PSNR和 SSIM上都有小幅的分數提高，這主要是因為全局深度卷積為特征圖上的每個像素點都賦予了不同的權重，使得不同的感受野具有不同的重要性，相比直接使用全局平均池化層的方法，使用具有全局深度卷積的注意力機制模塊更能提升模型的表達能力.

表1 實驗1對比結果Table 1 Experiment 1 comparison result

5.2.2 對比實驗2

本部分實驗將對本文所使用的Group-SE模塊和引入了全局性稠密連接的改進DenseNet網絡，與其他深度學習經典的模塊和網絡進行對比.為保證對比結果的準確性和公平性，當實驗在生成器網絡部分對比時，判別器網絡部分均使用本文改進的DenseNet網絡；當實驗在判別器網絡部分對比時，生成器網絡部分均使用Group-SE模塊.

本部分實驗在CASIA WebFace測試集上進行，具體各部分對比情況如表2所示，使用了Group-SE模塊和改進DenseNet網絡的模型，與使用其他深度學習經典模塊和網絡的模型相比，去模糊后的圖像在客觀評估指標SSIM和PSNR上均有不同程度的提高，這說明本文提出的Group-SE模塊和引入了全局性稠密連接的改進DenseNet網絡作為模型關鍵部分，可以起到提高去模糊后圖像質量的作用，這是因為分組卷積可以在保持原有性能的基礎上，大幅減少了網絡諸多冗余連接，使得信息可以更好地傳遞，并且GDC-SE模塊對特征進行了精心篩選，使得模型有針對性地去挖掘對當前輸出有益的特征，進一步增強了模型的表達能力.

表2 實驗2對比結果Table 2 Experiment 2 comparison result

5.2.3 對比實驗3

本部分實驗對本文提出的算法與DeepDeblur、Deblur-GAN 在PSNR、SSIM、參數量和測試時間上進行對比.

由表3可知，本文算法在CASIA WebFace驗證集和LFW數據集上，相比先進的開源圖像去模糊模型DeepDeblur和DeblurGAN，在PSNR和SSIM上獲得了更高的得分，說明由本文算法得到的清晰圖像失真程度更低并且由本文算法模擬出的清晰圖像，它在圖像結構恢復上效果更加明顯.在參數數量方面，本算法形成的模型參數量較DeblurGAN和DeepDeblur都有一定程度的減小，因為使用了本文提出的Group-SE模塊，分組卷積可以在保持原有效果的基礎上大大減少模型參數數量.而在對同一張圖像測試時間方面，本文算法的速度要慢于DeepDeblur，原因是模型在對特征重標定過程中，增加了推理的計算量，使得耗時相對增加.

表3 實驗3對比結果Table 3 Experiment 3 comparison result

5.2.4 對比實驗4

為驗證將本文算法作為圖像預處理的人臉識別算法在識別準確率上的表現，本實驗在開源人臉識別算法SphereFace、CosFace和ArcFace的基礎上各自分別加入基于DeblurGAN、DeepDeblur和本文算法的預處理模塊進行對比，本部分實驗在LFW數據集上進行，具體對比如表4所示.

表4 實驗4對比結果Table 4 Experiment 4 comparison result

由表4可知，將本文算法作為圖像預處理的人臉識別算法比原生的SphereFace、CosFace 和ArcFace的識別準確率均有較大的提高，同時相比流行算法DeepDeblur和DebluGAN也有不同程度的提高.因為通過本文模型去除模糊后的人臉圖像保留了更多人臉原有的細節特征，使得特征提取算法提取出更加精確完整的人臉特征，進而提高識別準確率.

6 結 論

本文提出一種基于條件生成對抗網絡的圖像去模糊算法.該算法將結合了輕量級分組卷積與改進SE注意力機制的Group-SE模塊作為生成器的主體部件，將引入了全局性稠密連接的改進DenseNet作為判別器核心，以解決去模糊技術應用在人臉識別算法中的低效率等問題.在CASIA WebFace和LFW數據集上的實驗結果表明，相較于現有幾種流行算法，本文算法在PSNR和SSIM的得分上表現良好.同時將本文方法作為圖像預處理步驟的人臉識別算法在識別率上有較大的提升.目前人臉識別技術已應用于眾多行業，本文算法作為人臉識別中的一項預處理方法，對人臉識別的性能有一定的提升，因此本文算法具有廣闊的市場價值.下一步工作，將考慮解決加入了圖像去模糊模塊后，人臉識別算法延遲嚴重等問題.