一種基于生成對抗網絡的人臉運動模糊去除方法

曾孟佳,戶 哲,黃 旭*

(1.湖州師范學院 信息工程學院,浙江 湖州 313000;2.湖州學院 電子信息學院,浙江 湖州 313000;3.湖州市城市多維感知與智能計算重點實驗室,浙江 湖州 313000)

0 引言

造成圖像退化的原因多種多樣,拍攝環境、人為干擾以及設備的好壞都可造成圖像退化。由于物體和拍攝設備發生了相對運動而產生的運動模糊[1],是圖像模糊中最為常見的一種,也會引發圖像退化問題。模糊圖像產生的原因是模糊核與圖像內容發生了卷積,因此可以通過反解模糊核來恢復清晰圖像。運動模糊是由相對運動產生的,與普通圖像產生原理不同,不能直接利用模糊核反解方法使其恢復。

人臉識別技術在目標定位、追蹤等場景中有著廣泛應用,去除運動模糊則是其中重要的一環。本文針對人臉圖像識別的特定場景,對運動模糊圖像進行了清晰化研究,在人臉識別技術的推廣應用中,起到一定的積極作用。

1 相關工作

在研究圖像模糊處理的方向中,通常有2種去模糊方法。傳統的修復方法為非盲去模糊,該方法已知模糊核,對模糊圖像的模糊核進行反解從而得到清晰圖像。但大多數情況下,圖像模糊核未知,多幅圖像的模糊核也不一致,因此模糊核反解方法缺少實際應用價值。深度學習方法不依賴于模糊核,在實際應用中有較好的推廣價值。早期的模糊圖像恢復通常為非盲去模糊[2],是在已知模糊核的情況下,研究如何獲取清晰圖像。通過對模糊圖像進行反卷積操作,抵消模糊核對圖像的卷積效果,從而得到相對清晰的圖像。但這類算法用于處理實際場景中所恢復的圖像時,處理后的圖像在可視性方面不盡人意。隨后,研究人員提出了基于迭代的去模糊方法[3],通過先驗模型迭代優化模糊核,圖像的去模糊效果雖然得到了一定提升,但是在運行速度和迭代次數上不能滿足需求。

近年來,深度學習相關技術的快速發展為圖像處理提供了一些新的方法和思路,越來越多的研究人員利用深度學習方法進行圖像修復,取得了較大的進展。目前,人臉運動模糊去除方法大多采用深度學習方法。Sun等[4]基于卷積神經網絡,根據其特性檢測模糊核,達到了較好的效果。Gong等[5]采用卷積網絡對圖像進行運動流的預測,進而恢復了模糊圖像。Kupyn等[6]首次在去運動模糊中引用了生成對抗網絡技術,提出了DeblurGAN方法,在圖像的修復結果方面和運算時間上都取得了相當好的成效。近年來,還出現了一些基于深度先驗的盲去模糊算法[7],能夠快速、準確地估計出清晰圖像和模糊核,并有效抑制了圖像復原過程中存在的噪聲放大問題。

綜上,深度學習算法在處理圖像的運動模糊問題時效果良好。本文針對人臉運動模糊圖像的恢復問題,提出了一種端到端的深度學習網絡模型,該模型是以生成對抗網絡為基礎,將卷積網絡和上采樣網絡相結合,通過加入多次跳躍連接提升網絡對圖像特征內容進行提取,并且通過加入全局跳躍連接,將網絡的前端與末端相連接,得到最終的端到端網絡結構,以提升人臉運動圖像的去模糊效果。

2 算法介紹

2.1 數據集

本文基于人臉圖像公開數據集(CelebFaces Attributes Dataset,CelebA),制作了人臉運動模糊數據集。在CelebA中選取清晰的人臉正面圖像,使用Kuoyn等[6]提出的算法模擬圖像線性運動,通過使用不同模糊核的卷積運算,獲得人臉運動模糊圖像,進一步生成所需的數據集。實驗時,本文方法從CelebA中挑選了3000張清晰人臉圖像,經模糊化處理后,選取2400張用于訓練,剩余600張用于測試。

2.2 生成對抗網絡

生成對抗網絡(Generative Adversarial Networks,GAN)的基本理念由Goodfellow等[8]首次提出,網絡結構主要由生成網絡和判別網絡構成,模型結構如圖1所示。生成網絡主要負責產生新的生成樣本,鑒別器的作用是區別2個輸入,做出判斷。GAN的最終目標,是生成一個鑒別器無法辨別輸入數據來源于哪一方的結果。在實際應用中,生成網絡和對抗網絡一般使用深層神經網絡實現。

圖1 GAN結構

GAN網絡的目標函數如式(1)所示。

minGmaxDV(D,G)=Ex～pdas(x)[logD(x)+Ez～pz(z)[log(1-D(G((z))))]]

(1)

其中,生成模型G產生假的數據樣本G(z)。生成器的作用是使產生的樣本數據與真實的樣本數據相同。判別器D的輸入為2個部分,即真實的樣本數據x和生成器產生的假的生成數據G(x)。判別器D的輸出一般是介于(0,1)的概率值,表示判定的輸入是真實分布的概率:如果輸出結果越接近于1,則說明輸入的數據越接近真實數據;相反,如果輸出結果越接近于0,則表明輸入的數據真實性越低。同時,判別器的數據結果會反饋給生成器并用于下一次訓練。理想情況下,判別器無法判別輸入數據的來源是真實樣本還是生成樣本,即當判別器每次輸出的概率值均為1/2時,模型達到最優。GAN被廣泛應用于各種圖像領域,包括圖像的超分辨率[8]、風格遷移[9]、圖像生成技術[10]等。

2.3 網絡結構

本文所用的神經網絡模型結合了GAN和卷積網絡2種結構,如圖2所示。

圖2 生成網絡模型

首先是生成網絡,采用Encoder-Decoder結構的卷積神經網絡作為生成模型。在Encoder-Decoder網絡結構中添加多個跳躍連接層Skip-connection,將卷積過程中提取到的特征信息引入反卷積過程中。同時,引入全局跳躍連接可以提高網絡對圖像特征信息的復用,降低模糊圖像到修復圖像之間端到端學習的復雜度。生成網絡由Encoder單元模塊和Decoder單元模塊組成。Encoder單元模塊采用“卷積-BatchNormalization-激活函數”的形式。Decoder單元模塊采用“反卷積-BatchNormalization-激活函數”的形式。

2.4 損失函數

損失函數作為機器學習和深度學習中的一個重要指標,在網絡模型的訓練中有著不可或缺的作用,能夠影響模型的訓練效果。整體網絡結構基于GAN,損失函數由2個部分組成,如式(2)所示。

Lgloss=αLgan+βLcon

(2)

其中,Lgloss為最終的損失函數,α、β代表不同損失函數的權重,Lgan代表生成對抗網絡中的對抗損失,Lcon代表內容損失。

對抗損失是GAN中較為核心的的一部分,其引導網絡內部之間的對抗,對數據樣本的分布情況進行擬合,實現算法模型的優化,最終通過判斷輸入圖像的真假以獲得所產生的損失。對抗損失模型如式(3)所示。

(3)

其中,I表示為模糊圖像,函數G表示GAN中對模糊圖像的處理過程,結果為修復后圖像,函數D表示通過判別網絡判定生成圖像為真實圖像的概率。

為生成具有清晰結構的去模糊圖像,內容損失模型選用均方誤差(Mean Square Error,MSE)進行計算,用以描述生成數據和真實數據之間的差距,如式(4)所示。

(4)

其中,n代表樣本的數量,ωi代表第i個采樣點的權重參數,xi是第i個采樣點的真實值,yi是模型對第i個采樣的預測值。

3 實驗及結果

3.1 環境及參數說明

本實驗中,CPU為Intel(R)i9-9700,GPU為NVIDIA GeForce RTX 3060,內存32 G,采用window10操作系統。開發軟件使用PyCharm,開發語言為Python3.7,深度學習框架為PyTorch。訓練過程中優化器的選擇為Adam,學習速率設置為0.0001,訓練輪次設置為300個epoch,batch size設置為8。訓練設置為生成網絡1次,鑒別網絡5次。訓練集和數據集均為本文制作的數據集。整個網絡在GPU為NVIDIA 1060,內存為16 GB的電腦上訓練,訓練時長約為3天。

3.2 實驗結果

本實驗在加入多次的跳躍連接后加深了網絡對信息的利用,生成圖像的真實性和可視性存在更好的效果。經過對比試驗和消融實驗,本文選擇最優的訓練參數對實驗集進行測試,最終的結果如圖3所示。圖3(b)所示修復后的結果相比于圖3(a)所示原始的模糊圖像,在清晰度方面有較大提高,生成圖像的真實性和可視性更好。這說明本文所用方法能在一定程度上去除運動模糊,且效果良好。

圖3 實驗結果

4 結語

本文提出了一種基于GAN的端到端深度學習網絡模型,通過訓練自制人臉運動模糊圖像數據集,在加入多次的跳躍連接后加深網絡對信息的利用,在生成圖像的真實性和可視性提升方面有著較好的效果。但是當圖像的模糊程度發生改變,即圖像的模糊核長度發生變化時,本文模型的效果相比于其他算法在高模糊圖像的恢復效果方面結果較為相近。其原因可能是隨著圖像模糊程度的加深,整個網絡對圖像特征的提取作用也隨之降低,導致生成的結果不盡如人意,以上問題將是后續研究的重點。