基于卷積痕跡挖掘的GAN生成假臉圖片檢測

羅正軍，張麗麗

(南京航空航天大學(xué) 經(jīng)濟(jì)與管理學(xué)院，江蘇 南京 211106)

0 引 言

隨著以生成對抗網(wǎng)絡(luò)為代表的深度學(xué)習(xí)生成技術(shù)不斷提高，虛假圖片的仿真度愈來愈高，人臉的生成與篡改所帶來的安全威脅已引起廣泛關(guān)注。Choi等[1]利用Inception V3、VGG16、VGG19和ResNet50四種網(wǎng)絡(luò)結(jié)構(gòu)提取圖片特征。Li等[2]在CelebA數(shù)據(jù)集上測試了GAN自有判別器和VGG16網(wǎng)絡(luò)分類能力。Andreas等[3]創(chuàng)建并公開了大規(guī)模假臉圖像數(shù)據(jù)集FaceForensics++，并在此數(shù)據(jù)集上測試了多種CNN模型。Dang等[4]構(gòu)建CNN模型提取圖片特征，分類準(zhǔn)確率優(yōu)于VGG模型。Fu等[5]設(shè)計了基于CNN的雙通道結(jié)構(gòu)，從原始RGB圖像和預(yù)處理圖像的高通分量中提取圖片特征。Tariq等[6]基于淺層神經(jīng)網(wǎng)絡(luò)模型用來檢測GAN生成的人臉圖片和人工創(chuàng)建的人臉圖片。Bonettini等[7]利用本福德定律、Luca[8]利用轉(zhuǎn)置卷積痕跡、Scott等[9]基于顏色飽和度和曝光情況提取圖片特征，再對GAN生成虛假圖片進(jìn)行分類。

GAN能夠按幀生成虛假視頻，因此可以將圖片檢測技術(shù)推廣到DeepFake虛假視頻的檢測中[10-11]。李旭嶸等[12]提出了基于EfficientNet的雙流網(wǎng)絡(luò)檢測模型，趙磊等[13]提出了一種基于時空特征一致性的檢測模型，陳鵬等[14]利用全局時序特征和局部空間特征檢測虛假視頻。胡永健等[15]利用神經(jīng)分割網(wǎng)絡(luò)預(yù)測篡改區(qū)域進(jìn)行假臉視頻跨庫檢測。張怡暄等[16]利用視頻相鄰幀人臉圖像差異的特征來進(jìn)行預(yù)測。

考慮到已有模型較難提取通用特征用于區(qū)分多種不同GAN生成的虛假圖片，導(dǎo)致現(xiàn)有模型泛化能力不足。該文改進(jìn)了Luca等人[8]的圖片特征提取模型，基于對比損失函數(shù)和圖片像素局部相關(guān)性優(yōu)化圖片特征提取過程，同時結(jié)合梯度下降和粒子群算法優(yōu)化模型求解過程。最后在FFHQ數(shù)據(jù)集上進(jìn)行模型檢測性能測試，該模型在檢測準(zhǔn)確率和AUC取值方面有著很好的表現(xiàn)，檢測準(zhǔn)確率明顯優(yōu)于VGG16模型。

1 GAN生成機(jī)理

生成對抗網(wǎng)絡(luò)[17]是一種生成模型，其訓(xùn)練過程是對抗博弈的過程，模型結(jié)構(gòu)如圖1所示。

圖1 GAN模型結(jié)構(gòu)

GAN的主要結(jié)構(gòu)包括一個生成器G(Generator)和一個判別器D(Discriminator)，生成器的目標(biāo)函數(shù)為式(1)，作用是根據(jù)輸入的一組向量生成圖片，判別器的目標(biāo)函數(shù)為式(2)，作用是區(qū)分從訓(xùn)練數(shù)據(jù)抽取的真實(shí)圖片和從生成器抽取的圖片。在迭代過程中判別器學(xué)習(xí)正確地區(qū)分真假圖片，生成器試圖欺騙判別器讓其相信生成的圖片是真的，當(dāng)判別器的識別能力達(dá)到一定程度卻無法正確識別數(shù)據(jù)來源時，就得到了一個能夠生成清晰度和分辨率較高圖片的生成器。

(1)

(2)

生成器主要由轉(zhuǎn)置卷積層、池化層和全連接層構(gòu)成，轉(zhuǎn)置卷積層是一個上采樣過程，利用一個卷積核對輸入的多維數(shù)據(jù)進(jìn)行卷積計算進(jìn)而得到一個維度更高的輸出數(shù)據(jù)。從GAN圖片生成過程來看，生成器中各層所執(zhí)行的操作都會對像素產(chǎn)生影響，特別是進(jìn)行上采樣的轉(zhuǎn)置卷積層。在一張圖片像素的計算過程中，卷積核是始終保持不變的，會造成圖片像素的內(nèi)在關(guān)系。

2 檢測模型設(shè)計與實(shí)現(xiàn)

檢測模型的總體結(jié)構(gòu)如圖2所示。

圖2 圖片檢測模型結(jié)構(gòu)

檢測模型主要由特征提取模塊、對比損失模塊以及機(jī)器學(xué)習(xí)分類模塊三個主要部分構(gòu)成。在特征提取模塊完成特征向量求解過程，滿足模型約束條件，滿足約束條件的兩張圖片的卷積核及其相應(yīng)的圖片標(biāo)簽信息在對比損失模塊完成歐氏距離的計算獲得優(yōu)化后的特征向量。最后利用機(jī)器學(xué)習(xí)算法對圖片進(jìn)行分類。

2.1 基于像素局部相關(guān)性思想構(gòu)建特征向量提取模型

GAN生成虛假圖像的像素點(diǎn)之間存在的局部相關(guān)性可以用式(3)表示。即存在一個N×N的卷積核K使像素點(diǎn)I0(x,y)周邊的像素點(diǎn)經(jīng)過卷積計算和該像素點(diǎn)存在近似關(guān)系。

I0(x,y)～I(xiàn)1(x,y)

(3)

本模型的目的是在圖片的RGB每個通道中各尋找一個N×N的卷積核能夠表征圖片像素之間的局部相關(guān)關(guān)系，而該卷積核K作為圖片的特征向量會使GAN生成的圖片區(qū)別于真實(shí)圖片。用方差表示新估計的圖片與原始圖片之間的近似程度，如公式(4)所示。

(4)

基于對比損失函數(shù)優(yōu)化特征向量提取過程。對比損失(contrastive loss)通常用在傳統(tǒng)的孿生神經(jīng)網(wǎng)絡(luò)中，可以通過計算兩個樣本特征的歐氏距離來有效表達(dá)成對樣本的匹配程度，還可以用于訓(xùn)練特征提取的模型。對數(shù)據(jù)集中的所有圖片采用隨機(jī)匹配的方式，每兩張圖片之間進(jìn)行對比，通過對比損失計算，評價兩張圖片的相似度，按照同類圖片相似度高，異類圖片相似度低的原則，繼續(xù)迭代計算卷積核，進(jìn)而實(shí)現(xiàn)特征向量提取過程的優(yōu)化。對比損失函數(shù)的表達(dá)式如公式(5)：

Y)max(m-Dk,0)2)

(5)

經(jīng)過優(yōu)化后，模型需要求解的損失函數(shù)為公式(6)，需要滿足約束條件(7)～(10)，其中Δ為方差的可變動范圍，且k0,0一直為0。因此，模型分別在RGB三通道求解得到N×N的卷積核K，最終形成N×N-3維的特征向量。

minL(W,(Y,Ki,Kj))

(6)

(7)

(8)

ki0,0=0

(9)

kj0,0=0

(10)

2.2 基于EM-PSO算法的優(yōu)化求解設(shè)計

模型求解主要可以分為兩部分，一部分是對比損失部分特征向量的求解，另一部分是約束條件方差E的求解。

(11)

(12)

EM算法主要依賴梯度下降完成迭代過程，梯度下降法的計算過程就是沿梯度的負(fù)方向搜索最小值，但在多維數(shù)據(jù)的求解中只考慮局部梯度易陷入局部最優(yōu)造成方差早熟收斂的問題，使方差無法收斂到約束范圍內(nèi)。

PSO算法常用于求解優(yōu)化問題，初始化一群隨機(jī)粒子(隨機(jī)解)，通過迭代找到最優(yōu)解。該算法在迭代求解過程中既考慮了每個粒子的歷史最優(yōu)，又考慮了種群的全局最優(yōu)，但忽略了目標(biāo)函數(shù)本身的變化規(guī)律。在求解過程中可以通過求解梯度的方式獲知函數(shù)本身的變化規(guī)律，為了能充分利用這兩種方法的優(yōu)勢，并克服早熟收斂的缺陷，在迭代過程中綜合梯度下降和粒子群算法，利用粒子群算法的全局思想改善梯度下降易陷入局部最優(yōu)的缺點(diǎn)，形成EM-PSO算法。即在各個種群的迭代過程中，將種群受自身的最佳歷史位置影響改為每個種群受梯度下降方向影響，如公式(13)所示。EM-PSO算法的整體求解過程如算法1的偽代碼所示。

(13)

(14)

算法1：EM-PSO求解算法。

輸入：訓(xùn)練集圖片I，模型迭代次數(shù)iter，種群數(shù)M。

輸出：卷積核K(特征向量)。

(1)初始化種群

(2)初始化全局最優(yōu)值Egbest，全局最優(yōu)向量Kgbest

(3)計算圖片I的方差E0

(4)Fort=0 to iter do：

(5) Fori=0 toMdo：

(10) end For

(11)更新全局最優(yōu)值Ebest，全局最優(yōu)向量Kgbest

(12) ifE0-Δ

(13) break

(14) end For

2.3 EM-PSO算法實(shí)驗(yàn)結(jié)果分析

隨機(jī)選取一張數(shù)據(jù)集圖片進(jìn)行實(shí)驗(yàn)，比較直接利用梯度下降(EM)求解和混合梯度下降和粒子群算法(EM-PSO)求解時，方差E隨迭代次數(shù)的變化情況，如圖3所示。

(a)

(b)圖3 方差E隨訓(xùn)練次數(shù)變化趨勢

從圖3(a)中曲線可以看出，直接利用梯度下降求解時，算法初始化值對EM算法迭代過程會造成較大影響，且易出現(xiàn)提前收斂現(xiàn)象，使方差無法收斂到約束范圍內(nèi)。EM-PSO算法會一定程度上優(yōu)于EM算法，且收斂速度較快，但EM-PSO算法仍存在一些缺點(diǎn)，比如每一次迭代花費(fèi)的時間久，且存在隨機(jī)生成的初始化值使得EM-PSO和EM算法的收斂效果相似，如圖3(b)所示。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證提出檢測模型的有效性，從FFHQ高清數(shù)據(jù)集中選取2 000張圖片進(jìn)行實(shí)驗(yàn)，并選取StyleGAN、StyleGAN2生成的虛假人臉圖片各2 000張構(gòu)成模型檢測數(shù)據(jù)集。其中80%作為訓(xùn)練集，20%作為測試集，圖片大小均為1 024×1 024×3。

3.2 評判標(biāo)準(zhǔn)

針對分類模型，準(zhǔn)確率Accuracy通常用來評估一個模型的全局分類正確情況，準(zhǔn)確率越高則模型的分類正確率越高。準(zhǔn)確率的計算公式如下：

(15)

式中，NTP為真正例(true positive，TP)，表示被正確分類的GAN圖片的數(shù)量；NTN為真負(fù)例(true negative，TN)，表示被正確分類的真實(shí)圖片的數(shù)量；NFP為假正例(false positive，F(xiàn)P)，表示被錯誤分類的GAN圖片的數(shù)量；NFN為假負(fù)例(false negative，F(xiàn)N)，表示被錯誤分類的真實(shí)圖片的數(shù)量。

為了更加全面地評估模型，還采用ROC曲線和AUC值作為評價指標(biāo)，ROC曲線描述在分類混淆矩陣中FPR與TPR兩個量之間的相對變化情況。橫軸為假正例率(false positive rate，F(xiàn)PR)，縱軸是真正例率(true positive rate，TPR)，即可以通過ROC曲線的變化情況考察GAN生成的虛假圖片是否可以被正確分類。由于存在樣本不均衡實(shí)驗(yàn)，ROC曲線這種模型評價方法較準(zhǔn)確率更能評價模型的分類性能。AUC被定義為ROC曲線與坐標(biāo)軸圍成的面積，可以直觀地評價分類器的好壞，值越大越好。

3.3 實(shí)驗(yàn)過程及結(jié)果分析

在方差求解部分，損失函數(shù)為方差，實(shí)驗(yàn)將模型的迭代次數(shù)iter設(shè)置為40次，約束條件Δ的取值范圍為原始圖片像素點(diǎn)方差的10%。在對比損失部分，在RGB每個通道上利用3×3的卷積核求解特征向量，設(shè)置變化閾值，當(dāng)Lt<0.001時，停止迭代。在獲得圖片的特征向量后，以此作為輸入，利用機(jī)器學(xué)習(xí)分類算法完成檢測實(shí)驗(yàn)，通過對比實(shí)驗(yàn)最終選取支持向量機(jī)SVM作為模型分類器，其中核函數(shù)選取RBF函數(shù)。

實(shí)驗(yàn)1：在不均衡樣本上進(jìn)行檢測。

當(dāng)?shù)螖?shù)C=0時，即當(dāng)方差滿足約束條件就停止迭代獲得特征向量。從表1可以看出，檢測準(zhǔn)確率為67.08%，AUC值為0.47，模型檢測效果較差。從表1和圖4可以看出，隨著迭代效果次數(shù)的增加，模型的擬合效果越來越好，在C=5時，模型檢測準(zhǔn)確率為94.25%，AUC值為0.99。

圖4 不平衡樣本模型檢測ROC曲線和AUC值

表1 不均衡樣本模型檢測準(zhǔn)確率

為了研究迭代次數(shù)對檢測準(zhǔn)確率的影響，增加迭代次數(shù)至10次。實(shí)驗(yàn)結(jié)果表明，模型檢測準(zhǔn)確率隨迭代次數(shù)的增加而提高，當(dāng)C≥8時，模型檢測準(zhǔn)確率變化趨于平穩(wěn)，最高可達(dá)99%。

實(shí)驗(yàn)2：在均衡樣本上進(jìn)行檢測。

分別將StyleGAN和StyleGAN 2生成的圖片與真實(shí)圖片F(xiàn)FHQ數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn)。

StyleGAN VS FFHQ：從表2可以看出，當(dāng)?shù)螖?shù)為5時，利用SVM進(jìn)行分類，準(zhǔn)確率為90.62%，對應(yīng)的AUC值為0.98。

表2 均衡樣本模型檢測準(zhǔn)確率

StyleGAN2 VS FFHQ：從表2可以看出，當(dāng)?shù)螖?shù)為5時，利用SVM進(jìn)行分類，準(zhǔn)確率為92.25%，對應(yīng)的AUC值為0.99。迭代過程中除迭代次數(shù)為3時，檢測效果均優(yōu)于StyleGAN與FFHQ，且從圖5的ROC曲線對比情況可以看出，在區(qū)分GAN虛假圖片的過程中，模型能更準(zhǔn)確檢測StyleGAN2生成的虛假圖片。

(a)StyleGAN VS FFHQ

(b)StyleGAN2 VS FFHQ圖5 均衡樣本模型檢測ROC曲線和AUC值

為了研究卷積核大小對檢測結(jié)果的影響，對5×5的卷積核的分類效果進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。當(dāng)?shù)螖?shù)為3時，模型檢測效果最佳，準(zhǔn)確率最高為90.50%，但檢測準(zhǔn)確率均低于卷積核為3×3時的檢測結(jié)果。

表3 卷積核為5×5的模型檢測準(zhǔn)確率

為了驗(yàn)證模型的有效性，以VGG16模型展開對比實(shí)驗(yàn)，在不均衡實(shí)驗(yàn)中，VGG16模型檢測準(zhǔn)確率為67%，在均衡實(shí)驗(yàn)中，最佳檢測結(jié)果為50.28%，文中模型明顯優(yōu)于VGG16模型。

4 結(jié)束語

針對目前的檢測模型大多側(cè)重于針對某一種生成對抗模型生成的虛假圖片，從GAN生成過程出發(fā)，基于GAN生成圖片像素的局部相關(guān)性和對比損失原理構(gòu)建了適用于多種GAN生成人臉虛假圖片混合數(shù)據(jù)集的檢測模型，研究了卷積核在分類過程中的作用，并在求解過程中結(jié)合梯度下降和粒子群位置更新方法改進(jìn)EM算法迭代求解過程，利用PSO算法的全局思想克服梯度下降造成的早熟收斂問題，改善了收斂效果。

對StyleGAN和StyleGAN2生成的人臉圖片進(jìn)行了分類檢測。實(shí)驗(yàn)結(jié)果表明，3×3的卷積核分類準(zhǔn)確率優(yōu)于5×5的卷積核分類準(zhǔn)確率，其中3×3的卷積核在迭代次數(shù)達(dá)到5次時，在不均衡樣本實(shí)驗(yàn)中模型檢測準(zhǔn)確率可達(dá)94.25%，AUC取值可達(dá)0.99，且不均衡樣本實(shí)驗(yàn)效果略優(yōu)于均衡樣本實(shí)驗(yàn)。

生成對抗技術(shù)不止有StyleGAN和StyleGAN2，還有諸多其他典型的生成對抗技術(shù)，因此下一步的研究重點(diǎn)是在其他生成對抗技術(shù)生成的虛假圖片數(shù)據(jù)集上驗(yàn)證本模型是否具有通用性，并改進(jìn)檢測模型，使模型具有更廣泛的應(yīng)用。