基于雙層生成對(duì)抗網(wǎng)絡(luò)的素描人臉合成方法

李凱旋 曹 林 杜康寧

(北京信息科技大學(xué)通信工程系 北京 100101)

0 引 言

隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，素描人臉合成在刑偵領(lǐng)域與數(shù)字娛樂(lè)領(lǐng)域發(fā)揮著至關(guān)重要的作用[1]。就刑偵領(lǐng)域而言，犯罪嫌疑人的光學(xué)面部照片一般難以直接獲得，只能由法醫(yī)素描專家通過(guò)錄制的監(jiān)控視頻或目擊者的描述來(lái)繪制簡(jiǎn)單的素描圖像，從而對(duì)嫌疑人的身份進(jìn)行辨識(shí)。但由于素描人臉和照片屬于異構(gòu)圖像，兩者模態(tài)間存在差異,很難直接進(jìn)行匹配識(shí)別。為解決這個(gè)問(wèn)題，可先用素描人臉合成將光學(xué)面部照片轉(zhuǎn)換為素描人臉圖像，再與犯罪嫌疑人的素描人臉圖像進(jìn)行匹配識(shí)別[2]。

目前，素描人臉合成方法主要分為模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)兩類。數(shù)據(jù)驅(qū)動(dòng)方法認(rèn)為光學(xué)面部照片與素描人臉圖像數(shù)據(jù)是一一對(duì)應(yīng)的。如果兩張光學(xué)面部照片中某個(gè)照片塊相似則其對(duì)應(yīng)的素描圖像塊也應(yīng)該相似。通常先將訓(xùn)練集中的“照片-素描”圖像對(duì)分塊，然后進(jìn)行近鄰選擇、計(jì)算權(quán)重、選擇最優(yōu)圖像塊，最后進(jìn)行拼接合成整幅素描人臉圖像。這種方法需要遍歷訓(xùn)練集中的所有圖像數(shù)據(jù)，為訓(xùn)練集中的每個(gè)圖像數(shù)據(jù)選擇其對(duì)應(yīng)的最近鄰圖像塊。主要代表方法有：局部線性嵌入(Locally Linear Embedding，LLE)方法[3]和馬爾可夫隨機(jī)場(chǎng)(Markov Random Field，MRF)方法[4]等。模型驅(qū)動(dòng)方法主要是以離線的方式學(xué)習(xí)訓(xùn)練集中光學(xué)面部照片到素描人臉圖像的映射關(guān)系。當(dāng)輸入一張光學(xué)面部照片時(shí)，通過(guò)訓(xùn)練得到的映射函數(shù)將輸入的光學(xué)面部照片轉(zhuǎn)換為素描人臉圖像。主要代表方法有：基于貝葉斯學(xué)習(xí)[5]的方法和基于貪婪搜索稀疏表示[6]的方法等。這些方法都取得了不錯(cuò)的結(jié)果，但合成的素描人臉圖像面部細(xì)節(jié)清晰度較低，而且需要對(duì)光學(xué)面部照片與素描人臉圖像進(jìn)行復(fù)雜繁瑣的分塊訓(xùn)練。此外，當(dāng)對(duì)選出的最優(yōu)圖像塊進(jìn)行拼接時(shí)，容易出現(xiàn)相鄰塊連接處不平滑的現(xiàn)象，導(dǎo)致最終合成的圖像質(zhì)量不是十分理想。并且，在處理光學(xué)面部照片中一些配飾等非人臉的特征時(shí)，這些方法也不具備很好的魯棒性。

近年來(lái)，深度學(xué)習(xí)得到快速發(fā)展，基于生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks, GANs)[7]的深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)研究領(lǐng)域掀起一片浪潮，引起廣大研究者的濃厚興趣，成為該領(lǐng)域熱點(diǎn)研究方向之一。經(jīng)典的生成對(duì)抗網(wǎng)絡(luò)及其不同變體[8-10]在圖像風(fēng)格轉(zhuǎn)化、圖像生成等應(yīng)用中取得了突破性的進(jìn)展。DiscoGAN[11]是一種基于生成對(duì)抗網(wǎng)絡(luò)的學(xué)習(xí)模型，用來(lái)尋找跨域之間的關(guān)系。其克服了傳統(tǒng)GANs難收斂、模式易崩潰的問(wèn)題，并能夠使圖像在不同域轉(zhuǎn)化時(shí)保留圖像的關(guān)鍵屬性。

光學(xué)面部照片與素描人臉圖像屬于兩種不同的模態(tài)，從光學(xué)面部照片合成素描人臉圖像屬于跨模態(tài)圖像合成，且光學(xué)面部照片合成素描人臉圖像可以看成類似機(jī)器翻譯的問(wèn)題。為提高合成素描人臉圖像的清晰度、完整性以及整體合成效果，本文采用生成對(duì)抗網(wǎng)絡(luò)對(duì)抗訓(xùn)練的策略，結(jié)合機(jī)器翻譯中對(duì)偶學(xué)習(xí)[12]的思想，在DiscoGAN框架的基礎(chǔ)上進(jìn)行改進(jìn)，提出一種雙層生成對(duì)抗網(wǎng)絡(luò)的素描人臉合成方法。該方法無(wú)需使用傳統(tǒng)方法中繁冗的分塊步驟，從而避免了圖像塊拼接過(guò)程造成的柵格現(xiàn)象與拼接邊緣不平滑現(xiàn)象。并且該方法在處理光學(xué)面部照片中一些配飾等非人臉特征時(shí)也有很好的魯棒性。

1 生成對(duì)抗網(wǎng)絡(luò)

傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)包含一個(gè)生成模型和一個(gè)判別模型，其結(jié)構(gòu)如圖1所示。生成模型與判別模型通常由深層神經(jīng)網(wǎng)絡(luò)構(gòu)成。生成器用來(lái)構(gòu)建滿足一定分布的隨機(jī)噪聲和真實(shí)數(shù)據(jù)分布的映射關(guān)系。判別器則用于判別輸入的數(shù)據(jù)是否為真實(shí)數(shù)據(jù)并提供給生成器一個(gè)反饋信息。生成器用可微函數(shù)G(z;θ(g))表示，z為輸入數(shù)據(jù)，θ(g)為生成器G待訓(xùn)練參數(shù)集合。判別器用可微函數(shù)D(x;θ(d))表示，x為輸入數(shù)據(jù)，θ(d)為判別器D待訓(xùn)練參數(shù)集合。訓(xùn)練過(guò)程中，交替迭代訓(xùn)練生成模型和判別模型，不斷更新參數(shù)θ(g)與θ(d)，使得θ(g)為生成器損失函數(shù)的最小值點(diǎn)，同時(shí)θ(d)為判別器損失函數(shù)的最小值點(diǎn)，最終達(dá)到納什均衡，使判別器無(wú)法判別生成模型生成數(shù)據(jù)的真?zhèn)巍ANs的目標(biāo)函數(shù)定義為：

圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

(1)

式中:第一項(xiàng)表示判別網(wǎng)絡(luò)輸入真實(shí)數(shù)據(jù)時(shí)的目標(biāo)函數(shù)值;第二項(xiàng)為輸入生成數(shù)據(jù)時(shí)的目標(biāo)函數(shù)值。x代表真實(shí)數(shù)據(jù)，G(z)代表生成的數(shù)據(jù)；D(x)為判別網(wǎng)絡(luò)判斷真實(shí)數(shù)據(jù)是否真實(shí)的概率；D(G(z))為判別網(wǎng)絡(luò)判斷生成網(wǎng)絡(luò)生成的數(shù)據(jù)是否真實(shí)的概率。優(yōu)化過(guò)程：在給定G的情況下最大化V(D,G)得到D，然后固定D最小化V(D,G)，得到G。

從理論上講，GANs可以生成與目標(biāo)域相同分布的映射，雖然在圖像到圖像轉(zhuǎn)換的問(wèn)題中GANs產(chǎn)生的結(jié)果已獲得普遍的認(rèn)同，但它們往往生成的圖像會(huì)產(chǎn)生不同程度的模糊。這些細(xì)節(jié)模糊部分對(duì)面部識(shí)別性能會(huì)產(chǎn)生不利影響。因此，生成清晰完整的圖像至關(guān)重要。

2 算法設(shè)計(jì)

本文提出的方法由兩個(gè)GANs網(wǎng)絡(luò)組成，生成器與判別器采用深度卷積神經(jīng)網(wǎng)絡(luò)，并在生成器中添加跳躍連接來(lái)提升生成圖像的質(zhì)量。通過(guò)對(duì)抗損失對(duì)生成器與判別器進(jìn)行訓(xùn)練，對(duì)抗損失相比L1與L2范數(shù)可以克服生成器生成圖片模糊的問(wèn)題。網(wǎng)絡(luò)中添加兩個(gè)重建損失，計(jì)算生成器輸出圖片與真實(shí)圖片之間的差異，用以約束生成器生成圖像的質(zhì)量，提高生成器的合成能力。

2.1 素描人臉合成模型

假設(shè)數(shù)據(jù)集為光學(xué)面部照片和素描人臉圖像數(shù)據(jù)集，Mp表示光學(xué)面部照片域中的數(shù)據(jù)i到素描人臉圖像域中的映射網(wǎng)絡(luò)，Ms表示素描人臉圖像域中的數(shù)據(jù)j到光學(xué)面部照片域中的映射網(wǎng)絡(luò)。為了找到光學(xué)面部照片與素描人臉圖像的對(duì)應(yīng)關(guān)系，通過(guò)雙層網(wǎng)絡(luò)將網(wǎng)絡(luò)的映射限制為一對(duì)一映射，避免出現(xiàn)合成素描人臉圖像缺乏多樣性的問(wèn)題。網(wǎng)絡(luò)在訓(xùn)練的過(guò)程中同時(shí)學(xué)習(xí)Mp和Ms兩個(gè)映射，達(dá)到P(Gps(Gsp(i))≈i以及S(Gsp(Gps(j))≈j。

素描人臉合成框架如圖2所示，整個(gè)框架中有四個(gè)生成模型，兩個(gè)判別模型。兩個(gè)Gsp為相同的生成器，兩個(gè)Gps為相同的生成器，各自分別共享參數(shù)；判別器用以區(qū)分光學(xué)面部照片域和素描人臉圖像域的真假圖像，判別器Ds用于判別Gps合成的素描人臉圖像的真實(shí)性,判別器Dp用于判別Gsp合成光學(xué)面部照片的真實(shí)性。

圖2 素描人臉合成框架

2.2 損失函數(shù)

根據(jù)素描人臉圖像合成中面部屬性及細(xì)節(jié)特征清晰度的重要性，本文采用L1范數(shù)作為重建損失函數(shù)，來(lái)描述經(jīng)過(guò)兩個(gè)生成器之后的圖像重建效果與原始真實(shí)圖像的差距。L1損失函數(shù)相比其他函數(shù)能更好地約束模型合成清晰、高質(zhì)量的圖像，更容易滿足素描人臉圖像合成中面部細(xì)節(jié)特征高清晰度的要求，重建損失函數(shù)定義如下：

LREC(i,j) =Εi～S[‖Gsp(Gps(i))-i‖1]

(2)

本文中生成模型G的損失函數(shù)采用最小二乘損失函數(shù)：

(3)

式中：n為常數(shù)，表示生成模型為了讓判別器談判生成的數(shù)據(jù)是真實(shí)數(shù)據(jù)而設(shè)定的值。

GANs的生成損失函數(shù)以S形交叉熵作為損失，當(dāng)判別器達(dá)到最優(yōu)的情況下，生成損失函數(shù)等價(jià)為最小化真實(shí)分布與生成分布之間的JS散度，而JS散度并不能拉近真實(shí)分布和生成分布之間的距離，會(huì)使得在訓(xùn)練過(guò)程中生成器不再優(yōu)化那些被判別器識(shí)別為真實(shí)圖像的生成圖像，即使這些生成圖像距離判別器的決策邊界還很遠(yuǎn)，這就會(huì)導(dǎo)致最終生成器生成的圖像質(zhì)量不高。而最小二乘損失函數(shù)在混淆判別器的前提下還可以保證讓生成器把距離決策邊界比較遠(yuǎn)的生成圖像拉向決策邊界，這樣就可以使生成模型繼續(xù)優(yōu)化，不斷提高生成圖像的質(zhì)量。同樣，判別模型D的損失函數(shù)也采用最小二乘損失函數(shù)：

(4)

式中:k、m為常數(shù)，分別表示真實(shí)數(shù)據(jù)和生成數(shù)據(jù)的標(biāo)記。

本文方法的全局目標(biāo)函數(shù)為總生成網(wǎng)絡(luò)損失與總判別網(wǎng)絡(luò)損失之和:

LSFS_GAN=LSum_GAN(D)+LSum_GAN(G)

(5)

總生成網(wǎng)絡(luò)損失為：

LSum_GAN(G)=LREC(i,j)+LREC(j,i)+

LGAN(Gps)+LGAN(Gsp)

(6)

總判別網(wǎng)絡(luò)損失為：

LSum_GAN(D)=LGAN(Dp)+LGAN(Ds)

(7)

2.3 生成模型與判別模型的設(shè)計(jì)

首先，對(duì)比重建光學(xué)面部照片域的數(shù)據(jù)分布與真實(shí)光學(xué)面部照片的數(shù)據(jù)分布，當(dāng)二者分布一致時(shí)，合成的素描人臉圖像域數(shù)據(jù)為預(yù)期結(jié)果。要使重建光學(xué)面部照片域的數(shù)據(jù)與真實(shí)光學(xué)面部照片的數(shù)據(jù)達(dá)到一致分布，需要嚴(yán)格的約束，而這種約束在訓(xùn)練過(guò)程中很難優(yōu)化。在本文中，兩個(gè)生成模型采用最小化重建損失來(lái)滿足這種近似的分布一致。其次，對(duì)兩個(gè)網(wǎng)絡(luò)采用生成對(duì)抗損失進(jìn)行約束，通過(guò)生成對(duì)抗網(wǎng)絡(luò)“零和博弈”的訓(xùn)練過(guò)程不斷優(yōu)化網(wǎng)絡(luò)參數(shù)，使最終合成的素描人臉圖像在視覺(jué)上更真實(shí)，更符合素描圖像的紋理風(fēng)格。

生成模型采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)可以達(dá)到降低模型參數(shù)的功能。在本文提出的方法中，生成模型加入了跳躍連接，區(qū)別于傳統(tǒng)的編碼器-解碼器結(jié)構(gòu)，如圖3所示。跳躍連接將經(jīng)過(guò)卷積層后的特征映射和反卷積層后對(duì)應(yīng)相同尺寸的特征映射按通道連接在一起，充分利用了卷積層中的位置結(jié)構(gòu)特征信息，更好地提升了合成圖像的效果。

圖3 生成模型結(jié)構(gòu)圖

判別模型采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，用以區(qū)分輸入的圖像是否為真實(shí)圖像。通過(guò)對(duì)抗訓(xùn)練不斷強(qiáng)化自身的判別能力以及優(yōu)化生成模型的輸出，保證生成模型合成的圖像更真實(shí)，更清晰。

生成模型由14層卷積神經(jīng)網(wǎng)絡(luò)組成，并在部分卷積層與反卷積層之間采用了跳躍連接。在本文方法中，為了提高模型的執(zhí)行效率，設(shè)置了7層步長(zhǎng)為2的卷積層與7層步長(zhǎng)為1的反卷積層來(lái)替代傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的池化層。每層網(wǎng)絡(luò)都進(jìn)行了Padding(補(bǔ)零)操作，用于保持邊界信息，防止圖像邊緣像素點(diǎn)信息遺失，并保持輸出圖片與輸入圖片尺寸一致。卷積層中的激活函數(shù)設(shè)置為L(zhǎng)eaky ReLU函數(shù)，反卷積層中的激活函數(shù)設(shè)置為ReLU函數(shù)，判別模型由五層卷積神經(jīng)網(wǎng)絡(luò)組成，激活函數(shù)設(shè)置為L(zhǎng)eaky ReLU函數(shù)。生成模型與判別模型中卷積核尺寸大小為4×4，具體參數(shù)設(shè)計(jì)如表1、表2所示。

表1 生成模型參數(shù)設(shè)計(jì)

表2 判別模型參數(shù)設(shè)計(jì)

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法合成素描人臉圖像的有效性,采用香港中文大學(xué)CUHK學(xué)生人臉數(shù)據(jù)庫(kù)[13]進(jìn)行實(shí)驗(yàn)。將CUHK學(xué)生人臉數(shù)據(jù)庫(kù)中的150對(duì)光學(xué)面部照片-素描人臉圖像作為訓(xùn)練集，38對(duì)光學(xué)面部照片-素描人臉圖像作為測(cè)試集。

實(shí)驗(yàn)過(guò)程中，輸入圖像的大小為200×250像素，輸出圖像的大小為128×128像素。本文素描人臉合成方法中的兩個(gè)網(wǎng)絡(luò)同時(shí)開(kāi)始訓(xùn)練，采用對(duì)抗訓(xùn)練的策略，交替迭代訓(xùn)練生成模型和判別模型。生成模型與判別模型相互對(duì)抗，不斷“博弈”，最終使全局目標(biāo)函數(shù)與模型參數(shù)達(dá)到最優(yōu)。整個(gè)網(wǎng)絡(luò)采用Adam算法進(jìn)行優(yōu)化，網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 2，式(3)中參數(shù)設(shè)置為n=1，式(4)中參數(shù)設(shè)置為m=1、k=0。本文選擇批處理大小(batch-size)為1,并保存迭代30、40、50和60個(gè)epoch的合成結(jié)果，模型的損失變化如圖4所示，合成結(jié)果如圖5所示。

圖4 模型各損失函數(shù)變化圖

圖4、圖5的結(jié)果表明隨著迭代次數(shù)的增加，模型逐步優(yōu)化，損失值呈現(xiàn)穩(wěn)定下降，合成的圖像質(zhì)量不斷提高。當(dāng)?shù)降?0個(gè)epoch時(shí)，損失函數(shù)已經(jīng)基本收斂，合成的素描人臉圖像不僅面部細(xì)節(jié)更完整、圖像清晰度更高而且風(fēng)格特征與真實(shí)素描圖像更相近。因此，在本文方法的對(duì)比實(shí)驗(yàn)中選擇60個(gè)epoch的模型參數(shù)進(jìn)行實(shí)驗(yàn)。

圖5 不同迭代epoch結(jié)果圖

3.1 合成結(jié)果定性分析

本文方法在香港中文大學(xué)CUHK學(xué)生人臉數(shù)據(jù)庫(kù)中合成素描人臉圖像的結(jié)果如圖6所示，并分別與LLE方法[3]、MRF方法[4]、馬爾可夫權(quán)重場(chǎng)(Markov Weight Field，MWF)方法[14]、DiscoGAN方法[11]進(jìn)行了對(duì)比。

由圖6可以看出其他方法合成的素描人臉圖像清晰度低，細(xì)節(jié)不夠完整。本文方法合成的素描人臉圖像面部特征與原圖像更相近，風(fēng)格特征更符合原素描圖像，而且清晰度更高，細(xì)節(jié)更完整。

圖6 CUHK數(shù)據(jù)庫(kù)上合成素描人臉圖像的效果

為了進(jìn)一步驗(yàn)證本文方法的合成效果，利用AR人臉數(shù)據(jù)庫(kù)對(duì)本文方法進(jìn)行測(cè)試驗(yàn)證，合成結(jié)果如圖7所示。

由圖7可以看出，本文方法在AR人臉數(shù)據(jù)庫(kù)中的合成效果也優(yōu)于其他素描人臉合成方法。從合成結(jié)果來(lái)看，傳統(tǒng)方法合成的素描人臉圖像出現(xiàn)了面部失真以及面部特征(如：眼鏡、胡須等)不同程度的缺失。而本文方法的合成結(jié)果則未出現(xiàn)面部失真、特征缺失等問(wèn)題，面部輪廓更加完整，對(duì)眼鏡、胡須等面部特征的合成效果更優(yōu)。

圖7 AR數(shù)據(jù)庫(kù)上合成素描人臉圖像的效果

通過(guò)與不同方法在不同人臉數(shù)據(jù)庫(kù)中的合成效果比較分析。傳統(tǒng)方法在訓(xùn)練過(guò)程中對(duì)照片-素描對(duì)進(jìn)行分塊處理，然后采用局部搜索或者全局搜索來(lái)尋找最優(yōu)圖像塊集合。但在局部搜索過(guò)程中會(huì)限制圖像塊的范圍使得最優(yōu)圖像塊在全局范圍內(nèi)可能不是最優(yōu)的，全局搜索過(guò)程雖然可以增大尋找最優(yōu)圖像塊的范圍卻缺乏了對(duì)最優(yōu)圖像塊局部信息的約束，導(dǎo)致了最終合成的素描人臉圖像模糊，細(xì)節(jié)不完整。DiscoGAN方法采用S形交叉熵作為對(duì)抗訓(xùn)練的損失函數(shù)，訓(xùn)練過(guò)程中很難使生成模型達(dá)到最優(yōu)，生成的圖像清晰度低。同時(shí)，生成模型與判別模型的設(shè)計(jì)中采用卷積層與反卷積層直接相連，不能充分提取卷積層中圖像的位置特征信息。而本文方法通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入光學(xué)面部照片-素描人臉圖像對(duì)的特征，合成對(duì)應(yīng)的素描人臉圖像。采用最小二乘損失作為對(duì)抗訓(xùn)練的損失函數(shù)及L1范數(shù)作為重建損失函數(shù)，在對(duì)抗訓(xùn)練過(guò)程中可以有效提高判別模型的判別能力，以及生成模型的合成能力即合成素描人臉圖像的清晰度與視覺(jué)真實(shí)性。因此本文方法的合成結(jié)果不僅面部細(xì)節(jié)更加完整，而且發(fā)飾等非人臉部分也得到清晰的呈現(xiàn)。

3.2 合成結(jié)果定量分析

為了對(duì)本文方法合成的素描人臉圖像進(jìn)行定量分析，采用結(jié)構(gòu)相似度SSIM(Structural Similarity Index)[15]值和特征相似度FSIM(Feature Similarity Index)[16]值來(lái)綜合評(píng)判本文方法合成的素描人臉圖像的質(zhì)量。

本文對(duì)不同方法合成的素描人臉圖像與其對(duì)應(yīng)的原始素描圖像進(jìn)行計(jì)算，得到的SSIM值與FSIM值越大，則證明合成的素描人臉圖像與原始素描人臉圖像更相似，合成的素描人臉圖像質(zhì)量更優(yōu)。在不同數(shù)據(jù)庫(kù)中不同方法合成素描人臉圖像的SSIM值與FSIM值如表3、表4所示。

表3 CUHK數(shù)據(jù)庫(kù)中SSIM值與FSIM值

通過(guò)表3、表4可以看出本文方法合成素描人臉圖像的SSIM值與FSIM值明顯高于其他方法，說(shuō)明本文方法的合成結(jié)果與原始素描圖像更相似，合成效果更好。

表4 AR數(shù)據(jù)庫(kù)中SSIM值與FSIM值

為了對(duì)本文方法合成素描人臉圖像的可適用性進(jìn)行分析，采用主成分分析的方法，計(jì)算合成素描人臉圖像在原素描人臉圖像數(shù)據(jù)庫(kù)中的識(shí)別率。本文方法與其他方法在不同數(shù)據(jù)庫(kù)中合成素描人臉圖像的識(shí)別率如圖8、圖9所示。

圖8 在CUHK人臉庫(kù)上的識(shí)別率

通過(guò)圖8、圖9識(shí)別率曲線可以看出，在CUHK人臉數(shù)據(jù)庫(kù)與AR人臉數(shù)據(jù)庫(kù)中本文方法合成的素描人臉圖像識(shí)別率高于其他方法。當(dāng)Rank值為4時(shí)，本文方法合成的素描人臉圖像識(shí)別率已經(jīng)達(dá)到100%。這是因?yàn)楸疚姆椒ú捎蒙疃染矸e神經(jīng)網(wǎng)絡(luò)，能夠更好地、更深層次地提取圖像特征信息。而且在生成模型的設(shè)計(jì)中，卷積層與反卷積層之間采用了跳躍連接，利用了卷積層中的位置結(jié)構(gòu)特征信息，并將此作為部分結(jié)構(gòu)特征增加到對(duì)應(yīng)的反卷積層。這樣保留了不同尺寸特征映射下圖像的細(xì)節(jié)信息，強(qiáng)化了整個(gè)生成模型對(duì)合成圖像的預(yù)測(cè)能力，從而能夠保證圖像細(xì)節(jié)信息的完整性。

圖9 在AR人臉庫(kù)上的識(shí)別率

通過(guò)視覺(jué)感知以及不同實(shí)驗(yàn)的數(shù)據(jù)分析，可以證明本文方法的合成能力更強(qiáng)，合成的素描人臉圖像質(zhì)量更高，可適用性更廣。

4 結(jié) 語(yǔ)

本文提出了一種基于雙層生成對(duì)抗網(wǎng)絡(luò)的素描人臉合成方法。利用深度神經(jīng)網(wǎng)絡(luò)來(lái)設(shè)計(jì)生成模型與判別模型，并在生成模型中加入了跳躍連接，以此提升整個(gè)網(wǎng)絡(luò)合成圖像的效果。在訓(xùn)練過(guò)程中采用對(duì)抗訓(xùn)練的思想，通過(guò)兩個(gè)生成對(duì)抗網(wǎng)絡(luò)中的生成模型與判別模型的對(duì)抗訓(xùn)練，不斷“博弈”，使整個(gè)模型達(dá)到最優(yōu)，最終合成一幅面部細(xì)節(jié)更完整、清晰度更高的素描人臉圖像。實(shí)驗(yàn)過(guò)程中，利用不同的人臉數(shù)據(jù)庫(kù)，分別與不同的素描人臉合成方法進(jìn)行對(duì)比。綜合定性分析與定量分析，說(shuō)明了本文方法可以合成整體結(jié)構(gòu)性更強(qiáng)、清晰度更高、質(zhì)量更好的素描人臉圖像，解決了傳統(tǒng)方法合成素描人臉圖像清晰度低、細(xì)節(jié)缺失等問(wèn)題。在今后的研究中希望可以進(jìn)一步優(yōu)化模型，使其在面對(duì)復(fù)雜的圖像處理問(wèn)題時(shí)有更好的魯棒性。