基于DCGAN的手寫漢字圖像生成研究

孟先新，李俊偉，韓立偉，朱永萍

（華北水利水電大學(xué)信息工程學(xué)院，鄭州 450046）

0 引言

漢字作為一種獨(dú)特的文字，數(shù)量眾多且具有豐富的文字結(jié)構(gòu)特征。另外，由于人們書寫習(xí)慣的差異，要實(shí)現(xiàn)手寫漢字的識(shí)別就需要大量豐富的數(shù)據(jù)。當(dāng)前，在計(jì)算機(jī)視覺領(lǐng)域，生成具有真實(shí)視覺效果的圖像已成為研究的熱點(diǎn)之一［1］。隨著深度學(xué)習(xí)的發(fā)展，圖像識(shí)別研究取得了許多顯著的成果，識(shí)別準(zhǔn)確度已經(jīng)相當(dāng)高。然而，在實(shí)現(xiàn)圖像識(shí)別的過程中離不開預(yù)處理這一前提步驟，但在實(shí)驗(yàn)數(shù)據(jù)量不足的情況下預(yù)處理遠(yuǎn)遠(yuǎn)達(dá)不到預(yù)期的效果。若通過生成圖像技術(shù)進(jìn)行數(shù)據(jù)增強(qiáng)，生成具有與原數(shù)據(jù)相同特征規(guī)律的實(shí)驗(yàn)數(shù)據(jù)，則可以解決樣本不足的問題。

目前的圖像生成研究主要是采用基于對(duì)抗生成網(wǎng)絡(luò)（GAN）的思想［2］，該方法通過判別器（discriminator）和生成器（generator）之間的對(duì)抗博弈，去實(shí)現(xiàn)圖像數(shù)據(jù)內(nèi)在特征分布規(guī)律的平衡。在GAN 模型中，深度卷積網(wǎng)絡(luò)（deep convolutional neural network）和深度反卷積網(wǎng)絡(luò)（deep transpose convolutional neural network）被用作判別器和生成器，就形成了深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）。本文研究基于DCGAN 構(gòu)建了手寫漢字圖像的生成模型，并在HWDB1.1 數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明，該模型能夠生成具有良好視覺效果的手寫漢字圖像。

1 GAN模型

生成對(duì)抗網(wǎng)絡(luò)（GAN）［3］的核心結(jié)構(gòu)由生成器G（generator）和判別器D（discriminator）組成。GAN 模型的訓(xùn)練過程是通過兩者之間的對(duì)抗博弈實(shí)現(xiàn)的：在給定輸入樣本的情況下，生成器G試圖生成逼真的樣本，而判別器D則努力區(qū)分生成器生成的樣本和真實(shí)樣本，以達(dá)到最大的分辨能力。通過不斷迭代訓(xùn)練，期望生成器G能夠生成與真實(shí)樣本難以區(qū)分的高質(zhì)量樣本，使判別器D無法準(zhǔn)確區(qū)分生成樣本和真實(shí)樣本。

生成器是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它的輸入通常是從隨機(jī)分布（如高斯分布或均勻分布）中采樣得到的噪聲。生成器的訓(xùn)練目標(biāo)是通過生成樣本，在后續(xù)的判別階段能夠獲得更高的概率。判別器則可以采用任意神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它的輸入是待判別的樣本。判別器的訓(xùn)練目標(biāo)是能夠準(zhǔn)確地區(qū)分生成樣本和真實(shí)樣本，并給予它們相應(yīng)的概率（通常是二分類問題）。在訓(xùn)練過程中，生成器和判別器兩個(gè)網(wǎng)絡(luò)交替進(jìn)行訓(xùn)練，相互博弈并逐漸提高其能力。這種對(duì)抗訓(xùn)練的機(jī)制可以通過不斷調(diào)整生成器和判別器的參數(shù)來使二者的性能同步提高，最終實(shí)現(xiàn)更好的生成樣本效果。如圖1所示。

圖1 GAN訓(xùn)練過程

GAN 訓(xùn)練過程是一個(gè)min-max 問題的求解，對(duì)應(yīng)的目標(biāo)函數(shù)如式(1)所示:

以上目標(biāo)函數(shù)是有全局最優(yōu)解的：當(dāng)且僅當(dāng)PG=Pdata時(shí)，

在交替優(yōu)化的過程中，通常會(huì)對(duì)判別器D進(jìn)行多輪優(yōu)化，而對(duì)生成器G 只進(jìn)行一輪優(yōu)化。這樣的設(shè)計(jì)是基于一個(gè)重要的觀察：通過多輪優(yōu)化判別器D，可以使其更加準(zhǔn)確地區(qū)分生成樣本和真實(shí)樣本，提高判別器的判別能力。當(dāng)判別器能夠更好地區(qū)分真實(shí)樣本和生成樣本時(shí)，它能夠給予生成樣本更低的概率，從而提供更準(zhǔn)確的反饋信號(hào)給生成器G。然而，如果對(duì)生成器G進(jìn)行多輪優(yōu)化，可能會(huì)導(dǎo)致生成器過度擬合判別器，降低了生成樣本的多樣性和質(zhì)量。因此，通過只對(duì)生成器G進(jìn)行一輪優(yōu)化，可以避免這種情況發(fā)生，保持生成器的多樣性和創(chuàng)造力。

2 DCGAN模型結(jié)構(gòu)

深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）是對(duì)抗生成網(wǎng)絡(luò)（GAN）的一種變體。按照理論上的描述，一個(gè)對(duì)抗生成網(wǎng)絡(luò)由兩個(gè)多層神經(jīng)網(wǎng)絡(luò)模型組成：生成模型（generative model）和判別模型（discriminative model）。生成模型，也稱為生成器，用符號(hào)G 表示，其作用是生成類似于真實(shí)數(shù)據(jù)分布的合成數(shù)據(jù)；判別模型，也稱為判別器，用符號(hào)D 表示，用于區(qū)分輸入數(shù)據(jù)是來自生成器產(chǎn)生的合成數(shù)據(jù)還是真實(shí)數(shù)據(jù)。

對(duì)抗生成網(wǎng)絡(luò)的訓(xùn)練過程旨在使生成器產(chǎn)生的合成數(shù)據(jù)盡可能逼近真實(shí)數(shù)據(jù)的分布，并且使判別器能夠準(zhǔn)確地區(qū)分合成數(shù)據(jù)和真實(shí)數(shù)據(jù)。其目標(biāo)是使生成器生成的數(shù)據(jù)足夠逼真，以至于判別器將合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的判別概率都趨近于0.5。因此，DCGAN 作為一種對(duì)抗生成網(wǎng)絡(luò)的變體，在訓(xùn)練過程中通過生成器和判別器之間的對(duì)抗博弈，致力于提高生成器合成數(shù)據(jù)的質(zhì)量，以及判別器對(duì)真實(shí)與合成數(shù)據(jù)的準(zhǔn)確判別能力。

DCGAN［4］的基本思想是通過使用卷積神經(jīng)網(wǎng)絡(luò)替代傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)，以生成盡可能逼近真實(shí)圖像的合成圖像。DCGAN 具有以下特點(diǎn)：①判別器用卷積層代替池化層，生成器用反卷積產(chǎn)生仿真圖像；②除了生成器的輸出層和判別器的輸入層外，網(wǎng)絡(luò)其他層都使用Batch Normalization；③生成器和判別器均無全連接層；④生成器的輸出層使用Tanh 激活函數(shù)，其他層使用ReLU 激活函數(shù)；⑤判別器使用Leaky ReLU激活函數(shù)。

一個(gè)DCGAN 的生成器結(jié)構(gòu)如圖2 所示，判別器結(jié)構(gòu)與生成器結(jié)構(gòu)相反，如圖3所示。

圖2 DCGAN生成器結(jié)構(gòu)

圖3 DCGAN判別器結(jié)構(gòu)

生成器的主要目標(biāo)是將輸入向量z映射到真實(shí)數(shù)據(jù)空間。如果數(shù)據(jù)是圖像，那么生成器需要將輸入向量z轉(zhuǎn)換為圖像。為了實(shí)現(xiàn)這一目標(biāo)，生成器使用一系列的二維轉(zhuǎn)置卷積（反卷積）操作，并在每個(gè)轉(zhuǎn)置卷積之后添加二維批歸一化層（batch norm）和ReLU 激活函數(shù)層。具體而言，生成器通過一系列的轉(zhuǎn)置卷積操作逐漸將輸入向量z轉(zhuǎn)化為與真實(shí)圖像具有相似特征的輸出圖像。每個(gè)轉(zhuǎn)置卷積操作后都會(huì)應(yīng)用二維批歸一化層來提高模型的訓(xùn)練穩(wěn)定性，并通過ReLU 激活函數(shù)層引入非線性特征。最后，為了確保生成器的輸出范圍在［-1,1］之間，通常會(huì)將輸出連接到Tanh 函數(shù)。這樣的設(shè)計(jì)使得生成器能夠?qū)W習(xí)到將輸入向量映射為逼真圖像的能力，并保證生成的圖像具有適當(dāng)?shù)姆秶唾|(zhì)量。

判別器是一種二元分類器，用于評(píng)估輸入圖像的真實(shí)性，并輸出圖像為真實(shí)圖像的概率。判別器接受3×64×64 尺寸的圖像作為輸入，經(jīng)過一系列的卷積層、批歸一化層（BN 層）、Leaky ReLU 層的處理，最后通過Sigmoid 激活函數(shù)輸出圖像為真實(shí)圖像的概率。判別器的具體結(jié)構(gòu)可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。在判別器的結(jié)構(gòu)中，Strided 卷積層、BN 層和Leaky ReLU 層是常用的組件，它們被廣泛應(yīng)用于提升判別器的性能和穩(wěn)定性。DCGAN［5］的研究指出，相較于傳統(tǒng)的池化層，Strided 卷積層在下采樣方面表現(xiàn)更出色。使用Strided 卷積層可以使網(wǎng)絡(luò)學(xué)習(xí)到自身的下采樣函數(shù)，而不是依賴于固定的池化函數(shù)。此外，BN 層和Leaky ReLU 層的應(yīng)用可以提高梯度傳播的效率，對(duì)判別器和生成器的學(xué)習(xí)過程有著積極的幫助。

3 手寫漢字圖像生成模型結(jié)構(gòu)

根據(jù)對(duì)DCGAN 模型結(jié)構(gòu)的分析，本文設(shè)計(jì)了一個(gè)用于生成手寫漢字圖像的DCGAN 生成模型，該模型的生成器G的詳細(xì)結(jié)構(gòu)見表1。

表1 DCGAN生成器G網(wǎng)絡(luò)結(jié)構(gòu)表

生成器G是一個(gè)反卷積神經(jīng)網(wǎng)絡(luò)，用于從隨機(jī)噪聲中生成圖像［6］。首先，輸入一個(gè)100維度的隨機(jī)噪聲，然后使用ConvTranspose2d-1進(jìn)行反卷積操作，輸出為512 通道、4×4 像素大小的特征圖，并對(duì)輸出進(jìn)行批歸一化處理，使用ReLU激活函數(shù)進(jìn)行激活；隨后，使用ConvTranspose2d-4 進(jìn)行反卷積操作，輸出為256 通道、8×8 像素大小的特征圖，并對(duì)輸出進(jìn)行批歸一化處理，使用ReLU 激活函數(shù)進(jìn)行激活；接下來，使用ConvTranspose2d-7 進(jìn)行反卷積操作，輸出為128通道、16×16像素大小的特征圖，并對(duì)輸出進(jìn)行批歸一化處理，使用ReLU 激活函數(shù)進(jìn)行激活；然后，使用ConvTranspose2d-10進(jìn)行反卷積操作，輸出為64通道、32×32像素大小的特征圖，并對(duì)輸出進(jìn)行批歸一化處理，使用ReLU 激活函數(shù)進(jìn)行激活；最后，使用ConvTranspose2d-13 進(jìn)行反卷積操作，輸出為3 通道、64×64 像素大小的特征圖，并使用Tanh 激活函數(shù)對(duì)輸出進(jìn)行激活，將像素值縮放到［-1,1］的范圍內(nèi)。

通過以上的生成器結(jié)構(gòu)設(shè)計(jì)，可以將隨機(jī)噪聲映射為具有逼真視覺效果的手寫漢字圖像。每一次反卷積操作有助于將隨機(jī)噪聲逐步轉(zhuǎn)換為圖像特征，而批量歸一化處理和ReLU 激活函數(shù)的應(yīng)用則能夠增強(qiáng)模型訓(xùn)練的穩(wěn)定性并提高生成圖像的質(zhì)量。

本文提出的判別器模型D與生成器G基本上呈現(xiàn)互為逆向運(yùn)算的關(guān)系，其具體結(jié)構(gòu)見表2。首先，判別器模型包含一個(gè)2D卷積層（Conv2d），輸入圖片大小為64×64×3，使用64 個(gè)3×3 卷積核，步長(zhǎng)為1，padding 為1。接下來是一個(gè)Leaky ReLU 激活函數(shù)，其負(fù)斜率為0.2，用于激活神經(jīng)元。隨后，判別器模型又包含一個(gè)2D卷積層（Conv2d），使用128 個(gè)3×3 卷積核，步長(zhǎng)為2，padding 為1。之后，模型應(yīng)用了Batch Normalization對(duì)特征圖進(jìn)行歸一化處理，以緩解訓(xùn)練過程中的梯度消失和梯度爆炸問題，并提高模型的穩(wěn)定性。最后，再次使用LeakyReLU 激活函數(shù)進(jìn)行激活。這個(gè)過程不斷重復(fù)，隨著步長(zhǎng)的逐漸加深卷積核的數(shù)量逐漸增加，直到最后一層輸出大小為1×1×1 的特征圖。通過應(yīng)用Sigmoid 激活函數(shù)，將特征圖的值壓縮到［0, 1］的范圍內(nèi)，表示輸入圖片為真實(shí)圖像的概率。

表2 DCGAN判別器D網(wǎng)絡(luò)結(jié)構(gòu)表

總的來說，判別器網(wǎng)絡(luò)的主要任務(wù)是將輸入的圖片判別為真實(shí)圖像（1）或生成圖像（0），并輸出對(duì)應(yīng)的概率。通過構(gòu)建逐層卷積操作和應(yīng)用適當(dāng)?shù)募せ詈瘮?shù)，判別器能夠?qū)W習(xí)圖像的特征并具備區(qū)分真實(shí)與生成圖像的能力。判別器模型的設(shè)計(jì)旨在提高對(duì)真實(shí)與生成圖像的判別能力，并為生成器提供有效的反饋信號(hào)，以促使生成器生成更加逼真的圖像。

4 實(shí)驗(yàn)

本文的實(shí)驗(yàn)旨在探究深度卷積生成對(duì)抗網(wǎng)絡(luò)在生成手寫體漢字圖像方面的應(yīng)用。為了探究實(shí)驗(yàn)，采用了中科院平臺(tái)提供的手寫漢字圖像數(shù)據(jù)集HWDB1.1。該數(shù)據(jù)集包含了來自300人的3755 個(gè)常用漢字的手寫圖像。實(shí)驗(yàn)環(huán)境是在PyCharm 中的PyTorch 框架下使用CPU 進(jìn)行的。通過該實(shí)驗(yàn)，旨在驗(yàn)證深度卷積生成對(duì)抗網(wǎng)絡(luò)在手寫體漢字圖像生成方面的性能，并評(píng)估其生成質(zhì)量和多樣性。實(shí)驗(yàn)結(jié)果將為深入理解手寫體漢字生成的問題提供重要的參考和洞察。

本文的實(shí)驗(yàn)主要分為三個(gè)步驟：首先，對(duì)備選數(shù)據(jù)集進(jìn)行預(yù)處理，將HWDB1.1 數(shù)據(jù)集轉(zhuǎn)換為PNG 格式并進(jìn)行標(biāo)記序號(hào)存儲(chǔ)，然后對(duì)圖像進(jìn)行灰度化、歸一化和平滑去噪處理。其次，搭建了生成手寫漢字圖像的網(wǎng)絡(luò)模型。本實(shí)驗(yàn)采用了基于深度卷積生成對(duì)抗網(wǎng)絡(luò)的模型。在模型搭建過程中，主要關(guān)注生成器G和判別器D的網(wǎng)絡(luò)結(jié)構(gòu)，具體的模型構(gòu)建可以參考第3節(jié)中關(guān)于手寫漢字圖像生成模型結(jié)構(gòu)的介紹。在完成網(wǎng)絡(luò)模型的搭建后，對(duì)輸入的數(shù)據(jù)集進(jìn)行預(yù)處理和尺寸歸一化操作，設(shè)置訓(xùn)練的超參數(shù)、Adam 優(yōu)化器和二元交叉熵（BCE）損失函數(shù)。這些設(shè)定將有助于訓(xùn)練過程的優(yōu)化和網(wǎng)絡(luò)參數(shù)的更新。最后，利用搭建好的生成器和判別器模型進(jìn)行訓(xùn)練。通過調(diào)整參數(shù)和數(shù)據(jù)集，旨在達(dá)到更好的生成效果。

本文的實(shí)驗(yàn)內(nèi)容主要包括兩個(gè)方面：一是對(duì)3755 個(gè)手寫漢字的生成效果進(jìn)行實(shí)驗(yàn)探究；二是對(duì)特定的手寫漢字的生成效果進(jìn)行研究并提升。通過訓(xùn)練過程中的參數(shù)調(diào)整和數(shù)據(jù)集的使用，期望能夠得到預(yù)期的生成效果。

（1）3755個(gè)漢字的生成實(shí)驗(yàn)。

通過構(gòu)建好的手寫漢字生成模型對(duì)3755 個(gè)漢字進(jìn)行50 人、100 人的生成實(shí)驗(yàn)，圖4 是50人、100人實(shí)驗(yàn)?zāi)Ｐ蛯?duì)3755個(gè)漢字迭代5次訓(xùn)練后的生成效果。這兩次實(shí)驗(yàn)的生成效果差，難以主觀識(shí)別漢字。

圖4 3755個(gè)漢字迭代5次的生成效果

實(shí)驗(yàn)生成效果不佳可能是由多種因素導(dǎo)致的。首先，生成手寫漢字圖像是一項(xiàng)復(fù)雜且具有挑戰(zhàn)性的任務(wù)，需要模型能夠準(zhǔn)確捕捉漢字的結(jié)構(gòu)和細(xì)節(jié)，并生成逼真的圖像。其次，僅進(jìn)行5 次迭代可能限制了模型的優(yōu)化和收斂程度，對(duì)生成效果的提升產(chǎn)生了限制。此外，模型的架構(gòu)和超參數(shù)的選擇也可能對(duì)生成效果產(chǎn)生影響。雖然此次實(shí)驗(yàn)生成效果不理想，但通過進(jìn)一步的優(yōu)化，如增加迭代次數(shù)、調(diào)整網(wǎng)絡(luò)架構(gòu)和優(yōu)化超參數(shù)，有望提高生成手寫漢字圖像的質(zhì)量和準(zhǔn)確性。

DCGAN 的網(wǎng)絡(luò)架構(gòu)和超參數(shù)都是經(jīng)過多次實(shí)驗(yàn)探究的最佳組合，考慮到上述實(shí)驗(yàn)因硬件CPU 限制，實(shí)驗(yàn)?zāi)Ｐ瓦M(jìn)行5 次迭代訓(xùn)練。因此，可以得出造成上述實(shí)驗(yàn)生成效果不好的原因是實(shí)驗(yàn)?zāi)Ｐ偷?xùn)練次數(shù)過少。為進(jìn)一步探究實(shí)驗(yàn)?zāi)Ｐ筒⑻岣吣Ｐ偷纳尚Ч?，設(shè)計(jì)了以下對(duì)于特定漢字增加實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練迭代次數(shù)的生成實(shí)驗(yàn)。

（2）特定漢字的生成實(shí)驗(yàn)。

本次實(shí)驗(yàn)選取300人手寫的“齊”字為數(shù)據(jù)集，對(duì)實(shí)驗(yàn)?zāi)Ｐ瓦M(jìn)行1000 次迭代訓(xùn)練。隨著實(shí)驗(yàn)?zāi)Ｐ偷螖?shù)的增加得到如圖5所示的生成效果。通過觀察可以發(fā)現(xiàn)，生成的“齊”字的效果先變好，之后生成的效果又變差了。結(jié)合本次實(shí)驗(yàn)的生成損失函數(shù)和判別損失函數(shù)的變化趨勢(shì)（如圖6所示），可以發(fā)現(xiàn)隨著訓(xùn)練迭代次數(shù)的增加生成損失函數(shù)值先下降到一定量后趨于穩(wěn)定收斂，而后振蕩上升，而判別損失函數(shù)值則由趨于0的平穩(wěn)收斂變得波動(dòng)起伏大的收斂。

圖5 “齊”字300人迭代的生成效果

圖6 “齊”字300人迭代1000次的生成損失函數(shù)和判別損失函數(shù)變化趨勢(shì)

由此可以得出，適當(dāng)?shù)卦黾訉?shí)驗(yàn)?zāi)Ｐ偷挠?xùn)練迭代次數(shù)可以提高圖像的生成效果，但增加迭代次數(shù)超過一定量后實(shí)驗(yàn)?zāi)Ｐ偷纳尚Ч粫?huì)變好，反而會(huì)變差。

綜上所述，在一定范圍內(nèi)，適當(dāng)?shù)卦黾佑?xùn)練迭代次數(shù)對(duì)于DCGAN 模型的生成效果具有增益作用。在實(shí)際應(yīng)用中，需要綜合考慮模型的訓(xùn)練時(shí)間和生成效果，找到最佳的迭代次數(shù)，以獲得滿足需求的高質(zhì)量生成結(jié)果。

5 結(jié)語(yǔ)

本文對(duì)生成對(duì)抗網(wǎng)絡(luò)（GAN）模型和深度卷積對(duì)抗生成網(wǎng)絡(luò)（DCGAN）模型的結(jié)構(gòu)進(jìn)行了研究，并利用PyTorch 深度學(xué)習(xí)框架設(shè)計(jì)了一種用于生成手寫漢字圖像的深度卷積對(duì)抗生成網(wǎng)絡(luò)模型。實(shí)驗(yàn)首先使用了HWDB1.1 數(shù)據(jù)集中較少人數(shù)的漢字圖像進(jìn)行了較少迭代次數(shù)的模型評(píng)估訓(xùn)練；然后又在該數(shù)據(jù)集中選用特定的漢字全部圖像并增加訓(xùn)練迭代次數(shù)進(jìn)行進(jìn)一步的模型優(yōu)化訓(xùn)練，獲得了在手寫漢字圖像生成方面具有較好效果的實(shí)驗(yàn)?zāi)Ｐ汀?/p>