基于中國寫意風格遷移的動漫視頻生成模型

毛文濤，吳桂芳，吳超，竇智，2

基于中國寫意風格遷移的動漫視頻生成模型

毛文濤1，2*，吳桂芳1，吳超1，竇智1，2

（1.河南師范大學 計算機與信息工程學院，河南 新鄉 453007；2.智慧商務與物聯網技術河南省工程實驗室（河南師范大學），河南 新鄉 453007）（ ? 通信作者電子郵箱maowt@htu.edu.cn）

目前生成式對抗網絡（GAN）已經被用于圖像的動漫風格轉換。然而，現有基于GAN的動漫生成模型主要以日本動漫和美國動漫為對象，集中在寫實風格的提取與生成，很少關注到中國風動漫中寫意風格的遷移，因此限制了GAN在國內廣大動漫制作市場中的應用。針對這一問題，通過將中國寫意風格融入到GAN模型，提出了一種新的中國風動漫生成式對抗網絡模型CCGAN，用以自動生成具有中國寫意風格的動漫視頻。首先，通過在生成器中增加反向殘差塊，構造了一個輕量級的深度神經網絡模型，以降低視頻生成的計算代價。其次，為了提取并遷移中國寫意風格中圖像邊緣銳利、內容構造抽象、描邊線條具有水墨質感等性質，在生成器中構造了灰度樣式損失和顏色重建損失，以約束真實圖像和中國風樣例圖像在風格上的高層語義一致性，并且在判別器中構造了灰度對抗損失和邊緣促進對抗損失，以約束重構圖像與樣例圖像保持相同的邊緣特性。最終，采用Adam算法最小化上述損失函數，從而實現風格遷移，并將重構圖像組合為視頻。實驗結果表明，與目前最具代表性的風格遷移模型CycleGAN與CartoonGAN相比，所提CCGAN可從以《中國唱詩班》為例的中國風動漫中有效地學習到中國寫意風格，同時顯著降低了計算代價，適合于大批量動漫視頻的快速生成。

生成式對抗網絡；中國風動漫；風格遷移；卡通；深度神經網絡

0 引言

“十三五”時期以來，國內動漫產業發展勢頭迅猛，類型和題材日趨多元化，關注和消費國產動漫（簡稱“國漫”）的群體日漸增多。發展國漫產業對于滿足國民精神文化需求、傳播先進文化具有重要意義。在眾多國漫類型中，“中國風”動漫在場景繪制上強調將中國傳統的工筆畫意與水墨渲染相融合，呈現出有別于外國手繪工具和意境的創作效果，已被采用在《中國唱詩班》《哪吒之魔童降世》《白蛇》等多部影視作品中，并取得了票房和口碑雙豐收，無疑增加了觀眾對作品的認同感，也提高了作品的文化影響力和市場價值，反映出巨大的市場潛力。傳統中國風國漫創作極大依賴于專業的繪畫技巧，需要反復斟酌圖像的顏色、紋理、樣式、線條來得到高質量圖像，因此一定程度上制約了國漫產品的創作效率，同時對主創人群的繪畫專業性要求較高。近年來，人工智能技術被引入動漫創作領域，用來實現真實圖像到動漫樣式圖像的自動轉換，不僅節約創作時間，同時也可以讓動漫愛好者自己進行“作畫”，極大程度促使創作者能擺脫繪圖技巧的束縛，更關注內容創作。如何進一步優化人工智能技術、提升國漫生成質量和風格特點，已成為當前國內學術界和產業界的關注熱點。

本文關注的是基于人工智能的動漫藝術風格遷移問題。該問題可描述為：對于輸入的真實圖像，通過遷移給定樣例圖像的藝術風格，在原始圖像上實現風格重構。目前深度學習技術已在動漫藝術風格遷移領域取得了突破性的進展，其中Goodfellow等［1］提出的生成式對抗網絡（Generative Adversarial Network， GAN）通過生成器網絡和判別器網絡的相互對抗和優化，在圖像風格遷移方面取得了里程碑式的成果，也被成功應用于解決動漫藝術風格遷移問題。但是，根據分析可知，目前基于GAN的動漫風格遷移方法對于日本動漫（簡稱“日漫”）和美國動漫（簡稱“美漫”）具有較好的生成效果，對于國漫、尤其是具有寫意風格的中國風動漫生成效果不佳，主要原因在于日漫和美漫側重于寫實，國漫則側重于寫意，在內容和表現形式方面均存在明顯差別。現有基于GAN的動漫風格遷移方法側重于實現內容結構的重構，忽略了對風格、樣式的信息提取與遷移，若直接應用于中國寫意風格遷移，則容易產生以下問題：1）生成圖像過于寫實，缺少形神描述和意境刻畫；2）現有風格遷移方法傾向于對圖像整體背景而不是具體物體對象進行顏色渲染，生成的圖像與原始圖像容易產生明顯的整體色差，失真明顯；3）網絡模型具有大量參數，訓練慢，不穩定，不適合于快速生成動漫視頻，而且隨著國內動漫產業的高速發展，動漫視頻的生成效率也成為另一個需要關注的問題。

圖1給出了三種風格動漫的示例，可以看出，注重寫實的日漫和美漫追求物象的質感，強調事物形態的真實性，動畫圖像顏色飽和，線條銳利；寫意的中國風動漫注重描繪物象的形神，追求深邃含蓄的意境，而且圖像內容構造簡單，有水墨質感的描邊線條，整體色彩具有朦朧含蓄的古典韻味。由此可見，若要實現中國風動漫的風格遷移，需要進一步優化GAN模型，在保持內容還原的基礎上，有效提取和表示中國寫意風格，同時還應降低圖像重構成本，以提高視頻自動生成的效率。

圖1　不同動漫風格比較

基于上述分析，本文提出了一種新的中國風動漫生成對抗網絡模型CCGAN（Chinese Cartoon GAN），用于實現面向視頻的中國寫意風格遷移。首先，通過在生成器中增加反向殘差塊，構建一個輕量級的GAN模型，以降低視頻生成的計算代價；其次，對原始視頻提取關鍵幀圖像，針對圖像的內容、樣式、色彩、紋理信息，在生成器中構造了灰度樣式損失和顏色重建損失，在判別器中構造了灰度對抗損失和邊緣促進對抗損失，以約束重構圖像與樣例圖像保持相同的邊緣特性，并保持原始視頻圖像和中國風樣例圖像在風格上的高層語義一致性；最終，采用Adam算法最小化上述損失函數，實現圖像風格遷移，并將重構圖像組合為視頻。本文以《中國唱詩班》系列國漫為樣例圖像進行實驗，實驗結果表明，與現有代表性的動漫風格遷移方法相比，所提CCGAN可在保持原始圖像真實度的前提下，有效提升圖像的寫意特點，且色塊過渡流暢，更能凸顯中國傳統美學的意蘊風格，同時計算代價更小，適用于數據量較大的視頻生成。

本文的主要工作是提出了一種輕量級的中國寫意風格動漫視頻生成模型。該模型可有效降低中國風動漫創作中繪畫技巧的約束性，協助主創人員專注于題材和情節創作，提高藝術創作效率，也可幫助沒有專業繪畫技巧的國漫愛好者快速創作高質量的中國風動漫。該模型的技術新意和優勢在于：1）突破了現有GAN局限在紋理和邊界線重構的做法，在特征級別上高度簡化了真實圖像的復雜構造，使得重構后的生成圖像在結構上保持原始圖像的內容特點，又融入了樣例圖像的寫意風格；2）使用無匹配的源數據進行訓練，主要學習樣例圖像的藝術風格，無需強制要求原始圖像和樣例圖像的內容保持相關，因而擴大了模型的適用范圍；3）具有輕量級模型結構，風格遷移的速度快，適用于數據量較大的視頻風格重構。

1 相關工作

動漫風格遷移的主要目的是通過學習樣例圖像的風格信息，將提取的樣式特征映射到原始圖像中，以生成具備特定風格的目標圖像。基于人工智能的動漫風格遷移工作，按照實現方法的特點不同，可分為神經風格遷移和基于GAN的風格遷移兩種類型。

1.1　神經風格遷移

神經風格遷移主要通過迭代優化的策略，利用神經網絡學習樣例圖像的樣式并映射到原始圖像中。目前，此類方法主要包括基于圖像優化的慢速神經網絡方法和基于模型優化的快速神經網絡方法［2］。

基于圖像優化的方法是從原始圖像和樣例圖像中提取各自的圖像特征，然后結合生成目標圖像，并通過迭代優化重建的目標圖像，以實現風格遷移的效果。其中，Gatys等［3-4］使用Gram矩陣在深層特征中進行約束，提高了紋理表示效果；Yin［5］使用深度卷積神經網絡［6］提取生成圖像與內容圖像的特征，提高生成圖像的分辨率。但是，此類方法主要適用于繪畫的風格遷移［7］，對于動畫樣式、攝影樣式、水墨樣式等其他類型的風格遷移效果不佳。此外，此類方法計算效率較低，不適用于面向視頻的風格遷移。

基于模型優化的方法主要采用快速重建圖像技術［8］的思想，利用大量的源數據來訓練模型的參數和結構，并在迭代過程中不斷優化網絡模型，以直接生成高質量目標圖像。此類方法通過模型的直接轉換提高了計算效率，適用于數據量大的視頻重構。但是，此類模型網絡結構復雜，訓練過程中參數存儲空間和訓練時間比較多，較適用于特定的樣式轉換任務，應用范圍有限。

1.2　基于GAN的圖像遷移

自從GAN模型被提出，基于GAN的圖像轉換［9］就成為計算機視覺領域的研究熱點。文獻［10-11］中提出了結合cGAN（conditional GAN）和U-Net神經網絡的Pix2Pix模型來實現圖像間的轉換，該方法在圖像的語義合成［12］、邊緣重建以及圖像著色等方面效果顯著。作為圖像風格轉換的代表性成果之一，CycleGAN［13］采用循環一致性的無監督遷移網絡模型，突破了原始數據和樣例數據內容匹配的限制，擴大了原始數據的獲取范圍，同時可以高質量地進行圖像重構。而作為基于GAN的動漫風格轉換開創性工作，CartoonGAN［14］提出了適用于漫畫化的兩種損失函數來約束特定風格的提取，該模型有效實現了真實照片到動漫風格的遷移。在CartoonGAN的基礎上，文獻［15-16］中提出了將視頻轉換為漫畫風格的方案，轉化過程主要分為兩個階段：首先，采用視頻關鍵幀提取算法從視頻中選擇幀的子集以提供全面的視頻上下文；然后，使用風格遷移方法將提取到的幀轉換成漫畫。

雖然基于GAN的風格遷移方法［17］已經取得了較好效果，但仍然存在一些問題：1）現有方法主要適用于寫實的日漫和美漫的動漫藝術風格，側重于內容結構的還原和重構，忽略了對風格、樣式的提取與遷移；2）現有方法缺乏對圖像中具體物體、對象的色彩渲染，往往直接對整個圖像進行風格轉換，這無疑將導致整體風格失真，表現為色調不均衡、重構后的生成圖像與原始圖像色彩差異過大，呈現出重墨重彩的傾向，無法體現深邃含蓄的寫意風格；3）網絡模型具有大量的參數，訓練慢，不穩定，不適合數據量較大的視頻重構。寫意的中國風動畫更注重描繪物象的形神，看重圖像的樣式特征，但現有基于GAN的風格遷移方法無法有效表現出中國風動畫朦朧含蓄的古典美學意境。

2 CCGAN模型

本文提出了一種輕量級的中國風動漫視頻生成模型CCGAN。該模型以大量的真實圖像和動漫樣例圖像作為訓練數據，建立真實圖像域和樣式圖像域的映射模型，再對需要轉換的原始視頻提取關鍵幀，輸入該模型，最后合并得到風格轉換后的動畫視頻。該模型允許訓練用中國風樣例圖像與原始圖像的內容無需匹配，側重于進行風格樣式信息的提取和遷移，主要包括兩部分：1）構建輕量級的網絡結構，實現端到端的快速圖像重構；2）提取并遷移樣式、內容、紋理等方面的特征，在內容重構的同時實現寫意風格的遷移。

2.1　輕量級網絡結構

GAN是一種由生成器網絡（）和判別器網絡（）組成的生成式機器學習模型，其結構如圖2所示。GAN基于零和博弈理論，通過和的迭代對抗，最終達到納什均衡，得到最優網絡模型。GAN的目標函數如式（1）所示：

其中：z是服從某一分布的隨機噪聲，作為生成器G的源輸入；G通過學習真實數據的分布，生成接近真實數據的圖像，企圖騙過判別器D；生成的圖像和真實圖像作為D的輸入，D則負責區分出輸入數據的真假；根據D的區分情況反向調整G的參數，從而使得G生成更高質量的數據。在上述對抗訓練過程中，G和D的學習能力不斷提高，最終達到納什均衡，G生成的偽數據符合真實的數據分布，GAN達到最優生成效果。

現有用于圖像風格遷移的GAN模型［10-11，13］通常在生成器中使用了具有多個卷積層的深度網絡來提取圖像特征，卷積核數量多，模型結構復雜，運行速度慢，不適合于數據量較大的視頻生成。本文所提CCGAN以減少GAN計算代價為目標，在圖像特征轉換時使用反向殘差塊（Inverted Residual Blocks， IRBs）代替卷積層，模型參數少，計算代價較低，同時能夠較好地轉換圖像特征。CCGAN的整體結構如圖3所示，模型中生成器和判別器同樣采用卷積神經網絡結構，如圖4所示。其中，“k”代表內核大小，“c”代表特征圖的數量，“s”代表每個卷積核跨度，IRB表示反向卷積塊，Conv表示卷積層，DSConv表示深度可分離卷積，Down-Conv和UP-Conv分別表示下采樣和上采樣卷積，SUM表示逐元素相加，LN表示層歸一化，采用LReLU（Leaky Rectified Linear Unit）激活函數。需要強調的是，圖3中為了計算圖像語義特征的相似性，CCGAN在生成器中引入了預訓練的VGG19，以獲得生成圖像和原始圖像的高層語義特征。

圖4（a）采用了對稱的Encoder-Decoder網絡模型，該網絡通過將圖像進行編碼、轉換、解碼，將真實圖像轉換為具有中國風樣式的動漫圖像。編碼和解碼的作用在于從輸入圖像提取特征和生成圖像；轉換的作用在于把圖像的特征向量從域（原始圖像）轉換為域（生成圖像），具體解釋如下。

圖3　CCGAN模型結構

圖4　CCGAN中的生成器網絡與判別器網絡

相較于現有的標準殘差塊，圖5中構建IRB模型的網絡參數數量和計算代價均有明顯減少。本文在圖4所示生成器網絡中連續使用了5個相同的IRB，有效減少了生成器網絡的參數數量，這是建立輕量級CCGAN模型的核心環節。

圖5　Conv-Block、DSConv、IRB的詳細結構

圖4（b）所示的判別器網絡結構相對簡單。該網絡中，卷積層均為標準卷積，每個卷積層使用譜歸一化來解決GAN訓練不穩定的問題，從“層參數”的角度施加規格化，從而使判別器網絡具備Lipschitz連續條件。網絡最后通過一維輸出的卷積層判別圖像來自真實目標域還是來自生成器產生的輸出。

圖6　Down-Conv、Up-Conv的詳細結構

2.2　面向寫意風格遷移的損失函數構建

為了讓圖3所示網絡可生成中國寫意風格的圖像，針對圖像的內容、顏色、樣式、紋理等方面構建了相應的損失函數：在生成器網絡中，構建灰度樣式損失和色彩重建損失，使得生成的圖像具有風格圖像的樣式并保留源圖像的顏色；在判別器網絡中，構建灰度對抗損失和邊緣促進對抗性損失，使得生成的圖像具有鮮艷的色彩并保留清晰的邊緣。以下分別做介紹。

對于生成器網絡，損失函數可表示為：

對式（1）中的各個部分介紹如下：

對于判別器網絡，為促使生成圖像符合中國風邊緣銳利的樣式特點，CCGAN使用了邊緣促進對抗損失，用來實現對弱化邊緣的鑒別；為了防止產生灰度的生成圖像，CCGAN使用了灰度對抗損失。判別器網絡的損失函數可表示為：

整合式（2）～（3），CCGAN的整體目標函數可表示為：

式（4）可通過Adam算法進行求解，限于篇幅，優化過程不再贅述，可參考文獻［21］。由于基礎GAN訓練過程不穩定，在正式訓練CCGAN之前，可先對生成器網絡進行預訓練，提高收斂性能。當CCGAN達到納什均衡時，可得到最優模型參數，此時對待轉換的原始視頻提取關鍵幀并輸入CCGAN進行風格轉換，最后將轉換后的各幀圖像合并為具有中國寫意風格的視頻。

3 實驗與結果分析

圖7　《中國唱詩班》動畫圖像示例

在CCGAN訓練階段，生成器的學習率為0.000 08、判別器的學習率為0.000 16，訓練epochs為80，batch size設置為15。CCGAN實驗所用電腦配置為Xeon CPU E5-2650 2.60 GHz，內存64 GB，GPU為Tesla K40m，編程環境為Tensorflow-GPU 1.15。

3.1　風格遷移效果驗證

CCGAN包括了內容、樣式、紋理、色彩的多個損失項，因此需要通過權重來合理平衡式（2）中各損失項對生成圖像的影響。其中：最小化內容損失將使得生成圖像保持源圖像的內容，其權重越大則生成圖像越接近真實圖像；灰度樣式損失使得生成圖像具有中國風紋理特點，其權重設置太大將會丟失源圖像的局部內容；顏色重建損失使得生成圖像的色彩更加真實，但是其權重太大會減弱圖像的動畫視覺效果。

圖8　對抗損失權重的定量分析

圖9　灰度樣式損失權重和內容損失權重的定量分析

圖10　顏色重建損失權重的定量分析

此外，訓練輪次（Epoch）對于風格遷移效果有較大的影響，尤其是對于色差較大的圖像，當訓練過度時，其邊緣部分會出現白邊，影響觀感。圖12給出了不同訓練輪次的遷移效果。由圖12可以看出，當訓練輪次低于81輪時，沒有白邊出現，而當訓練超過81輪后，白邊開始顯現，并且隨著輪次的增加，白邊效果愈加明顯。這表明圖像邊緣白邊可以通過訓練輪次進行控制。

圖11　中國寫意風格遷移的結果示例

圖12　CCGAN采用不同訓練輪次的風格遷移效果

本文的視頻生成效果可見鏈接：https：//www.bilibili.com/video/BV1LA411G7LW？pop_share=1和https：//www.bilibili.com/video/BV1S64y1B7Gt。

3.2　與現有風格遷移模型的效果對比

為了驗證CCGAN的性能優勢，將其與目前最具代表性的兩個圖像風格遷移模型CycleGAN與CartoonGAN進行比較，結果如圖13所示。其中，CartoonGAN為專門針對動漫圖像的風格遷移方法。現有具有代表性的兩個圖像質量評價指標峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結構相似性指標（Structural SIMilarity index， SSIM）并不適合評價圖像風格遷移效果，原因如下：1）PSNR和SSIM主要用于評價圖像結構的相似性；2）PSNR是一種誤差敏感的圖像質量評價指標，計算主要基于對應像素點間的誤差，并未考慮到人眼的視覺特性，因而經常出現評價結果與人的主觀感覺不一致的情況；3）SSIM從樣本間的亮度、對比度和結構三方面進行相似度衡量，更適合用于評估壓縮后的圖像質量；4）風格遷移是一種“無中生有”的過程，除了要契合原圖像內容，而且還要符合目標圖像的風格特點。以上各原因決定了對于寫意風格的中國風動畫，客觀的PSNR和SSIM指標并不能很好地反映人眼看到的動畫藝術質量，指標高并不代表遷移效果好。本文參考了CycleGAN和CartoonGAN的做法，由人工直接評估風格遷移效果。

圖13　CycleGAN、CartoonGAN、CCGAN生成圖像的效果比較

圖13中，CycleGAN基于循環一致性的設計結構，注重圖像間像素級別的相似性，由CycleGAN生成的圖像高度還原了輸入圖像的內容，但缺乏明顯的中國風樣式特點；CartoonGAN與CCGAN均基于圖像間的語義一致性，但是CartoonGAN生成的圖像整體色調與輸入圖像不符，并且圖像的樣式風格也沒有契合水墨質感的寫意風格；相比之下，CCGAN不僅有效保留了真實圖像的內容，而且生成圖像具有典型的寫意風格特點。

表1　CartoonGAN與CCGAN的性能比較

4 結語

為實現中國風動漫視頻的自動生成，本文提出了一種輕量級的CCGAN模型。該模型可在較短的時間內完成現實世界的真實圖像到給定動漫樣例圖像的風格轉換，適合于數據量較大的視頻風格重構。通過IRB的引入，CCGAN實現了模型的輕量級構建；通過對圖像內容、樣式、紋理、色彩的信息提取與約束，CCGAN完成了中國寫意風格中圖像邊緣銳利、內容構造抽象、描邊線條具有水墨質感等性質的重構，實現了高質量的中國寫意風格遷移。

接下來的工作中，實現高質量的任意風格快速遷移技術將是一個有挑戰性的研究方向，這有助于提高風格遷移模型的適用性。同時，該模型在應用于不同風格的圖像時需做一定量的參數調整，如何提高模型的自適應性和魯棒性也是一個需要解決的問題。

[1] GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks ［C］// Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.

[2] 陳淮源，張廣馳，陳高，等.基于深度學習的圖像風格遷移研究進展［J］.計算機工程與應用，2021，57（11）：37-45.（CHEN H Y， ZHANG G C， CHEN G， et al. Research progress of image style transfer based on deep learning ［J］. Computer Engineering and Applications， 2021， 57（11）： 37-45.）

[3] GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［J］. Journal of Vision， 2016， 16（12）： Article No.326.

[4] GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2414-2423.

[5] YIN R J. Content aware neural style transfer ［EB/OL］. ［2021-03-22］. https：//arxiv.org/pdf/1601.04568.pdf

[6] WANG X， OXHOLM G， ZHANG D， et al. Multimodal transfer： a hierarchical deep convolutional neural network for fast artistic style transfer ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7178-7186.

[7] NOVAK R， NIKULIN Y. Improving the neural algorithm of artistic style ［EB/OL］. ［2021-03-22］. https：//arxiv.org/pdf/1605.04603.pdf.

[8] 錢小燕，肖亮，吳慧中.快速風格遷移［J］.計算機工程，2006，32（21）：15-17，46.（QIAN X Y， XIAO L， WU H Z. Fast style transfer［J］. Computer Engineering， 2006， 32（21）： 15-17， 46.）

[9] 張恩琪，顧廣華，趙晨，等.生成對抗網絡GAN的研究進展［J］.計算機應用研究，2021，38（4）：968-974.（ZHANG E Q， GU G H， ZHAO C， et al. Research progress on generative adversarial network ［J］. Application Research of Computers， 2021， 38（4）： 968-974.）

[10] ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[11] WANG T C， LIU M Y， ZHU J Y， et al. High-resolution image synthesis and semantic manipulation with conditional GANs ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8798-8807.

[12] LIAO J， YAO Y， YUAN L， et al. Visual attribute transfer through deep image analogy ［J］. ACM Transactions on Graphics， 2017， 36（4）： Article No.120.

[13] ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251.

[14] CHEN Y， LAI Y K， LIU Y J. CartoonGAN： generative adversarial networks for photo cartoonization ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9465-9474.

[15] HUANG H Z， WANG H， LUO W H， et al. Real-time neural style transfer for videos ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7044-7052.

[16] P??KO M， SVYSTUN A， ANDRUSZKIEWICZ P， et al. Comixify： transform video into comics ［J］. Fundamenta Informaticae， 2019， 168（2/3/4）： 311-333.

[17] 師永超，朱立軍.基于GAN的圖像風格遷移研究［J］.電子技術與軟件工程，2020（16）：140-143.（SHI Y C， ZHU L J. Research on image style transfer based on GAN ［J］. Electronic Technology and Software Engineering， 2020（16）： 140-143.）

[18] CHOLLET F. Xception： deep learning with depthwise separable convolutions ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807.

[19] ULYANOV D， VEDALDI A， LEMPITSKY V. Instance normalization： the missing ingredient for fast stylization ［EB/OL］. ［2021-03-22］. https：//arxiv.org/pdf/1607.08022.pdf.

[20] CHEN J， LIU G， CHEN X. AnimeGAN： a novel lightweight GAN for photo animation ［C］// Proceedings of the 2019 International Symposium on Intelligence Computation and Applications， CCIS 1205. Singapore： Springer， 2019： 242-256.

[21] KINGMA D P， BA J L. Adam： a method for stochastic optimization ［EB/OL］. ［2021-03-22］. https：//arxiv.org/pdf/1412. 6980.pdf.

MAO Wentao， born in 1980， Ph. D.， professor. His research interests include machine learning， temporal big data analysis.

WU Guifang， born in 1997. Her research interests include machine vision， style transfer.

WU Chao， born in 1998， M. S. candidate. His research interests include machine learning， abnormal detection.

DOU Zhi， born in 1984， Ph. D.， associate professor. His research interests include machine learning， target detection.

Animation video generation model based on Chinese impressionistic style transfer

MAO Wentao1，2*， WU Guifang1， WU Chao1， DOU Zhi1，2

（1，，453007，；2（），453007，）

At present， Generative Adversarial Network （GAN） has been used for image animation style transformation. However， most of the existing GAN-based animation generation models mainly focus on the extraction and generation of realistic style with the targets of Japanese animations and American animations. Very little attention of the model is paid to the transfer of impressionistic style in Chinese-style animations， which limits the application of GAN in the domestic animation production market. To solve the problem， a new Chinese-style animation GAN model， namely Chinese Cartoon GAN （CCGAN）， was proposed for the automatic generation of animation videos with Chinese impressionistic style by integrating Chinese impressionistic style into GAN model. Firstly， by adding the inverted residual blocks into the generator， a lightweight deep neural network model was constructed to reduce the computational cost of video generation. Secondly， in order to extract and transfer the characteristics of Chinese impressionistic style， such as sharp image edges， abstract content structure and stroke lines with ink texture， the gray-scale style loss and color reconstruction loss were constructed in the generator to constrain the high-level semantic consistency in style between the real images and the Chinese-style sample images. Moreover， in the discriminator， the gray-scale adversarial loss and edge-promoting adversarial loss were constructed to constrain the reconstructed image for maintaining the same edge characteristics of the sample images. Finally， the Adam algorithm was used to minimize the above loss functions to realize style transfer， and the reconstructed images were combined into video. Experimental results show that， compared with the current representative style transfer models such as CycleGAN and CartoonGAN， the proposed CCGAN can effectively learn the Chinese impressionistic style from Chinese-style animations such asand significantly reduce the computational cost， indicating that the proposed CCGAN is suitable for the rapid generation of animation videos with large quantities.

Generative Adversarial Network (GAN); Chinese-style animation; style transfer; cartoon; Deep Neural Network (DNN)

This work is partially supported by National Natural Science Foundation of China （U1904123）， Key Program of Henan Province Science and Technology Project （212102210103）.

TP181

A

1001-9081（2022）07-2162-08

10.11772/j.issn.1001-9081.2021050836

2021?05?21；

2021?08?27；

2021?09?16。

國家自然科學基金資助項目（U1904123）；河南省科技攻關計劃項目（212102210103）。

毛文濤（1980—），男，河南新鄉人，教授，博士，CCF高級會員，主要研究方向：機器學習、時序大數據分析； 吳桂芳（1997—），女，河南信陽人，主要研究方向：機器視覺、風格遷移； 吳超（1998—），男，河南焦作人，碩士研究生，主要研究方向：機器學習、異常檢測； 竇智（1984—），男，河南新鄉人，副教授，博士，主要研究方向：機器學習、目標檢測。