紋理合成風格遷移算法在動畫角色造型中的應用

潘新

摘要：為實現(xiàn)智能化創(chuàng)作動畫，本文提出一個水墨風格角色造型方法， 通過對人物照片進行水墨風格化處理， 生成具有現(xiàn)代水墨人物畫風格的藝術圖像。首先通過基于FDoG的輪廓提取與合成，獲得水墨筆觸的線條畫圖像; 然后通過形狀計算和紋理合成， 將源風格圖像的紋理映射到線條畫中。實驗結果表明， 與已有的圖像風格遷移方法相比， 文中提出的方法可表現(xiàn)出更多渲染細節(jié)。在應用價值方面，該方法可降低動畫角色造型難度，并用于動畫教學與實踐。

關鍵詞： 角色造型生成方法;水墨風格化; 線條畫; 紋理合成;現(xiàn)代水墨人物畫

中圖分類號：TP311? ? ?文獻標識碼：A

文章編號：1009-3044（2021）13-0179-03

動畫角色造型種類繁多，且不僅限于手繪形式，通過運用剪紙、皮影、水墨等風格元素，可以幫助初學者解決設計上的困難，使其想法能夠盡快付諸實踐。結合風格化創(chuàng)作技術，將水墨等風格應用到真實照片上，生成具有獨特風格的原畫關鍵幀，在快速角色造型和動畫創(chuàng)作方面起到重要的作用。

現(xiàn)代水墨人物畫無論在外形構圖還是神態(tài)把握上，都兼具現(xiàn)代主義與傳統(tǒng)技法，這種風格逐漸被應用于動畫角色的造型創(chuàng)作中，也達到了較好的效果。水墨人物畫畫家畢建勛[1]認為，只有根植于現(xiàn)實，現(xiàn)代水墨人物畫才可能成長發(fā)展。將水墨人物畫引入到動畫角色造型中，可以在動畫創(chuàng)新創(chuàng)作和傳承水墨文化兩方面起到推動作用。然而，在繪制水墨人物畫過程中，人物特點都是通過水墨勾勒與渲染來表現(xiàn)的。其筆畫與墨色的多樣性和復雜性，使得水墨動畫的創(chuàng)作工作極其繁重，并未能廣泛傳播。本文針對勾線填彩這種表現(xiàn)形式，提出一種基于線條的動畫角色造型生成方法， 通過在真實的人物照片上進行線條提取和紋理填充， 實現(xiàn)生成水墨人物畫風格的動畫角色造型作品。在實踐中，可用人物照片生成現(xiàn)代水墨人物畫風格的人物圖像。

1相關工作

水墨人物畫風格遷移包括兩方面：第一，水墨輪廓線條繪制，即采用多種筆刷模型， 輸出具有水墨風格的輪廓線條， 像手繪寫生一樣描繪人物畫像;第二，紋理填充，即通過留白和筆觸來表現(xiàn)畫面的多重特征和層次感。目前已有一些關于輪廓提取以及紋理填充的優(yōu)秀工作值得學習和借鑒。主要有 3 個方面的工作：

1.1 線條畫生成方法

Song[2]等提出了一種基于成對數(shù)據(jù)訓練的人臉草圖合成方法，并通過優(yōu)化全局素描塊選擇，解決人臉草圖合成中的噪點問題。Kaur[3]等提出了一種基于流的自動提取照片線條圖的方法，從圖像的局部特征中確定濾波器核的形狀與方向，以減少線條的斷裂并提高線條的連續(xù)性;通過邊緣切向流（ETF）構建基于流的高斯差分（FDoG）濾波器，極大增強了線條的連續(xù)性。

1.2 圖像風格遷移方法

Efros和Freeman [7]提出了一個對應關系限制紋理合成過程的圖目標圖像的圖像強度。Ashikhmin [8]集中轉移高頻紋理但保留比例目標圖像。赫茲曼等[10]套用圖片類比將源圖像的樣式轉移到目標圖像。然而，這些方法無法轉移藝術作品的語義風格。針對Gatys[10]提出的傳統(tǒng)風格遷移算法存在的兩個問題：迭代速度慢和不能實時處理，Johoson等[11]提出了快速風格遷移算法，也稱基于生成模型迭代的風格遷移算法。其方法用到兩個網(wǎng)絡：損失網(wǎng)絡（VGG）和圖像生成網(wǎng)絡，能夠達到快速實時的圖片風格遷移。朱等實現(xiàn)了非成對image的轉換，引入了雙向雙向映射機制使得GAN更穩(wěn)定，并提出CycleGAN[4]。基于CycleGAN的體系結構，DistanceGAN[5]強制執(zhí)行一個域中兩個樣本的距離的約束應該保留在到另一個域的映射中。Bin[6]等通過建立周期一致性損失、對抗性損失、水洗損失等約束機制，提出了ChipGAN[6]，使得水墨風格遷移更加接近真實畫作效果。本文也應用了ChipGAN中的方法，采用約束機制來模擬水墨中的空白和水洗效果。

2本文方法概述

本文中所實現(xiàn)的工具主要以線條畫生成及紋理填充為核心。以真實人臉照片為例， 圖1展示了自動地將一幅真實的人臉照片圖像風格化為一幅現(xiàn)代水墨人物畫風格的繪畫作品，包括中間結果以及最終結果。該方法主要由2個部分組成：

（1） 線條畫生成。基于FDOG濾波，生成四個不同筆觸的輪廓圖像，并采用區(qū)域權重函數(shù)合并輪廓，得到最終的輪廓線條畫。

（2） 紋理合成。確定了線條畫的輪廓和風格之后， 通過基于樣圖的像素映射方法進行紋理合成，實現(xiàn)對人物照片的水墨風格化。

2.1線條畫生成

2.1.1 基于FDoG的邊緣提取

現(xiàn)代水墨人物畫在人物造型中，去除了復雜的細節(jié)，僅用方圓曲直來表達人物輪廓。缺乏輪廓或輪廓不連貫，都會影響水墨人物畫的視覺效果。基于以上特點，由照片生成水墨人物畫的過程中，首要解決的問題是如何生成光滑連續(xù)的輪廓圖像。本文通過研究，選用基于流的高斯差分（FDoG：Flow-based Difference of Gaussian）算法來提取圖像輪廓。FDoG算法由Kang等人于2007年提出，其核心思想是采用DoG濾波進行輪廓提取時，將圖像局部輪廓方向特征作為獲取輪廓子圖的依據(jù)。

2.1.2 約束增強的水墨筆畫輪廓生成

由于水墨人物畫承襲了中國水墨畫的筆觸，其線條作為造型的主要手段，具有粗細、輕重、節(jié)奏和韻律感。過于統(tǒng)一的線條難以表現(xiàn)其中的風格，因此如何將提取到圖像輪廓風格化是本文要解決的第二個問題。本文訓練了一個多級邊緣檢測器以模擬不同類型的筆觸，通過制定線條筆觸約束來增強真實照片和生成圖像不同級別輪廓圖的擬合度。采用基于FDoG的輪廓檢測器M從輸入圖像中提取四個不同級別的輪廓圖像，以模擬四種不同類型的筆觸，如圖1中所示。然后將通過區(qū)域權重函數(shù)合并輪廓圖像，以獲取最終的輪廓圖像。通過應用M，獲得真實照片[M（x）]和生成圖像[M（Gx）]的輪廓圖像。然后，[M（x）]作為基本依據(jù)并計算平衡交叉熵損失，以使G生成適當?shù)墓P觸。

其中N是照片或偽造繪畫輪廓圖像中的像素總數(shù)，μ是平衡權重。[? = N-/ N]和[1-? = N+ / N]。[N-]和[N+]分別是[M（x）]中每個像素的非邊緣概率和邊緣概率。

2.2紋理合成

水墨人物畫中，除了以線條作為基本架構，空白也具備重要的價值，同時墨色的濃淡干濕也對人物表現(xiàn)產(chǎn)生影響。如何實現(xiàn)復雜的水墨填充暈染效果是本文最后要解決的問題。因此，本文對指定區(qū)域，通過提取源圖片相應區(qū)域的紋理，進行水墨風格化處理，以及暈染效果的空白校正和顏色校正。本文采用高斯模糊運算對區(qū)域紋理進行腐蝕操作，實現(xiàn)紋理模擬與填充。

具體過程為，在線條畫生成過程中，已經(jīng)得到了人像分割區(qū)域。因此對于線條畫中區(qū)域T內的每個像素[PT（x，y）]，其在真實照片中對應的像素為[PI（x，y）]，從位于源風格圖片中提取最佳像素[PS（x，y）]作為填充紋理元， 其應滿足兩個約束條件：

（1） [PS（x，y）]的鄰域與[PI（x，y）]的鄰域平均顏色值差值小于5;

（2） [PSx，y]的輪廓相對位置與[PI（x，y）]的輪廓相對位置比例差值小于0.02。

本文通過定義能量函數(shù)來量化上兩個約束條件。第一步， 定義[Es（PS（x，y））]，來描述與[PI（x，y）]鄰域像素的顏色值差值總和， 并分別在[PS（x，y）]與[PI（x，y）]內定義半徑為r的圓， [Ea（PS（x，y））]表示兩個圓內像素的平均顏色值差值; 第二步， 定義[Ei（PS（x，y））]，來描述[PSx，y]的輪廓相對位置與[PI（x，y）]的輪廓相對位置比例差值：

3在角色造型中的應用結果與分析

本文在實際的應用中，針對動畫初學者對角色造型存在困難、關鍵幀繪制效率低、角色造型創(chuàng)意不新穎等問題，采用人物照片水墨風格化的方法，降低動畫角色造型難度。本文提出了基于FDoG的約束增強輪廓提取算法和基于樣圖的紋理合成算法實現(xiàn)水墨風格的角色面部造型。

本文選擇研究目的相似的2項研究成果進行對比。DistanceGAN方法生成的效果比較逼真，而且頭發(fā)部分的紋理效果較好，但筆觸不夠細膩，整體色彩偏亮;Gatys方法生成圖像的筆觸較粗，且輪廓不是很清晰。本文方法關注現(xiàn)代水墨人物畫的輪廓和色彩特點， 生成的圖像輪廓具有中國水墨畫線條的濃淡粗細特點，且能夠展現(xiàn)源圖片中的色彩風格。

本文方法可以將人物照片生成現(xiàn)代水墨人物畫風格圖像。在動畫人物造型中，面部造型占據(jù)重要的部分，也是較困難的工作。本文方法適用于水墨動畫人物的面部造型，具有通用性。然而， 也存在一定的局限，在一些特殊技法的繪畫風格中，不能很好地表現(xiàn)效果。如擦、滲等技法的表現(xiàn)，還需進一步改進。另外，通過風格遷移達到水墨動畫角色的整體造型輸出，是本文下一步要做的工作。

4結語

為了生成水墨風格的角色造型圖，本文提出了基于FDoG的約束增強輪廓提取算法和基于樣圖的紋理合成算法實現(xiàn)水墨風格的角色面部造型方法。該方法可用來降低初學者的繪畫難度，同時提高水墨動畫的生產(chǎn)效率。利用文中論述的輪廓提取合成、紋理合成等技術， 可以通過真實人物面部照片生成水墨人物角色造型圖。本文認為該方法能通過風格遷移技術對動畫角色設計提供一個便捷的方法，為動畫初學者提供一個實現(xiàn)創(chuàng)作靈感的平臺。同時， 在實現(xiàn)面部造型的基礎上，未來的工作將探索人物整體造型風格遷移，及簡化的水墨風格遷移在動畫角色造型中的應用，從而實現(xiàn)卡通水墨人物造型的智能化。

參考文獻：

[1] 畢建勛. 水墨人物畫畫種備忘錄[J]. 國畫家，2002（1）：64-69.

[2] Song Y ，Bao L ， Yang Q ， et al. Real-Time Exemplar-Based Face Sketch Synthesis[C]// European Conference on Computer Vision. 2014.

[3 ]Kang H ， LEES ， CHUICK. Coherent Line Drawing[C]//International Symposium on Non-Photo realistic Animation and Rendering. New York， NY， USA：ACM， 2007：43-50.

[4] Jun-Yan Zhu， Taesung Park， Phillip Isola， and Alexei A Efros. 2017. Unpairedimage-to-image translation using cycle-consistent adversarial networks. arXivpreprint arXiv：1703.10593 （2017）.

[5] SagieBenaim and Lior Wolf. One-sided unsupervised domain mapping. InProc[J].Advances in Neural Information Processing Systems，2017：752–762.

[6] Bin He， Feng Gao， Daiqian Ma， Boxin Shi， and Ling-Yu Duan. 2018. ChipGAN： A Generative Adversarial Network for Chinese Ink Wash Painting Style Transfer. In Proceedings of the 26th ACM international conference on Multimedia （MM '18）[J].Association for Computing Machinery， New York， NY， USA， 1172–1180. DOI：https：//doi.org/10.1145/3240508.3240655.

[7] Zhang Haisong， Yin Xiaoqin， Yu Jinhui. Real-time rendering of 3D Chinese painting effects[J]. Journal of Computer-Aided Design & Computer Graphics， 2004， 16（11）： 1485-1489（in Chinese）

[8] Gooch B， Gooch A. Non-photorealistic rendering[M]. Wellesley： A K Peters Press， 2001

[9] Yu J H， Luo G M， Peng Q S. Image-based synthesis of Chinese landscape painting[J]. Journal of Computer Science and Technology， 2003， 18（1）： 22-28

[10] Gatys L A ， Ecker A S ， Bethge M . A Neural Algorithm of Artistic Style[J]. Journal of Vision， 2015.

[11]? Johnson J ， Alahi A ， Fei-Fei L . Perceptual Losses for Real-Time Style Transfer and Super-Resolution[C]// European Conference on Computer Vision. Springer， Cham， 2016.

【通聯(lián)編輯：李雅琪】