風(fēng)格化剪紙形象的深度學(xué)習(xí)生成算法

朱映輝，江玉珍

（韓山師范學(xué)院 計(jì)算機(jī)與信息工程學(xué)院，廣東 潮州 521041）

中國剪紙是一種古老又極具特色的民間技藝，它主要表現(xiàn)為紙上的鏤空藝術(shù)，既展現(xiàn)中國特有的民俗元素，視覺上又給人以透空的藝術(shù)享受，是中國傳統(tǒng)文化的一種藝術(shù)瑰寶.2006年剪紙藝術(shù)經(jīng)國務(wù)院批準(zhǔn)列入第一批國家級非物質(zhì)文化遺產(chǎn)名錄，2009年中國剪紙項(xiàng)目入選“人類非物質(zhì)文化遺產(chǎn)代表名錄”，隨著剪紙技藝不斷的傳承，新的元素、新技術(shù)又不斷地賦予剪紙新的生命力.

近年來，隨著計(jì)算機(jī)輔助設(shè)計(jì)技術(shù)的發(fā)展與融入，中國剪紙創(chuàng)作在多樣化和創(chuàng)新性上更得到大大的推進(jìn).張顯全等通過建立剪紙紋樣系統(tǒng)來實(shí)現(xiàn)剪紙形象的生成［1-2］，陳佳舟等對剪紙圖案進(jìn)行構(gòu)造分析和數(shù)字化建模，以實(shí)現(xiàn)對輸入剪紙圖的數(shù)字化仿造［3］.李岳等通過設(shè)置5種元素參數(shù)實(shí)現(xiàn)一種紋樣的多種變化組合，從而增加剪紙?jiān)煨偷妮敵龆鄻有裕?］.劉濤等運(yùn)用了遺傳算法來構(gòu)造新的圖案并生成較具創(chuàng)意的剪紙形象，但在圖案選擇上還需要人工參與［5］.上述方法在剪紙生成上需要先建立圖案元素庫，也需要大量的用戶交互操作，推廣難度較大.更前沿的計(jì)算機(jī)輔助剪紙?jiān)O(shè)計(jì)是基于真實(shí)景物圖的剪紙效果自動(dòng)生成方法，文獻(xiàn)［6-7］主要研究將人臉相片生成剪紙肖像的方法，該類方法主要是通過提取輸入圖人臉特征，在五官元素庫中匹配適合的元素以實(shí)現(xiàn)剪紙肖像生成.肖像剪紙的研究已取得值得肯定的成果，生成的剪紙肖像甚至能顯現(xiàn)原相片人物的個(gè)性特征.雖然能實(shí)現(xiàn)自動(dòng)匹配生成，但上述肖像剪紙方法仍必須先建立人臉元素庫，且元素庫的容量與質(zhì)量直接影響生成效果的質(zhì)量.文獻(xiàn)［8］提出一種非元素庫的剪紙自動(dòng)生成算法，利用圖像邊界分割、區(qū)域降色和像素連通處理等將輸入圖生成相應(yīng)的二維剪紙效果.該算法生成的二維剪紙能很好地反映原圖景物邊緣特征且保證了剪紙的整體連通效果，但同時(shí)這種方法主要是基于圖像色彩明及暗對比度的分割生成，是比較“寫實(shí)”剪紙樣式，不能體現(xiàn)一定的藝術(shù)風(fēng)格.對此，本文嘗試將人工智能圖像處理技術(shù)運(yùn)用到剪紙的生成研究中，并提出一種基于深度學(xué)習(xí)的風(fēng)格化剪紙自動(dòng)生成方法，主要運(yùn)用了深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks，DCNN）的風(fēng)格遷移和U-net 框架的動(dòng)物圖像分割器來實(shí)現(xiàn)剪紙效果圖的自動(dòng)合成.本文方法不需建立圖案元素庫，只需指定一張動(dòng)物圖（內(nèi)容圖）和一張剪紙樣式圖（風(fēng)格圖），便可實(shí)現(xiàn)優(yōu)質(zhì)的風(fēng)格化剪紙效果圖的自動(dòng)生成.

1 相關(guān)工作

1.1 TVL風(fēng)格遷移

在卷積神經(jīng)網(wǎng)絡(luò)得到GPU計(jì)算集群支持之后就受到更廣泛的關(guān)注和研究，CNN模型結(jié)構(gòu)不斷地向深度化和復(fù)雜化發(fā)展，隨后VGG 等深度模型的推出也證實(shí)了DCNN 優(yōu)越的圖像識(shí)別性能.Gatys 等人在研究中發(fā)現(xiàn)，利用VGG 網(wǎng)絡(luò)模型可以實(shí)現(xiàn)圖像畫面內(nèi)容與風(fēng)格特征的抽離，進(jìn)而發(fā)現(xiàn)利用深度學(xué)習(xí)對抗生成方法可將一張圖片上抽取的風(fēng)格特征融合至另一張圖的畫面內(nèi)容中，該處理結(jié)果獲得了令人驚喜的風(fēng)格遷移藝術(shù)效果［9-10］.Gatys等人的研究成果迅速引起了深度學(xué)習(xí)術(shù)界及業(yè)界的廣泛興趣，基于深度學(xué)習(xí)的風(fēng)格遷移方法不斷得到改進(jìn)及推廣.如Johnson等人在Gatys算法的基礎(chǔ)上提出了快速的風(fēng)格遷移方法［11］：針對某一風(fēng)格圖，訓(xùn)練一個(gè)網(wǎng)絡(luò)，所有輸入該網(wǎng)絡(luò)的內(nèi)容圖都能快速獲得風(fēng)格遷移圖，無需像Gatys算法那樣每張圖均要經(jīng)過上千次的優(yōu)化迭代，卻具有與Gatys算法相當(dāng)?shù)妮敵鲂Ч?但Johnson 算法也有一個(gè)明顯不足，即一種風(fēng)格就需建立一個(gè)專用網(wǎng)絡(luò)，該網(wǎng)絡(luò)只能生成該種風(fēng)格圖像，因此不能象Gatys 算法那樣任意指定風(fēng)格圖.文獻(xiàn)［12］提出保留原圖色彩分布的圖像風(fēng)格遷移方法，文獻(xiàn)［13］增加了一個(gè)變分損失函數(shù)，用于抑制高頻噪音，有效提升了風(fēng)格遷移圖的圖像質(zhì)量.應(yīng)用上，風(fēng)格遷移方法也越來越多地被引入到各種傳統(tǒng)藝術(shù)仿真創(chuàng)作的研究中，如李應(yīng)濤等嘗試用分區(qū)域風(fēng)格遷移方法實(shí)現(xiàn)優(yōu)質(zhì)木刻版畫效果［14］，鄭銳等則運(yùn)用風(fēng)格遷移實(shí)現(xiàn)了圖像刺繡效果的仿真生成［15］.本文也在風(fēng)格遷移技術(shù)基礎(chǔ)上，嘗試實(shí)現(xiàn)動(dòng)物類圖像至風(fēng)格化剪紙的融合創(chuàng)作.

本文算法主要采用了基于VGG19 模型［16］的TVL（Total Variation Loss，TVL）降噪風(fēng)格遷移方法，TVL算法是Gatys算法的改進(jìn)［13］.Gatys算法中，其主要優(yōu)化目標(biāo)如下C，S，I分別代表原圖、風(fēng)格圖和風(fēng)格遷移圖，α和β是權(quán)重系數(shù)，可調(diào)節(jié)內(nèi)容與風(fēng)格間的比重.式（1）是通過在內(nèi)容損失和風(fēng)格損失中尋求最小平衡值來達(dá)到優(yōu)化目的，其中內(nèi)容損失函數(shù)如式（2），Layercontent（I，i）指圖像I在網(wǎng)格模型中的第i個(gè)內(nèi)容特征層.

風(fēng)格損失函數(shù)如式（3），Layerstyle（I，i）是指圖像I在網(wǎng)絡(luò)模型中的第i個(gè)風(fēng)格特征層.

然而直接運(yùn)用以上方法進(jìn)行風(fēng)格遷移總會(huì)存在一些明顯的噪音.TVL算法在Gatys算法基礎(chǔ)上，通過最小化上下、左右像素間均方差總和來增強(qiáng)風(fēng)格遷移效果［13］，即變分損失函數(shù)，其具體表示如下：

因此TVL算法的優(yōu)化目標(biāo)為

其中λ也為權(quán)重系數(shù)，本文算法中3種權(quán)重分別設(shè)置為：α=10-2，β=104，λ=108.內(nèi)容特征層主要使用了VGG19 的conv5_2 層，風(fēng)格特征層則包括conv1_1、conv2_1、conv3_1、conv4_1 和conv5_1 等5 個(gè)特征層.

圖1反映2種算法的風(fēng)格遷移效果，第1行是原圖（一張貓臉圖），第1列是風(fēng)格圖，有3種不同風(fēng)格，第2、第3 列分別代表Gatys 算法和TVL 算法，除第1 行及第1 列外，各圖片都是原圖的風(fēng)格化效果.兩算法均采用Adam 優(yōu)化器，learning_rate=0.02，迭代次數(shù)是2 000.由比較可見，TVL算法的輸出效果明顯更優(yōu)越，具有更低噪音和更清晰的紋理表示.

圖1中最后一種風(fēng)格圖是剪紙風(fēng)格，是一種只有紅白兩色的螺旋紋理圖，然而無論Gatys還是TVL算法，生成的遷移圖雖然能反映出原定風(fēng)格圖的螺旋紋理特征，但均存在2 個(gè)明顯不足：（1）出現(xiàn)了部分藍(lán)、黑等非剪紙顏色的雜色；（2）效果圖中前景與背景區(qū)分度不高.對于第1 個(gè)不足，可通過后期的色彩減縮方法來校正.對于第2個(gè)不足，第1.2節(jié)將通過色彩與紋理的風(fēng)格遷移比對實(shí)驗(yàn)來引導(dǎo)進(jìn)一步的分析處理.

1.2 色彩及紋理的剪紙風(fēng)格遷移生成分析

為研究內(nèi)容圖色塊分布與效果圖剪紙紋理分布之間的關(guān)系，在對各種不同前、背景情況的圖像進(jìn)行剪紙風(fēng)格遷移實(shí)驗(yàn)后獲得了一定的紋理遷移規(guī)律.以下以兩組相關(guān)內(nèi)容圖為例說明該遷移規(guī)律，其中一組是內(nèi)外灰白相反的圓形圖，一組是自然背景及白色背景相同實(shí)物圖，如圖2第1行所示.

結(jié)合圖2左側(cè)2張不同的風(fēng)格圖，對上述4張內(nèi)容圖進(jìn)行TVL風(fēng)格遷移生成.從8張效果圖可以看到，對原圖中有顏色的區(qū)域，其最終產(chǎn)生的風(fēng)格圖紋理比白色區(qū)域的要多一些，而且，在顏色區(qū)與白色區(qū)邊界上，其生成的風(fēng)格紋理較豐富且主要集中于顏色區(qū)一側(cè).此外，原圖中紋理豐富的區(qū)域同樣將生成更密集的風(fēng)格紋理，風(fēng)格紋理的方向、疏密與原圖中的顏色及紋理分布也具有較大關(guān)聯(lián)性.相反的，無紋理區(qū)域生成的風(fēng)格紋理相對較少，且存在較多空白的區(qū)域.

圖2 顏色與紋理對剪紙遷移的影響比較

對此，如果能單獨(dú)提取圖片中的前景（目標(biāo)對象），令背景區(qū)置為白色，那么剪紙風(fēng)格紋理將更多地產(chǎn)生于前景區(qū)域.提取前景目標(biāo)對象的方法很多，DCNN 語義分割是近年來最前沿最接近人眼效果的技術(shù).目前在深度學(xué)習(xí)視覺處理上已涌現(xiàn)了不少成熟且優(yōu)質(zhì)的DCNN 語義分割方法，如完全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）［17］、U-net 網(wǎng)絡(luò)［18］、DeepLab 網(wǎng)絡(luò)［19］等.各算法各具優(yōu)勢，其具體應(yīng)用上的效果與采用的訓(xùn)練數(shù)據(jù)集也有密切關(guān)系，本文在圖像分割處理上采用了一種Unet框架模型的方法.

1.3 U-net圖像語義分割

U-net網(wǎng)絡(luò)在2015年被提出并應(yīng)用于醫(yī)學(xué)影像的分割處理上，因其整個(gè)網(wǎng)絡(luò)的框架結(jié)構(gòu)如同字母U 的形狀而命名.由于分割效果精良，U-net 被迅速推廣，也衍生出許多基于U-net 框架的分割模型.為獲得圖像前景目標(biāo)的分割圖，本文實(shí)驗(yàn)建立了圖3 所示的U-net 框架網(wǎng)絡(luò)，其處理順序是先左側(cè)下行，在底部再向右側(cè)上行.具體執(zhí)行是：首先將圖像歸一為224*224分辨率，輸入至ImageNet訓(xùn)練好的MobileNet-v2［20］網(wǎng)絡(luò)模型，并從中提取部分關(guān)鍵特征層以支持下一步的逆向串并及反卷積處理，這些特征層主要包括第1、3、6、13、16 等5 個(gè)Block 中的expand_relu 層；右側(cè)為上采樣解碼，各層的逆向解碼輸出與前面抽取的相應(yīng)特征層串并后進(jìn)行反卷積等處理，直至最終解碼為分割圖，分割圖只包括2 個(gè)通道：前景通道和背景通道，可進(jìn)一步合并成二值掩模圖.由于上述U-net 結(jié)構(gòu)限制了圖像寬高，所以輸入圖在導(dǎo)入前需調(diào)整分辨率，而輸出的掩模圖在下一步使用前又需進(jìn)行分辨率復(fù)原.本文實(shí)驗(yàn)中訓(xùn)練數(shù)據(jù)集是Oxford_IIIT_Pets［21］的擴(kuò)充數(shù)據(jù)集.Oxford-IIIT Pets是牛津大學(xué)創(chuàng)建的一個(gè)寵物圖像數(shù)據(jù)集，主要包含貓、犬兩大類寵物圖片，其中犬類25 類，貓類12 類，每小類約200 張圖片.該數(shù)據(jù)集的特色是包含所有訓(xùn)練圖的像素級分割標(biāo)簽，每個(gè)圖對應(yīng)的Ground_truth 掩模圖（即標(biāo)簽）都具有三類標(biāo)注：前景區(qū)、背景區(qū)和寵物輪廓區(qū).由于寵物的邊緣信息在本算法處理中沒有作用，實(shí)驗(yàn)首先消除邊緣信號(hào)：將所有Ground_truth 中的邊緣信號(hào)合并入背景信號(hào)中，再用上述U-net 框架網(wǎng)絡(luò)進(jìn)行訓(xùn)練，令其學(xué)習(xí)區(qū)分前-背景的方法.分割器在10 個(gè)epochs 訓(xùn)練后獲得.實(shí)驗(yàn)發(fā)現(xiàn)，該分割器除了能較好完成貓、犬類的圖像分割外，對其他景物也仍然具有一定的前、背景區(qū)分能力.圖4 左側(cè)第一列是4 張動(dòng)物原圖，第二列顯示了直接在Oxford-IIIT Pets集進(jìn)行2 類分割訓(xùn)練后的分割結(jié)果，其中貓臉圖顯現(xiàn)了最佳的分割效果，其它鳥類、大象圖也能標(biāo)識(shí)出大部分前景區(qū)域，但會(huì)在腳部、鼻子等位置出現(xiàn)局部小區(qū)域的誤檢或漏檢.這是因?yàn)椋琌xford-IIIT Pets 中沒有鳥類、大象等的訓(xùn)練圖，因此分割器學(xué)不到該類動(dòng)物圖的一些局部細(xì)節(jié).

圖3 本文所用的U-net結(jié)構(gòu)模型

為更好地將語義分割器應(yīng)用于其它動(dòng)物，實(shí)驗(yàn)在Oxford-IIIT Pets 基礎(chǔ)上，擴(kuò)充了鳥類、大象、兔子等20 種動(dòng)物訓(xùn)練圖，用圖像標(biāo)注工具Labelme［22］標(biāo)識(shí)出各擴(kuò)充圖的前景和背景區(qū)制成相應(yīng)Ground_truth圖，目前共擴(kuò)充891圖.經(jīng)訓(xùn)練后，該U-net網(wǎng)絡(luò)大大提升了對其它動(dòng)物圖前、后景區(qū)分的準(zhǔn)確率，已能較好適用于常見動(dòng)物圖的分割處理.圖4第3列就是應(yīng)用擴(kuò)充后的Oxford-IIIT Pets 的本文U-net網(wǎng)格分割結(jié)果，相對擴(kuò)充前的效果圖，其在細(xì)節(jié)的分割上已能達(dá)到比匹人眼的效果.

圖4 Oxford-IIIT Pets數(shù)據(jù)集無擴(kuò)充/擴(kuò)充分割訓(xùn)練的效果比較

用U-net網(wǎng)絡(luò)獲得的目標(biāo)對象分割圖除了用于屏蔽原圖背景區(qū)之外，它還需要二次用于最終對剪紙效果圖的目標(biāo)分割.這是因?yàn)檩斎雸D中白色背景區(qū)域在遷移學(xué)習(xí)中也產(chǎn)生了剪紙紋理，但該紋理是散亂的沒有規(guī)則的，不但不能烘托前景的目標(biāo)對象而且形成相反的干擾作用.

2 個(gè)性化剪紙?jiān)煨偷娘L(fēng)格遷移

本文算法的完整框架結(jié)構(gòu)如圖5所示，算法步驟如下

圖5 剪紙風(fēng)格遷移算法框架圖

輸入.內(nèi)容圖C，和剪紙風(fēng)格圖S.

輸出.剪紙效果生成圖Istyle.

Step1.對原圖進(jìn)行分辨率重置，使用1.3 節(jié)所述訓(xùn)練好的的U-net 模型進(jìn)行語義分割，獲得掩模圖D并恢復(fù)其分辨率使與原圖寬高一致.

Step2.通過D對C進(jìn)行背景屏蔽，令C的背景區(qū)域置為白色，此時(shí)C為目標(biāo)圖像.

Step3.對C和S，使用1.2節(jié)所述的TVL風(fēng)格遷移方法進(jìn)行風(fēng)格遷移圖生成，獲得生成圖I.

Step4.生成圖后處理：對I進(jìn)行降色處理及孤島消除，使之修正為初始效果圖.

Step5.對初始效果圖I再次進(jìn)行目標(biāo)分割，分割依據(jù)仍是采用第Step1生成的分割圖D，獲得最終的剪紙效果生成圖Istyle.

在Step3.中，降色處理方法是：R、G、B 三通道數(shù)據(jù)中，G 和B 的平均值大于等于0.5（像素顏色分量值范圍規(guī)一化為［0，1］）時(shí)將三分量均置為1，即該像素置值為白色，否則G 和B 分量置為0；R 分量小于0.5 時(shí)置為0.5.孤點(diǎn)消除則是對降色效果圖分別進(jìn)行2 個(gè)像素的形態(tài)學(xué)膨脹和腐蝕處理，這樣能消除因噪音生成的部分孤島或孤立點(diǎn).

3 實(shí)驗(yàn)結(jié)果與分析

圖6 和圖7 是本文算法的生成效果圖.圖6 是貓臉圖結(jié)合不同風(fēng)格圖所輸出的各種風(fēng)格化剪紙效果.由圖可見，同樣的貓臉內(nèi)容圖，各種風(fēng)格的剪紙生成圖中均較好地反映原圖重要信息，能快速識(shí)別貓臉頭部、耳朵、眼睛、鼻子等位置.同時(shí)各剪紙生成圖又能較好地模擬風(fēng)格圖的表達(dá)方式，甚至各圖中貓眼的形狀也顯示出特定的風(fēng)格化.圖7是另外3個(gè)不同的剪紙生成案例，3組案例的風(fēng)格圖均采用了剪紙作品圖，其中第一個(gè)案例（第一行）具有特定風(fēng)格紋理，另外兩個(gè)案例紋理表達(dá)手法相對自由，沒有明顯風(fēng)格.由于各生成圖效果可知，具有特定風(fēng)格的遷移效果明顯優(yōu)于自由風(fēng)格的.

圖6 同一圖像不同風(fēng)格圖的風(fēng)格遷移剪紙生成效果

圖7 不同風(fēng)格圖的風(fēng)格遷移剪紙生成效果

4 結(jié)語

本文創(chuàng)新性地提出了一種基于風(fēng)格遷移方法的剪紙生成方法，只需要輸入一張內(nèi)容圖和一張剪紙風(fēng)格圖，便能自動(dòng)地生成具備指定風(fēng)格的剪紙效果圖.為更好地獲得內(nèi)容圖目標(biāo)對象、突出目標(biāo)對象的剪紙外形，使用一種基于MobileNet v2 的U-net 網(wǎng)格模型作為分割器對內(nèi)容圖進(jìn)行前景對象分割，該網(wǎng)絡(luò)模型訓(xùn)練的樣本集是Oxford_IIIT_Pets 的動(dòng)物種類擴(kuò)充數(shù)據(jù)集，能實(shí)現(xiàn)更多動(dòng)物圖的前、背景準(zhǔn)確分割.本算法中，由圖像分割器生成的掩模圖將被兩次調(diào)用：用于實(shí)現(xiàn)內(nèi)容圖和剪紙效果圖的背景屏蔽.實(shí)驗(yàn)證明，該方法較好地保留風(fēng)格圖的風(fēng)格特征及剪紙藝術(shù)特有的連通性，相對常規(guī)的明暗對比方法所生成的剪紙實(shí)體或剪紙圖像，本文基于風(fēng)格遷移算法所生成的剪紙更具個(gè)性化，且不需建立元素庫，也不需中間過程的選擇或控制參與.本文算法主要以動(dòng)物圖作為風(fēng)格化剪紙的生成研究對象，若需對其它類型景物進(jìn)行前后景分割，則需另外訓(xùn)練該類型圖分割器.此外，雖然風(fēng)格遷移方法能較好地保留風(fēng)格圖剪紙紋理的連通特點(diǎn)，但由于同時(shí)受到內(nèi)容圖的合成制約，并不能保證生成的剪紙效果圖是一個(gè)單一連通圖，部分位置可能會(huì)出現(xiàn)局部碎片，后繼的研究可以增加連通性檢測及處理，將非連通區(qū)片間以最近距離方式進(jìn)行連接，形成完成一體化的連通剪紙圖.