基于深度學習的傳統剪紙圖像風格遷移算法研究

王琪 魏縱橫 崔曼曼

關鍵詞：圖像風格遷移；剪紙；紋樣特異性；卷積神經網絡；損失函數

0 引言

“一帶一路”的建設為中國文化傳播開辟了新的道路，民間剪紙藝術品遠銷海外，廣受國外友人青睞。盡管剪紙的市場價值不斷提高，但其藝術價值卻沒有得到充分的發揮。剪紙獨特多樣的紋樣形式及其蘊含的豐富地域文化特色寓意，在單調而重復的模板化制造中逐漸流失。近年來，隨著西方藝術風格遷移技術的日漸成熟，諸多具有中國特色的藝術風格引起了國內外學者的廣泛關注。基于卷積神經網絡的風格遷移技術最早在2015年由Gatys等人[1]提出，該技術構造了Gram矩陣用于衡量各特征間的相關性，并利用預訓練卷積神經網絡VGG19分別提取圖像的內容特征及風格特征，卷積神經網絡具有強大的信息提取能力，在實際應用中（比如人臉識別領域[2]） 有著卓越的表現。在上述技術的基礎上，任建軍等人[5]利用風格遷移技術將青花瓷紋飾與齊白石畫作進行巧妙結合，為青花瓷的紋飾設計帶來更多啟發。侯宇康等人[6]將形狀文法理論與Gatys等人[1]提出的方法進行結合，提取苗族傳統蠟染圖案的底層特征，再通過遷移生成新的圖案設計。江敏等人[7]通過調整內容與風格的比率對圖像特征進行分離及重組，實現了油畫風格遷移。任健[8]針對二維及三維文物上的書法作品提出了基于生成對抗網絡的風格遷移算法，以協助漢字書法作品的修復工作。童茵[9]在神經風格遷移技術的基礎上引入關于圖畫構圖區域的識別方法，使中國畫皴法的紋理和筆觸獲得更大程度的保留。然而剪紙作為大眾觸手可及的一門傳統手藝，卻鮮少與風格遷移技術相結合，姚超等人[10]將智能圖像分割算法應用于人物剪紙圖像中，其成像中的人物輪廓清晰，具備了剪紙的線條特點，但未能呈現剪紙中最為關鍵而細致的紋樣特征，較難刻畫非人物剪紙的藝術特征。

中國剪紙是一種使用剪刀或雕刻刀在紙張、布料、植物葉片、金銀箔等厚度均勻的載體上進行剪、刻、撕、黏的鏤空藝術，通常具有嚴格的線性紋理結構和鮮明的獨立性紋樣[11]，質樸和生動地體現中國各個時期的民族地域生活風貌。剪紙藝術嚴格的線性紋理結構和鮮明的紋樣特異性給剪紙圖像風格遷移帶來了挑戰。鑒于上述情況，本文擬探索基于卷積神經網絡的剪紙圖像風格遷移算法，實現中國剪紙與傳統水墨畫作的結合，創建出具有高感知質量的剪紙藝術風格遷移圖像，為傳統文化注入現代科技的活力，助力中華傳統文化的傳承與發展。

1 算法設計

1.1 算法整體設計

在西方的藝術風格中，其紋理特征可以通過改變逐個像素點進行表現，而對于剪紙藝術來說，其紋理特征是線性的，且色彩單一，具有紋樣特異性。此外，剪紙藝術講究極富秩序的韻律美，注重邊緣信息，輕微的扭曲就會影響整體的呈現。因此，相比其他藝術風格遷移，剪紙風格遷移更具挑戰性。

針對剪紙風格的特點與遷移難點，本文提出一種基于預訓練VGG19的剪紙風格遷移算法。為了實現快速準確的風格遷移，本文主要做出以下四個方面的改進：目標圖像的選擇優化、神經網絡結構優化、風格遷移損失函數的設計以及最小化損失函數的優化算法設計。該算法共需兩張圖像作為輸入，一張圖像作為剪紙風格圖像，另一張圖像作為內容圖像兼生成圖像。算法流程圖及其偽代碼分別如圖1和表1所示。

1.2 目標圖像的選擇優化

Gatys等人[1]提出的風格遷移方法通常選取隨機初始化的白噪聲圖為迭代對象。其局限性在于從白噪聲圖開始的迭代過程往往需要消耗大量的計算時間且成像效果不佳。針對此問題，本文用原始的內容圖像代替上述白噪聲圖，即復制一張內容圖像作為生成圖像。此時，內容損失將從零開始增加，且在迭代一定次數后，風格損失和內容損失將同步下降。上述改進不僅可以確保生成圖像保留更多的全局內容信息，以獲得更優的人眼視覺感知效果和審美體驗，還能促進剪紙風格的快速融合。

1.3 神經網絡結構優化

在神經網絡結構優化方面，本文以VGG19為基礎設計了一個小型網絡以減少參數計算的數量，并實現風格特征和內容特征的快速提取，該網絡僅保留了最后一個用于提取特征圖的卷積層之前的網絡。

一般來說，越深的卷積神經網絡表現會更好，但同時也需要付出一定的代價，比如深度卷積神經網絡中參數過多帶來的過擬合及梯度爆炸等現象。然而在風格遷移任務中，卷積神經網絡的參數值通常不會發現改變，改變的只是生成圖像。由于生成圖像反復多次地被迭代輸入網絡，當網絡規模較大時，通過網絡后輸出的圖像傾向于呈現更細致的內容信息，以至于無法較好地融合風格特征。為了能夠更好地還原剪紙紋樣，同時兼顧算法計算復雜度，本文通過數值驗證的方法，最終確立了一個最佳的特征圖選層方案，即選取conv1_1、conv2_1、conv3_2、conv4_2層的特征圖進行風格損失的計算，選取conv3_1層的特征圖進行內容損失的計算。

1.4 風格遷移損失函數設計

在傳統的風格遷移損失函數計算中，常用均方誤差來描述特征圖之間的差異。雖然均方誤差函數處處可導，但其對離群點比較敏感，即當真實值和預測值的差異較大時，計算得到的損失也會偏大。針對這一點，本文采用均絕對誤差函數定義風格遷移過程中的內容損失函數Llcontent 和風格損失函數Llstyle，以減少圖像噪聲的影響。內容損失函數Llcontent 和風格損失函數Llstyle的具體表達式如下：

其中Cl ij 表示內容圖像在第l 個卷積層的第i 個特征圖上的第j 個像素點，Ol ij 表示生成圖像在第l 個卷積層的第i 個特征圖上的第j 個像素點，F 表示該層被拉平為二維矩陣的一批特征圖，矩陣的每一行就是一個特征圖，F li，m 表示風格圖像在第l 個卷積層的第i 個特征圖上的第m 個像素點，F'li，m 表示F li，m 的轉置，Nl 表示第l 個卷積層的特征圖個數，Sl 表示第l 層單個特征圖的大小，Graml i，j 和Gram'li，j 分別對應風格圖像和生成圖像的Gram矩陣上的每一個像素點。

值得注意的是，考慮到剪紙風格對邊緣信息的注重，本文在計算內容損失和風格損失之前，先引入全變分損失以提高圖像的邊緣平滑性。全變分損失定義如下：

其中α、β、γ 分別為三種損失對應的權重因子，通過設置不同的權重值，表達對三種損失不同的偏好。

1.5 自適應ADAM 優化算法

為了獲得更好的風格遷移效果，通常要求上述定義的損失函數盡可能小。而如何實現損失函數最小化是算法設計中的關鍵一環。L-BFGS算法是傳統風格遷移過程中常用的損失函數最小化算法。該算法雖然具有較快的收斂速度，但當優化目標較大且迭代次數較多時，梯度爆炸和梯度消失的現象便會頻繁發生。為了解決上述問題，本文提出一種自適應的Adam算法，該算法根據計算得到的梯度一階矩和梯度二階矩實現對學習率的自適應調整，在保證算法足夠穩定的同時，避免因下降梯度擺幅過大造成的梯度爆炸和梯度消失問題。算法的實現流程如表2所示。

2 實驗與結果分析

2.1 開發運行環境

本文采用的實驗平臺配置為Intel Core i5 CPU，16G RAM，NVIDIA GeForce GTX1050Ti GPU，4G 顯存，系統為Win10家庭版，CUDA版本為11.1。實驗程序在Pycharm集成開發環境中編寫并運行，程序迭代次數可調整，一般設定為2000 次，運行時間為3～4分鐘。

2.2 選圖標準

實驗選取的剪紙風格圖像與內容圖像均來源于互聯網開源數據，在風格圖像的選取方面，要求所選圖像既使用了紋樣繁復且沒有具體內容的窗花型剪紙元素，也使用了留白較多而內容為魚、蝦或虎的傳統動物剪紙圖像；在內容圖像的選取方面，盡量選取與風格圖像主題相似的圖像作為內容圖像。在進行風格遷移之前，首先采用Matlab軟件對輸入圖像進行統一的邊緣裁剪或補全，以確保輸入圖像為正方形，簡化網絡計算量。

2.3 仿真測試和結果分析

為了便于說明剪紙藝術風格遷移與西方藝術風格遷移的不同之處，作為對照試驗，本文先采用傳統的基于卷積神經網絡的風格遷移算法對剪紙圖像和西方藝術風格圖像進行處理。之后，按照本文的算法設計流程，依次驗證各步驟的改進效果。

1） 傳統風格遷移算法

圖2從左至右依次展示了傳統的基于卷積神經網絡的風格遷移算法實現的西方藝術風格遷移圖像（a列與b列）與剪紙藝術風格遷移圖像（c、d和e列）。注意，所有圖像在風格遷移過程中使用的參數均相同，運算所需時間為3～4分鐘。從圖2可以明顯看出，a、b兩列的生成圖像均能清晰地觀察到內容圖像中的人物輪廓，而c、d、e三列的生成圖像卻幾乎看不到任何關于內容圖像的信息，只有十分紊亂的紋理碎片。a、b兩列的風格圖像中的風格特征最終分別以彩色和藏藍色的形式反映在生成圖像中，雖然沒有風格圖像中類似曲線、條紋、棱角等特征，但仍然能看出內容圖像的語義信息。c到e列的生成圖像之所以看不到內容圖像的信息，是因為風格圖像在色彩上是單色的，無法通過一種顏色去反映風格特征，而且邊緣信息又很容易在深度卷積計算中被扭曲，因此很難通過減少像素點之間的誤差來融合圖像的風格。從這個角度來看，傳統的基于卷積神經網絡的風格遷移算法并不適用于剪紙藝術風格的遷移。

2） 目標圖像的選擇優化針對上述剪紙風格生成圖像不具有內容信息且紋理紊亂的問題，本文采用內容圖像作為優化圖像，以盡可能多地保留內容圖像的全局信息。從圖3可以看出，剪紙風格遷移生成圖像均有大幅改善，其內容信息得到有效呈現且生成圖像顏色也與風格圖像保持一致。盡管如此，從整體上看，生成圖像的背景部分仍有許多冗余信息，即c列中老虎的周圍本該留白的地方卻充滿了灰色的暈染，類似地，d列中豬周圍原本空白的背景中布滿了紅色的暈染，e列中魚和蝦周圍則泛著粉紅色的暈染。這是因為剪紙的風格特征較為分裂，缺乏顏色過渡，當迭代次數不足時，留白處的紊亂紋理將不可避免。

3） 神經網絡結構優化

為了減少參數的計算量并提高風格特征與內容特征的整體融合性，本文采用了基于預訓練VGG19的小型網絡。從仿真時間上看，算法改進的運算時間為3～4分鐘，少于傳統算法所用時間。從圖4中可以看出，c列中老虎邊緣的灰色暈染變少了許多，e列中原本泛著粉紅色的區域變淺且趨于白色，但d列中卻多了大量橙黃色的背景。這是因為優化后的神經網絡雖然可以加快圖像的風格遷移，但深層卷積層的減少會使圖像更側重風格特征的整體體現。相比a、e列的內容圖像，d列內容圖像的背景存在著墨水的點綴，這些點綴會參與風格損失的計算，在迭代次數受限的情況下成了不利因素。

為了提高圖像的平滑性，本文引入全變分損失，并提出一種基于絕對值誤差的新損失函數。從圖5中可以看到，c列中老虎的整體變化不大，但局部細節的線條更為流暢。d列中背景的多余紋理得到部分改善，盡管留白處仍殘留著部分紋理碎片，但豬身上有了曲形剪紙紋樣的呈現。e列中魚和蝦的四周出現了氣泡樣紋理，魚和蝦身上的鱗片紋樣變得更為突出。同時，在試圖通過增加迭代次數來進行進一步改善時，三者均出現了梯度爆炸和梯度消失的現象。

5） 自適應的Adam優化算法

為了解決上述梯度爆炸及梯度消失現象，本文提出采用自適應Adam優化算法，替代傳統方法中的LBFGS算法。結果如圖6所示，整體成像效果發生了較大的改進，這是梯度得到持續平穩下降后的結果，留白處的紋理均得到了較大的改善，同時能明顯觀察到鋸齒紋、魚鱗紋、漩渦紋等。

3 結束語

本文提出了一種基于預訓練VGG19的剪紙風格遷移算法，通過對不同動物的剪紙紋樣的研究，探索了剪紙風格遷移與其他藝術風格遷移的不同。本文從目標圖像的選擇優化、神經網絡結構優化、風格遷移損失函數設計以及最小化損失函數的優化算法設計四個方面做出改進，最終圖像能夠較好地呈現出被遷移圖像的整體信息及剪紙的基本特點。鑒于最終成像尚未能夠理想還原剪紙的多種紋樣，在未來可以考慮將圖像中的動物按照不同軀體部位進行智能分割，再按照剪紙圖像中相對應的部位進行風格遷移。