基于色彩優化的云錦局部風格遷移

邱雪琳, 孫 迎, 劉 正,b,c, 侯 玨,b,c

(浙江理工大學 a.服裝學院; b.絲綢文化傳承與產品設計數字化技術文化和旅游部重點實驗室;c.浙江省服裝工程技術研究中心,杭州 310018)

作為中國三大名錦之一,云錦以配色豐富、圖案精美、織造精細聞名,代表了中國傳統絲綢織造工藝的最高水平。為了呈現逐花異色的效果,云錦圖案色彩通常多達數十種,傳統的織造工匠通常采用色暈口訣、片金絞邊、大白相間等技巧對紋樣進行配色,完成圖案設計。云錦圖案的傳統設計方法耗時長、效率低,且受到工藝傳承人技能水平的影響,極大地限制了云錦圖案的創新設計和產品活化傳承。隨著圖像技術和人工智能的發展,圖像風格遷移逐漸應用到瓷器[1]、漆藝[2]、繪畫[3]等工藝美術品領域。作為以圖案設計為特色的云錦,同樣非常適合采用圖像風格遷移的方法完成設計。

風格遷移是指保持圖像內容不變的情況下,用另一幅圖的紋理、顏色等風格對其進行重新渲染的過程。當前主流的圖像風格遷移方法是基于卷積神經網絡的算法[4],利用預訓練網絡從內容圖和風格圖中提取圖像的內容和風格,通過圖像重建獲得合成效果圖;Johnson等[5]在Gatys等[4]研究的基礎上,提出了基于前饋風格化模型的快速風格遷移方法,提高了遷移效率;基于GAN的風格遷移[6]方法則需要對生成器和鑒別器進行訓練,從而使內容圖去擬合風格圖的效果。上述方法只能對圖像的整體進行遷移,為了實現局部風格遷移,Handa等[7]將閾值分割獲得的掩模與遷移合成圖相結合,實現了特定部分的樣式轉換;Zhao等[8]通過提取內容圖和風格圖的軟語義掩碼,在保留內容圖結構的同時實現了對應的樣式轉移;繆永偉等[9]針對局部遷移中的區域銜接問題,提出一種基于曼哈頓距離的圖像融合算法,實現了區域間的平滑過渡。

在云錦圖案研究領域,國內外學者們主要圍繞配色[10-11]、寓意和設計應用[12-13]等展開,未見針對云錦圖案風格遷移的相關文獻報道。云錦圖案色彩豐富,利用原始風格遷移算法生成的效果圖容易出現色彩混雜、目標紋樣輪廓和內容不清晰等問題,設計效果不夠理想。為了傳承和創新云錦設計與應用,本文基于云錦圖案的特點,在原始遷移模型的基礎上,提出了基于色彩優化的云錦局部風格遷移方法。首先獲取目標紋樣掩碼圖用于區分紋樣與背景,清晰紋樣輪廓;其次以合成圖像素在色彩三通道的方差和作為色彩損失加入到總損失中,通過優化色彩損失減小紋樣內的色彩差異,提高紋樣語義清晰度;結合色彩損失與掩碼圖,最終獲得輪廓清晰、語義易識別的云錦風格遷移效果圖。

1 基于色彩優化的云錦局部風格遷移

1.1 圖像風格遷移原理

基于卷積神經網絡的VGG19模型由16個隱藏層(分為5個階段),3個全連接層組成,具有強大的圖像特征和語義表征能力。原始風格遷移算法利用VGG19模型提取圖像底層紋理信息和高層語義信息分別作為風格和內容,使用優化函數最小化損失,再通過迭代更新合成圖得到風格化效果圖,具體流程如圖1所示。

圖1 圖像風格遷移流程示意Fig.1 Process of image style transfer

1.2 損失函數

由于高層卷積網絡重點保留圖像的輪廓、語義內容等信息,因此選取內容圖C和合成圖G在卷積神經網絡第四層的特征矩陣,兩個特征矩陣的平方誤差為內容損失,如式(1)所示。

(1)

(2)

分別計算風格圖S和合成圖G的格拉姆矩陣,它們的平方誤差記為風格損失。由于深淺層網絡提取的特征不同,為全面概括圖像風格特征,統計所有下采樣層的風格損失,記為總風格損失,如式(3)所示。

(3)

為了保證合成圖像的可控性,分別設置了內容和風格損失權值α、β以調整風格遷移效果,因此總損失如式(4)所示。

Ltotal=αLcontent+βLstyle

(4)

1.3 遷移模型色彩優化

為了改善云錦線稿類遷移效果圖色彩雜亂、前后景混合、紋樣輪廓不清晰的問題,本文在原始風格遷移模型的基礎上增加了色彩損失和掩碼圖,提出了基于色彩優化的云錦局部風格遷移模型。優化模型結構如圖2所示。

圖2 云錦局部風格遷移色彩優化模型Fig.2 Local style transfer model of Nanjing brocade based on color optimization

首先,借助快速選擇工具,獲取內容圖的掩碼圖作為輸入,如圖3所示。復制內容圖為底圖,將云錦風格圖、線稿內容圖、底圖分別輸入預訓練好的VGG19網絡,通過卷積提取特征矩陣。

圖3 內容圖的掩碼圖Fig.3 Mask of content image

其次,利用內容圖和底圖的特征矩陣計算內容損失;利用云錦風格圖和底圖的格拉姆矩陣計算風格損失;利用底圖色彩像素計算色彩損失,將合成的底圖分為R、G、B三個色彩通道,在每個通道遍歷底圖的所有像素點,記為Roipn。每層合成底圖在三通道的像素方差和為色彩損失。由于色彩屬于底層紋理信息,因此色彩損失與風格損失使用同樣層數的合成底圖(共5層),計算如式(5)所示。

(5)

總損失為內容損失、風格損失和色彩損失的加權和,如式(6)所示。

Ltotal=αLcontent+βLstyle+γLcolor

(6)

式中:α、β、γ分別為對應損失的權重,可根據風格需要進行調整。

選用Adam優化器優化總損失,反饋更新底圖的像素,確保迭代生成的底圖在保留原內容的情況下,更接近云錦圖像的風格,并且使合成圖的色彩差異最小化。最后結合掩碼圖,輸出輪廓、紋樣語義都相對清晰的云錦風格化效果圖。

2 云錦圖像風格遷移色彩優化實驗

2.1 實驗設置

風格遷移優化實驗使用Pytorch框架,在處理器為Intel(R)Core(TM)i7-11700 2.5 GHz,內存32 GB RAM,顯卡為NVIDIA GeForce RTX 3080Ti的臺式機上進行。以云錦樣本為風格圖,線稿類紋樣為內容圖。由于遷移模型不限制圖像尺寸,實驗將風格圖和內容圖的尺寸設置了224×224像素、300×300像素、400×400像素、512×512像素四種規格進行對比,獲得如圖4所示的遷移效果。當尺寸設置為224×224像素時,可直接獲得明顯的遷移效果,并且耗時最短。綜合效果圖質量和處理時間,本文將風格圖、內容圖和掩碼圖的尺寸統一設置為224×224像素,尺寸設置可根據原圖大小和清晰度需求進行調整。

圖4 不同尺寸遷移效果Fig.4 Transfer renderings of different sizes

選擇Adam作為模型優化器,學習率設置為5×10-3。實驗結果顯示,內容損失、風格損失、色彩損失絕對值相差較大。為了平衡各項損失,利用系數α、β、γ將三項進行平衡,其值分別為1×10-3、5×105、1×102所得的損失值處于相近尺度范圍內,且遷移效果較好。

為了確定迭代次數,實驗任選了三張云錦風格圖、線稿圖作為對象,設置優化模型初始迭代次數為2 000,每迭代100次輸出一次內容、風格、色彩損失值。繪制成的損失走勢如圖5所示。

圖5 損失圖Fig.5 Diagram of loss

由圖5可知,內容損失幾乎沒有變化,風格損失隨著迭代次數的增加逐漸減小至平穩。由于風格損失減小,底圖的風格與風格圖的風格越來越接近,色彩也更加復雜,因此色彩損失呈現小幅增長再減小至平穩的趨勢。綜合損失趨勢和訓練時間,實驗選取迭代1 600次的合成圖為遷移輸出圖。

2.2 實驗結果

將本文提出的色彩優化局部遷移算法與原始遷移算法[4]、局部遷移算法[7]進行比較,獲得遷移效果圖,如圖6所示。由圖6(c)可以看出,直接采用原始遷移模型生成的合成圖色彩混雜,難以分辨圖案主體紋樣的形狀和內容。這是由于卷積神經網絡在提取風格圖和內容圖的特征時,學習了圖片的色彩特征,包括色彩的明度、飽和度及分布等,導致色彩像素之間形成了對應遷移。而線稿類內容圖只含輪廓色彩信息,無法形成對應遷移,從而導致合成效果圖色彩混雜,目標紋樣語義不清。而加入掩碼圖的局部遷移模型通過將紋樣與背景分離,提高了輪廓的清晰度,如圖6(d)所示。

本文的優化模型在掩碼圖的基礎上添加了色彩損失,由圖6(e)可以看出,蓮花的花瓣部分顏色集中在粉色,花蕊部分主要為綠色;鈴鐺的輪廓為深紅色,空白部分為淺色;龜身的混色減少,主要呈現綠色;優化模型在提高輪廓清晰度的同時,減小了紋樣內的色彩差異,提高了紋樣的語義辨識度。

圖6 遷移效果圖對比Fig.6 Comparison of different transfer renderings

2.3 實驗結果主客觀評價

2.3.1 主觀評價

為了評價本文色彩優化算法的風格遷移效果,本文采用問卷調查[14]方式進行主觀評價。招募20名實驗者基于圖6的三種遷移算法效果圖,針對紋樣語義內容的清晰度作評價,分值設置為1～5分,紋樣內容越容易識別則分值越高。分別計算20名實驗者對三種算法生成效果圖評分的均值和方差,結果如圖7所示。

圖7 問卷調查結果Fig.7 Result of questionnaire survey

主觀評價結果顯示,在遷移效果圖紋樣的清晰度方面,原始遷移、局部遷移和色彩優化局部遷移模型的評分均值分別為2.18、3.63、3.88。因此,本文提出的基于色彩優化的局部遷移模型,在實現局部風格遷移的前提下,通過色彩優化提高了主體紋樣語義內容清晰度。

2.3.2 客觀評價

客觀上,分別從效果圖質量和算法耗時長短兩方面進行評價。對于遷移效果圖的客觀評價通常采用結構相似性[15](SSIM),結構相似性通過像素計算將圖像定義為亮度(l)、對比度(c)、結構(s)三個不同因素的組合。用均值作為亮度的估計,標準差作為對比度的估計,協方差作為結構相似程度的度量。每次計算從圖片上取N×N的窗口,不斷滑動窗口進行計算,取所有窗口的均值作為整幅圖像的SSIM。SSIM數值范圍為0～1,數值越接近1表明兩幅圖像相似度越高,計算如式(7)所示。

(7)

式中:μa、μb分別表示a、b樣本的均值;σa、σb分別表示a、b樣本的方差;σab為a和b的協方差;c1、c2為兩個常數,避免除零。

為了綜合評價遷移效果,本文分別計算效果圖與風格圖、內容圖的SSIM值(Gs、Gc),取Gs和Gc的均值作為綜合相似度評價指標[16]。統一設置合成效果圖、風格圖、內容圖的大小為224×224像素,利用SSIM算法計算遷移效果圖的結構相似性。表1為局部遷移算法和色彩優化局部遷移算法獲得的5張效果圖的結構相似性結果。

表1 結構相似性結果Tab.1 Data of SSIM

對比只加入掩碼的局部遷移與本文基于色彩優化的局部遷移,可以發現,在風格相似度方面,兩種遷移模型差距不大,但在內容相似度方面,優化算法普遍較高。局部遷移算法關于綜合相似度均值為0.35,而基于色彩優化的局部遷移算法的均值為0.38,相比局部遷移算法提高了9.14%。

此外,在RTX 3080Ti上分別使用局部遷移算法和色彩優化局部遷移算法對實驗圖片進行1 600次迭代,所需的處理時間如表2所示。

表2 風格遷移算法運行時間比較Tab.2 Comparison of running time of thestyle transfer algorithm s

局部遷移算法運行所需時間均值為13.78 s,相同配置下色彩優化局部遷移算法在增加色彩處理的情況下,時間均值為15.42 s。數據結果表明,優化后的遷移算法能夠快速地獲得與內容圖結構更為相似的風格化圖像,有利于線稿類圖案實現云錦風格的遷移。

3 結 語

針對云錦圖案風格遷移中出現的效果圖前后景色彩混雜、輪廓模糊、目標紋樣語義不清晰問題,本文提出了基于色彩優化的云錦風格遷移模型。利用圖像處理軟件獲得內容圖的掩碼圖作為輸入,在風格和內容損失的基礎上增加了色彩損失以減小紋樣的色彩差異,合成了輪廓清晰、語義內容更易識別的效果圖。

本文利用結構相似性對局部遷移算法和色彩優化局部遷移模型獲得的云錦風格效果圖進行了對比,結果顯示,優化算法獲得的效果圖,其綜合相似度總均值為0.382,相比局部遷移算法提高了9.14%。數據結果表明,本文的優化算法在提高輪廓清晰度的基礎上,減小了紋樣的色彩差異,提高了語義辨識度,更適用于云錦風格遷移。

《絲綢》官網下載

中國知網下載