基于邊緣增強和關聯損失的服裝圖像風格遷移

摘 要：服裝圖案風格的遷移可以依據個人需要調整對應的風格服飾，滿足大眾對精神生活越來越高的需求。傳統的服裝圖案風格遷移多采用簡單紋理，內容較為單一，圖像效果不夠理想。針對這些問題，提出了一種基于邊緣增強和關聯損失的服裝圖案風格遷移方法（EnAdaIN）。首先，依據Kirsch算子對圖像的原始邊緣特征進行提取，同時結合Mask R-CNN深度學習方法對服裝圖像進行語義分割；然后，通過改進AdaIN算法構建基于空間關聯損失的EnAdaIN方法，并輸出風格遷移圖像。EnAdaIN方法在融合邊緣特征與語義風格圖像的基礎上實現服裝圖像的風格遷移，在融合空間關聯損失算法的基礎上進一步提升圖像的特征相似度。研究表明：EnAdaIN方法峰值信噪比相較于其他方法提升超過0.95%，結構相似性提升超過2.43%，遷移效率提升超過了3.53%，生成后的圖像信息色彩更為豐富、特征明顯，進一步提升了圖像的對比度和質量。

關鍵詞：AdaIN；關聯損失；風格遷移；服裝圖案遷移

中圖分類號：TS941.26

文獻標志碼： A

文章編號：1009-265X（2024）08-0117-10

收稿日期：20231114

網絡出版日期：20240320

基金項目：國家自然科學青年基金項目（62202366）；陜西省技術創新引導專項計劃項目（2020CGXNG-012）；西安市重大科技成果轉化產業化項目（23CGZHCYH0008）

作者簡介：陳雨琪（2000—），女，陜西漢中人，碩士研究生，主要從事計算機視覺方面的研究。

通信作者：薛濤，E-mail：xuetao@xpu.edu.cn

風格遷移主要是以深度學習算法為基礎，提取風格圖的色彩、紋理，并將其遷移到內容圖中，生成包含風格圖基本紋理特征的目標圖像^［1］。隨著智能化挖掘和設計技術的不斷提升，風格遷移逐漸在人們的生活和工作中廣泛應用，尤其在服裝設計和圖像編輯等領域，也極大地滿足了人們精神生活的需求。由于風格遷移可以在圖案設計、繪畫設計等方面發揮作用，因此諸多學者對此進行了深入研究。

關于服裝圖案設計的研究，重點在圖像的風格改變上。將眾多不同的風格融合到對應的服裝圖案中，可以使得服裝的風格更加豐富多變，更能滿足人們的需求^［2］。但是關于各種風格的圖像遷移，如何提高圖像的清晰度以及風格色彩的對比度仍然存在很多難點。隨著人們審美的不斷變化，服裝圖案及色彩的要求逐漸趨向簡潔化。服裝圖像風格遷移一般采用卷積神經網絡作為特征識別的基本算法，其核心在于卷積層和池化層來自動提取圖像中的特征，從而實現對圖像的高效處理和識別^［3］。風格遷移要點在于其從原圖中提取特征記錄在特征圖中，不同的特征對應不同的特征圖。

目前，常見的圖像風格遷移算法包括全卷積神經網絡算法（FCN）^［4］、風格遷移算法（AdaIN）^［5］、生成對抗網絡算法（GAN）^［6］等。FCN算法出現于2015年，較傳統卷積神經網絡算法（CNN）速度得到了很大的提升，而且可以輸入任意尺寸的圖像，提高了效率；AdaIN算法首次出現于2017年，應用于圖像的風格遷移，是一種自適應的標準化算法，其實現方法是提取內容圖像的特征，通過計算其方差和均值，然后對齊到風格圖像中完成遷移，可以實時變換風格，計算效率高；而GAN算法有出色的生成能力，在風格遷移領域逐漸得到了廣泛的應用，其生成的結果在視覺上更加逼真。另外，廣泛使用的無監督方法CycleGAN^［7］近幾年開始運用在服裝圖像風格遷移上^［24］，主要適用于域的遷移，其優點在于該算法并不需要訓練集就可以完成風格的遷移^［8］。

然而，現有的風格遷移算法大多適用于一般圖像的風格遷移，直接將這些方法運用在服裝圖像風格遷移上，效果不理想，因此本文提出了一種基于邊緣增強和關聯損失的服裝圖案風格遷移方法。依據Kirsch算子對圖像的原始邊緣特征進行提取，結合Mask R-CNN深度學習方法對服裝圖像進行語義分割；然后，通過改進AdaIN算法構建基于空間關聯損失的EnAdaIN方法，對圖像進行識別，輸出風格遷移圖像。邊緣增強需要先將圖像的邊緣特征進行提取，與最后生成的目標圖像相融合，解決圖像經過處理和識別后邊緣色彩淡化的情況，進一步提升圖像的邊緣色彩；同時在傳統的圖像遷移算法AdaIN中加入空間關聯損失算法進行改進，即將內容損失算法和風格損失算法相融合，進一步獲取特征點和查詢點的空間關系，約束圖像的細節特征，使得圖像更加清晰。本文結合用戶的實際需求，研究提升圖像風格遷移質量和效率的方法，提升的適用性，提高圖像的對比度和質量，最終生成的服裝圖像相較于傳統風格遷移色彩將會更豐富，能夠解決傳統風格遷移服裝圖案設計風格單調的缺點。

1 圖像風格遷移算法原理

風格遷移主要是通過數據挖掘算法使得基本內容圖像具備風格圖像的基本風格和紋理。風格遷移涉及的圖像類型主要有兩種：風格圖和內容圖^［9］。內容圖的圖案結合風格圖的風格紋理，最終形成風格遷移的目標圖。風格遷移效果示例圖像如圖1所示。

圖像的風格遷移涉及兩類損失函數，包括內容損失函數D_c（c， g）和風格損失函數D_s （s， g）。內容損失函數的主要作用是評估內容圖和最終結果圖之間的內容差異性，而風格損失函數評估的是風格圖和最終結果圖之間的風格差異性^［10］。方法的總體損失函數按式（1）計算：

F₁（g）=η×D_c（c，g）+λ×D_s（s，g）（1）

式中：η和λ分別為內容損失函數和風格損失函數的權重。

圖像的風格遷移一般流程圖如圖2所示，步驟如下：

a）輸入圖像后需要初始化圖像，同時計算圖像的像素數P，按式（2）計算：

P=L×W×C_c（2）

式中：L為圖像像素長，W為圖像像素寬，C_c為顏色通道。

b）將初始化后的圖像輸入VGG方法中，并通過卷積層特征計算內容損失函數和風格損失函數。

c）計算總體損失函數F₁（g），再計算損失函數和相對每個像素的梯度值，進而求得每個像素的變化對損失函數的影響，不斷優化和修正像素值。

內容損失函數主要通過比較圖像在VGG卷積神經網絡方法中生成的特征圖之間的差異^［11］，可按式（3）計算：

式中：o_c表示內容圖第i個特征圖的第j個輸出值；o_g表示最終結果圖第i個特征圖的第j個輸出值。

風格損失函數主要通過比較最終結果圖與風格圖之間的差異^［12］，如式（4）所示：

式中：λ和β表示通道號，K表示層數，g_λβ^k_s表示風格圖格拉姆矩陣的元素值，g_λβ^k_g表示最終結果圖格拉姆矩陣的元素值，n和m分別表示卷積核的數目和大小。

2 服裝圖案風格遷移

2.1 邊緣增強策略

在進行圖像風格遷移操作后，經過不斷識別和特征提取，圖像的紋理和邊緣會不斷弱化，邊緣信息也就表現得模糊，嚴重影響識別的效果^［13］。本文采用邊緣增強策略進行優化，從而提高圖像風格遷移的識別效果，提高圖像遷移效率。

邊緣增強策略就是在進行風格遷移操作前，先對內容圖像的邊緣信息進行識別、提取和記錄，待風格遷移操作完成后，再疊加邊緣信息到生成的結果圖中，以增強邊緣信息，改善邊緣效果。本文主要采用Kirsch算子^［14］進行圖像的邊緣信息提取。該算子主要從8個方向開展圖像的卷積操作，每個方向模板為3×3大小的區域，記P點位邊緣信息中一像素點，內容圖像中任意一點P和周圍其他8個像素點分布如圖3所示，因此P點處理后的灰度值就是P像素點矩陣與Kirsch算子矩陣的乘積。依次輸出8個像素點的灰度值，并設置閾值，最終選取最大值的模板作為圖像的邊緣信息^［15］，邊緣信息如圖4所示，將風格和邊緣信息清楚地展現出來，用矩陣表示如式（5）：

2.2 空間關聯損失

傳統的深度學習風格遷移算法主要是用VGG方法，先對內容圖像和風格圖像進行特征提取，然后依據內容損失和風格損失對齊特征空間中的特征，從而引導遷移方法學習。然而，僅僅通過VGG方法進行圖像風格遷移的清晰度不高，也無法消除風格遷移中的多余背景^［16］。本文基于關聯損失的算法融合了內容損失和風格損失算法，主要流程如下：

首先，使用VGG方法對源圖像x和對應的目標圖像y^進行特征提取，得到特征f_x、f_y^。

然后，基于得到的特征分別計算對應的自相似性圖。以特征f_x為例，自相似關聯度計算過程如式（6）所示：

S_xi=（f_xi）^Tf_x*（6）

式中：f^T_xi∈R^1XC是特征f_x的一個查詢點（C表示特征通道個數），f_x*∈R^CXN_p為由N_p個特征點構成的特征塊，得到S_xi∈R^1XN_p捕獲了查詢點與特征塊N_p個點之間的空間關聯。同理，目標圖像的空間關系如式（7）所示：

S_yi=f_yi^Tf_y*（7）

最后，計算S_xi與S_yi之間的余弦距離，約束原圖像與目標圖像有關空間結構細節的學習。

2.3 融合邊緣增強和關聯損失的EnAdaIN方法設計

本文對傳統的圖像遷移算法AdaIN進行了改進，融入了邊緣增強和關聯損失函數，構建了一種新的圖像風格遷移新方法EnAdaIN。邊緣增強是提取原始圖像的相關邊緣信息，完成風格遷移后，疊加邊緣信息；關聯損失結合了傳統的風格損失^［17］和內容損失^［18］，形成空間關聯損失算法，主要是通過VGG方法進行原圖像和目標圖像的特征提取，計算原圖像的自相似圖和目標圖像的空間關系，用來約束原圖像與目標圖像有關空間結構細節的學習，使得圖像的空間關聯性更高。

2.3.1 EnAdaIN方法的基本框架

EnAdaIN方法主要是引入了全新結構化損失函數，即空間關聯損失函數^［23］，同時在輸出結果后，運用邊緣信息進行疊加增強圖像清晰度，進一步提升遷移后的圖像質量。EnAdaIN方法的基本框架如圖5所示。

圖5中EnAdaIN方法首先將內容圖像和風格圖像作為輸入，通過基本的VGG解碼和編碼架構，在特征空間中將內容圖像和風格圖像進行基本的編碼，得到內容圖特征a和風格特征b，然后輸送特征a、b映射到EnAdaIN層，最后該層基于風格損失和內容損失將特征映射中的均值和標準差進行特征對齊，得到目標特征映射f，如式（8）所示：

f=EnAdain（a，b）（8）

最后將訓練后的解碼器G將f映射回原圖像特征空間，生成最終的風格化圖像，如式（9）所示：

F（a，b）=G（f）（9）

2.3.2 EnAdaIN方法的基本工作流程

EnAdaIN方法的基本工作流程如下：

a）歸一化內容圖，將特征作為輸入，通過Kirsch算子提取并保留原始圖像的邊緣風格特征信息。

b）將服裝圖像輸入EnAdaIN方法中，先進行空間關聯特征的提取和計算，再進行服裝圖像的風格遷移，生成有特定風格的服裝圖。

c）將輸入的服裝圖像通過圖像分割方法Mask-RCNN^［19］依據設定進行局部的語義分割。

d）依據語義分割的結果將新的服裝圖案與整張原圖像融合^［22］，疊加提取的邊緣特征信息，輸出遷移完成的結果圖。

上述流程如圖6所示：

3 實驗

3.1 數據集與實驗環境

本文數據集主要包括兩個部分：風格遷移數據集和語義分割數據集。服裝風格圖像均來源于Microsoft Common Objects in Context （MS COCO）^［20］數據集，其中風格遷移數據集共選取圖像9993張，訓練集8988張，測試集1005張；語義分割主要是使用DeepFashion2數據集^［21］，這是一個規模較大的基準集，包含有全面任務和標注。該數據集定義了服飾檢測和識別、標記和姿態估計、分割以及驗證和檢索。本文數據集中部分內容和風格展示圖如圖7所示。

實驗環境：CUDA11.1，深度神經網絡庫版本8，操作系統為Centos7.6，顯卡為NVIDIA GeForce V100 32G，搭載深度學習開源框架Pytorch 1.12，編程語言Python3.8。

選取多組樣本驗證，發現隨著訓練次數的增加，其損失越小；當訓練次數超過200時，訓練損失趨于穩定，增加訓練次數不會降低訓練的損失。考慮到訓練效率，因此本文訓練中epoch次數選擇為200次。訓練收斂圖如圖8所示，但迭代訓練次數達到200以上逐漸趨于穩定。

3.2 評估指標

服裝圖像遷移的效果識別除了一些客觀的辨別觀察外，還需要指標分析作為進一步的支撐。本文選用較為常見的指標進行本文識別效果的評價，包括均方誤差、峰值性噪比、結構相似性以及風格遷移速度，具體如下：

a）均方誤差［MSE］：是一種較為常見的衡量識別性能的關鍵指標，主要用來比較真實值和預測值之間的差異，其值越小說明識別的性能越好。均方誤差計算如式（10）所示：

式中：i表示樣本個數（i=1，2，3， …， n），V_i表示真實值大小，V_i表示預測值大小。

b）峰值性噪比［PSNR］：主要是衡量兩個圖像之間的差異性和質量。當式（10）中的V_i和V_i分別表示原圖像和噪聲圖像的值，n為圖像大小，則峰值性噪比如式（11）所示：

c）結構相似性［SSIM］：是用來評估兩個圖像之間的相似性程度。圖像p和q的結構相似性如式（12）所示：

式中：p²和q²分別為p、q的方差，COV_p和COV_q為協方差，α為穩定系數。

d）風格遷移速度［STS］：主要評估方法的風格遷移效率，是方法的一項重要評估指標，也就是計算本文方法與其他方法對比識別的時間消耗。

3.3 消融實驗

本文將AdaIN、空間關聯損失改進的AdaIN、

邊緣增強的AdaIN與本文的EnAdaIN算法進行消融實驗，各方法服裝圖像風格遷移細節對比如圖9所示。從輸出的均方根誤差、峰值信噪比和風格遷移的速度上進行對比，結果如表1所示。

由圖9可以看出，AdaIN呈現的風格遷移效果不理想，圖像質量不高；基于空間關聯損失改進的AdaIN方法，風格圖的色彩過濃，未保留原圖的色彩風格；而EnAdaIN方法在保留原圖風格的同時融入風格圖的風格，且圖像清晰度較高。從表1數據來看，EnAdaIN方法的均方根誤差較其他方法均有下降，且下降幅度超過16%，峰值信噪比也高于其他方法，在圖像性能和質量上EnAdaIN方法均有較大提升。因此，EnAdaIN方法既可以改善服裝遷移圖像的視覺效果，同時風格遷移速度較其他方法效率也高，表明本文方法的可行、有效。

3.4 結果比較

3.4.1 各種方法效果比較

本文主要對數據集中的訓練集和測試集進行驗證，目前使用較廣泛且效果較好的算法主要包括基于循環對抗生成網絡改進的Cyclegan方法^［25］以及基于關聯損失算法優化的Cyclegan_loss方法和用于消融實驗的AdaIN方法。其中，近兩年Cyclegan方法^［26］、Cyclegan_loss方法已經開始應用于服裝圖像風格遷移，而且算法改進比較成熟，對于服裝遷移效果受到廣大學者的認可。對于AdaIN方法，使用在圖像風格遷移上效果逐漸突出，因此，本文將基于AdaIN方法進行改進得到EnAdaIN方法，并將其應用于服裝圖像風格遷移上以提升最終的效果。本文主要選取FCN方法、AdaIN方法、Cyclegan方法、Cyclegan_loss方法與本文的改進EnAdaIN方法進行比較，幾種方法的風格遷移效果如圖10所示。

由圖10可以看出，FCN方法生成的圖像雖然方法輪廓較為清晰，但是人像較為模糊，無法清晰看清人的臉部信息，色彩效果差，清晰度低；AdaIN方法遷移后的圖像，雖然風格和內容融合效果一般，圖像質量較差，影響服裝的整體清晰度；Cyclegan方法基本還原了原圖的色彩，但是對風格的識別還存在不足，上身顏色接近白色，下身顏色較深，與風格圖差異較大，效果不理想；Cyclegan_loss方法識別的結果雖然下身顏色較為接近風格

圖，但是整體顏色對比差異大，上身仍舊未還原風格圖色彩；EnAdaIN方法首次將邊緣增強和空間關聯損失結合運用在圖像風格遷移上，不僅保留了圖像的邊緣信息，也減少了風格遷移過程中的損失，識別結果無論從色彩還是清晰度上看均接近原風格圖，并且保留了原內容圖的其他風格，效果最佳。

圖11是使用本文EnAdaIN方法識別的4幅圖像，其中每幅圖像最左側為內容圖，中間為風格圖，最右側為目標圖，通過4幅圖的生成效果可以看出：本文的方法圖像風格遷移效果較為理想，邊緣信息保留基本完整，在融合風格圖時，仍然能夠保留內容圖的特征。

3.4.2 指標結果評估

本文針對各項方法采用上述指標進行質量的評估，結果如表2所示。

由表2所示，整體看EnAdaIN方法的表現效果好，在指標PSNR、SSIM上均呈現最大值，表明EnAdaIN方法的圖像遷移質量和結構相似性均較高，均方根誤差上雖然值略高于Cyclegan_loss方法，但是整體差異較小；從風格遷移速度上看EnAdaIN方法的速度最快，效率高，因此，EnAdaIN方法在服裝圖像風格遷移上表現優異，圖像質量和清晰度均較高，同時也更加接近原始風格圖。

本文選取峰值信噪比來衡量圖像質量和差異性，如圖12所示，對比其他方法后發現：本文EnAdaIN方法的峰值信噪比最大，較Cyclegan_loss方法、Cyclegan方法分別提升了0.95%、1.24%，較AdaIN方法、FCN方法的信噪比甚至超過了20%。由此可見，本文基于邊緣增強和空間關聯損失的EnAdaIN方法生成的遷移圖像邊緣紋理清晰，圖像質量高、風格融入效果好，能夠滿足用戶的基本需要。

4 結束語

本文以VGG方法為基礎，在AdaIN方法上改進形成EnAdaIN算法，構建了基于邊緣增強和關聯損失相結合的風格遷移方法，通過Kirsch算子提取內容圖像的邊緣信息，并在完成遷移識別后融合邊緣信息，同時使用Mask R-CNN進行語義的分割，再將內容圖像和風格圖像加入到本文改進的基于空間關聯損失的EnAdaIN方法中，然后得到風格遷移圖案后，融合提取的邊緣特征和語義風格圖像，最終形成服裝的圖案風格遷移，進一步提升遷移后的圖像質量和清晰度，對于服裝的輔助設計有著很大的應用市場。可以依據個人需要對其服裝調整對應的風格圖像，滿足大眾的越來越高的精神生活需求。

本文的不足之處在于未對圖像分割的算法進行深入研究，僅采用廣泛使用的Kirsch算子進行邊緣特征的提取，并未進一步研究算子使用的效果以及改進方法，后續需要繼續在邊緣信息特征的提取中加強研究，使得目標圖像的邊緣特征更為明顯，進一步凸顯圖像的服裝風格特征，提高圖像的風格遷移效果。

參考文獻：

［1］楊玥，馮濤，梁虹，等.融合交叉注意力機制的圖像任意風格遷移［J］.計算機科學，2022，49（S1）：345-352.

YANG Yue， FENG Tao， LIANG Hong， et al. Image arbitrary style transfer via criss-cross attention［J］. Computer Science. 2022，49（S1）： 345-352.

［2］JIANG S H， LI J， FU Y. Deep learning for fashion style generation［J］. IEEE Transactions on Neural Networks and Learnning Systems， 2022， 33 （9）： 4538-4550.

［3］林碧珺，耿增民，洪穎，等.卷積神經網絡在紡織及服裝圖像領域的應用［J］.北京服裝學院學報（自然科學版），2021，41（1）：92-99.

LIN Bijun， GENG Zengmin， HONG Ying， et al. Application of convolutional neural network in textile and clothing image field ［J］. Journal of Beijing Institute of Fashion Technology（Natural Science Edition）， 2021， 41（1）： 92-99.

［4］SHELHAMER E， LONG J，DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）：640-651.

［5］HUANG X， BELONGIE S. Arbitrary style transfer in real-time with adaptive instance normalization［C］.International Conference on Computer Vision， Venice， Italy. IEEE， 2017：1501-1510.

［6］KIM M， SHIN J， ROH M C，et al.Uncorrelated feature encoding for faster image style transfer［J］. Neural Networks， 2021， 140： 148-157.

［7］ZHU J Y， PARK T， ISOLA P，et al.

Unpaired image-to-image translation using cycle-consistent adversarial networks［C］//International Conference on Computer Vision （ICCV）. OVenice， Italy. IEEE， 2017.ICCV.2017.244.

［8］王婷，李航，胡智.一種VGGNet的圖像風格遷移算法設計與實現［J］.計算機應用與軟件，2019，36（11）：224-228.

WANG Ting， LI Hang， HU Zhi. Design and implementation of image style migration algorithm based on VGGNet［J］. Computer Applications and Software， 2019， 36（11）：224-228.

［9］EFROS A A，FREEMAN W T. Image quilting for texture synthesis and transfer［C］// Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York， USA： ACM， 2001：341-346.

［10］王楊，郁振鑫，盧嘉，等.多區域差異化的圖像風格遷移算法［J］.計算機工程與應用，2021，57（12）：211-215.

WANG Yang， YU Zhenxin， LU Jia， et al. Multi-region differential image style transfer algorithm［J］. Computer Engineering and Applications， 2021， 57（12）： 211-215.

［11］CHONG Y W，PENG C W，ZHANG J J， et al. Style transfer for unsupervised domain adaptive person re-identification［J］. Neurocomputing，2021， 422 ： 314-321.

［12］LI J Y，WANG Q，CHEN H， et al. A review on neural style transfer［J］. Journal of Physics ： Conference Series， 2020，1651 （1）：21-23.

［13］沈瑜，楊倩，苑玉彬，等.目標邊緣清晰化的圖像風格遷移［J］.激光與光電子學進展，2021，58（12）：241-253.

SHEN Yu， YANG Qian，YUAN Yubin，et al. Image style transfer with clear target edges［J］. Laser amp; Optoelectronics Progress， 2021， 58（12）：241-253.

［14］譚永前，曾凡菊，吳位巍，等.基于非線性濾波和邊緣檢測的紋理傳輸圖像風格化處理［J］.激光與光電子學進展，2018，55（6）：185-190.

TAN Yongqian， ZENG Fanju， WU Weiwei， et al. Texture transmission image stylized processing based on non-linear filtering and edge detection［J］. Laser amp; Optoelectronics Progress，2018，55（6）：185-190.

［15］魏雨，黃玉蕾.Kirsch聯合高低雙閾值的RGB圖像邊緣檢測算法［J］.計算機測量與控制，2023，31（3）：95-101.

WEI Yu， HUANG Yulei. RGB image edge detection based on kirsch combined with high and low double thresholds［J］. Computer Measurement amp; Control， 2023， 31（3）：95-101.

［16］阮子行，黃勇，王夢，等.基于遷移學習番茄品質分級的研究應用［J］.包裝與食品機械，2023，41（2）：41-47.

RUAN Zixing， HUANG Yong， WANG Meng， et al. Research and application of tomato quality grading based on transfer learning［J］. Packaging and Food Machinery， 2023， 41（2）：41-47.

［17］王希雅，王奔.基于注意力機制的輕量級水下圖像風格遷移方法［J］.杭州師范大學學報（自然科學版），2023，22（4）：381-388.

WANG Xiya， WANG Ben. Research on lightweight underwater image style transfer method based on relationship-aware attention mechanism ［J］. Journal of Hangzhou Normal University： Natural Science Edition， 2023，22 （4）： 381-388.

［18］譚永前，曾凡菊.基于拉普拉斯算子和顏色保留的神經風格遷移算法［J］.計算機應用，2022，42（10）：3209-3216.

TAN Yongqian， ZENG Fanju. Neural style transfer algorithm based on Laplacian operator and color retention ［J］. journal of Computer Applications， 2022， 42（10）：3209-3216.

［19］HAMEED K， CHAI D， RASSAU A .Score-based mask edge improvement of Mask-RCNN for segmentation of fruit and vegetables［J］.Expert Systems with Applications， 2022， 190：116-205.

［20］RISSER E，WILMOT P，BARNES C.Stable and controllable neural texture synthesis and style transfer using histogram losses［J］. Computer Science， 2017， 1701 （1） ：88-93.

［21］GE Y， ZHANG R， WANG X，et al. DeepFashion2： A versatile bechmark for detection， pose estimation， segmentation and Re-Identification of clothing images［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE， 2019.

［22］XYDEAS C S， PETROVIC V. Objective image fusion per-formance measure［J］. Electronics Letters， 2000， 36（4）： 308.

［23］ZHENG C， CHAM T J， CAI J， The spatially-correlative loss for various image translation tasks［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， TN， USA. IEEE， 2021： 16402-16412.

［24］陳佳，董學良，梁金星，等.基于注意力機制的CycleGAN服裝局部風格遷移研究［J］.計算機工程，2021，47（11）：305-312.

CHEN Jia，DONG Xueliang，LIANG Jinxing，et al. Research on the local style transfer of clothing images by CycleGAN based on attention mechanism［J］. Computer Engineering，2021，47（11）：305-312.

［25］劉哲良，朱瑋，袁梓洋.結合全卷積網絡與CycleGAN的圖像實例風格遷移［J］.中國圖象圖形學報，2019，24（8）：1283-1291.

LIU Zheliang，ZHU Wei，YUAN Ziyang. Image instance style transfer combined with fully convolutional network and cycleGAN ［J］. Journal of Image and Graphics， 2019，24（8）：1283-1291.

［26］王偉珍，張功.基于CycleGAN的服裝圖像混搭風格遷移［J］.現代紡織技術，2023，31（4）：250-258.

WANG Weizhen， ZHANG Gong. Mix and match style transfer for the images of clothes with CycleGAN［J］. Advanced Textile Technology，2023，31（4）：250-258.

Clothing pattern style transfer based on edge enhancement and association loss

CHEN Yuqi， XUE Tao， LIU Junhua

（School of Computer Science， Xi'an Polytechnic University， Xi'an 710600， China）

Abstract： "With the continuous upgrading and iteration of image processing and deep mining technologies， and their continuous application in people's daily work and life， many scholars have also deepened their research on images.

Clothing design is an important field of image application， and the pattern style of clothing can to some extent affect customer satisfaction with clothing. The transfer of clothing pattern styles can replace corresponding styles of clothing according to individual needs， and it is a product of the development of image processing and greatly caters to the spiritual needs of the public. Style transfer， mainly based on deep learning algorithms， refers to identifying the edges， colors， and textures of the style map， and transferring them to the edited content map， so that the final generated image contains the basic texture features of the style image. The research on clothing patterns mainly focuses on changing styles， which is also the focus of research. Integrating numerous different styles into corresponding clothing patterns can make clothing styles more diverse and quickly meet people's needs. The traditional clothing pattern style transfer style is relatively single， mostly consisting of simple texture features， and the image generation effect is not ideal. There are still many difficulties in improving the clarity， quality， and contrast of style and color for image transfer with different styles. Clothing style transfer generally uses convolutional neural networks as the basic algorithm for feature recognition， mainly to extract features from the original image and record them in the feature map. Different features correspond to different feature maps， and then through feature calculation， the transfer process is completed by aligning the style map and content map. However， most existing style transfer algorithms are suitable for image style transfer， and directly applying these methods to clothing style transfer causes unsatisfactory results.

This article proposed a clothing transfer method called EnAdaIN based on edge enhancement and association loss. Firstly， the original edge features of the image were extracted， and then Mask R-CNN was used for semantic segmentation. Then， the content image and style image were added to the improved EnAdaIN model based on spatial association loss. After obtaining the style transfer pattern， the extracted edge features and semantic style image were fused. Finally， the pattern style of the clothing was transferred. The spatial association loss algorithm that combines content loss algorithm and style loss algorithm can further improve the feature similarity and detail display of images. The experiment shows that the peak signal-to-noise ratio of the model in this article has improved by more than 0.95 percentage points compared to other models， the structural similarity has improved by more than 2.43 percentage points， and the transfer efficiency of the model has improved by more than 3.53 percentage points. The generated image information has richer colors and more obvious features， further improving the contrast and quality of the image.

Keywords： AdaIN; associated loss; style transfer; clothing pattern transfer