基于生成對抗網絡的服裝草圖轉換研究

中圖分類號：TP391.4；TP18 文獻標識碼：A 文章編號：2096-4706（2025）08-0061-05

Abstract： The image conversion of clothing sketches has enormous application value in fields such as visual editing， clothingdesign，ndhuman-computerinteraction.Atpresent，mostofthejectsconvertedfromsetchesarerelatielysimple shaps，suchasfaces，humanpostures，animalpostures，shoes，andbags.Theworkbasedosketchconversionisdifultto handle images withcomplex texturestructures，makingitchallnging tosolve thetask ofimageconversionforclothing sketches. To solve this problem，anapplicationresearchonsketch toclothing image conversion is proposed basedontheabove work. Through the reverse generation of clothing simulation sketches using the -Net network model， theconstructionof the clothing sketch datasetiscompleted.Then，theimprovedBicycleGANnetwork isusedfortrainingtoachieve sketchconversion.Finally theexperimentaleffectsbeforeandaftertheimprovementarecompared.Theexperimentshowsthat theimprovedBicycleGAN network modelhassignificantimprovementcomparedtobefore，andwiththeimprovednetwork proposed inthis paper，thetask ofconverting clothing sketches to real clothing images can be effectively completed.

Keywords： image conversion; clothing sketch; Generative Adversarial Networks

0 引言

目前草圖圖像轉換的對象為人臉、人體姿態、動物姿態等較為簡單的線條，但以線條較為復雜的服裝圖像作為圖像轉換對象的應用比較罕見。因此，本文就這個問題展開實驗研究。簡而言之，通過手繪服裝草圖，利用計算機圖像處理生成與之對應的真實服裝圖像，該方法在視覺編輯、服裝設計、人機交互等領域極具應用價值。

早期的關于草圖圖像的研究主要在草圖檢索和草圖識別領域上[1-2]。草圖檢索是指通過草圖找到對應的圖像。草圖識別是指輸入草圖，識別其類別或檢測其中的特定對象。而Isola等人基于條件生成的對抗網絡（ConditionalGANs）則提出了一個統一的框架pix2pix，該框架將能將一種類型的圖片轉換成另一種類型[3]。在他們的實驗中，實現了將鞋子和皮包等草圖轉換成對應真實圖像的功能。然而pix2pix網絡模型最大的缺點就是輸入一張草圖只能輸出一張對應的圖像，生成的結果十分單一，為了增加多樣性，Zhu等人提出BicycleGAN，它可以實現一對多映射的圖像轉換任務，但其圖像轉換任務的對象仍是鞋子和皮包[4]。基于BicycleGAN的思路，本文提出一種研究方案：首先將原BicycleGAN中的訓練圖片替換成線條更加錯綜復雜的服裝真實圖片和其對應的草圖來作為訓練目標，然后對BicycleGAN的生成器進行改進，利用改進后的BicycleGAN訓練模型進行測試，最后通過實驗結果的對比來說明兩個結論，1）改進后的BicycleGAN比原模型有較大的提升。2）以服裝草圖為對象的圖像轉換任務能達到比較好的應用效果。

基于生成對抗網絡的圖像轉換應用需要提供大量的訓練樣本[5]，而現有的圖像數據集不能滿足要求。因此，在現階段數據集缺乏的情況下，本文提出利用邊緣檢測算法[來構建數據集的方法：利用邊緣檢測算法對服裝圖像進行處理，生成對應的服裝模擬草圖，這樣就形成了一一對應的服裝草圖和服裝圖像，可用于配對進行訓練。

1構建服裝數據集

生成對抗網絡需要大量的數據集用于訓練模型，本文提出通過 -Net將真實的服裝圖像逆向生成其對應的服裝模擬草圖，從而構建數據集。

1.1服裝圖像的標準與篩選

標準：1）服裝圖像不能有其他的干擾物，如人物、動物、雜物等，不能與圖像中的服裝一起出現。2）圖像展示的服裝應整潔居中平整，無褶皺。3）圖像背景除服飾外，應為全白色。

篩選：在網絡上通過上述標準搜索在服裝網頁上通過網絡爬蟲的方式抓取數據信息得到2萬多張上衣服裝圖像。

1.2 網絡模型逆向生成服裝模擬草圖

本文采用 -Net邊緣檢測算法來逆向生成一一對應關系的服裝模擬草圖。Qin等人提出的 是一種嵌套的雙層U-Net結構，其特殊的結構使得在檢測圖像邊緣有著很好的識別效果，他可以將一張圖像精準的剝離出其邊緣。因此本文的數據集工作使用 -Net邊緣檢測算法來逆向生成服裝模擬草圖。用之前得到的2萬余張圖像，通過 -Net邊緣檢測算法得到服裝模擬草圖，經過三輪篩選剔除效果不好的，最后得到5000張一一對應的服裝模擬草圖，其生成效果效果如圖1所示，最后將得到的草圖與原圖像進行一一配對，又因BicycleGAN網絡模型的訓練要求，將圖像全部調整為 2 5 6 × 2 5 6 的尺寸，將其中的4500張作為本次實驗的訓練集，500張作為本次實驗的測試集，至此本文的服裝草圖數據集構建完成。

2 實驗模型的介紹

本文的實驗是以BicycleGAN網絡模型為基礎，在其生成器上做了改進，在其原本的生成器U-Net網絡結構上添加了自注意力機制的模塊，使其生成的圖像比原模型更加清晰。

2.1 BicycleGAN模型

以草圖生成真實圖像為例，圖像轉換任務大多都是一對一的映射，這樣缺乏多樣性的圖像轉換顯然無法滿足實際應用的需求。在這樣的背景下，Zhu等人提出BicycleGAN網絡模型，其網絡結構如圖2所示。

圖（a）表示cVAE-GAN模型，它從前一個真實圖像b開始，它將編碼到潛層空間。生成器隨后將輸入圖像A和采樣的 z （這個 z 是從編碼結果中采樣的，而不是噪聲正態分布中采樣的）映射回原始圖像 b 。圖（b）表示cLR-GAN模型，它隨機地從一個已知分布中采樣潛層編碼 z ，并將它和輸入圖像 A 一起映射到輸出圖像 B ，隨后從輸出中采樣潛層編碼。

在圖像轉換領域中，BicycleGAN最大的特點就是實現了圖像轉換之間的多映射任務，輸入一張草圖，可以輸出基于輸入的多張結果圖像。

2.2自注意力機制模塊

注意力機制模塊在生成對抗網絡中的應用日益廣泛[8]，其主要的作用在于可以增強局部圖像的處理能力，通過特殊的結構，使圖像在被處理時，可以聚焦于人們想關注的信息，而忽略人們不想關注的信息，在提高圖像處理效率的同時，也極大地提升了圖像處理重點信息的能力。而自注意力機制模塊則是在注意力機制模塊的基礎上發展而來[]，相比注意力機制模塊，自注意力機制模塊可以加強內部的聯系，忽略更多的外部信息，同時加強對重點內部信息的處理。

AttentionU-Net[網絡結構就是采用了自注意力機制模塊，其核心部分的自注意力機制模塊被嵌入到作為生成器的U-Net網絡結構中，從而大大提升生成器的圖像處理能力。以本文實驗為例，它可以提升處理服裝線條和紋理的效率和能力，忽略不重要的信息例如圖像的噪聲和圖像的空白區域。

2.3改進后的生成器結構

BicycleGAN的生成器是U-Net網絡結構，本文對BicycleGAN的生成器進行改進，其方案是對原來的U-Net網絡結構插入自注意力機制模塊，使其生成器改進為AttentionU-Net網絡結構。生成器的主要結構如圖3所示。

（ 3 × 3 C o n v ，BN，ReLU）表示用 3 × 3 卷積核對圖像進行處理，再進行批量歸一化的處理，最后使用ReLU激活函數以得到處理后的圖像特征圖。此過程中，步長 s 為1，圖像的填充padding為1。Maxpool表示對圖像進行一次下采樣，使圖像的長和寬都減少一半，大小變成原圖的1/4。AttentionBlock表示自注意力機制模塊。UpSampling， 3 × 3 C o n v 表示對圖像進行反卷積的上采樣，使圖像的長和寬都放大一倍，大小變成原圖像的4倍。 1 × 1 C o n v 表示圖像經過一個 1 × 1 的卷積核，這里的目的主要是改變圖像的通道數，使圖像恢復3個通道以達到輸入圖像保持一致。

3 實驗及結果分析

3.1 實驗設置

本文的實驗條件和環境是依據BicycleGAN網絡模型給出的要求來設置的，在單GPU的服務器上訓

練測試。

本文將服裝上衣作為實驗對象，依據之前的方法構建了服裝上衣數據集，最終獲得了5000對有效的配對圖像。將所有圖像調整為 2 5 6 × 2 5 6 的尺寸，然后選取4500對作為本次實驗的訓練數據集，500對作為測試數據集。

3.2 評價指標

本文主要使用MAE（MeanAbsoluteErrorLoss-平均絕對誤差）、MSE（Mean Squared ErrorLoss-平均均方誤差）和VGG_loss（perceptual loss-感知損失）三種損失函數來評估實驗結果的損失，用SSIM（structuralsimilarity-結構相似性）和PSNR（PeakSignaltoNoiseRatio-峰值信噪比）來評估實驗結果的圖像質量。用FID （Frechet InceptionDistance score）和LPIPS值來評估生成圖片的質量和多樣性，其中較低的FID值意味著圖像生成質量更好，較高的LPIPS值意味著圖像生成的多樣性更高。

3.3實驗結果及對比分析

兩個模型各會隨機生成十張樣式各異的圖像，這里各取三張來說明效果。實驗結果如表1所示。

為了更加客觀的對比BicycleGAN與改進后BicycleGAN的差異，本文通過500張測試集對其結果進行上述指標的檢測，而對于LPIPS值來說，因測試集500張的圖像的數據過大，本文隨機選取了50張進行計算其LPIPS值。實驗結果如表2所示，可以看出改進后BicycleGAN的三項損失結果總體要低于未改進的BicycleGAN，而SSIM和PSNR的指標總體要高于未改進的BicycleGAN。這在一定程度上表明改進后BicycleGAN的轉換圖像丟失的損失更少且生成效果與質量更佳。而在FID值和LPIPS值上，改進后BicycleGAN的FID值要低于未改進的BicycleGAN，改進后BicycleGAN的LPIPS值要高于未改進的BicycleGAN，這在一定程度上表明BicycleGAN轉換圖像的質量更佳且多樣性更豐富。

4結論

目前已有的基于邊緣線條轉換真實圖像的研究中大多是以人臉、動物的臉、人體姿態、動物姿態、包包和鞋子等比較簡單線條的圖案作為對象，因為服裝特性有著巨大的應用價值，本文提出用較為復雜的上衣服裝作為對象進行圖像轉換的任務，并且提出通過邊緣檢測算法 -Net對服裝圖像逆向生成模擬草圖的方法來構建數據集，模擬草圖具有線條清晰、擬合原圖、清晰度高的特點。實驗表明：1）改進后的BicycleGAN網絡模型比原模型在圖像清晰度、多樣性上都有比較大的提升；2）對服裝數據集進行訓練測試可達到可視性比較好的效果，雖然服裝草圖線條較簡單的草圖更復雜一些，但是服裝草圖到真實服裝圖像轉換仍有可實現性，并且有比較好的清晰度和多樣性，可達到應用水平。3）采用 -Net邊緣檢測算法生成模擬草圖數據的方法有望在數據集擴充、幼兒教育、服裝設計、藝術創造等方面產生更多的應用。

參考文獻：

[1]陳健.基于手繪草圖的圖像檢索研究[D].杭州：浙江工業大學，2020.

[2]楊金凱，王國中，范濤.基于神經網絡的手繪草圖的識別與匹配[J].智能計算機與應用，2021，11（6）：148-152.

[3] ISOLAP，ZHUJY，ZHOU T，et al. Image-to-ImageTranslation with Conditional Adversarial Networks[C]//2017IEEEConference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：1125-1134.

[4]ZHUJY，ZHANGR，PATHAKD，etal.TowardMultimodal Image-to-Image Translation[J].Advancesin NeuralInformation Processing Systems，2017，30：465-476.

[5]李林，王家華，周晨陽，等.標檢測數據集研究綜述[J].數據與計算發展前沿：中英文，2024，6（2）：177-193.

[6]李翠錦，瞿中.基于深度學習的圖像邊緣檢測算法綜述[J].計算機應用，2020，40（11）：3280-3288.

[7] QIN X，ZHANG Z，HUANG C，et al. U2-Net： GoingDeeperwith Nested U-Structure for Salient ObjectDetection [J/OL].Pattern Recognition，2020，106：107404[2024-09-03].https：//doi.org/10.1016/j.patcog.2020.107404.

[8]任歡，王旭光.注意力機制綜述[J].計算機應用，2021，41（S1）：1-6.