基于草圖的兼容性服裝生成方法

曹曉璐，盧富男，朱翔，翁立波，盧書芳，高飛

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

近年來，越來越多的客戶在尋找更加多樣化的專屬定制，尤其是服裝定制.服裝定制的關鍵技術是根據用戶提供的草圖輪廓、面料圖案等設計元素合成相應的服裝形象.現有的服裝繪圖軟件通常要求使用者具備一定的專業經驗，而且繪圖過程也非常耗時，新手用戶使用通用軟件設計服裝十分困難.因此，設計一個用戶友好的交互工具來滿足用戶的需求，同時減輕他們的工作量具有重要意義.

自生成對抗網絡[1]提出以來，圖像生成的研究取得重大進步，不僅可以從隨機噪聲生成人臉、汽車、風景等高質量的逼真圖像[2-4]，還在圖像到圖像翻譯的研究上取得顯著的成果[5-6].目前在時尚領域已經有許多相關的應用，如虛擬試妝、虛擬試衣、時尚搭配、時裝生成等.Zhao等[7]設計一個基于Pix2Pix的在線服裝設計系統，在第1階段輸入服裝關鍵點，生成一個中間態的補償；在第2階段結合草圖生成一個粗糙的服裝設計圖像.該方法的缺點在于用戶并不能控制設計圖的風格，而且還要對生成的設計圖進一步修改完善.Yu等[8]提出一種基于用戶風格偏好的生成對抗網絡(generative adversarial nets, GAN）模型，考慮到服裝兼容性，輸入用戶查詢上衣（下裝）來生成符合用戶品味的下裝（上衣），但是用戶不能控制生成服裝的種類和細節.Han等[9]提出從設計稿到真實時尚單品的翻譯網絡(design draft to real fashion item translation network, R2Dnet），將具備豐富紋理與顏色信息的設計圖合成為真實的服裝圖像，有效解決未對齊的設計圖和真實服裝之間的翻譯問題,但是繪制精細的服裝設計圖需要一定的繪畫基礎，該方法對普通用戶并不友好.

當前缺少一種既考慮服裝兼容性，又考慮生成服裝的風格和細節，且便于普通用戶使用的方法，因此本研究提出一項新的時尚任務：兼容性服裝圖像生成.同時輸入參考服裝圖和用戶繪制的草圖，參考服裝用于控制生成服裝的風格，草圖用于控制生成服裝的大致形狀，并且便于普通用戶操作.采用多級特征融合的方法，使得生成的服裝圖像與參考圖像更兼容，細節也更豐富.這項生成任務可以輔助服裝設計師的工作，具有較強的應用價值.

本研究主要內容如下：1）提出了一種新穎的服裝生成方法，用戶可同時輸入草圖與參考服裝圖像.模型基于草圖內容生成與參考服裝風格兼容的服裝圖像是現有研究未涉及的內容，具有較強的應用價值.2）構建了新的服裝生成網絡，包含草圖編碼器、參考服裝編碼器和1個解碼器，在解碼器與草圖編碼器之間采用了跳躍鏈接，以更好地保留草圖特征，提高生成服裝的質量.3）設計了真實性判別，使生成的服裝圖像趨于逼真.4）設計了兼容性判別器，使生成的服裝圖像與參考服裝的風格兼容.5）將本研究方法與其他服裝生成方法進行對比，本研究的定量指標和生成圖像的質量均表現突出，驗證了所提方法的有效性.

1 理論基礎

1.1 圖像翻譯方法

經典的圖像翻譯方法將圖像翻譯至對稱圖像域中，對稱指的是翻譯前后的圖像結構保持一致，是轉換圖像的表征形式.Isola等[3]首先提出有監督的基于條件GAN的圖像到圖像轉換方法Pix2Pix，把U-Net網絡和PatchGAN作為生成器和判別器，使用對抗損失和L1損失來訓練網絡，可以實現語義圖-圖像、衛星地圖-平面地圖等對稱圖像之間的翻譯.Wang等[10]在Pix2Pix的基礎上，進一步提出Pix2PixHD，利用多尺度生成器、多尺度判別器以及新的特征匹配損失函數來生成高清圖像.常佳等[11]針對圖像翻譯中生成圖像的輪廓、紋理等特征丟失問題，通過增加反卷積跳躍連接的次數，在一定程度上增強特征的表達能力.為了突破數據集的局限性，CycleGAN[5]、DiscoGAN[12]和StarGAN[13]等方法被相繼提出，利用循環一致性損失，實現非對稱圖像之間的翻譯.當源域和目標域之間存在顯著空間變化時，上述方法會導致內容失真，因此XU等[14]提出最大空間擾動一致性(maximum spatial perturbation consistency, MSPC)，強制空間擾動函數T和平移算子G，以對齊各種復雜的空間變化.這類方法的生成圖像風格受限于訓練數據并且不可控制，因此應用范圍較為有限.

另一類研究著眼于生成圖像的風格和多樣性問題.Liu等[15]在基于草圖的藝術風格翻譯中，引入雙遮罩機制,根據素描直接塑造特征圖以保證草圖內容，并且設計功能圖轉換，保證與參考圖像的風格一致.為了實現生成圖像的多樣性以及生成對抗網絡在多個域上的可擴展性.Choi等[16]在StarGAN的基礎上提出StarGANv2，包含映射網絡和樣式編碼器.映射網絡學習將隨機高斯噪聲轉換為風格代碼.從給定的參考圖像中，編碼器則學習提取風格代碼，可以把一張圖像翻譯為不同的風格，也可以翻譯到多個域中.Richardson等[17]提出pSp圖像翻譯框架，把圖像通過編碼器映射到一個擴展的潛在空間中，不要求輸入圖像在StyleGAN域中進行特征表示，可以處理各種任務.Zhang等[18]提出基于示例的圖像翻譯方法Cocos-Net，該方法以包含風格的示例作為顏色及紋理的指導.在非對稱的翻譯中，利用跨域對齊網絡在中間域上找到輸入圖像和示例的匹配關系，再利用多層卷積和扭曲的示例圖像逐步生成高質量的目標域圖像.Zhou等[19]提出CoCosNetv2，通過門控循環單元(gated recurrent unit, GRU)輔助的Patch Match方法生成高分辨率圖像.這些方法并不適用于處理具有較大跨域結構變化的兼容性圖像生成任務.

1.2 時尚兼容性研究

研究人員[20-25]探索各種方式來對時尚服裝之間的兼容性建模.Vasileva等[20]提出學習類型感知嵌入以進行兼容性預測.Han等[21]將一整套服裝視為一個有序序列，訓練一個雙向LSTM模型，以在前一件服裝的基礎上，順序預測下一件服裝.Lin等[25]提出一種基于類別且只依賴于項目類別的注意選擇機制，該機制能夠進行可伸縮的索引和搜索套裝中缺失的服飾，并提出一個新的裝備排名損失函數，提高兼容性預測和檢索的準確性.上述的研究工作都集中于對已存在的時尚服裝項目之間的兼容性關系進行建模.Yu等[8]從歷史數據（如購買記錄）中獲取的特征向量來表示用戶偏好，生成基于用戶偏好的個性化服裝設計，該方法是從歷史數據來表示用戶個性化的操作，具備高復雜性和弱時效性.Liu等[26]提出相容矩陣正則化生成對抗網絡(compatibility matrix regularized gan, CMR-GAN)，對于用戶提供的描述條件做兼容性服裝的推薦.與傳統的推薦系統不同，CMRGAN進行基于多模態嵌入和兼容性學習的時尚生成研究.從給定輸入的服裝圖像生成兼容服裝，而不是在候選集合中檢索兼容服裝圖像.在訓練過程中，不僅需要輸入與對應服裝兼容的服裝圖像，還要輸入與之不兼容的服裝圖像，訓練成本較高.DONG等[27]提出兼容性穿搭框架TryonCM2，采用雙向長短期記憶網絡(LSTM)來捕捉試穿外觀中的上下文結構，將時尚單品交互中的時尚兼容性與試穿外觀相結合，作為最終的兼容性穿搭.LSTM的計算量較大，不易于訓練，在本研究提出的兼容性服裝生成任務中，只需要考慮與參考服裝之間的兼容性而不需要考慮時尚單品序列組合.

2 研究方法

本研究提出的兼容性服裝生成任務是指在給定參考服裝Ir和用戶繪制的草圖Is的情況下，生 成與草圖一致、與參考服裝兼容的服裝圖像If.需要滿足3個要求：1）真實性.生成服裝在視覺效果上逼真；2）一致性.生成服裝的形狀和細節應當忠于草圖的描述；3)兼容性.生成服裝應當與輸入的參考服裝互相兼容.真實性保證所生成圖像帶給用戶的參考價值；一致性則保證用戶對生成圖像輪廓需求的滿足，應盡量的接近草圖所涵蓋的視覺輪廓需求; 兼容性不僅滿足用戶對生成服裝風格的需求，也使得生成服裝與參考服裝形成較為和諧的視覺搭配效果，更具有應用價值.所提方法分別使用真實性判別器、條件跳躍連接 (conditional skip connection，CSC)[28]模塊和兼容性判別器來滿足這3個要求.

如圖1所示，所提框架包括3個模塊：生成器模塊、真實性判別器和兼容性判別器.生成器模塊 包括編碼器Ec和Es、解碼器D.由真實服裝圖像Igt得到對應的草圖后，輸入編碼器Ec來提取草圖的多尺度特征，Es則接受參考服裝來提取參考圖像的高級風格特征，利用解碼器結合2個編碼器的編碼結果，合成所需的服裝圖像.真實性判別器Dc從全局角度判斷輸入服裝是生成器合成的還是真實的，負責引導生成器生成逼真的服裝圖像.兼容性判別器Ds是在判斷參考服裝和生成服裝之間的兼容程度，引導生成結果與參考服裝兼容.訓練過程由6個損失函數引導，分別為圖像重建損失Lrec、感知損失Lperc、風格損失Lstyle、邊緣損失Ledge以及真實性判別器損失Ladv和兼容性判別器 損失Lcom.

圖1 基于草圖的兼容性服裝生成網絡架構圖Fig.1 Framework of sketch-based compatible clothing image generation network

2.1 生成器模塊

如圖2所示，在生成器模塊中，本研究采用經典的編碼器-解碼器的網絡體系結構來合成服裝圖像，具體生成細節如下.

圖2 生成器網絡架構Fig.2 Network architecture of generator

在編碼器Es中，輸入參考圖像經過多個卷積層進行特征下采樣，直到壓縮為一個高級圖像特征表示特征的尺寸是通道數為512，高和寬均為1.編碼器Ec也同樣經過多個卷積層提取多尺度的草圖特征.在解碼器中，輸入編碼器Es提取的高級圖像特征并不斷結合編碼器Ec提取的多尺度草圖特征，通過連續的上采樣來合成服裝圖像.

與合成隨機內容相比，草圖引導的服裝圖像合成給生成器帶來額外的挑戰.精細的局部形狀信息會隨著編碼器網絡深度的增加而褪化，從而導致生成器產生模糊或變形的結果.在某些極端情況下，生成的內容甚至可能會完全丟失草圖中的細節信息，如服裝上的圖案形狀，導致生成的服裝與用戶的草圖不完全匹配.為了確保合成的服裝圖像與草圖保持一致，強化草圖特征在網絡中的傳播，本研究引入CSC模塊.將草圖作為約束條件參與每個解碼過程，強化草圖的邊緣與細節信息，可以有效地幫助生成器“記住”預期形狀的信息，達到合成服裝和草圖樣式完全匹配的目的.CSC模塊融合殘差網絡和U-Net的優點，包含短跳躍連接和長跳躍連接.短跳躍連接解決了梯度消失的問題，增加網絡深度，提升模型性能.來自Es中的長跳躍連接加強對應的網絡層間的特征傳播，提高各個尺度草圖特征的可重用性，有效地提高邊緣與細節的一致性.

如圖2所示，將編碼器Ec對應的第i層特征eci跳躍連接至解碼器，與解碼器的第i個卷積層的輸出特征di一同輸入到CSC模塊，獲 得 第i+1層特征表示為di+1.在CSC模 塊 中，先將di和eci在 通道上級聯，然后依次通過3個卷積核尺寸1*1、3*3、1*1的卷積層，以獲得維度與di相 同 的 新 特 征，最后殘差連接把新特征和di相加，獲得最終輸出di+1，具體定義為

式中：f(·)為特征向量在通道維度上的級聯運算，C1為 1 *1卷 積 聯 合 批 量 歸 一 化(batch normalization)和 ReLU激活函數，C3為 3 *3卷積.

2.2 判別器模塊

此前研究[29]表明，使用多個判別器可以減輕GAN訓練中的模型崩潰問題.本研究的任務需要同時滿足真實性和兼容性的要求.基于以上觀察，設計了2個判別器：真實性判別器(Dadv)和兼容性判別器(Dcom).

Dadv負責生成圖像的視覺質量，確保每張生成的圖像趨近真實的圖像.具體結構如圖3(a)所示，Dadv由多個卷積層組成，以真實服裝或生成服裝作為 輸入，最后輸出真實性得分Sf或Sgt.Dadv的目標函數為

Dcom負責鑒別生成的服裝圖像和參考圖像之間是否具備高度兼容性.Dcom對用戶參考圖像的風格進行評估，指導生成器的訓練，使得生成器所合成的服裝圖像與參考圖像兼容.如圖3(b)所示，Dcom由F和M這2個部分組成，F是一個5層卷積網絡，M是一個由自適應平均池化和Sigmoid激活函數組成的度量網絡.F以上下裝組合為輸入，經過5層卷積網絡后轉換為一維潛在表示：

圖3 判別器網絡架構Fig.3 Network architecture of discriminators

式中：zo為參考服裝和生成服裝整體的潛在空間表示，將它輸入到M中，獲取最終的兼容性得分;

同理，得到參考圖像和真實服裝圖像的兼容性得 分 為Sr,gt.通 過 優 化 生 成 網 絡G和 兼 容 性 判 別 器Dcom，來實現Sr,f≈Sr,gt的目標.Dcom的目標函數為：

2.3 損失函數

優化真實性判別器的損失函數使得生成的服裝看起來更加的真實，對于時尚服裝合成的任務來說，還希望生成的服裝和真實服裝盡可能的一致.L1損失也稱為最小絕對值誤差，是目標值與估計值絕對差值的總和，L2損失也稱為最小平方誤差，是目標值與估計值差值的平方和.文獻[3]表明，對于GAN的訓練，比起L2損失，使用L1損失能減少模糊的生成結果，因此，本研究使用L1損失來計算生成的服裝和真實服裝之間的圖像重建損失：

式中：‖·‖1為L1損失.

引入感知損失和風格損失[1].使用預先訓練好的VGG16[30]分別計算生成服裝和真實服裝的激活特征圖，然后計算兩者之間的L1距離.感知損失表示為

式中：φi為預先訓練完成的VGG16的第i層的特征圖.

通過優化感知損失函數，生成服裝圖像和真實服裝圖像可以在特征空間上保持一致性.風格損失有助于生成服裝在顏色、紋理等特征上與真實服裝保持一致.風格損失計算激活特征圖之間的統計誤差為

為了保證生成圖像與草圖之間的一致性，引入邊緣損失以最小化生成服裝圖像和真實服裝圖像的邊緣信息距離：

式中：H ED(·)為與訓練的邊緣圖提取網絡[31].模型的整體損失函數如下所示:

式中：λ1、 λ2、 λ3、 λ4和 λ5分 別為損失對應的權重.

3 實驗與結果

3.1 實驗設置

3.1.1 數據集 FashionVC數據集是由Song等[32]在Polyvore網站上，收集時尚專家創建的成對服裝構建而成，包含14871件上衣和13663件下褲，混合搭配獲得20726套成對服裝.其中2000套服裝作為測試數據集，其余為訓練數據，圖像的分辨率為128×128.服裝草圖使用Canny邊緣檢測算法[33]獲得，檢測得到的草圖內部線條有些凌亂.考慮到這個方法面向的是普通用戶，而不是專業的服裝設計師，因此這些在可以接受的范圍內.

3.1.2 實驗細節 實驗的硬件配置為一塊NVIDIA GTX 2080Ti顯卡，軟件配置為Ubuntu18.04系統、Pytorch深度學習框架.生成器和判別器均使用Adam優化器[34]進行優化，學習率設為0.0002，損失 函 數 的 權 重 參 數 λ1、λ2、λ3、λ4和λ5分 別 設 置 為1.0、100.0、0.5、1000.0和10.0，批處理大小為16，訓練為200個周期.本實驗所對比的其他方法在相同環境和數據集上訓練，訓練參數與原方法公布的參數相同.

3.1.3 評估指標 實驗選擇3個指標用于評估所提出的方法，分別是輸入延遲(fréchet inception distance, FID)[35]、Inception指標(inception score,IS)[36]和結構相似性指標(structural similarity index,SSIM Index)[37].FID用于測量生成圖像的深度特征分布與真實圖像的深度特征分布之間的偏差，使用Inception-V3網絡[38]提取2048 d特征，然后計算統計距離來評估生成模型.FID值越小代表2個圖像分布越接近.IS是基于生成圖像的分類分布和每個類的平均概率之間的KL散度來定義的，用來衡量生成圖像質量和多樣性.KL散度是2個分布之間距離的度量，KL散度越大，即IS值越大，生成模型的效果越好.SSIM結構相似性也是一種全參考的圖像質量評價指標，它分別從亮度、對比度和結構3個方面度量2幅圖像的相似性.SSIM值越大越好，最大達到1.0.

3.2 實驗分析

為了驗證本研究方法的有效性，與傳統圖像翻譯方法Pix2Pix[3]、CycleGAN[5]和DiscoGAN[12]，基于示例的圖像翻譯方法CocosNet[18]和Cocos-Net v2[19]，服裝圖像翻譯方法Anime2Clothing[39]進行定量比較.為了保證對比實驗的公平，對于Pix2Pix、CycleGAN、DiscoGAN和Anime2Clothing的輸入為參考服裝和草稿圖像級聯.

定量實驗：表1中加粗字體為每列最優值.從表1可以看出，在FID、IS這2項測試中，本研究方法的性能優于其他所有方法，這說明所提方法很好地確保了生成服裝的真實性和多樣性.在SSIM指標中，本研究方法并不是最優結果，但是與最優結果Pix2Pix非常接近.實驗結果表明本研究方法圖像在整體感知上，更接近實際的真實圖像.

表1 不同方法生成圖像的3個指標之間的對比Tab.1 Comparison of three indicators of generated images of different methods

消融實驗:為了驗證CSC模塊的有效性，使用簡單的跳躍連接來代替CSC，在相同的條件下進行實驗，結果如表1中倒數第2行所示，可以看出CSC提升了網絡在3個指標上的表現，尤其是SSIM，原因在于草圖中的結構特征在網絡傳播過程中得到了強化.

主觀評價:為了驗證生成服裝圖像的真實性和兼容性，進行人工評估實驗.隨機選擇8組結果，每組包含來自7種方法的結果.150名實驗參與者被要求從中分別選擇真實性和兼容性最佳的3組結果.評價結果如表2所示，使用百分比來表示用戶的選擇率，本研究的結果獲得了最多的用戶選擇，表明圖像真實性更高，與參考服裝的兼容性效果更好.

表2 圖像真實性與兼容性的主觀評估實驗結果Tab.2 User study on authenticity and compatibility

定性實驗1:圖4顯示各個方法的定性實驗結果.從2、3、5行可以看出，對于紋理簡單和顏色單一的服裝，所提方法和其他方法生成的視覺結果相當.從4、7、8行可以看出，對于草圖較復雜的服裝而言，所提方法比其它方法的紋理和細節更真實.在服裝的外形上，所提方法比CycleGAN和DiscoGAN更貼近草圖.在服裝細節上，所提方法比其他方法的視覺偽影更少, 原因在于草圖編碼特征與生成器之間的條件跳躍連接使得草圖的紋理細節被較好地保留了下來.與此同時，生成圖像與相應的真實服裝在整體上更加的相似，與參考服裝在視覺風格上也更加兼容.由于在生成器中逐步的上采樣過程使得生成的圖像可以平緩的增長分辨率，保證了最終圖像的質量，使得與真實圖像十分接近.生成器是在從參考圖像提取高級特征的基礎上進行生成的，很好地繼承了參考圖像的風格特征，而且單獨應用了一個兼容性判別器，保證了更好的兼容效果.

圖4 同一輸入下的不同方法生成圖像的對比結果Fig.4 Comparison results of images generated by different methods under same input

定性實驗2:本研究可以根據用戶需求合成多樣化的服裝，通過改變草圖或參考服裝，控制生成服裝的外形和風格.如圖5所示，每個模塊中左側是固定的草圖，第1行是輸入服裝，第2行是對應的輸出服裝.如圖6所示，每個模塊中左側是固定的服裝，第1行是輸入草圖，第2行是對應的輸出服裝.從圖5和圖6的結果可以看出，本研究可以從服裝中學習到兼容信息，并根據兼容信息生成多樣化的逼真服裝圖像.

圖5 輸入同一張草圖與不同的參考服裝所生成的服裝圖像對比Fig.5 Generated image comparison results when inputting same sketch with different reference garments

4 結語

以草圖和參考服裝圖像作為輸入，采用雙編碼器分別提取風格特征和內容特征.對于特征解碼在解碼過程中，使用條件跳躍連接把草圖作為約束，強化邊緣和細節信息，以保證生成圖像忠于草圖.采用真實性判別器和兼容性判別器，提高生成圖像的質量，使得生成圖像與參考圖像兼容.

定量實驗結果表明，在一定程度上，所提模型提高了圖像生成質量；定性實驗結果表明，所提方法生成圖像更符合草圖描述，而且可以生成多樣化的結果.本研究實現了從草圖到服裝圖像的翻譯，但是生成的服裝仍然遭受缺少紋理細節的困擾，今后的研究重點是開發補償更多紋理細節的模型.