FP-VTON：基于注意力機制的特征保持虛擬試衣網絡

譚澤霖，白 靜，2，陳 冉，張少敏，秦飛巍

1.北方民族大學 計算機科學與工程學院，銀川 750021

2.國家民委圖像圖形智能處理實驗室，銀川 750021

3.杭州電子科技大學 計算機學院，杭州 310018

當今社會，網絡和快遞業高速發展，越來越多的消費者開始在網上購買服裝，尤其是在疫情期間，在線購買服裝更加成為一種主流。與傳統購衣相比，網上購衣在時間、價格等方面都有著巨大的優勢；但是另一方面，網店無法像實體店一樣提供良好的試衣服務。在這樣的情況下，虛擬試衣技術應運而生，它利用特定算法“將目標衣服穿著在模特身上”，為消費者提供逼真的試穿效果和良好的購物體驗，有效降低退換貨給銷售商和消費者帶來的時間、經濟成本。

傳統的虛擬試衣基于計算圖形學，首先利用深度攝像機[1]或者基于圖像的三維建模算法[2]建立消費者的三維測量數據，然后通過三維建模和虛擬仿真技術完成“試衣”，并渲染出最終的試穿圖像。由于建立了三維模型，這種方法可以很好地處理幾何變換與物理上的約束問題，提供相對真實的試穿效果。但是在三維模型建立的過程中往往需要大量的手工標注或者額外的硬件設備，這不僅增加了虛擬試衣的經濟成本和時間成本，同時也使得這類方法難以適應服裝產品的更新速度，嚴重制約了其應用前景。

隨著深度學習技術在數字圖像處理領域的飛速發展，基于二維圖像的虛擬試衣技術作為一種更加簡單經濟的方案，受到越來越多的關注。這類算法將虛擬試衣問題轉換為圖像的條件生成任務，在不提供任何三維信息的情況下，僅僅利用目標服裝和模特的二維圖像，生成最終的試衣結果。其中，開山之作VITON[3]采用由粗到細的網絡實現了基于圖像的虛擬試衣；CP-VTON[4]則以VITON為基礎，提出了可學習的幾何匹配模板和掩碼最大化損失，進一步提升了虛擬試衣結果對細節的保持能力。還有部分算法引入生成對抗網絡完成虛擬試衣，如GarmentGAN[5]和VTON-GAN[6]，它們較好地解決了手臂等對衣服的遮擋問題，但是在服裝的細節保持方面仍然不夠理想。

圖1以細節保持能力突出且開放了源碼的CPVTON為例，展示了現有算法在一些特殊情況下的試衣效果。可以看到：如圖1結果1，當目標服裝較為復雜，包含細節圖案時，CP-VTON輸出結果往往會產生模糊或變形，即，難以充分捕捉目標服裝的細節特征；如圖1結果2，當目標服裝包含條紋等全局特征，而模特存在大姿態動作時，CP-VTON輸出結果中的目標服裝往往會產生較大的變形，即無法保留服裝的全局紋理特征；如圖1結果3，當模特體型偏胖，無法與目標服裝直接對齊時，CP-VTON的輸出結果往往會一定程度地抑制模特體型特征，即無法完整地保留模特的身體特征。

圖1 FP-VTON與CP-VTON的試衣結果對比Fig.1 Visual comparison of synthesized images by CP-VTON and FP-VTON

仔細分析會發現，這是由于在虛擬試衣中人體模特是非剛性模型，穿著的過程也是一個非剛性變換。而傳統的卷積神經網絡受到卷積核大小和矩形感受野的限制，難以適應非剛性物體的大尺寸變形[7]，因此當前所提出的這些基于深度學習的虛擬試衣網絡往往無法在大變形的情況下充分保留人體模特和目標服裝的全局屬性特征（紋理特征和形狀特征）和局部細節特征。為克服以上問題，需引入非局部操作，充分捕捉并保留目標服裝變形前后的顯著特征，確保虛擬試衣結果的合理性和真實性。為此，本文以CP-VTON網絡框架為基礎，提出了一種基于注意力機制的特征保持虛擬試衣網絡FP-VTON（feature preserving virtual try-on network），具體效果如圖1中第四列所示。本文的主要貢獻包括3個方面：

（1）設計了服裝保真損失，并將其應用于服裝變形階段，在確保目標服裝與模特體型匹配的前提下，更好地保留了目標服裝的全局屬性特征。

（2）在人體特征表示、服裝表示及試穿三個階段分別引入特征注意力FA（feature attention），消除了傳統規則卷積神經網絡無法有效適應非剛性物體變形的問題，進一步增強了網絡對目標服裝全局屬性特征的保持能力，且自動識別并有效保持目標服裝的細節特征及模特的人體特征。

（3）在標準數據集上的定量定性實驗充分說明了本文算法在較小的參數量和訓練時間代價下，在目標服裝及人體特征保持方面獲得了突出性能。

1 相關工作

虛擬試衣隸屬于時尚分析與合成這一領域.近年來，隨著互聯網經濟和人工智能技術的飛速發展，時尚分析與合成相關的任務在實際應用中展現出了巨大潛力，受到了研究者們的廣泛關注。現有研究大多聚焦在服裝相容性和匹配學習[8-9]、時尚分析[10-12]、虛擬試衣[3-6]等，其中虛擬試衣是時尚分析中最具有挑戰性的任務。

1.1 人體解析

人體解析和理解在許多任務中都得到了應用，如行為識別、交通監控等.現有工作可以分為三類：（1）身體部分解析[13]；（2）人體姿勢解析[14-15]，包括2D姿勢、3D姿勢或者身體形狀等；（3）服裝解析[16]。

二維虛擬試衣網絡的輸入包括模特圖像及目標服裝圖像，為了在試衣結果中既體現目標服裝的效果，又保留人物體型和姿勢特征，需在虛擬試衣之前提取人物體型、姿勢等特征作為條件指導虛擬試衣結果的生成。CAGAN[17]中沒有使用人體解析模型，直接使用模特和目標服裝的二維圖像完成虛擬試衣，只能生成粗略的試衣圖像，無法適應細節和幾何變化。VITON[3]和CP-VTON[4]在虛擬試衣中使用了相同的人體解析模型，包括人體姿態表示、身體形狀表示和身份特征表示，在完成虛擬換衣的同時更好地保留了模特的身份信息及身體姿態。本文中，將采用相同的人體解析模型。

1.2 虛擬試衣

整體來看，虛擬試衣可以分為兩類：基于三維人體建模的方法和基于二維圖像的方法.其中基于三維人體建模的方法可以產生更好的效果，但是需要額外的3D測量和大量的計算[1-2，18-20]，本文不做重點介紹。

目前主流的研究集中于二維圖像的方法。2018年，Han等人[3]提出了基于二維圖像的深度學習網絡VITON，將虛擬試衣問題轉換為三個階段：首先利用編碼器解碼器網絡生成初步試衣結果；然后采用上下文匹配計算TPS變換參數，扭曲服裝使其與模特姿態相匹配；最后將扭曲后的衣服與初步試衣結果圖像合成，生成最終結果。該工作利用深度學習解決虛擬試衣問題，構建了適用于虛擬試衣的數據集，且取得了較好的效果；但是，當目標服裝包含復雜細節時，其試穿結果會與目標服裝存在一定差異。此后，Wang等人[4]提出的CP-VTON，設計了幾何匹配模塊實現目標服裝與人體姿態的對齊，通過試穿模塊完成最終的虛擬試穿，顯著改善了虛擬試衣算法對目標服裝的細節保持能力。

生成對抗網絡能夠通過生成器和判別器之間的彼此對抗提高生成圖像的質量，自2014年提出后[21]，在圖像生成和圖像翻譯領域得到了廣泛應用[22-24]。2017年，Jetchev等人[17]將生成對抗網絡引入虛擬試衣中，提出了CAGAN，使用CycleGan[25]的思想實現了簡單的服裝更換功能，但是試衣效果較VITON架構有較大差距。2019年，Honda等人[6]在VITON的基礎上，引入了對抗損失，提出了VTON-GAN，改善了虛擬試衣中的手臂遮擋問題。Xu等人[26]在CAGAN基礎上進行了改進，但是在服裝的細節保持方面較CP-VTON有所減弱。2020年，Raffiee等人[5]提出了一種基于生成對抗技術的網絡框架GarmentGAN，通過形狀傳輸網絡與外觀傳輸網絡，結合分割信息和人體關鍵點信息，改進了生成圖像的真實性與遮擋問題。總體來說，通過引入生成對抗的思想，以上網絡在人體遮擋等方面具有更好的效果；但是另一方面，上述網絡不能很好地保留生成圖像中如商標圖案等一些細節。在這一點上，本文提出的基于注意力機制的特征保持虛擬試衣網絡FP-VTON可以有效地改善這一問題。

2 本文方法

如圖2所示，本文以CP-VTON的網絡框架為基礎，提出了FP-VTON，該網絡分別在人體表示、服裝表示、服裝融合三個階段加入特征注意力FA，充分捕捉人體及目標服裝的顯著特征；在TPS變換后加入網格正則化的服裝保真損失，確保服裝整體紋理特征的不變性。下面將圍繞特征注意力，網絡整體架構兩個部分介紹FP-VTON。

圖2 FP-VTON算法的整體框架Fig.2 Overview of FP-VTON

2.1 特征注意力模塊

為了突破傳統卷積核的空間限制，捕捉人體模型的非剛性特征，實現虛擬試衣非剛性變換中的特征不變性，本文引入本小組先前在圖像翻譯任務中所提出，具有非局部屬性的特征注意力模塊FA[27]。具體地，如圖3所示，輸入特征x，通過以下三步構建其非局部增強特征：

圖3 特征注意力模塊Fig.3 Feature attention（FA）module

步驟1構建非局部顯著因子矩陣F。通過1×1的卷積及全局平均池化，1×1的卷積及全局最大池化分別獲取兩個1×1×c的全局特征，再轉置相乘得到不同特征間的相關矩陣F。該矩陣中第i行的取值反映了通道i的特征和其他通道間特征的相關性，具有非局部屬性，且通過相乘操作進一步突出了顯著特征，本文稱其為非局部顯著因子矩陣。該矩陣具有“突破卷積核大小和矩形感受野的限制，捕捉特征間的長距離依賴關系”的優良特性。

步驟2計算顯著特征ξ(x)。通過1×1的卷積將輸入特征變換到特征空間ξ(x)，再將顯著權重因子作用于變換后特征，可獲得顯著特征ξ(x)。由于顯著因子矩陣F突破了局部感受野的限制，捕捉了特征之間的全局依賴關系，因而，以上的加權操作可捕捉ξ(x)中各點對全局顯著特征的響應。

步驟3通過加權殘差連接構建非局部增強特征o(x)，有o(x)=λξ(x)+x,λ∈[0,1]。顯然，輸出特征o(x)既保留了原始輸入特征的局部特征信息，同時又一定程度地體現了非局部顯著特征，即全局屬性特征。

本文將在虛擬試衣網絡的各個階段引入特征注意力模塊以充分捕捉目標服裝及人體姿態的整體特征及局部細節特征。

2.2 網絡整體結構

圖4給出了FP-VTON網絡的整體結構：以人體解析模型p和目標服裝c為輸入，依次通過服裝變形和服裝融合兩個子網絡，可輸出模特的虛擬試穿結果ro。其中，服裝c為一張二維圖像，無需特別介紹；下面將給出人體解析模型p的表示及各個階段的主要步驟。

圖4 FP-VTON的整體網絡結構Fig.4 Overall network architecture of FP-VTON

2.2.1 人體解析模型

本文中，為有效保留模特的整體姿態和身份信息，采用了與VITON[3]相同的人體解析模式，由3部分組成：（1）人體姿態表示，旨在刻畫人體的整體姿態，對應一個18通道的特征圖，每個通道對應人體姿態的一個關鍵點，每個關鍵點被轉化為一個11×11的熱圖；（2）身體形狀表示，旨在區別人體的身體部分和其他部分，對應一個單通道的二進制MASK，1表示人體部分，0表示其他部分；（3）身份特征表示，旨在刻畫人物的身份信息，對應臉部和頭發的RGB圖像，即3通道特征圖。以上3部分信息共同組成一個22通道的特征圖，構成了包含人體身份信息、人體身體定位和人體關鍵點信息的完整描述。

2.2.2 服裝變形子網絡

服裝變形子網絡旨在學習生成與人體相匹配的變形后的服裝c"。該網絡結構同CP-VTON[4]相同：輸入目標服裝c及人體解析模型p，首先通過包含特征注意力模塊FA的下采樣層，提取它們的高層次特征；然后通過相關性匹配層，計算兩個高層特征之間的相關性，并將它們組合為單個張量；再輸入回歸網絡預測薄板樣條函數TPS（thin-plate spline）的空間變換參數θ；最后將變換參數θ輸入TPS變換，完成輸入服裝c到形變服裝c"的變換。本文與CP-VTON不同的是，在人體和服裝的高層次特征提取網絡中均加入了特征注意力模塊FA，以更好地捕捉人體及服裝的全局屬性特征和局部顯著特征，詳細對比將在實驗部分給出。

服裝變形子網絡是一個相對獨立的端到端可學習的子網絡。在訓練階段，使用了CP-VTON所提出的像素級L1損失，以評價該網絡所生成形變服裝c"與真實服裝ct之間的一致性。式（1）給出了該損失函數的具體定義：

其中，θ為網絡學習所得的TPS空間變換參數。該損失函數要求目標服裝和真實服裝圖像對應像素之間的距離盡可能近，當目標服裝包含復雜圖案且模特存在大姿態動作時，會產生如圖5所示的局部變形。深入分析可發現，這是由于式（1）僅僅考慮了像素級別的一致性，忽略了局部結構的一致性，因而可能產生局部形狀特征或全局紋理特征的變形。

圖5 CP-VTON失敗案例Fig.5 Failure cases of CP-VTON

針對以上問題，本文在L1損失基礎上，設計新增了用于服裝保真的網格正則化損失函數。如圖6所示，該損失函數作用在TPS變形后的網格之上，要求其水平和垂直方向的距離及兩對斜率的差值(k1-k2),(k3-k4)盡可能小。具體表達式如下：

圖6 網格正則化損失函數卷積形式示意圖Fig.6 Diagram of convolution form of grid regularization loss function

式中，D(x,y)為對應點在網格中的坐標值，λa和λb為權重因子，用以調節拉普拉斯正則項損失同斜率損失之間的比重。

綜合式（1）和式（2），第一階段服裝扭曲子網絡的整體損失為：

式中，λc和λg為權重因子，旨在調節像素級損失Lclothes同服裝保真的網格正則化損失Lgrid之間的比重。

圖7展示了網格正則化損失對服裝變形的保真能力。圖中左側第一列為輸入網格；第二列為兩幅目標服裝；第三列展示了無保真損失時的變形網格結果，即λc=1，λg=0；第四列展示了僅僅在Lclothes基礎上加入距離約束的網格變形結果，即，λc=1，λg=40，λa=1，λb=0；第五列展示了完整加入網格正則化損失函數Lgird后的網格變形結果，此時，λc=1，λg=40，λa=1，λb=1/3。如圖7所示，通過增加水平和垂直方向的距離約束，可以提高服裝變形結果在局部區域水平方向和垂直方向變形的對稱性；通過增加斜率約束，可以進一步提高服裝變形結果的全局對稱性。

圖7 網格正則化損失的應用結果Fig.7 Application results of grid regularization loss

2.2.3 服裝融合子網絡

服裝變形子網絡輸出的形變服裝c"大致符合模特的體型與姿態，還需經過服裝融合子網絡實現服裝同人物的融合，以得到更加逼真的試穿結果。如圖4給出的網絡結構，本文首先使用編碼器-解碼器網絡，將人體表示p與形變服裝c"同時輸入U-Net[28]網絡，輸出一幅粗略的人物圖像r與合成掩碼M，其中M為輸出圖像的最后一層；然后利用合成掩碼M將粗糙的合成圖像和扭曲服裝融合在一起，生成最終試穿結果ro，其計算公式為：

其中，?為矩陣內對應像素之間的乘法運算。

為了充分捕捉人體與目標服裝的關鍵特征，與傳統編碼器-解碼器網絡不同的是，本文在U-Net網絡的編碼器的前四層加入了特征注意力模塊FA，以更好地聚焦關鍵特征，提高合成圖像質量，詳細對比將在實驗部分給出。

與服裝變形子網絡類似，服裝融合子網絡也是一個相對獨立的端到端可學習的子網絡。在訓練階段，為了最小化生成結果ro和真實圖像rt之間的差異，采用了CP-VTON所提出的損失函數[4]，包括三部分：圖像像素級的L1損失，特征層面的VGG感知損失[29]和針對掩碼M的L1正則化損失。

圖像像素級的L1損失定義如下：

VGG感知損失通過計算VGG網絡特征間的距離來刻畫兩個圖像間的語義差異，計算公式如下：

其中，δi(r)代表視覺感知網絡VGG19[30]中圖像r的第i層特征圖（使用ImageNet預訓練得到的網絡模型）。i取 值從1到5分 別代 表conv1_2、conv2_2、conv3_2、conv4_2、conv5_2。這里，VGG損失中同時使用了低層和高層圖像特征，結合圖像像素級損失，能夠更好地關注到圖像間的細節信息和全局內容。

此外，為了盡可能地保留目標服裝的特征信息，在掩碼M上增加L1正則化損失。最終得到第二階段服裝融合子網絡的整體損失：

3 實驗結果及分析

3.1 數據集與實驗設置

本文所有的實驗都基于Han等人[3]所提出的數據集。該數據集包含了16 253對女性正面圖像和上衣圖像，其中14 221對作為訓練集，2 032對作為測試集。數據集中所有圖像的分辨率均為256×192。

本文采用PyTorch作為深度學習框架，在Intel Core i5-9400 CPU和NVDIA RTX 2070 GPU上進行訓練。在訓練階段，參照CP-VTON，對兩個子網絡采用相同的參數設置：batch size設置為4；Adam優化器中β1=0.5，β2=0.999；最大迭代步數為2×105，初始學習率設置為0.000 1，在迭代到1×105后線性勻速衰減至0。實驗中，兩個子網絡的具體結構如表1、表2所示。在服裝融合子網絡的上采樣模塊中，為了減輕棋盤效應，用最近鄰插值和步長為1的卷積的組合替換了傳統的反卷積[31]。

表1 服裝變形子網絡的網絡結構Table 1 Structure of clothing deformation network

表2 服裝融合子網絡的網絡結構Table 2 Structure of clothing fusion network

3.2 評價指標

基于圖像的虛擬試衣本質上屬于一種圖像翻譯。就圖像生成任務而言，研究者們提出了一些客觀評價指標，可以較好地衡量生成圖像的質量。因此本文中，采用兩種圖像生成指標定量評估虛擬試衣模型的性能，采用可視化方法定性對比虛實試衣效果。

SSIM：結構相似度指標（structural similarity index）[32]，計算生成圖像和真實圖像之間的亮度、對比度和結構相似性，以綜合評估生成圖像與真實圖像之間的相似性。SSIM指數越高表示圖像生成效果越好。

FID：弗雷歇感知距離（Fréchet inception distance）[33]，計算生成圖像和真實圖像在特征空間中的距離。首先利用預訓練好的Inception-V3網絡提取圖像特征，然后使用高斯模型對特征進行建模，最后計算兩圖像對應特征之間的距離。FID越低，表明生成圖像和真實圖像的距離越小，意味著生成圖像的質量越高、多樣性越好。

需要特別說明的是，虛擬試穿數據集中并未提供一個模特穿著不同服裝的成組數據，因此在所有定量實驗中，其計算結果均為模特穿著其原始服裝產生的生成圖像和真實圖像的對比結果。

實驗中，將對Baseline（CP-VTON，基礎網絡）、FP-VTON w/o FA（僅加入服裝保真損失）、FP-VTON w/o FA in P（加入服裝保真損失，并在人體表示中加入FA）、FP-VTON w/o FA in C（加入服裝保真損失，并在服裝表示中加入FA）、FP-VTON（加入服裝保真損失，并在人體表示和服裝表示中均加入FA）在服裝變形階段的生成結果進行了定量比較。

3.3 虛擬試衣對比實驗

本文選用了2種不同類型、性能突出的虛擬試衣工作：CP-VTON[4]和GarmentGAN[5]，作為對比對象，綜合評價FP-VTON的虛擬試衣效果。

表3中，CP-VTON[4]和GarmentGAN[5]的測試結果均來自論文，由于文獻[5]未提供SSIM指標，也未提供源碼，因而其對應的SSIM為空。由表可見，本文所提出的FP-VTON較CP-VTON有明顯提高：在SSIM上提高了0.046 2，在FFID上降低了8.511；相比于GarmentGAN，FP-VTON在FFID上也降低了2.004。以上數據從定量的角度驗證了本文方法的有效性。

表3 虛擬試衣的定量評價Table 3 Quantitative evaluation of virtual try-on

圖8從可視化的角度給出了3種不同方法的6組虛擬試穿結果（GarmentGAN未提供源碼，因此本實驗結果限于文獻[5]所提供的實驗數據）。由對比結果可見，本文方法具有以下特點：

圖8 三種方法的虛擬試衣結果可視化比較Fig.8 Visual comparison of three different methods

（1）具有更好的局部細節特征保持能力。如結果1、3、4、5所示，當目標服裝包含較多細節信息時，CP-VTON的虛實試穿結果會存在一定程度的細節丟失和扭曲變形，GarmentGAN則存在模糊和局部尺寸放大的問題。相比較而言，如結果1，本文方法FP-VTON生成結果的“501”及其底部的波紋清晰，且相對尺寸、比例都合理；如結果3，FP-VTON生成結果不僅清晰地體現了“Lee”的局部細節，且有效捕捉了目標服裝袖子末端的玫紅色條紋；如結果4 T恤衫中心的復雜圖案和結果5內部的“adidas”圖標，FP-VTON生成結果的顏色及細節都更加清晰、合理。

（2）具有更好的全局紋理保持能力。如結果2和結果6所示，當目標服裝包含全局紋理特征時，CP-VTON的虛實試穿結果會存在較為明顯的扭曲變形，GarmentGAN則存在丟失細節和局部模糊的問題。相比較而言，FP-VTON生成結果的整體紋理尺寸、比例更加合理，細節也更加清晰。

（3）當目標服裝和原始服裝差異較大時，所有算法在領口、袖口、衣服褲子鄰接的地方都會產生不太理想的結果。如結果2、3、6所示的無袖變短袖，結果5的長袖變短袖，CP-VTON的試穿結果會在胳膊和衣服交接的地方出現局部丟失的問題，GarmentGAN和本文方法相對較好，但也存在不同類型的問題。如針對結果2，GarmentGAN虛擬試穿結果中衣服和褲子交接部分更為自然，FP-VTON對領口部分的顏色保持更好；針對結果3，GarmentGAN虛擬試穿結果中衣服領口的變形更加自然，然而袖口卻丟失細節，而本文方法在領口變形中存在將衣服背部信息填充在領口的錯誤；針對結果5，GarmentGAN虛擬試穿結果中衣服袖口多出了一些黑色邊界，FP-VTON則存在袖口未閉合的問題；針對結果6，GarmentGAN和本文在袖口領口變形的結果都較為自然，但是GarmentGAN存在將衣服拉長遮蓋部分褲子的問題。

3.4 消融實驗

本實驗分別對文中所提出的特征注意力模塊FA和服裝保真損失進行了消融實驗，以此來驗證各個模塊對于虛擬試穿的作用。消融實驗分為兩部分：第一部分旨在對比FA和服裝保真損失對服裝變形的作用，第二部分則完整對比FA和服裝保真損失對虛擬試穿的作用。

本節對比實驗中將用到七個不同配置的網絡，分別是基礎網絡CP-VTON，僅加入服裝保真損失的網絡，加入服裝保真損失和人體表示階段FA的網絡，加入服裝保真損失和服裝表示階段FA的網絡，加入服裝保真損失和服裝變形階段FA的網絡（人體表示&服裝表示均加入FA），在網絡三個階段加入FA的網絡（人體表示&服裝表示&服裝融合均加入FA），完整網絡FP-VTON。為了方便查閱，表4列出了相應縮寫。

表4 實驗網絡及其縮寫Table 4 Experimental networks and their abbreviation

3.4.1 服裝變形消融實驗

實驗1定量比較

為了驗證FA模塊和服裝保真損失保留特征的能力，本文首先對Baseline、FP-VTON w/o FA、FP-VTON w/o FAP&U、FP-VTON w/o FAC&U、FP-VTON在服裝變形階段的生成結果進行了定量比較。考慮到該階段旨在扭曲目標服裝以匹配模特身形，SSIM刻畫圖像間的相似性，而FID刻畫圖像的生成質量和多樣性，因而，本實驗僅僅計算FID指標。

服裝變形階段的定量比較結果如表5所示。由于該階段的生成圖像未適應模特身形的扭曲服裝，而真實圖像為輸入服裝，因此FID值整體偏高，但是其相對數值反映了服裝變形的效果。通過對比可知：

表5 服裝變形階段定量評價Table 5 Quantitative evaluation on clothing deformation stage

（1）在基網上加入服裝保真損失后，圖像生成質量較原始基網效果更好。

（2）加入服裝保真損失，再加入FA后（無論加在人體表示還是服裝表示中），生成質量都得到了進一步提高。

（3）在人體表示和服裝表示中同時加入FA較僅在服裝表示中加入FA提高22.359 3，較僅在人體表示中加入FA提高0.609 2。兩者都有改善，但是前者改善更為明顯。通過分析可知，這是因為FA旨在捕捉全局特征相關性，而人體表示包含更多的全局信息，因此在人體表示中加入FA效果更加明顯。

實驗2整體可視化比較。

為了更加直觀地對比生成結果，圖9～圖11分別給出了基礎網絡CP-VTON和本文方法FP-VTON在模特有大姿態動作、服裝包含紋理或局部細節圖案、模特為孕婦三種情況下的服裝變形結果。

圖9旨在測試服裝變形階段對人體大姿態的適應能力。由圖可見，在面對模特有大姿態動作的情況下，CP-VTON生成的服裝扭曲嚴重，而加入服裝保真損失和FA的FP-VTON生成結果比CP-VTON更加真實、自然，也更符合人體特征。

圖9 大尺度人體姿態下服裝變形結果的可視化對比Fig.9 Visual comparison of clothing deformation results under large scale human postures

圖10旨在測試服裝變形階段對目標服裝全局紋理特征和局部細節特征的保持能力。由第一行可見，CP-VTON在面對條紋服裝時生成結果嚴重變形，形成螺旋紋理且丟失細節；而因為服裝保真損失的作用，FP-VTON可以較好地保持條紋的整體屬性。由第二行可見，當目標服裝包含復雜的全局特征時，CP-VTON可以較好地保持衣服形狀，但是不能很好地保留細節圖案（如樹葉，花等）；而因為FA的作用，FP-VTON對復雜圖案的細節保持能力更強。第三行中包含局部細節的服裝變形結果再次驗證了FP-VTON對服裝細節的捕捉和保持能力。

圖10 復雜服裝變形結果可視化對比Fig.10 Visual comparison of complex clothing deformation results

圖11旨在測試服裝變形階段對人物特征的保持能力。當模特為孕婦時，FP-VTON生成結果更加真實、自然，且較好地保留了人物特征（隆起的肚子）。這也使得本文方法能夠更好地服務于特殊人群（如不方便在線下試穿服裝的孕婦，或不愿意在線下試穿的特殊體型用戶）的虛擬試衣需求。

圖11 特殊體型（孕婦）下服裝變形結果可視化對比Fig.11 Visual comparison of clothing deformation results under special body shapes（pregnant women）

綜合以上定量和定性實驗可以得出如下結論：本文所提出的算法FP-VTON通過加入注意力機制和服裝保真損失，在服裝變形階段能夠更好地捕捉目標服裝的整體紋理特征和局部細節特征，能夠更好地貼合模特的不同體型，能夠更好地適應模特的大姿態動作，整體效果明顯優于基礎網絡。

實驗3分模塊可視化比較

為了進一步測試服裝保真損失及不同位置FA的作用，圖12給出了6種不同網絡配置下的可視化對比結果。由圖可見：

圖12 各個模塊對服裝變形結果影響的可視化對比Fig.12 Visual comparison of influence of each module on clothing deformation results

（1）在網絡中加入服裝保真損失可以一定程度地保證服裝整體結構（如圖中第三列）、紋理（如結果5、6中第三列）及大面積圖案（如結果1、2中第三列）的合理性。

（2）在人體表示中加入FA可以更好地捕捉模特的身體特征。以結果3、4為例，模特為孕婦，通過在人體表示中加入FA（第五、六列）后的服裝變形結果能夠更加真實、自然地體現模特的身體特征。

（3）在服裝表示中加入FA可以更好地捕捉服裝的形狀及紋理特征。圖中第六列為在第五列的基礎上加入了服裝表示階段FA的結果。可以發現，無論是對結果5服裝的衣袖部分（形狀特征），還是結果6服裝中的條紋特征（紋理特征），第六列的結果都要明顯優于第五列。

3.4.2 虛擬試穿消融實驗

為了進一步測試FA模塊和服裝保真損失對虛擬試穿最終結果的影響，特設計本實驗。如表6所示，給出了5種不同網絡配置下的虛擬試穿定量測試結果。對比表中各行數據，可知：

表6 虛擬試穿結果定量評價Table 6 Quantitative evaluation of virtual try-on results

（1）在僅僅加入服裝保真損失，不加入特征注意力模塊時，如第二行所示，網絡在SSIM及FID都較Baseline網絡有了0.016 2和7.461的改進。

（2）在僅僅加入特征注意力模塊不加入服裝保真損失時，如第四行所示，網絡在SSIM和FID上分別有0.009 7和1.063的改進。

（3）在加入服裝保真損失的基礎上，將特征注意力FA加入第一階段，即服裝變形子網絡中時（第三行所示），網絡在SSIM和FID上分別有0.029和0.061的改善；在所有階段都加入特征注意力FA時（第五行所示），網絡在SSIM和FID上分別又有了0.001和0.989的改善，取得最好的虛擬試穿結果。

綜合（1）、（2）可知，服裝保真損失和FA對虛擬試穿都有一定的改進作用，但服裝保真損失對網絡性能的提升較FA更加明顯。這是因為相比于FA，服裝保真損失可以從整體上保持服裝的整體形狀和全局紋理，對最終生成圖像的整體質量影響更大。

圖13從可視化的角度對比了各個模塊對虛擬試穿的影響。可以看到加了服裝保真損失后衣服形狀更完整，局部圖案保持效果也更好；在此基礎上再加入FA，圖案的細節更加清晰，顏色更加真實，領子袖口等局部區域也更貼合模特身體。

圖13 各個模塊對虛擬試穿影響的可視化對比Fig.13 Visual comparison of influence of each module on virtual try-on results

3.5 性能對比及分析

為了更加全面地分析本文方法的性能，表7給出了FP-VTON相比于基礎網絡CP-VTON的參數量及訓練時間。可以看到，在第一階段的服裝變形子網絡中，訓練參數量和時間分別增加了0.6%和3.6%；在第二階段服裝融合子網絡中訓練參數量和時間分別增加了5%和10%（第二階段因為損失函數復雜，計算量大，所以參數少但是訓練時間長）。對于整體網絡的參數量和訓練時間增加了0.1%和7%，而測試時間增加可忽略不計。因此，可以得出以下結論：本文算法FP-VTON在僅增加少量運算代價的前提下可生成比CP-VTON效果更好更真實的試穿結果。

表7 訓練時間和參數量定量對比Table 7 Comparison of parameters and training time

3.6 不足及討論

當模特存在手臂遮擋時，如圖14，FP-VTON可以較好地清晰、準確地捕捉目標服裝的局部細節，但是會丟失部分手臂信息。而本文在實驗中嘗試加入GAN網絡解決手臂遮擋問題，但在保留手臂的同時會丟失掉部分服裝細節，經分析認為GAN網絡為了保持手臂時會平滑模糊手臂附近的服裝導致細節丟失。未來工作中將考慮建立符合目標服裝特性的人體分割圖與GAN網絡進行平衡來解決這一問題。

圖14 失敗案例Fig.14 Failure case

4 總結

本文提出了一種虛擬試衣網絡FP-VTON，設計并引入了服裝保真損失，并在網絡的人體表示、服裝表示、服裝融合三個階段加入特征注意力模塊，相互協同共同作用，充分捕捉了模特的特征及目標服裝的整體形狀、全局紋理及局部細節特征，生成了更加真實、自然的虛擬試穿結果。未來，將以此網絡為基礎，考慮建立人體分割，合理引入對抗機制，解決遮擋問題，提高網絡對原始服裝和目標服裝差異過大的適應性。