針對(duì)多姿態(tài)遷移的虛擬試衣算法研究

陳亞東，杜成虎，余 鋒,2，姜明華,2

針對(duì)多姿態(tài)遷移的虛擬試衣算法研究

陳亞東1，杜成虎1，余 鋒*1,2，姜明華1,2

（1.武漢紡織大學(xué) 計(jì)算機(jī)與人工智能學(xué)院，湖北 武漢 430200；2.湖北省服裝信息化工程技術(shù)研究中心，湖北 武漢 430200）

針對(duì)人體姿態(tài)遷移結(jié)果會(huì)損失服裝和人臉等大量細(xì)節(jié)，以及現(xiàn)有的虛擬試衣算法沒有實(shí)現(xiàn)多姿勢(shì)遷移，提出一種新的姿態(tài)遷移網(wǎng)絡(luò)。通過設(shè)計(jì)解析圖生成網(wǎng)絡(luò)，對(duì)目標(biāo)姿勢(shì)的解析圖進(jìn)行生成，再對(duì)空間變換網(wǎng)絡(luò)(Spatial Transformer Network, STN)扭曲目標(biāo)服裝進(jìn)行正則限制，最后利用優(yōu)化的融合網(wǎng)絡(luò)對(duì)服裝和人體進(jìn)行融合得到最終的姿態(tài)遷移圖像。實(shí)驗(yàn)結(jié)果表明了該方法具有較高的魯棒性和可靠性。

姿態(tài)遷移；虛擬試衣；解析圖；空間變換網(wǎng)絡(luò)

近年來，隨著購(gòu)物方式從線下向線上轉(zhuǎn)變，線上服裝購(gòu)物方式受到了消費(fèi)者的青睞，然而卻存在不能試穿的問題而讓消費(fèi)者無法體驗(yàn)到服裝穿在自己身上的效果[1]。目前存在的方法中，很多文獻(xiàn)只局限于對(duì)單個(gè)姿勢(shì)進(jìn)行換裝[2-5]，而缺少多姿勢(shì)的換裝方法，這極大的降低了網(wǎng)上購(gòu)買服裝的體驗(yàn)。

姿態(tài)遷移[6-9]是將一個(gè)物體從原始姿態(tài)轉(zhuǎn)換到目標(biāo)姿態(tài)，期間不能改變物體的外表特征。應(yīng)用到人體上，則可以實(shí)現(xiàn)人體的姿勢(shì)遷移[10-11]。由于人體是非剛體，從技術(shù)層面上看，人體的各個(gè)部位的姿態(tài)變化十分豐富，因此遷移后很難對(duì)細(xì)節(jié)進(jìn)行復(fù)原。其次，如果將虛擬試衣和姿態(tài)遷移進(jìn)行融合，則可以實(shí)現(xiàn)多姿勢(shì)的虛擬試衣方法。

傳統(tǒng)的姿態(tài)遷移分為基于2D圖像的方式[12-13]和基于3D模型重建[14-15]的方式，基于3D模型重建的方法根據(jù)人體的三維信息、圖像、目標(biāo)姿勢(shì)點(diǎn)等來重建和調(diào)整人體的3D模型，在模型層面上進(jìn)行換裝后生成結(jié)果圖像。文獻(xiàn)[16]提出了一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)模型，模擬三維空間結(jié)構(gòu)，生成目標(biāo)姿態(tài)的三維空間信息，然而，該方法未能實(shí)現(xiàn)對(duì)人體進(jìn)行換裝。文獻(xiàn)[17]將人體模型進(jìn)行重建后，再根據(jù)目標(biāo)姿勢(shì)的掩模對(duì)目標(biāo)服裝進(jìn)行對(duì)應(yīng)人體的變形，最后將導(dǎo)出的模型圖像和服裝圖像進(jìn)行融合，生成最終的結(jié)果。然而該方法沒有對(duì)多姿勢(shì)進(jìn)行擴(kuò)充，而且產(chǎn)生的服裝細(xì)節(jié)丟失嚴(yán)重。上述的3D重建方式對(duì)設(shè)備算力，性能和生成的模型質(zhì)量要求相對(duì)較高，在實(shí)際的應(yīng)用方面還需要更成熟可靠的技術(shù)發(fā)展，這使得更多研究者轉(zhuǎn)向研究基于2D圖像的方法。

基于2D圖像的方法利用了條件生成對(duì)抗網(wǎng)絡(luò)(Conditional Generative Adversarial Nets, CGAN)[18]來達(dá)到生成圖像的可控。Ma等人[19]提出了一個(gè)從粗糙到精細(xì)的CGAN架構(gòu)，首先利用人體姿勢(shì)點(diǎn)和圖像生成一個(gè)粗糙的結(jié)果來關(guān)注全局結(jié)構(gòu)，之后利用Unet[20]網(wǎng)絡(luò)對(duì)粗糙的圖像精細(xì)化填充。Wang等人[21]提出了一個(gè)兩階段的CP-VTON架構(gòu)，首先使用結(jié)合形狀上下文的薄板樣條插值(Thin Plate Spline, TPS)模擬算法[22]的幾何匹配網(wǎng)絡(luò)[23]對(duì)目標(biāo)服裝的翹曲進(jìn)行學(xué)習(xí)，再經(jīng)過Unet網(wǎng)絡(luò)將翹曲的服裝利用掩模無縫的貼合在人體上。然而，該網(wǎng)絡(luò)只能進(jìn)行單姿勢(shì)的試穿任務(wù)，對(duì)于多姿勢(shì)的試穿沒有合理的解決方案，并且產(chǎn)生的結(jié)果有嚴(yán)重的服裝手臂交叉遮擋，皮膚和布料像素混淆，細(xì)節(jié)丟失等現(xiàn)象。

為了解決上述問題，本文對(duì)CP-VTON進(jìn)行了改進(jìn)，不但繼承了原有的換裝效果，而且對(duì)姿勢(shì)遷移進(jìn)行了探究拓展，解決了原論文中存在的缺陷，實(shí)驗(yàn)證明了本方法的有效性。

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)(GAN)[24]在虛擬試衣方面有很好的效果[25]。Cui等人[26]提出了一種端到端的虛擬時(shí)尚生成方法，將服裝的草圖或面料進(jìn)行渲染。Lee等人[27]在服裝的翹曲和服裝的試穿階段引入了對(duì)抗機(jī)制，加入了GAN損失，優(yōu)化了服裝的貼合程度，也使生成的圖像更加合理。以上的方法分別融合了GAN機(jī)制進(jìn)行效果的提升，表現(xiàn)出了GAN網(wǎng)絡(luò)在圖像生成方面的優(yōu)越性，但沒有合理的解決手臂遮擋和服裝特征的缺失問題。

圖1 CP-VTON整體結(jié)構(gòu)圖

1.2 CP-VTON

CP-VTON由GMM(Geometric Matching Module)和TOM(Try-on Module)兩個(gè)模塊組成。如圖1所示，在GMM階段，通過模擬TPS的幾何匹配模塊，對(duì)服裝進(jìn)行依據(jù)人體表征（姿勢(shì)點(diǎn)，形狀，頭部圖像）進(jìn)行變換，生成粗糙的服裝扭曲圖像。但在GMM的訓(xùn)練過程中，沒有對(duì)服裝扭曲過程加以限定，造成服裝的嚴(yán)重扭曲變形，如圖2(a)第2列所示，加入不太合理的表征內(nèi)容導(dǎo)致產(chǎn)生頭發(fā)和上肢對(duì)服裝扭曲的遮擋問題，如圖2(a)第4和6列所示。

圖2 CP-VTON中的各個(gè)模塊存在的缺陷

在TOM階段，依據(jù)人體表征和服裝掩模將粗糙扭曲的服裝進(jìn)行對(duì)應(yīng)人體的融合，將缺失的上肢和褲子進(jìn)行生成。但TOM階段在訓(xùn)練過程中，由于沒有使用有效的引導(dǎo)對(duì)手臂和服裝進(jìn)行區(qū)分，造成了交叉遮擋和像素混淆的問題，如圖2(b)第2和6列所示，沒有對(duì)加入人體的褲子等不變的表征，造成人體不變特征丟失問題，如圖2(b)第4列所示。

CP-VTON的提出，只用于解決單姿態(tài)下的虛擬試衣問題，并沒有拓展到多姿勢(shì)下的虛擬試衣。

2 方法

2.1 解析引導(dǎo)模塊

圖3 解析模塊結(jié)構(gòu)

如同pix2pix[30]等網(wǎng)絡(luò)一樣，使用解析圖來限定和控制生成結(jié)果，可以很好地解決前文提到的像素混淆，交叉遮擋的問題，為生成姿態(tài)遷移圖像提供了區(qū)域劃分和目標(biāo)形態(tài)確立的基礎(chǔ)。

2.2 服裝匹配模塊

圖4 STN結(jié)構(gòu)

為了避免服裝圖像變形前和變形后像素和像素之間的距離不過大，以此來做到防止服裝圖像的過度扭曲，本文將TPS的采樣坐標(biāo)視為一個(gè)網(wǎng)格，以此來對(duì)各個(gè)網(wǎng)格線之間的距離差做到統(tǒng)一。通過實(shí)驗(yàn)表明，該方法可以很好的對(duì)服裝形態(tài)進(jìn)行轉(zhuǎn)化，并防止過度扭曲的現(xiàn)象。

2.3 遷移融合模塊

圖5 遷移融合模塊結(jié)構(gòu)

改進(jìn)該損失函數(shù)之后，可以有效的避免上肢和服裝交叉遮擋的問題。

2.4 網(wǎng)絡(luò)損失函數(shù)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 實(shí)施細(xì)節(jié)

實(shí)驗(yàn)的硬件環(huán)境采用一個(gè)Intel Gold 5118 CPU，64G RAM，以及一張Tesla V100 GPU 所組成的工作站，其中搭載著Python語(yǔ)言和Pytorch框架的Ubuntu16.04系統(tǒng)。

3.3 定性評(píng)價(jià)

首先，我們對(duì)解析階段中的基準(zhǔn)網(wǎng)絡(luò)Unet和本文提出的網(wǎng)絡(luò)生成的解析圖效果進(jìn)行可視化的對(duì)比。如圖6所示，分別將網(wǎng)絡(luò)生成的手臂解析圖和服裝解析圖進(jìn)行對(duì)比，可以看出，本文方法生成的解析圖，如圖6中4組圖像中的第1組和第4組，手臂輪廓被清晰的分了出來，能夠有效的避免手臂和服裝之間的交叉遮擋問題。如圖6中的第2組和第3組圖像所示，服裝的領(lǐng)口和袖長(zhǎng)分割的也很合理，可以看出本文方法能比基準(zhǔn)方法Unet取得更好的效果。

圖7 CP-VTON和本文方法對(duì)目標(biāo)服裝的扭曲效果

為了驗(yàn)證改進(jìn)方法對(duì)姿態(tài)遷移的有效性，我們對(duì)單服裝的姿態(tài)遷移進(jìn)行了實(shí)驗(yàn)。如圖8所示，在基準(zhǔn)方法CP-VTON上加入解析引導(dǎo)模塊，可以有效的避免皮膚和布料的像素混淆，本文方法產(chǎn)生的結(jié)果對(duì)身體各個(gè)部分能清晰有效的界定，因此也很好的解決了手臂遮擋和像素混淆的問題。對(duì)服裝匹配模塊的改進(jìn)控制了服裝嚴(yán)重的變形，而通過解析圖引導(dǎo)生成的遷移融合模塊也極大程度上保留了目標(biāo)服裝的細(xì)節(jié)，使生成的目標(biāo)圖像更加的真實(shí)合理。

圖8 姿態(tài)遷移結(jié)果

圖9 基于姿態(tài)遷移的虛擬試衣結(jié)果

最后，我們驗(yàn)證了本文方法對(duì)于多姿態(tài)的虛擬試衣效果，如圖9所示，可以看出，本文方法所產(chǎn)生的圖像質(zhì)量更高，保留了大量的原始細(xì)節(jié)，并對(duì)虛擬試衣有著較高的魯棒性和較低的耦合性。

3.4 定量評(píng)價(jià)

實(shí)驗(yàn)采用了SSIM(Structural SIMilarity)[33]來評(píng)估試穿結(jié)果和真實(shí)圖像(GT)之間的相似度，采用IS(Inception Score)[34]，F(xiàn)ID(Fre′chet Inception Distance)[35]和PSNR(Peak Signal to Noise Ratio)[36]來評(píng)估生成的結(jié)果質(zhì)量，定義如下所示：

表1是使用MPV測(cè)試集，對(duì)CP-VTON和本文方法之間的結(jié)果進(jìn)行定量比較。結(jié)果表明，本文方法不但在直觀的可視化效果展現(xiàn)上有較好的表現(xiàn)，在圖像生成的硬性指標(biāo)上也具有較高的參數(shù)。相較于基準(zhǔn)方法CP-VTON，有很大的性能提升，參數(shù)指標(biāo)表明本文方法生成的圖像質(zhì)量高，噪點(diǎn)少，局部辨識(shí)度較高，具有接近于真實(shí)樣本(GT)的效果表現(xiàn)。

表1 不同方法之間的定量評(píng)價(jià)

4 結(jié)束語(yǔ)

本文對(duì)CP-VTON進(jìn)行了改進(jìn)，提出了一個(gè)多姿態(tài)的虛擬試衣網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果證明，增加的解析圖引導(dǎo)很好地解決了CP-VTON網(wǎng)絡(luò)中存在的交叉遮擋等缺陷，填補(bǔ)了在多姿態(tài)的虛擬試衣方面的空白。通過實(shí)驗(yàn)計(jì)算，本文方法較基準(zhǔn)方法CP-VTON，IS提高了0.09，SSIM提高了0.0319，PSNR提高了1.7296，F(xiàn)ID降低了9.18。定性和定量結(jié)果表明，本文提出的方法有著很好的姿態(tài)遷移與虛擬試穿效果，保留了大量細(xì)節(jié)，提升了生成圖像的質(zhì)量。最后,我們未來將進(jìn)一步提升該網(wǎng)絡(luò)的性能，優(yōu)化圖像的生成質(zhì)量。

[1] GOLDSMITH RE, FLYNN LR. Psychological and behavioral drivers of online clothing purchase[J]. Journal of Fashion Marketing and Management, 2004,8(1): 84-95.

[2] HAN X, WU Z, WU Z, et al. Viton: An image-based virtual try-on network[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. 7543-7552.

[3] JANDIAL S, CHOPRA A, AYUSH K, et al. Sievenet: A unified framework for robust image-based virtual try-on[C]. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020. 2182-2190.

[4] YU R, WANG X, XIE X. Vtnfp: An image-based virtual try-on network with body and clothing feature preservation[C].Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019. 10511-10520.

[5] YANG H, ZHANG R, GUO X, et al. Towards photo- realistic virtual try-on by adaptively generating-preserving image content[C].Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. 7850-7859.

[6] SUN S H, HUH M, LIAO Y H, et al. Multi-view to novel view: Synthesizing novel views with self-learned confidence[C].Proceedings of the European Conference on Computer Vision (ECCV). 2018. 155-171.

[7] ZHOU T, TULSIANI S, SUN W, et al. View synthesis by appearance flow[C].European conference on computer vision. Springer, Cham, 2016. 286-301.

[8] LV K, SHENG H, XIONG Z, et al. Pose-based view synthesis for vehicles: A perspective aware method[J]. IEEE Transactions on Image Processing, 2020, 29: 5163-5174.

[9] ZHOU T, TULSIANI S, SUN W, et al. View synthesis by appearance flow[C].European conference on computer vision. Springer, Cham, 2016. 286-301.

[10] ZHAO B, WU X, CHENG Z Q, et al. Multi-view image generation from a single-view[C]. Proceedings of the 26th ACM international conference on Multimedia. 2018. 383-391.

[11] DONG H, LIANG X, GONG K, et al. Soft-gated warping-gan for pose-guided person image synthesis[J]. arXiv preprint arXiv:1810.11610, 2018.

[12] MINAR M R, TUAN T T, AHN H, et al. Cp-vton+: Clothing shape and texture preserving image-based virtual try-on[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. 2020, 2(3): 11.

[13] HAN X, HU X, HUANG W, et al. Clothflow: A flow-based model for clothed person generation[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019. 10471-10480.

[14] ALLDIECK T, MAGNOR M, XU W, et al. Video based reconstruction of 3d people models[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. 8387-8397.

[15] GUNDOGDU E, CONSTANTIN V, SEIFODDINI A, et al. Garnet: A two-stream network for fast and accurate 3d cloth draping[C].Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019. 8739-8748.

[16] WANG J, WEN C, FU Y, et al. Neural pose transfer by spatially adaptive instance normalization[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. 5831-5839.

[17] MIR A, ALLDIECK T, PONS-MOLL G. Learning to transfer texture from clothing images to 3d humans[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. 7023-7034.

[18] MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. arXiv preprint arXiv:1411.1784, 2014.

[19] MA L, JIA X, SUN Q, et al. Pose guided person image generation[J]. arXiv preprint arXiv:1705.09368, 2017.

[20] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C].International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. 234-241.

[21] WANG B, ZHENG H, LIANG X, et al. Toward characteristic-preserving image-based virtual try-on network[C]. Proceedings of the European Conference on Computer Vision (ECCV). 2018. 589-604.

[22] DUCHON J. Splines minimizing rotation-invariant semi-norms in Sobolev spaces[M]. Constructive theory of functions of several variables. Springer, Berlin, Heidelberg, 1977. 85-100.

[23] ROCCO I, ARANDJELOVIC R, SIVIC J. Convolutional neural network architecture for geometric matching[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. 6148-6157.

[24] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020,63(11): 139-144.

[25] HONDA S. VITON-GAN: Virtual try-on image generator trained with adversarial loss[J]. arXiv preprint arXiv: 1911. 07926, 2019.

[26] CUI Y R, LIU Q, GAO C Y, et al. Fashiongan: Display your fashion design using conditional generative adversarial nets[C]. Computer Graphics Forum. 2018, 37(7): 109-119.

[27] JAE LEE H, LEE R, KANG M, et al. LA-VITON: a network for looking-attractive virtual try-on[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019. 0-0.

[28] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. 770-778.

[29] WANG X, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. 7794-7803.

[30] ISOLA P, ZHU J Y, ZHOU T, et al. Image-to-image translation with conditional adversarial networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. 1125-1134.

[31] JADERBERG M, SIMONYAN K, ZISSERMAN A. Spatial transformer networks[J]. Advances in neural information processing systems, 2015. 2017-2025.

[32] KINGMA D , BA J . Adam: A Method for Stochastic Optimization[J]. Computer Science, 2014. 32–40.

[33] WANG Z. Image Quality Assessment : From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004. 600–612.

[34] SALIMANS, TIM GOODFELLOW, IAN ZAREMBA, WOJCIECH CHEUNG, VICKI RADFORD, ALEC CHEN, XI. Improved Techniques for Training GANs[J]. IEEE. 2016. 2234–2242.

[35] HEUSEL M , RAMSAUER H , UNTERTHINER T , et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium[J]. arXiv preprint arXiv: 2017. 6629.

[36] POOBATHY D, CHEZIAN RM. Edge detection operators: Peak signal to noise ratio based comparison[J]. IJ Image, Graphics and Signal Processing, 2014: 55-61.

Research on Virtual Try-on Algorithm for Multi-pose Transfer

CHEN Ya-dong1, DU Cheng-hu1, YU Feng1,2, JIANG Ming-hua1,2

（1. School of Computer Science and Artificial Intelligence, Wuhan Textile University, Wuhan Hubei 430200, China；2. Engineering Research Center of Hubei Province for Clothing Information, Wuhan Hubei 430200, China）

A new pose transfer network is proposed to address the fact that human pose transfer results in the loss of a large amount of details such as clothing and faces, and that existing virtual try-on algorithms do not implement virtual try-on with multiple pose transfer. A parse map generation network is proposed to generate a parse map of the target pose, then a Spatial Transformer Network (STN) distorts the target clothing with regularization restrictions, and finally an optimised fusion network is used to fuse the clothing and the body to obtain the final pose transfer image. The experimental results demonstrate the high robustness and reliability of the method.

pose transfer; virtual try-on; parse map; Spatial Transformer Network(STN)

余鋒（1989-），男，講師，博士，研究方向：人工智能與圖像處理.

湖北省教育廳科學(xué)技術(shù)研究計(jì)劃青年人才項(xiàng)目（Q20201709）；湖北省服裝信息化工程技術(shù)研究中心開放課題（900204）；湖北重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2021BAA042）.

TS941.17

A

2095－414X(2022)01－0003－07