基于深度學(xué)習(xí)的時(shí)裝搭配的設(shè)計(jì)

朱開(kāi)心，季波，劉海濤，楊艷婷

摘要：為解決每日服裝搭配難以選擇這一痛點(diǎn)問(wèn)題，本文以公開(kāi)的模特時(shí)裝圖片數(shù)據(jù)集為研究對(duì)象，首先通過(guò)對(duì)圖片中的局部服飾（如領(lǐng)口等）位置進(jìn)行檢測(cè)，其次根據(jù)深度學(xué)習(xí)的分類算法對(duì)局部服飾進(jìn)行識(shí)別，最后基于推薦算法進(jìn)行時(shí)裝搭配。系統(tǒng)采用TensorFlow主流的深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)，界面簡(jiǎn)潔友好，性能良好。

關(guān)鍵詞：時(shí)裝搭配;深度學(xué)習(xí);TensorFlow

中圖分類號(hào)：G642? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）19-0086-02

近年來(lái)，學(xué)者們嘗試將前沿技術(shù)應(yīng)用到服裝搭配中。國(guó)外早期研究，衣服搭配是個(gè)比較新的課題，Iwata等人提出利用時(shí)尚雜志的人體照片來(lái)進(jìn)行服裝搭配的推薦系統(tǒng)[1]。作者使用概率主題模型來(lái)學(xué)習(xí)時(shí)尚物品之間的搭配模型，從而進(jìn)行衣服搭配推薦。Andreas Veit， Balazs Kovacs 等人提出從不同類別中學(xué)習(xí)到物品間的風(fēng)格相似性，進(jìn)而產(chǎn)生搭配更好的組合[2]。Liu S， Feng J和Song Z提出了能自適應(yīng)地根據(jù)不同情境推薦衣服搭配。給定用戶的情境，給用戶指定的參考服裝配對(duì)最適合的電商平臺(tái)衣服[3]。Liu， Xin等人開(kāi)源MMLab，一款專注于時(shí)尚服飾領(lǐng)域的計(jì)算機(jī)視覺(jué)分析工具，基于 PyTorch 框架，構(gòu)建于MMLab開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)MMCV之上，時(shí)尚服飾搭配與推薦模塊[4]。這些研究深刻表明時(shí)裝搭配是未來(lái)服裝市場(chǎng)的主導(dǎo)模式。

市面上存在的服裝搭配普遍存在以下不足：第一，服裝搭配中對(duì)時(shí)裝局部特征的表達(dá)能力較弱;第二，服裝推薦算法較單一。本文設(shè)計(jì)的基于深度學(xué)習(xí)的時(shí)裝搭配算法，綜合了目前市場(chǎng)上已存在的相似服裝搭配平臺(tái)的功能，TensorFlow主流的深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)進(jìn)行算法實(shí)現(xiàn)，并解決了上訴的不足之處，為每天的時(shí)裝搭配提供高效的解決方案。

1 系統(tǒng)分析

通過(guò)基于微信小程序的時(shí)裝搭配算法，意在打造一個(gè)可以實(shí)現(xiàn)每天的時(shí)裝搭配多樣性，本文在需求分析的相關(guān)基礎(chǔ)之上著重研究以下幾個(gè)方面：

如何檢測(cè)服飾（如領(lǐng)口等）所在位置;

如何對(duì)模特時(shí)裝進(jìn)行多任務(wù)屬性分類;

如何時(shí)裝搭配推薦，構(gòu)建時(shí)裝搭配關(guān)系，最終為用戶推薦個(gè)性化時(shí)裝搭配方案。

為實(shí)現(xiàn)上述研究目標(biāo)，系統(tǒng)需具備如下功能：

（1）檢測(cè)服飾（如領(lǐng)口等）所在位置：對(duì)輸入的時(shí)裝圖片進(jìn)行處理，經(jīng)過(guò)檢測(cè)環(huán)節(jié)、放大環(huán)節(jié)、填充環(huán)節(jié)、數(shù)據(jù)增強(qiáng)環(huán)節(jié)，識(shí)別服飾（如領(lǐng)口等）所屬位置;

（2）對(duì)模特時(shí)裝進(jìn)行多任務(wù)屬性分類：輸入已檢測(cè)服飾，對(duì)其進(jìn)行多分類識(shí)別，輸出局部服飾標(biāo)簽，實(shí)現(xiàn)時(shí)裝屬性分類;

（3）時(shí)裝搭配推薦：輸入經(jīng)過(guò)時(shí)裝屬性分類處理的服飾圖片，構(gòu)建時(shí)裝搭配關(guān)系，最終為用戶推薦個(gè)性化時(shí)裝搭配方案。

2 系統(tǒng)主要功能實(shí)現(xiàn)

2.1 技術(shù)架構(gòu)

系統(tǒng)采用前端框架微信小程序，后端Servlet技術(shù)，數(shù)據(jù)庫(kù)采用MYSQL數(shù)據(jù)庫(kù)，深度學(xué)習(xí)TensorFlow等。如表1所示。

2.2 主要功能實(shí)現(xiàn)

根據(jù)系統(tǒng)分析，本系統(tǒng)主要包含如下功能模塊， 微信小程序界面如圖1所示。

（1）服飾檢測(cè)模塊

本模塊通過(guò)輸入時(shí)裝圖片，基于Fast R-CNN算法，首先檢測(cè)出服飾（如領(lǐng)口等）所在區(qū)域，其次對(duì)服飾圖片經(jīng)過(guò)放大操作，然后根據(jù)上下文信息對(duì)放大圖像進(jìn)行填充、最后對(duì)時(shí)裝屬性數(shù)據(jù)增強(qiáng)，輸出局部服飾圖片，如圖2所示。

（2）多任務(wù)屬性分類模塊

本模塊經(jīng)過(guò)局部服飾圖片輸入，基于NasNet算法模型，引入多任務(wù)訓(xùn)練，提出增量標(biāo)簽的表達(dá)方式，對(duì)檢測(cè)出的服飾屬性進(jìn)行多分類識(shí)別，將服飾屬性標(biāo)注相匹配的標(biāo)簽，并將其標(biāo)注在時(shí)裝圖片中，如圖3所示。

（3）搭配推薦算法模塊

輸入分類后的服飾圖片，首先基于內(nèi)容的推薦算法，構(gòu)建搭配關(guān)系，利用TF-IDF算法和余弦相似度算法計(jì)算每件時(shí)裝的相似度，并計(jì)算每件服飾的搭配度;其次基于協(xié)同過(guò)濾算法，如圖4所示。對(duì)用戶行為，購(gòu)買記錄及穿搭組合分析，最后推薦個(gè)性化搭配方案，如圖5所示。

3 結(jié)束語(yǔ)

本文設(shè)計(jì)與實(shí)現(xiàn)的基于深度學(xué)習(xí)的時(shí)裝搭配是對(duì)服裝搭配的探索，通過(guò)對(duì)圖片中的局部服飾（如領(lǐng)口等）位置進(jìn)行檢測(cè)，根據(jù)深度學(xué)習(xí)的分類算法對(duì)局部服飾進(jìn)行識(shí)別，基于推薦算法進(jìn)行時(shí)裝搭配。本系統(tǒng)的創(chuàng)新點(diǎn)包括：

（1）利用多任務(wù)屬性分類增強(qiáng)時(shí)裝局部特征的表達(dá)能力，在具有層級(jí)結(jié)構(gòu)標(biāo)簽的分類任務(wù)中能夠達(dá)到更好的分類效果。

（2）利用基于內(nèi)容的推薦算法與協(xié)同過(guò)濾算法，構(gòu)建時(shí)裝搭配組合。

參考文獻(xiàn)：

[1] Iwata T， Wanatabe S， Sawada H. Fashion Coordinates Recommender System Using Photographs from Fashion Magazines[C] Proceedings of the International Joint Conference on Artificial Intelligence. 2011， 22（3）： 2262.

[2] Veit A，Kovacs B，Bell S，et al.Learning visual clothing style with heterogeneous dyadic co-occurrences[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：4642-4650.

[3] Liu S， Feng J， Song Z， et al. Hi， Magic Closet， Tell Me What to Wear！[C] Proceedings of the 20th ACM International Conference on Multimedia. ACM， 2012： 619-628.

[4] Liu X，Li J C，Wang J Q，et al.MMFashion：an open-source toolbox for visual fashion analysis[EB/OL].2020

【通聯(lián)編輯：光文玲】