基于深度學習圖像處理的服裝推薦研究進展

李 圓,于 淼

(青島大學 紡織服裝學院,山東 青島 266071)

近年來,電子商務成為人們購物的主要渠道,特別是服裝領域,已經成為線上購物的最大品類,并且銷售規模逐年增長[1]。伴隨著服裝網購市場規模的不斷擴大,產生了海量的服裝商品數據信息。用戶在海量、不斷增長的服裝資源中快速選擇出自己心儀的服裝變得不那么容易。使用推薦系統能夠從海量數據中篩選出用戶可能會購買的商品,過濾冗余數據,減少由于數據過載給消費者造成的不便。推薦系統能夠有效提供服裝推薦,并對消費者的選擇做出快速反應,提高用戶體驗感,對電子商務銷售的發展重要貢獻。

從本質上說,推薦系統通過分析用戶的信息來評估用戶對產品的喜好,并將預測結果中喜好度較高的產品反饋給用戶。推薦系統產生于1990年代,根據獲取的用戶信息,基于計算信息的能力,找到用戶需求的商品[2]。經過幾十年的發展,基于文本信息的推薦技術已經得到了很大的研究和發展,在商業上的應用也取得了成功。然而,隨著圖像信息技術的發展,圖像相比于文本能夠對服裝進行更好的描述,基于圖像的推薦受到越來越多的關注[3]。在10世紀10年代中期,機器學習領域的深度神經網絡(又稱深度學習)的興起,徹底改變了語音識別、計算機視覺和自然語言處理等多個領域。深度學習(DL)被廣泛應用到圖像識別的各個領域,在服裝推薦方面也取得了巨大成功。因此,在過去的幾年里出現了許多開發深度學習方法的推薦系統的工作[4-5]。

本文以當前國內外對服裝推薦的研究現狀為基礎,歸納了包括服裝圖像的目標識別與分割、服裝特征提取、服裝推薦算法的服裝推薦過程,著重介紹了5種深度學習的服裝推薦算法模型,分析各個模型的特點,闡述了服裝推薦個性化的發展趨勢,為服裝推薦的發展提供助力。

1 服裝推薦過程

服裝推薦系統構架來源于機器學習的思想,從網絡上獲取圖像數據,對圖像中的服裝進行識別與分割以消除背景的影響,提取圖像中服裝的特征(如顏色、款式、風格)實現服裝描述,進而對服裝進行分類,依據不同的算法進行推薦。服裝推薦涉及到的關鍵技術包括服裝圖像的目標識別與分割、服裝特征提取、服裝推薦算法3部分,服裝推薦過程如圖1所示。

圖1 服裝推薦過程

1.1 服裝圖像的目標識別與分割

由于有些服裝圖像具有復雜的背景,因此需要對圖像進行處理,在背景中識別出服裝,進行分割,消除背景干擾信息,保留有用信息,避免對后續服裝推薦產生影響。

基于傳統的圖像分割方法包括基于閾值的分割方法、基于邊緣的分割方法、基于聚類的分割方法、基于區域的分割方法、基于圖類的分割方法以及基于特定理論的圖像分割方法等[6]。傳統圖像分割方法大多利用圖像的表層信息,分割圖像準確率和計算效率較低,在進行服裝圖像分割時往往包含背景等無關信息。

基于深度學習的圖像分割方法利用圖像的語義信息,能夠應復雜的場景圖像進行分割。基于深度學習的圖像分割方法更加精確高效,分割效果較為細致。深度學習充分利用圖像的語義信息進行分割,在準確性和效率方面遠遠超過傳統圖像分割方法。深度學習技術的關鍵優勢[7]是能夠以端到端的方式學習圖像的特征表示,對圖像進行像素級別的分類。

Mask R-CNN[8]模型是常見的基于深度學習的圖像分割方法,在服裝檢測中應用較多。Mask R-CNN是Faster R-CNN的擴展,添加一個并行的分割掩碼來預測每個感興趣區域,能夠有效地檢測圖像中的對象,同時為每個實例生成高質量的分割掩碼,因此Mask R-CNN模型更加靈活,可以用來完成標分類、目標檢測、實例分割、人體姿態識別等任務。用于實例分割的Mask R-CNN框架如圖2所示。Paulauskaite等[9]利用優化的UNet模型進行服裝分割和形狀輪廓提取,UNet收集有關照片中服裝位置的信息,通過這些數據,該算法可以輕松識別服裝上的關鍵點,在經典UNet結構中增加了額外的編碼和解碼層,消除了圖像中可見的無關偽影,并解決了不同環境條件的問題。Wang[10]將基于區域的全卷積網絡(R-FCN)引入服裝圖像識別,并提出改進的HSR-FCN模型,該模型能夠對輸入的服裝圖像和特征圖進行空間變換和對齊,對多角度服裝和變形服裝加強特征學習,并且在更短的訓練時間下得到了更高的準確率,平均準確率比原始網絡模型R-FCN的提高了約3%,達到96.69%。

圖2 Mask R-CNN的基本框架

1.2 服裝特征提取

服裝特征通常分為低層傳統特征和高級語義特征[11]。服裝特征提取類型和方法如表1所示。低層傳統特征包括服裝的形狀、顏色、紋理等。形狀特征的提取可以通過提取服裝輪廓的邊緣信息來識別的基于邊緣的形狀法或是分析圖像中服裝灰度的分布信息的基于區域的形狀方法。顏色的特征提取方法有顏色直方圖、顏色相關圖、顏色矩及顏色一致性矢量等。顏色直方圖已被廣泛應用于目標識別與特征提取[12]。顏色直方圖[13]將顏色劃分區域,計算每個區域的比例,優點是操作、存儲和比較速度快,但對旋轉和縮放不敏感。局部二值模式(LBP)[14]可以用于對服裝圖像紋理的特征提取。圖像首先被分割成若干塊,以保留一定的幾何信息,每個圖像被劃分為5 × 4個子區域,然后對于每個子區域,提取像素點LBP特征并將其連接以用于直方圖表示,利用子區域直方圖表示整張服裝圖像紋理特征。

表1 服裝特征提取

高級語義特征在服裝相關領域中指服裝屬性及風格。深度學習技術通過學習特征以及對圖像卓越的辨別能力,在語義分割和特征檢測領域上取得了可喜的成果。深度神經網絡能夠學習數據中的復雜模式,這意味著其可以從傳統方法難以學習的圖像中提取特征。深度學習具有高度可擴展性,支持在大型數據集上訓練非常大的深度神經網絡,因此能夠以比傳統方法更高的抽象級別從圖像中提取特征。深度學習目前面臨著諸多挑戰[15],其有效性嚴重依賴于大型數據集,計算復雜度非常高,通常被認為是可解釋性差的黑盒模型。隨著深度學習在圖像領域的發展,基于深度學習的圖像特征提取在服裝特征提取上得到了較多應用。Zhang等[16]提出了一種混合多標簽卷積神經網絡用于捕捉服裝屬性,將卷積神經網絡推進到多標簽策略中,并通過探索標簽相關性考慮服裝項目的不均勻分布,用其來識別53個細粒度的服裝項目。Li等[17]利用目標檢測技術和深度殘差網絡(ResNet)提取服裝的綜合特征,使識別過程集中在服裝本身上,消除了背景和其他干擾因素的影響,很大程度上提高服裝風格識別的準確性,但是當服裝圖像被嚴重遮擋時,識別率將降低。Chen等[18]設計了雙關注的ConvNeXt網絡,通過合理挖掘服裝細粒度的屬性,利用服裝類型轉移訓練服裝風格,達到有效地預測服裝的類型和款式。該模型和方法不僅有效提高識別的速度和準確率,在處理能力上具有靈活的多樣性。

1.3 服裝推薦算法

推薦算法是推薦系統中最核心的部分,在類型和性能評估中起著決定性作用[19]。受深度學習在計算機視覺和語言理解方面取得巨大成功的影響,推薦研究已轉向基于神經網絡的新推薦算法模型。在開發服裝推薦系統時,最常用的基于深度學習的服裝推薦算法模型是卷積神經網絡(CNN)、循環神經網絡(RNN)、多層感知器(MLP)、生成對抗網絡(GAN)和貝葉斯網絡。

1.3.1 卷積神經網絡(CNN)

卷積神經網絡[20]主要由卷積層、池化層和全連接層3種類型的層組成。卷積神經網絡具有聯合特征和分類器學習的能力,在大規模數據集上具有較好的分類精度。CNN以其強大的特征提取和圖像分類能力在推薦系統中非常流行。使用預先訓練的卷積神經網絡進行特征提取并為用戶生成產品(特別是衣服)的推薦。Tuinhof等[21]使用CNN作為服裝圖像特征提取器,提取客戶上傳的服裝圖像類型特征,使用排名算法提供與圖片類似的商品推薦,但是特征提取和特征排名推薦是2個獨立的階段,而不是完整的系統。Yu等[22]使用由1個深度CNN結構和1個高級合成網絡組成的腦啟發深度網絡提取整體特征來表示服裝產品的審美元素,利用了1種張量因子分解模型,將審美特征納入模型中,以捕捉消費者在特定時間的審美偏好,實驗表明,該模型能夠揭示消費者的審美偏好,并推薦符合其審美的服裝。

1.3.2 循環神經網絡(RNN)

循環神經網絡[23]體系結構的典型特征是循環連接,這使RNN能夠根據過去的狀態和當前輸入數據更新當前狀態。卷積神經網絡的一個缺點是其在建模長跨度關系方面較弱。相比于卷積神經網絡,循環神經網絡能夠更好的處理數據中的時間信息。然而RNN在處理輸入相差較大的數據時無法連接相關信息。為了解決這個問題,Hochreiter等[24]提出了長短期記憶(LSTM),基于RNN的很多結果都是由LSTM實現的,LSTM能夠學習上下文信息,在推薦系統中利用該功能可獲取全局特征或進行偏好預測。Li等[25]基于用戶的評論和評分數據,使用LSTM掌握上下文信息,結合注意機制,捕獲全局方面表征,結合CNN捕獲的局部方面特征,2個并行通道學習用戶方面特征和項目方面特征,來提供更準確的用戶評分預測。Wu等[26]構建了一個深度循環神經網絡,利用深度RNN追蹤用戶的瀏覽歷史,提取用戶購買模式,在模型中,用戶會話表示為一系列網頁,表示從第1頁到購買項目的路徑,模型提取用戶常見的購買模式,并嘗試為未來用戶縮短路徑,因此用戶可以快速到達所需產品的頁面,該模型可為電子商務網站進行實時推薦。

1.3.3 多層感知器(MLP)

多層感知器[27]是一種人工神經網絡結構,由輸入層、輸出層和隱藏層3種類型的層組成。MLP能夠逼近任何連續函數,而不僅僅是線性函數,并且可以解決不可線性分離的問題。MLP是CNN的經典類型,CNN訓練收斂更快,誤差更小,準確率更好,但是訓練時間會更長。MLP的訓練通常通過使用涉及2個階段的反向傳播 (BP) 算法來完成,實現簡單,計算效率高。MLP模型已被應用到很多推薦模型,包括服裝方面的推薦。Lu等[28]提出一種基于圖的算法,利用改進的核函數學習所有用戶的偏好和興趣,采用MLP方法將用戶和物品的向量映射到神經網絡中,通過神經元的操作來學習用戶和物品之間更多的潛在信息,該方法不僅可以通過將用戶信息映射到網絡來發現用戶之間的一些潛在特征,而且將帶有評級信息的向量改進為MLP方法,預測項目的評級,因而可以獲得更高的精度和推薦效果。

1.3.4 生成對抗網絡(GAN)

生成對抗網絡[29]是一種生成性神經網絡模型,旨在生成看起來像真實數據的圖像。GAN包括一個生成器和一個判別器,兩者都在對抗性學習理念下進行訓練。生成器的輸入是低維噪聲矢量。它將噪聲轉換為數據向量,從而形成潛在的數據樣本。鑒別器將該數據向量作為輸入,并根據該數據向量來自原始數據分布的可能性為其分配分數。GAN解決了許多在推薦系統中發現的問題,GAN通過生成代表高基數目錄中整個產品分布的樣本緩解推薦的新穎性和稀缺性問題,通過學會用最少的識別信息為用戶段生成聯合分布使得冷啟動問題得到了緩解。Bock等[30]在2個成對的GAN模型基礎上提出了耦合GAN推薦器,進而提出了一個條件耦合生成對抗網絡,可以學習從在線用戶行為的聯合分布中生成樣本,這些樣本可用于為特定用戶群提供產品推薦。

1.3.5 貝葉斯網絡

貝葉斯網絡[31]是概率有向無環圖模型,使用節點來表示變量,使用弧來表示鏈接節點之間的直接依賴關系,并使用條件概率來量化依賴關系。靜態貝葉斯網絡廣泛用于可靠性評估。Guigourès等[32]引入了一種分層貝葉斯方法,聯合建模1個或多個尺寸的物品的購買及其可能的退貨事件,為電子商務提供合適的尺寸推薦,在數百萬客戶的真實(匿名)數據上實驗,并與具有簡化假設的基線方法進行了詳細討論和比較,結果表明貝葉斯方法優于基線方法。He等[33]提出貝葉斯對偶神經網絡框架,一個是從評分矩陣中為用戶和商品學習一個公共的低維空間,另一個是將用戶和商品的屬性投影到另一個共享的潛在空間中,結合了來自用戶和商品的輔助信息進行推薦,并且將不確定性引入所有權重,以進行校準的概率預測。

1.3.6 其 他

研究人員將多種算法和技術結合在一起,以實現更好的系統優化,并避免基本推薦系統的不同限制和挑戰。與單一算法相比,算法的組合將為用戶提供更合適、更有效的建議。Chen等[34]將GAN和RNN相結合,提出了的TagRec模型,集成的GAN和RNN可以提取評級和社會信息特征,以處理推薦系統中的稀疏性問題,模型利用用戶信任信息進行 top-N 推薦,進一步提高推薦性能,在2個真實數據集上的實驗證明了所提出的TagRec的有效性。Xin等[35]針對個性化可視化推薦的問題提出了一個學習框架,并與深度神經網絡架構結合,將用戶生成的可視化作為輸入,從用戶的可視化和數據偏好中學習,為特定的用戶意圖和偏好提供更高質量的可視化推薦。Yang[36]提出結合深度學習的決策樹算法服裝設計風格推薦,即利用基于深度學習(DL)理論的多標簽分類算法構建服裝風格識別模型,并基于決策樹算法構建服裝推薦模型,使用基于決策樹算法的服裝推薦系統后,受試者的平均滿意度為86.25%,說明該系統可以給用戶更好的服裝推薦體驗。Su等[37]提出混合循環卷積神經網絡(RCNN)方法計算情感表達強度,采用多類SVM方法進行動態表達識別,并使用循環卷積神經網絡(RCNN)的方法評估表達(快樂、憤怒等)強度,結合表情強度和表達時長來計算用戶的多興趣值,采用多興趣價值融合的方法進行個性化服裝推薦。

基于深度學習的服裝推薦算法模型優缺點總結如表2所示。

表2 基于深度學習的服裝推薦算法模型

2 服裝推薦的個性化發展

隨著線上購物和推薦系統的發展,消費者對服裝的個性化需求增加,個性化服裝推薦也受到了越來越多的關注。個性化服裝推薦能夠根據消費者的信息、需求等推薦給消費者感興趣的服裝。因此,個性化服裝推薦引起了國內外服裝專家的關注。進行高質量的個性化服裝推薦需要滿足2個條件:①用戶偏好預測,即整個服裝要整體符合用戶喜好;②服裝項目之間的兼容性,即同一套服裝中的單品在視覺上應該相互兼容。

Li等[38]提出了一種層次化的時裝圖神經網絡,構建了一個基于用戶服裝交互和服裝項目映射的層次結構,將兼容性信息視為圖中傳遞的消息,并將其編碼到節點表示中,將兼容性匹配和個性化推薦結合考慮,使得推薦的結果不僅具有良好的兼容性,而且滿足用戶的個人喜好。Abugabah等[39]提出了一種基于用戶偏好動態變化和視覺兼容性關系的時尚學習模型,對基于場景的用戶偏好進行建模,以從歷史用戶交互中推斷項目-項目關系,將用戶偏好與用戶評論信息和圖像區域級特征聯合,以做出更準確的推薦,實驗結果表明所提方法能夠更準確地理解用戶的偏好,但是在實際互聯網中,用戶提供的查詢詞往往很短,會導致歧義而誤解用戶的意圖。Paul等[40]結合視覺、時間和順序信息來進行個性化推薦,利用時間層次嵌入(T-Sherlock)方法將視覺特征結合到時間模型中來預測用戶對不同類別產品的偏好,但是對于新用戶,難以提供較高質量的推薦。Divitiis等[41]提出了一種基于記憶增強神經網絡的方法,通過服裝屬性的共現來解決個性化推薦時的服裝項目兼容性。但是模型訓練僅基于顏色和形狀,對于服裝面料及風格兼容還有不足。Mo等[42]將服裝兼容性與個人物理屬性聯系起來,以進行完整的兼容性學習,用于推薦最適合個人的服裝,然而由于時尚單品的屬性分布和服裝的物理標簽分布不平衡,所提方法性能不盡如人意。

3 服裝推薦系統的應用領域

3.1 服裝搭配推薦

在人們的日常生活中,如何很好地搭配衣服總是一個麻煩的問題,決定穿什么、如何搭配自己的衣服并不容易。合理搭配服裝已經成為廣大消費者的內在需求。研究人員將搭配造型知識、服裝相關性等搭配規則融入推薦系統中,為用戶提供合理的搭配服裝。服裝搭配推薦系統的應用,可以有效滿足客戶在穿衣搭配方面的需求,從而節省大量的時間和精力。Wang等[43]利用卷積神經網絡提取視覺信息,從視覺語義嵌入預測時尚兼容性,基于單品的服裝時尚相容性成功地從款式、質地和細節配飾上匹配服裝。Cui[44]從人工智能技術與服裝時尚相結合的角度出發,提出改進型SDD_RN網絡,提取多特征融合開發出更符合個性化需求的服裝搭配推薦。Liu等[45]利用服裝商品之間的相關性,使用神經圖濾波框架服裝單品進行建模,建立了基于圖結構的服裝搭配系統。

3.2 服裝檢索推薦

在電子商務平臺上購買時尚服裝與在線下零售店購買有很大不同,因為電子商務平臺可以購買的服裝產品范圍更廣。因此一個有效地支持用戶搜索其想要的產品并進行推薦的系統在網絡購物中起著重要作用。服裝檢索推薦不僅能夠便捷用戶檢索,還能夠根據用戶提供的查詢信息捕捉用戶的意圖,根據個人歷史數據,如以前的銷售、服裝購買記錄、眼動記錄和項目點擊率,通過特征相似性和相關性分析對用戶提供精準的推薦。Sevegnani等[46]提出模型WhisperLite,使用對比學習從自然語言文本中捕捉用戶意圖,CLIP 嵌入的強度與用于個性化的附加神經網絡層相結合,并使用基于二元交叉熵和對比損失的復合損失函數進行訓練,顯著改進了離線推薦檢索指標。Jiang等[47]提出了一種基于卷積網絡的深度交叉三元組嵌入算法,用于雙向服裝檢索。

3.3 服裝設計推薦

隨著消費者對個性化時尚推薦系統的需求不斷增加,在服裝設計階段根據客戶需求進行個性化設計變得至關重要。Ling等[48]通過整合沖突規則處理機制及其在個性化時尚推薦系統中的應用,提出了一種新的服裝設計知識庫。Wang等[49]提出了一種基于2個數學模型的服裝設計推薦系統,該系統允許從消費者在合身性和美觀方面的個性化需求來預測和控制服裝款式和結構參數。Sharma等[50]提出了一個數據驅動的交互式設計系統架構,以幫助設計師根據服裝購買者的喜好,結合設計師的技術知識,創造出最相關的定制服裝。

3.4 服裝產品推薦

當前時期,服裝行業呈現加速發展態勢,服裝品牌和品類大幅增加,服裝數據較多。服裝產品推薦能使用戶在短時間內找到最滿意的服裝。Becattini等[51]利用Shigenobu Kobayashi的彩色圖像量表將情感模式和情緒與顏色三元組聯系起來,從在線可用的數據信息中提取服裝外觀和相應的社交活動,提出了一種兼顧基于風格的過濾和基于事件的過濾的時尚推薦方法。周捷等[52]利用灰色關聯層次分析法建立服裝號型選擇模型,向消費者提供準確的服裝號型。Zhang等[53]通過整合設計師和購物者的專業知識并考慮消費者對產品的看法而開發出一種通過模糊技術和AHP的面向消費者的推薦系統,該系統可以像虛擬銷售顧問一樣用于服裝在線購物系統。

4 結束語

服裝推薦系統能夠幫助消費者快速找到與其選擇匹配的服裝,成為電商平臺發展的重要手段。服裝推薦系統進入快速發展階段,已經取得了較多研究成果。

本文通過對服裝推薦過程、推薦算法模型、應用領域進行總結分析,發現服裝推薦算法的研究主要集中在捕捉服裝特征和用戶需求上,對挖掘潛在消費群體,預測消費者興趣變化還有不足。服裝推薦的應用也多圍繞在銷售環節的消費者身上,未能充分發揮推薦系統對服裝開發設計環節的指導作用。單一推薦模型能取得不錯的效果,但是仍存在一定的缺陷,混合模型推薦的研究將受到更多關注。在推薦系統開發中應當對靈活使用算法和模型,不局限于某一類,巧妙融合,提高效率和性能。

在未來,在服裝推薦中應注重個性化與人工智能相結合,基于用戶的需求與偏好,符合消費者的個人特性與心理變化,滿足消費者的實際需求。基于圖像進行的推薦得到了越來越多的重視,然而對圖像進行視覺解釋的同時,往往忽略必要的文字解釋而缺乏精確性,因此服裝推薦需要重視圖像與文本的結合,在視覺信息和文本信息聯合的方向邁進。