面向在線服飾電商平臺的潛在類別圖嵌入套裝搭配模型

吳韻之 石曉紅 王冠

摘? 要：隨著電子商務的發展，在電商平臺中用戶如何挑選時尚好看的服飾單品存在困難，如何從大量的服裝中搭配出適合用戶需求的服裝，成為時尚推薦中的熱門話題。在服裝構成分析中，對服飾之間的兼容性關系進行建模是一個必不可少的因素。為彌補在整個兼容性分析中不會考慮同一類時尚品的相似性問題的缺陷，提出基于類間關系和類內關系的潛在類別圖嵌入（LCGE）學習方法。與現有的解決方案相比，此方法使用了服飾套裝和類別信息之間的視覺結構信息。通過這種方法，能夠滿足用戶獲得符合時尚美學服飾的需求，并促進購買、刺激消費。

關鍵詞：圖卷積網絡；服裝兼容性分析；服裝搭配；融合算法

中圖分類號：TP391? 文獻標識碼：A? 文章編號：2096-4706（2023）02-0062-07

Potential Category Map Embedded Suit Matching Model for Online Dress E-Commerce Platform

WU Yunzhi1， SHI Xiaohong2， WANG Guan3

（1.School of Economics and Management， Guangzhou Modern Information Engineering College， Guangzhou? 510670， China;

2.School of Information Engineering， Guangzhou Panyu Polytechnic， Guangzhou? 511487， China;

3.School of Computer Science and Engineering， Sun Yat-sen University， Guangzhou? 510006， China）

Abstract： With the development of E-commerce， users have difficulty in choosing fashionable and beautiful clothing items on the E-commerce platform. How to match a large number of clothing to suit the user's needs has become a hot topic in fashion recommendation. Modeling the compatibility relationship between garments is an essential factor in garment composition analysis. In order to make up for the defect that the similarity problem of the same type of fashion is not considered in the entire compatibility analysis， we proposed a latent class graph embedding （LCGE） learning method based on inter class relations and intra class relations. Compared with the current solutions， this method uses the visual structure information between the outfit and the categories information. This method can meet the needs of users to obtain fashionable and aesthetic clothing， and promote purchase and stimulate consumption.

Keywords： graph convolution network; clothing compatibility analysis; clothing matching; aggregation algorithm

0? 引? 言

近年來，網上購物因其高效和方便，逐漸積累了大量的客戶，但由于商家、產品過多，用戶在選擇商品，特別是服飾類商品時，容易存在選擇超載的現象。借助海量數據和算法，為用戶推薦服裝搭配方案，提升消費者購買欲望，是服裝電商平臺提升消費者體驗培養忠誠顧客，從而增加銷量的重要手段。為了滿足用戶的時尚需求，一個有效、高效的時尚匹配推薦系統變得越來越迫切。許多研究工作都致力于解決智能和自動的時尚匹配任務[1-3]。由于時尚產品的特性、主觀性美學和復雜的語義特征，合理地建模時尚產品和用戶興趣之間的復雜關系是一項挑戰。在服裝這個品類的數據當中，存在著十分豐富的信息種類。例如服裝的圖片、服裝的屬性、服裝的類別等。在服裝的搭配兼容性分析過程中，不同的數據往往占據著或輕或重的作用。進行有效的服裝兼容性分析的重點就在于如何通過已有的服裝數據信息進行數據構建，以及如何有效的提取這種數據形式，令研究工作獲取到更有效的信息。

時裝推薦系統通常必須模擬不同時尚項目的兼容性[4，5]。然而，建模時尚兼容性不是一個簡單的任務，需要確保當衣服作為一種時尚服裝被穿的時候是美觀的。人類在分析美學時，必然要主要考慮視覺因素。同時，服裝的類別會使服裝呈現出不同的視覺外觀。因此，本文關注的是利用類別信息來更好地建模時尚產品之間的視覺兼容性。

時尚兼容性分析[6]是指確定一對或一組時尚單品是否合適搭配。在以往的工作中，時裝兼容性分析的建模主要表現在時裝物品之間的品類間關系[7]。他們將服裝視為許多對時尚物品[8]，或將服裝視為序列，并使用RNN進行兼容性分析[9]。隨著圖形數據深度學習工具的發展，一些研究者開始將時裝作為圖形數據來對待。Cucurull等人[1]和Yang等人[10]直接使用圖形表示時尚服裝，并使用圖形神經網絡分析它們的兼容性。這些研究方法取得了一定的進展。然而，現有的研究只關注類別間關系或類別內關系。事實上，這兩種關系在模特時尚兼容性中都很重要。

本文提出了一種潛在類別圖嵌入（latent category graph embedding， LCGE）學習方法，該方法將時尚服裝的類別間信息與時尚服裝的類別內信息相結合，從而更好地進行兼容性預測。在真實的互聯網場景中，數據的結構實際上是以圖形結構的形式存在的。時裝項目可以用不同的圖表、服裝圖表和類別圖表來表示。一種是基于類間關系，另一種是基于類內關系。利用圖神經網絡學習潛在類別圖的嵌入。不同的圖對兼容性分析有不同的貢獻。本文利用注意機制對兩個圖的嵌入結果進行聚合，并計算兼容性得分。我們的方法是基于圖注意網絡。該方法不僅考慮了時尚物品之間的差異，而且考慮了同類物品之間的相似信息。實驗證明了該方法的有效性。

本文貢獻可以總結為以下三點：

（1）提出了一種結合時尚服裝類間關系和同類服裝類內關系的視覺兼容性分析方法LCGE方法。

（2）同時研究了不同圖結構數據對時裝視覺兼容性分析的影響。

（3）驗證本文提出方法的有效性，并與達到了先進水平的基線方法進行比較。

1? 相關工作

1.1? 基于服裝對與序列的兼容性分析

人類不可避免地會對時尚服裝之間的關系有一種感知，而服裝的外觀是服裝的重要組成部分。這種認識體現在兩個方面。一個是兩個服裝物品（例如兩條牛仔褲）之間的類別內關系[2，7，11]。另一種是兩種不同衣服之間的類別間關系（例如，一條牛仔褲和一件配套的襯衫）[9，12]。Veit等人[13]基于孿生神經網絡體系結構構建了視覺兼容性建模方法。Vasileva等人[7]改進了基于卷積神經網絡的方法，將衣物嵌入一些潛在的不同類型組合的兼容空間中，但這些作品只關注了服裝物品的兼容性，而不是整個服裝；其他服裝兼容性分析任務則試圖評估時尚服裝之間的整體兼容性[5，14]，這樣可以確保一件時裝在美學上與其他服飾完美契合。Li等人[15]和HAN等人[9]將時尚服裝建模為一個有序的序列，使用卷積神經網絡提取視覺特征然后利用基于循環神經網絡的模型對序列數據進行處理，評估服裝序列的兼容性。

1.2? 基于圖表示的服裝兼容性分析

由于圖的結構可以表示服裝之間復雜的結構關系，一些研究者試圖通過圖結構[4]的形式來建立主要依賴于服裝結構表示的服裝兼容性模型。Kipf等人[16]提出的圖卷積神經網絡模型使得圖結構的數據處理更加高效。Yang等人[10]利用圖神經網絡提取多模態信息。Cucurull等人[1]將圖卷積神經網絡直接應用于時尚服裝的兼容性分析。Cui等人[17]使用類別來構建圖，并將時尚套裝作為子圖處理，然后根據子圖預測套裝兼容性。

現有工作僅關注于數據結構或時裝之間的單一關系。針對這些，本文提出一種潛在類別圖嵌入（LCGE）方法來評估視覺兼容性得分，該方法利用圖注意網絡學習類別間和類別內的潛在類別關系。

2? 本文方法

本文所提出的套裝搭配模型可分為兩步。首先，介紹圖注意網絡（GAT）作為編碼器，生成圖節點嵌入的時尚物品。其次，將每個嵌入與注意機制整合為聚合嵌入，并使用多層感知器（MLP）來計算兼容性得分。所提出的解決方案的整體流程，如圖1所示。

它由以下2個部分組成：

（1）首先構建類間套裝圖和類內類別圖，然后利用圖注意力網絡分別提取兩種圖結構下的圖節點嵌入。

（2）為了能夠獲得更準確的潛在類別圖嵌入，我們將這兩種圖節點嵌入利用注意力機制進行繼承，并利用最終的繼承嵌入繼承兩個服裝物品的兼容性得分。

2.1? 服裝潛在類別圖嵌入的學習過程

在兼容度分析的數據集中，一類重要信息是基于時尚專家搭配出來的套裝，原因在于時尚專家的搭配，是被認為符合著裝搭配規則的。所以通過學習這種服裝的關聯關系，能夠在一定程度上學習到服飾搭配中的深層語義關系。此外，服裝的類別內部的相似性關系，往往也對服裝搭配起到重要的作用。例如，兩個不同的服飾類別，如果存在兼容的服裝，那么往往這兩個類別中其他的服裝對也可能具有兼容性。它意味著在兼容性嵌入空間中，服裝的類別信息一定也會起到重要作用。基于這種分析，本方法利用服裝套裝、類別信息對所有的服裝數據進行圖結構形式的建模。通過利用多通道的圖卷積網絡進行圖節點嵌入的學習，可以獲得類別圖的圖節點嵌入和套裝圖的圖節點嵌入。隨后，將類別圖的圖節點嵌入和套裝圖的圖節點嵌入相融合來加強服飾物品的嵌入表示。通過上述過程，可以將從類別之間學習到的潛在差異搭配關系，以及類別之內學習到的潛在相似性關系，都融合在一起，從而使得物品的潛在類別圖嵌入學習更加有效，能夠更好地應對服飾套裝的搭配任務。

定義=（V，ε）為一個無向圖，其中有N個節點i∈V，在本方法中，節點表示數據集中的各個服裝物品。邊（i， j）∈ε表示一對節點之間的結構性關系。結合本方法，在套裝圖中，邊（i， j）表示曾經在一個時尚套裝內共現過的服裝物品對，而在類別圖中，邊（i， j）表示服裝對屬于同一個類別。每一個節點用一個特征向量表示xi∈RF，定義X={x0， x1，…， xN-1}是包含圖中所有節點特征向量的矩陣。采用鄰接矩陣來表示這個圖A∈RN×F，其中Ai， j=1表示在節點i和節點j之間存在邊，而Ai， j=0則表示不存在邊，用這種方式表示服裝物品之間的關系。為了充分利用類間信息和類內信息，本方法使用套裝圖網絡學習服裝對的類間兼容性，以及利用類別圖網絡從同一類別的商品中提取類內相似性關系。然后，通過考慮鄰接節點關系，利用鄰接矩陣來提取服裝物品的潛在圖節點特征。建立圖模型的主要目標，是首先學習一個編碼器H={h0， h1，…，hN-1}=f1（X， A），其中hi∈RF表示服飾物品的潛在嵌入。該過程可以視作將服飾的原始特征編碼進入一個新的潛在空間。在這個潛在空間里，兩個點之間的距離可以類比為兩個節點之間有邊的可能性。

本文采用了在ImageNet數據集上經過預訓練的ResNet50[18]來作為視覺特征的提取器，視覺特征可以提取出服裝的視覺信息，包括尺寸、形狀、顏色等。對于一個單獨的節點i，在圖網絡中輸入的初始特征是該服裝物品的視覺特征xi，經過圖網絡生成新的特征表示hi。本方法期望經過該圖神經網絡模型后，提取出來的新特征不僅僅只包含該服裝的視覺信息，同時包含了該服裝在套裝圖結構以及類別圖結構中的兼容性信息。這就意味著，通過編碼器提取出來的新特征不僅僅要包含該節點自己，還要包含它的鄰居 。編碼器的方法利用具有多隱層的圖注意力網絡實現。因此，最終的特征hi由不同的隱層疊加計算完成。一個單層的結構為：

（1）

其中? 表示第i個節點在隱層第l層的輸入，第i個節點具有? 個鄰居，而? 是鄰居j的隱藏向量。 表示隱層l層的輸出，也就是l+1層的輸入。此外，Θ是需要學習的參數。注意機制被用于計算圖注意力網絡的單層。ai， j表示節點j對于節點i的重要程度。由此，可定義基于Softmax函數的注意力機制：

（2）

這里模型首先計算? 為節點i， j的相關注意力系數參數。該公式將節點i， j的隱向量進行拼接，σ表示一個基于Leaky ReLU激活函數的感知機網絡的一層計算過程。為了使系數更具可比性并確保注意權重大于零，使用Softmax函數進行了歸一化操作。在網絡的實現過程中，往往使用矩陣進行計算。所以根據以下矩陣形式的節點迭代公式計算整個圖形：

（3）

其中H （l ）表示所有節點在隱層第層l層的輸入，H （l+1）表示所有節點在隱層第l層的輸出。這里H （0）=X為第一層輸入。 表示經過正則化的s步深度的鄰接矩陣，其中? 是一個單位矩陣，表示節點自己與自己連接。A1=A+IN表示深度為1的鄰居和自相連。然后使用對角度矩陣D，即Dii=∑jAi， j對A進行行方向正則化 。在本次的實驗中，設置S=1。即只選取節點的步長為一鄰居節點。 是需要學習的參數矩陣。注意力機制?將注意力與鄰接矩陣? 進行元素乘，得到最終的注意力矩陣。最后，本節定義? 和 ，分別指示服裝圖和類別圖中項目i的最后一層節點嵌入。

在應用LCGE模型獲得服裝物品的潛在類別圖嵌入之后，每個節點都可以由它們自己的視覺特征、套裝圖中的類間關系以及類別圖中的類內關系進行特征表示，如圖1所示。接下來，將詳細介紹如何將這兩個不同的類別圖嵌入向量進行集成操作，成為該服裝物品的聚合項嵌入，并利用聚合項嵌入來計算最終的服飾兼容度。

2.2? 服裝兼容性預測方法

經過采用類間套裝圖和類內類別圖兩種不同的建圖方式構建圖數據，以及應用圖注意力網絡學習圖節點嵌入的方法，本方法獲得了基于套裝兼容性的服裝嵌入和基于類型圖的服裝兼容性嵌入。為了能夠獲得服裝更準確的嵌入，將進一步對套裝圖的嵌入與類型圖的嵌入進行融合，從而生成集成嵌入。令h表示由LCGE模型獲得的圖形嵌入。具體地，使用 表示服裝v的套裝圖嵌入，使用? 表示服裝v的類別圖嵌入，且有 ，其中d是嵌入的維數。根據經驗，兩種圖嵌入的尺寸被固定為相同的維度。

有效的圖嵌入會對服裝兼容性的計算產生重大影響。為了融合這一對圖嵌入，本方法建議使用軟注意力機制來考慮權重參數以集成不同的圖嵌入向量。對于時尚商品v，讓? 表示圖n∈（o，c）的商品v的權重，該公式使用sv表示服裝v的集成嵌入。以下公式顯示了服裝物品整體嵌入的計算：

（4）

在公式中，用? 來替代直接的? ，來確保每種信息的貢獻權重大于0，并且該公式對權重進行了歸一化。最后通過服裝物品的圖嵌入向量，直接計算兩個項目的兼容性得分。這種場景可以利用經典的度量學習方法。本方法使用式（4）中計算所得的服裝物品的集成嵌入，對服裝物品之間的兼容性概率P進行估計。該模型的計算公式為：

P=σ（wT|si-sj|+b）? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

其中? 是絕對值函數，而wT∈RF和b∈R是需要學習的參數。Sigmoid函數σ將結果限定在[0，1]。該方法利用單層感知機的方法來計算物品之間的兼容性概率，即物品之間的兼容性評分。并將交叉熵損失函數作為優化目標來進行訓練。

3? 實驗結果與分析

本文對所提出的方法模型進行了相應的實驗設計，在本節的實驗部分中，將通過對比當前研究領域中的一些經典方法，并通過設計相應的度量尺度來驗證本文提出方法的有效性。接下來會從實驗的數據集選取、數據預處理、對比的基準方法、評價指標、實驗數據以及相應數據展示等不同的角度，來展開介紹本文所提出的方法在實驗中的表現。

3.1? 數據集與實驗細節

本實驗所采用的數據集Polyvore數據集是從時裝網站Polyvore.com收集所得。該網站與一般的電商網站不同的是，該網站由時尚專家發布自己組建的時尚套裝供大家參考。時尚套裝中的服裝物品以及套裝本身都包含著豐富的信息，例如圖片、類別、標題、價格、流行度等。Polyvore數據集擁有由16 437件物品以及它們組成的21 889個套裝，套裝中物品的平均數量為6：5，這些服裝分為380個類別。我們人為地將數據集中70%的數據劃分為訓練集，10%劃分為驗證集，20%劃分為測試集。由于Polyvore數據集是由真實電商場景產生，且擁有較為豐富的數據量，它的實用場景與服裝兼容性分析極度吻合。已經有很多的服裝兼容性分析工作在Polyvore數據集上完成，該數據集在服裝兼容性分析中具有重要地位。因此，本文的實驗選取Polyvore數據集來印證本文所提出的想法。

本方法集中于在視覺特征中挖掘服裝間豐富的潛在類型關系，提取服裝視覺特征的視覺特征提取模塊采用基于ImageNet進行預訓練的殘差網絡ResNet來進行構建。本文的模型采用ResNet50的預訓練模型進行視覺特征提取，在主干模型中的圖卷積網絡擁有3個卷積層，并選取卷積的步數為1，即只卷進相鄰節點的信息，同時每層有350個單元，在每一層的輸入，設置0.5的隨機舍棄節點（Dropout）的概率，并且在輸出的時候使用批量正則化操作（Batch Normalization）進行正則化處理，以幫助模型更好的收斂。為了防止過擬合，模型在訓練時同時對鄰接矩陣A進行隨機舍棄掉部分邊的操作，舍棄的概率為0.15。圖中的每個節點設置輸入為2 048維的特征向量，正如本文所描述的，該視覺特征向量由ResNet50提取。優化器的選擇為Adam，學習率為1×10-3，epoch數量為4 000次。該模型利用TensorFlow框架來實現本文提出的網絡模型，并完成訓練與評估的實驗過程。所有的實驗使用單張NVIDIA GeForce GTX 2080Ti顯卡完成。

3.2? 實驗任務與性能指標選擇

本實驗將模型應用于以下兩個任務，套裝填空任務（Fill In The Blank， FIFB）如圖2所示，套裝兼容性預測任務（Outfit Compatibility Prediction， OCP）如圖3所示，并利用相應的評價度量進行評價。

圖2? 套裝填空（FIFB）任務圖示

圖3? 套裝整體兼容性預測任務圖示

3.2.1? 套裝填空任務

在候選服裝物品集中，選擇出能夠擴展已給出的套裝服裝的時裝物品。一個FIFB問題對應一個測試套裝。每一個問題由幾個時裝物品組成為一部分套裝，從一個候選集合｛c0，…，cM-1}中選擇出正確的答案，候選集合中還包含了M-1個隨機的其他服裝物品。在該的實驗中，預先設置候選集的數量為4。FIFB任務可以被定義為計算候選物品與原各個物品的兼容性評分的均值，用來作為該候選項的預測分數。計算方法為：

（6）

其中ei， j表示第j件候選物品與原套裝中第件i件物品的兼容性評分。套裝整體分數通過加權平均值獲得。M件候選物品中得分最高的即為可以填空進套裝中的服裝物品。本實驗的評估度量選擇為從候選集中是否選擇正確的物品，即準確率。

3.2.2? 套裝整體兼容性預測任務

計算整體時尚套裝的兼容性分數。兼容性分數的范圍為[0，1]。該分數越接近1，則表示該套裝兼容性越高；越接近0，則表示該套裝中各服裝物品之間越不兼容。該任務可以被定義為計算套裝圖中所有服裝對之間的兼容性的平均值。對于包含N個物品的套裝，則有N（N-1）/2個服裝對需要計算兼容性評分。該實驗將這些服裝對的分數全部累加求和并求出均值，利用該均值作為服裝套裝的整體兼容性分數。具體的計算公式為：

（7）

其中? 表示套裝中第i件候選物品與原套裝中第件j件物品的兼容性評分。對于套裝兼容性預測，選擇計算ROC曲線，并計算AUC作為該任務的評價度量。

3.3? 實驗任務與性能指標選擇

在本文實驗中，選擇以下典型的服裝兼容性分析基線方法與本文提出的基于圖網絡的服裝兼容性分析方法進行對比，以此來評價本文方法的有效性。

POP方法：該方法將服飾按照其在推薦系統中的流行熱度進行排序，并且按照流行度排列的順序進行推薦。優先推薦在服裝候選集中流行度高的服裝物品。該方法常常被用于作為基線方法。

RAND方法：該方法將服裝候選數據集中的服裝物品，按照隨機的順序進行排列，并按照該排列的結果為用戶進行服裝推薦，該方法能夠持續地為用戶提供推薦的服裝。因此，這種方法常常在真實場景中使用。

Siamese Net方法：該方法從不同的服裝中分別學習服裝的視覺特征嵌入，利用流行的卷積神經網絡提取服裝的視覺特征，并且直接利用L2距離作為定義兩個服裝之間兼容性評分的度量，從而進行服裝兼容性分析模型的訓練。最終模型會推薦服裝候選集中L2距離最小的服裝候選物品。

Bi-LSTM方法：由Han等人提出，可以將整個時尚套裝視為一個序列，并以這種序列的套裝形式來進行服裝兼容性分析的建模和學習。利用雙向的長短期記憶網絡來預測下一個服裝物品。或者通過最終輸入完所有序列后，輸出整體服裝套裝的兼容性評分。

TA-CSN方法：由Vasileva等人提出利用服裝的類型信息，將服裝間的類間信息加入進服裝兼容性分析中。他們將服裝套裝兩兩投射入對應的類型潛在空間，再將各個嵌入利用全連接進行結合。再利用三元組損失函數和孿生網絡的相似特點來進行兼容性預測。

CAV方法：由Cucurull等人提出一種基于嵌入學習的方法來預測時尚服裝之間的兼容性以及時尚套裝整體的兼容性。他們將時尚套裝構建為了一個圖數據結構，并利用類似圖自編碼器的模型進行時尚服裝之間的兼容性分析。該方法考慮了服裝之間的類間信息，并用最新的圖網絡來處理這種關系，從而學習服裝間的兼容性關系。本文工作基于該文章的理論框架進行拓展研究而成。

對于兩個任務，實驗結果如表1所示。前六行對應基線的工作，最后一行對應本文所提出的方法的結果。從表中可以看出，本文提出的方法在服裝兼容性分析的性能上取得了不錯的效果。

表1將本文提出的方法與基線方法進行對比，其中Orig.表示在原數據的測試集上進行的測試結果；而Res.表示在原數據集上采用子集的方式進行重新采樣而生成的數據集，其擁有更大的測試難度。

對比本文提出的方法和基線方法（Baseline）的方法，可以得出以下結論：首先，基于流行度的算法表現出了最低的準確率和套裝整體兼容性預測AUC。因為流行度僅僅表現為該服裝物品被用戶所注意到的程度。并沒有考慮到時尚服裝物品之間的任何關系。雖然從某種程度上來說服裝的熱度足夠高，能夠表明服裝收到更多用戶的喜好，但無法表明該服裝在服裝搭配中一定能夠組成令人美學上感到愉悅的搭配。同樣，基于隨機排序的方法同樣伴隨著這個問題。

孿生網絡SiameseNet表現出了略低的準確性和套裝整體兼容性預測的AUC。因為孿生網絡僅僅考慮了視覺因子并且它僅將時尚套裝建模為物品對。并沒有考慮到時尚套裝間復雜的結構關系，以及時尚服裝自身的其他信息。

雙向長短期記憶網絡Bi-LSTM和類別感知的兼容性分析網絡TA-CSN，通過將時尚套裝建模為序列，以及通過不同潛在空間疊加等方法，對時尚套裝結構化信息進行了建模，但是它們也僅利用了服裝物品類別之間的一些關系，雖然在結果上對比SiameseNet取得了一定的進步，但是仍然有進步的空間。

然而基于圖方法的CAV方法在這種類間方法的基礎上，利用了更為復雜的服裝數據表達形式，以及利用圖自編碼器這種能夠處理圖關系的網絡結構，更深度地挖掘了服裝物品之間的類間關系，取得了一定的成功，但是這些方法始終沒有能夠全面的利用服裝類別之間的隱含語義。

最后，本章所提出的方法，通過利用視覺因子建立套裝的類間和類內兩種不同的圖結構，并且利用圖卷積網絡來提取時裝物品在類間圖和類內圖關系中的圖節點嵌入。本章方法不僅建模了時尚服裝之間的類間差異性信息，同時還利用了時裝物品的類內關系信息提取到了服裝之間一定的相似性。實驗證明該方法取得了優秀的結果。

本章同時進行了消融實驗，表2的頂部三行展示了本章方法進行消融實驗的結果，從消融實驗的結果可以看出，不同的圖關系信息對于實驗結果的作用是不同的。服裝的類間信息和類內信息的充分提取能夠在不同程度上提升實驗結果。可以得出以下結論，在利用服裝的類別隱含語義進行物品嵌入時，同時考慮服裝的類間信息和類內信息，能夠同時提取服裝間的差異性和相似性。并且利用圖網絡形式能夠最大限度地獲取該關系中的有效信息。

此外，本章節還對多圖網絡的節點嵌入融合方法進行了實驗和分析。如表2的4至6行所示，實驗中進行了有關連接加法、點乘和注意機制點乘的融合方法的實驗。結果表明，通過級聯的節點嵌入融合使實驗效果稍好，但由于參數的增加，消耗了更多的內存。不過整體來看這三種計算操作作為融合方法區別不明顯，所以本次實驗中主要采用點乘的方式，在表格中的最后一行的結果中。本章最終方法使用了帶有注意力機制的點乘。比較直接點乘和帶有注意機制的點乘的實驗結果。從表2中可以看出，加入注意力機制后，實驗結果有了明顯改善。證明了不同類型的圖網絡對時尚兼容性的影響不同，并且注意力機制可以更好地整合各種圖網絡生成的圖嵌入。

3.4? 服裝搭配服務原型系統

服裝搭配服務原型系統采用了本文所提出的基于圖網絡的服裝兼容性分析與服裝個性化單品推薦方法來搭建。根據用戶的使用場景，前端交互頁面的設計主要集中在三個功能模塊。第一個是套裝搭配模塊，包括用來展示系統內所包含的時尚套裝推薦結果列表展示。套裝以及服裝的詳細信息展示，以及用戶與系統推薦的時尚套裝進行互動反饋，例如為套裝打分和評論等。另外，原型系統中為用戶的個性化服裝推薦設計了“個人衣櫥”模塊。在該模塊的前端交互功能中，用戶能夠看到自己收藏的服裝或套裝列表，并且用戶能夠自主進行服裝搭配并發布，在用戶搭配的過程中，我們的個性化推薦系統會根據該用戶的歷史交互數據為該用戶推薦服裝單品。最后，為了滿足服裝搭配助手以及用戶個性化需求，該服裝推薦服務原型系統設計了用戶交互模塊。在該模塊中包括了用戶的賬號信息、登錄等前端功能，以及用戶在對服裝收藏、評分等交互過程中所需要的基本操作功能。

圖4為服裝推薦服務原型設計前端交互頁面展示，包括服裝搭配推薦首頁、個人衣櫥、服裝搭配詳情等。

4? 結? 論

本文提出了一種利用圖神經網絡學習潛在類別圖嵌入的視覺兼容性分析方法，采用視覺特征來考慮類別間的關系和類別內的關系。然而，此方法也有一定的局限性，如僅僅考慮了視覺方面。方法關鍵的挑戰是如何獲取潛在信息以滿足特定應用的要求，在未來將繼續研究如何更好地利用時裝數據集中的信息、時裝的語義信息以及通過神經網絡結構的優化來取得更進一步的進展。

參考文獻：

[1] CUCURULL G，TASLAKIAN P，VAZQUEZ D. Context aware visual compatibility prediction [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Long Beach：IEEE，2019：12617-12626.

[2] LI Z K，CUI Z Y，WU S，et al. Semi supervised compatibility learning across categories for clothing matching [C]//2019 IEEE International Conference on Multimedia and Expo（ICME）.Shanghai：IEEE，2019：484-489.

[3] LIN Y L，TRAN S，DAVIS L S. Fashion out?t complementary item retrieval [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Seattle：IEEE，2020：3311–3319.

[4] LI X C，WANG X，HE X N，et al. Hierarchical fashion graph network for personalized outfit recommendation [EB/OL].[2022-08-14].https：//dl.acm.org/doi/10.1145/3397271.3401080.

[5] LIN Y S，MOOSAEI M，YANG H. Outfitnet：Fashion outfit recommendation with attention-based multiple instance learning [EB/OL].[2022-08-12].https：//dl.acm.org/doi/abs/10.1145/3366423.3380096.

[6] YANG X，MA Y S，LIAO L Z，et al. TransNFCM：Translation-based neural fashion compatibility modeling [EB/OL].[2022-08-12].https：//arxiv.org/pdf/1812.10021.pdf.

[7] VASILEVA M L，PLUMMER B A，DUSAD K，et al. Learning type-aware embeddings? for fashion compatibility [J/OL].arXiv：1803.09196 [cs.CV].[2022-08-14].https：//arxiv.org/abs/1803.09196.

[8] HAN X J，SONG X M，YIN J H，et al. Prototype-guided attribute-wise interpretable scheme for clothing matching [EB/OL].[2022-08-14].https：//dl.acm.org/doi/10.1145/3331184.3331245.

[9] HAN X T，WU Z X，JIANG Y G，et al. Learning fashion compatibility with bidirectional lstms [J/OL].arXiv：1707.05691 [cs.CV].[2022-08-12].https：//arxiv.org/abs/1707.05691.

[10] YANG X，DU X Y，WANG M. Learning to match on graph for fashion compatibility modeling [EB/OL].[2022-08-16].https：//ojs.aaai.org/index.php/AAAI/article/view/5362.

[11] FENG Z L，YU Z Y，YANG Y Z，et al. Interpretable partitioned embedding for customized fashion outfit composition [J/OL].arXiv：1806.04845 [cs.CV].[2022-08-16].https：//arxiv.org/abs/1806.04845v4.

[12] SONG X M，FENG F L，LIU J H，et al. Neurostylist：Neural compatibility modeling for clothing matching [EB/OL].[2022-08-16].https：//dl.acm.org/doi/10.1145/3123266.3123314.

[13] VEIT A，KOVACS B，BELL S，et al. Learning visual clothing style with heterogeneous dyadic co-occurrences [C]//2015 IEEE International Conference on Computer Vision（ICCV）.Santiago：IEEE，2015：4642–4650.

[14] YANG X W，XIE D L，WANG X，et al. Learning tuple compatibility for conditional out?t recommendation [J/OL].arXiv：2008.08189 [cs.CV].[2022-08-18].https：//arxiv.org/abs/2008.08189.

[15] LI Y C，CAO L L，ZHU J，et al.Mining fashion out?t composition using an end-to-end deep learning approach on set data [J].IEEE Transactions on Multimedia，2017，19（8）：1946–1955.

[16] KIPF T N，WELLING M. Semi-supervised classification with graph convolutional networks [J/OL].arXiv：1609.02907 [cs.LG].[2022-08-18].https：//arxiv.org/abs/1609.02907v3.

[17] CUI Z Y，LI Z K，WU S，et al. Dressing as a whole： Out?t compatibility learning based on node wise graph neural networks [J/OL].arXiv：1902.08009 [cs.IR].[2022-08-17].https：//arxiv.org/abs/1902.08009v1.

[18] HE K M，ZHANG X Y，REN S Q，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

作者簡介：吳韻之（1992—），女，漢族，廣東廣州人，經濟師，碩士，研究方向：信息管理。

收稿日期：2022-09-06

基金項目：國家自然科學基金項目（61872394）