多尺度注意力的服裝場合分類方法

段微微 孟令兵

關鍵詞： 服裝場合; 多尺度注意力; 圖像分類;神經網絡; 深度學習

0 引言

近年來，在線購物已經成為新的消費方式，網絡零售交易規模日益增大，其中代表性的服裝行業一直保持增長的趨勢[1]。由于其潛在的市場價值，因此服裝的理解和分析越來越多地受到研究者的關注，并且利用各種計算機視覺技術研究服裝的任務，比如：服裝風格學習[2]、服裝生成[3-4]、服裝關鍵點預測[5]等。例如：Hidayati等[2]提出一個雙流深度網絡模型，該模型通過從身體和服裝形狀中提取特征，用于解決靜態3D服裝覆蓋虛擬人體上的任務。劉曉音等[6]提出一種基于遷移學習方法構建人體的服裝圍度松量圖像分類模型。

然而，目前基于服裝場合分類的工作研究極少。一方面由于服裝外觀存在巨大的差異，難以正確衡量每件服裝的適用場合；另一方面，由于用戶的個人喜好原因，對于同一場合，不同的用戶選擇服裝也會存在較大的差異。如果找專業人士給服裝打標簽，會存在2個問題：第一，圖片數量很大，專業人士給服裝打標簽非常耗時耗力；第二，由于喜好差異性，專業人士給出的標簽不能代表用戶的觀點。針對上述問題，本文構建了一個新的數據集，命名為FashionOccasion，用于解決服裝場合標簽的難題。同時本文提出一種多尺度注意力服裝分類模型，相比現有的分類模型能夠有效地提高分類的準確率。

1 實驗分析

1.1 數據集

1） 構建數據集

Chictopia是一個時尚的社交平臺網站，允許用戶上傳自己的服裝圖像和相關標簽描述。本文從網站收集了33 102張服裝照片和標簽，如圖1所示，其中Tags（Casual、Picnic、Summer）為用戶自定義的標簽，分別表示服裝的風格、場合和季節。這些由用戶上傳的服裝和標簽真實可靠，避免人工標注標簽帶來的片面性。

本文構建的數據集共包含10種場合，分別為Ev?eryday、Party、Dinner、Work、Cocktail、Art Opening、Go?ingOut、Shoping、Picnic、Traveling。圖2展示了10種不同場合的服裝，其中每種場合選擇3張圖像進行可視化。

2） 數據集對比

研究者從各種時尚網站收集與服裝相關的數據集，這些數據集用于不同方向的任務，如表1所示：Y 表示該數據集有對應的數據，N表示該數據集沒有對應的數據。

有些數據集的標簽比較單一，比如Fashion?Style14。有些數據集非常龐大，比如DeepFashion和Fashion200k，其中DeepFashion 包含多達80 萬張圖片，收集和處理相關數據非常復雜，并且服裝圖像的分辨率較低。而本文的數據集有較高的分辨率和豐富的標簽信息，這些豐富的標簽信息可以為后續研究其他相關工作提供一定的基礎條件。

另一方面，一些數據集（比如Fashionista和CCP） 用于檢測和分割任務，即對每種類別的服裝都有邊界框標注和像素級標注，這樣有利于定位和識別服裝，但是標注工作耗時巨大，因此數據集非常小，并且由于服裝的形狀，顏色和紋理等存在較大的差異，這些標注好的數據并不能很好地應用于真實生活場景。而本文構建的服裝圖像和標簽都來源于真實的生活場景，研究的內容具有真實性和客觀性。

1.2 實驗方法

1） 主干網絡概述

本文提出的多尺度注意力服裝分類模型采用Resnet50的前4層殘差塊作為主干網絡提取服裝的特征，提取的特征圖記為Fi，i 表示特征圖的層數，i∈{1，2，3，4}。將非局部模塊嵌入到模型的第3層和第4層，經過非局部模塊提取的特征圖記為FN 3 和FN 4。最后經過卷積運算輸出服裝的全局特征向量GF。

2） 非局部模塊

非局部模塊作為一個高效、簡單和通用的模塊， 用于獲取深度神經網絡的長時記憶，在視頻檢測的任務中取得了很好的效果。非局部模塊如圖3所示。

本文將非局部模塊嵌入的目的是壓縮服裝圖像通道特征，聚合全局空間特征以增強服裝的上下文語義信息，以此生成更豐富的全局特征信息。然后利用生成的全局特征信息再指導特征圖（上述得到的特征圖FN 3 和FN 4）生成局部注意力圖，最后將局部注意力圖與特征圖相乘，更精準地提取服裝局部細節信息。具體計算過程如公式（1）所示：

式中，C（x）為歸一化函數因子，f 用于計算φ（x）和θ（x）相似關系的函數，φ（x）、θ（x）和g（x）都是1×1的卷積函數，x 為輸入的特征圖。本文采用高斯函數作為相似性函數，如公式（2）所示：

3） 注意力模塊

全局特征信息包含的是整張圖像的信息，但是對于服裝的局部區域很難關注到。神經網絡在不同層次的特征圖上提取的信息也不同，因此本文用全局特征信息來指導不同層次的特征圖產生局部注意力圖，通過產生的局部注意力圖能夠自動提取服裝局部重要的特性信息。局部注意力模塊如圖4所示。

以特征圖FN 3 為例，具體計算過程如下：將全局特征向量GF 與特征圖（FN 3）相加，經過卷積得到通道數為1的特征圖，再經過函數映射（Softmax）得到注意力圖M，其中M∈R1×H×W。 然后將FN 3 的C個通道進行全局累加求和，如公式（4）所示：

全局特征向量GF 經過卷積得到512維向量GFf。Ff*3 和Ff*4 是特征圖FN*3 和FN*4 產生的服裝局部信息特征向量，其中Ff*3 和Ff*4 的向量長度為512。最后拼接GFf、Ff*3 和Ff*4 得到整個服裝的全局特征信息和局部特征信息，再經過全連接層輸出分類結果。

1.3 實驗細節及實驗結果

1） 實驗細節

本文總共使用了33 102張圖片訓練和測試，訓練集和測試集的劃分比例如表2所示。服裝圖片的分辨率為400×600×3，本文采用中心裁剪的方式對圖像進行處理，最后的輸入網絡的圖像大小為384×384×3。本文采用Top-k作為評測指標。完成實驗采用的是Python 語言和PyTorch 框架，在Linux 系統下完成實驗。優化器使用的是隨機梯度下降算法，初始化學習率為0.001。在每次訓練中，設置的最小批次為32，使用的顯卡為Nvidia GeForce GTX 2080Ti，內存為DDR4 128GB。

2） 實驗結果

本文主要比較了3 種廣泛使用的分類模型：VGG16[12]、Resnet50[13]、Densenet121[14]和2 種注意力機制的分類網絡：CBAM[15]和SE-block[16]。為確保訓練結果的公平性和可靠性，本文的訓練參數（優化器、全連接層的維度和學習率）保持一致。

分類模型在測試集上的結果如表3所示。基礎分類模型（VGG16、Resnet50和Densenet121）的結果比較差，因為這些模型只考慮到服裝的全局特征信息。Resnet-CBAM和SE-block的分類結果高于基礎分類模型結果。本文提出的分類模型取得了最好的結果。SE-block和Resnet-CBAM的注意力方法都只關注每層特征圖之間的關系，沒有考慮到不同層特征圖之間的關系，而本文通過結合服裝的全局特征信息和局部特征信息達到了最好的分類結果，Top-1、Top-3 和Top-5 較基礎分類模（Resnet）型分別提高了5.41%、7.19%和6.53%，較Resnet-CBAM分別提高了4.75%、6.44%和5.92%。

2 結論

本文提出了一個新的數據集-FashionOccasion，并設計了一種多尺度注意力的服裝場合分類模型。該數據集包含多種標簽（場合、地點和季節），是目前服裝數據集中標簽最豐富的數據集之一。服裝場合分類模型通過聯合局部特征信息和全局特征信息提高分類的準確率，實驗結果也驗證了該分類模型的有效性和魯棒性。在后續的研究工作中會考慮將用戶年齡納入對服裝場合的影響。