基于聯合損失膠囊網絡的換衣行人重識別

劉 乾，王洪元*，曹 亮，孫博言，肖 宇，張 繼

（1.常州大學計算機與人工智能學院、阿里云大數據學院，江蘇常州 213164；2.常州工程職業技術學院設計藝術學院，江蘇常州 213164）

（?通信作者電子郵箱hywang@cczu.edu.cn）

0 引言

行人重識別（Person Re-Identification，Re-ID）是一個經典的計算機視覺問題，其目標是將不同攝像機拍攝人物的照片圖像關聯起來。它是一個重要的研究課題，在跨攝像機目標跟蹤、目標再捕獲等方面有著廣泛的應用［1］。在過去幾年里，已經提出了幾個對社區有重要貢獻的數據集，例如Viper［2］、CUHK03［3］、Market1501［4］、DukeMTMC-reID［5］等。

目前大部分公開數據集都是基于這樣的假設，即每個人出現在一個攝像機下集中在短時間情況（例如，不到30 min）。在這種假設下，行人的衣服不太可能發生改變。然而，現實中攝像頭捕獲的行人照片圖像，極大可能是一個人在相隔很長一段時間后再次出現。這種情況下，行人更換衣服或者攜帶不同物品的幾率將會變大。因此，換衣行人重識別是行人重識別在大規模視頻安防監控中常見的、更具有挑戰性的案例。

在目前公開的行人重識別數據集研究中，人們主要研究穿著相同衣服的人在短時間內的重新識別，面臨的主要挑戰是分辨率低、光照條件、季節、背景和遮擋［6-7］。目前為止，這一領域的研究已經趨于成熟，基于特征提取的方法已經可以在Market1501 數據集上的Rank-1 準確率達到95.7%［8］，超過了人眼的識別能力。現有的行人重識別模型的設計大多數基于深度神經網絡（Deep Neural Network，DNN），這些網絡提取不會變化的信息作為特征表示，一般來說這些特征表示由衣服外觀主導，因此，目前的行人重識別模型并不適用研究換衣行人重識別問題。Huang 等［9］提出的基于膠囊神經網絡的換衣行人重識別網絡ReIDCaps 使用矢量膠囊代替標量神經元，其長度代表行人的身份信息，方向表示行人的衣著信息。雖然該模型在換衣行人重識別問題上取得了一些較好的指標，但是該模型的泛化性和魯棒性仍需要提高。

本文在ReIDCaps［9］的基礎上進行改進，將網絡的損失函數由普通的交叉熵損失改進為標簽平滑正則化交叉熵［10］與Circle Loss［11］的聯合損失。聯合損失在單一交叉熵損失的基礎上可以提高模型訓練時的泛化能力和魯棒性，從而提升模型的性能指標。改進后的模型在Celeb-reID［9］、Celeb-reIDlight［9］和NKUP［12］數據集上的大量實驗驗證了本文方法的有效性。

1 相關工作

1.1 換衣行人重識別數據集

隨著近幾年行人重識別領域研究的發展，已經有多個行人重識別數據集中在衣服的變化上，這些數據集分為兩類：基于視頻的和基于圖片的。現有的基于視頻的換衣行人重識別數據集有DPI-T［13］、IAS-Lab［14］、BIWI［15］和PAVIS［16］，這些數據集目標是在RGB-D 視頻中識別出一個行人。由于大多數安裝在公共區域的監視設備不能捕捉深度信息，這些數據集是專門為特定的室內監視場景而設計和收集的。現有的基于圖像的換衣行人重識別數據集有Celeb-reID［9］、PRCC［17］，COCAS［18］、LTCC［19］和NKUP［12］，這些數據集的目標是在RGB圖像中識別出一個行人，這些圖像是為一般公共區域監控場景而設計和收集的。盡管應用場景不同，但這些基于視頻和基于圖像的數據集都有利于促進換衣行人重識別研究的進一步發展。

1.2 換衣行人重識別研究方法

深度學習在解決行人重識別任務上取得了很大的成功，但目前基于卷積神經網絡（Convolutional Neural Network，CNN）的行人重識別方法主要針對的是非換衣的行人重識別問題。之前由于缺乏大規模的換衣行人數據集，關于換衣行人重識別的研究較少，但隨著越來越多的換衣行人數據集的公開，相關研究也豐富起來。目前的研究主要是從體型、輪廓等提取與衣著無關的特征。文獻［17］中基于人體圖像的輪廓草圖來研究換衣行人重識別問題，在深度神經網絡中引入基于學習空間極坐標變換（Spatial Polar Transformation，SPT）層來變換輪廓草圖圖像，以在極坐標空間中提取可靠且有判別性的卷積神經網絡特征。文獻［18］中提出了一種將生物特征和服裝特征結合起來進行身份識別的生物特征服裝網絡（Biometric-Clothes Network，BC-Net）。文獻［19］中引入了形狀嵌入模塊和衣物形狀提取模塊，目的在于消除目前不可靠的服裝外觀特征，并將重點放在身體形狀信息上，因為在換衣情況下，身體形狀等軟生物特征會更可靠。然而，目前的換衣行人重識別研究主要是從人體姿態或輪廓中用已有的預測模型提取身體特征信息，這些特征提取會因為模型預測的誤差而導致提取的特征所包含的正確形態信息非常有限，泛化能力弱，魯棒性不強；此外，這些額外的姿態或輪廓估計增加了這些方法的計算成本。

1.3 膠囊網絡

2017 年，采用動態路由機制的膠囊網絡被提出用于解決手寫數字識別問題［20］。目前膠囊網絡已經被成功地用于許多計算機視覺任務中，如圖像分割［21］、數據生成［22］、圖像分類［20］等。用一組矢量神經元表示膠囊，其長度表示實體的存在性，方向表示實體的其他屬性。文獻［20］中提出的DigitCaps 模型證實對訓練數據進行小仿射變換可以適度提高其魯棒性。2018 年，文獻［23］中引入了另一個基于膠囊的網絡，該網絡使用期望最大化算法執行動態路由機制［23］。與前人的工作不同，膠囊網絡由姿態矩陣表示，網絡中的膠囊層專門用于定義視點更改對象的旋轉和平移。Huang 等［9］提出的Celeb-ReID數據集主要受到行人衣著變化的影響，與姿態矩陣膠囊相比，文獻［20］中提出的基于矢量的膠囊更適合換衣行人重識別的情況，因為它能夠感知每個實體的屬性線索。ReIDCaps［9］模型主要是由DigitCaps［20］推動的。除了DigitCaps，ReIDCaps 還集成了經過ImageNet 訓練的CNN 來提取底層的視覺信息，因為在ImageNet 上預先訓練過的CNN 在許多重識別任務中的表現都很出色。這是第一個將膠囊與經過ImageNet 訓練的CNN 在復雜數據集上進行集成的工作，特別是關于行人重識別的數據。

ReIDCaps［9］不用提取額外的姿態或輪廓信息，計算成本相較低。相較于一般的行人重識別模型，矢量膠囊擁有更多的信息，其長度表示行人身份信息，其方向表示行人衣著信息；但該模型依然存在泛化能力差、魯棒性不強的問題。本文在ReIDCaps 模型的基礎上增加了標簽平滑正則化交叉熵損失和Circle Loss 的聯合損失，通過減少真實樣本標簽的類別在計算損失函數時的權重和將類間和類內的相似性嵌入到相似對中進行優化的方法，抑制過擬合，收斂目標明確，從而提高模型的泛化性和魯棒性。

2 本文方法

本文方法整體框架如圖1，分為三個主要模塊：1）視覺特征提取模塊，采用ImageNet 預訓練的CNN 模型提取每幅圖像的底層視覺特征，然后將這些特征送入膠囊網絡以感知行人身份信息和衣著信息；2）行人身份信息和著裝感知模塊，采用膠囊層來感知圖像的行人身份信息和著裝信息，行人身份信息通過每個矢量膠囊的長度來感知，行人的著裝信息通過每個矢量膠囊的方向來感知；3）輔助模塊，用于進一步提高從ReIDCaps 模塊中學習到的特征的區分度，提高模型的魯棒性。

圖1 本文方法的整體框架Fig.1 Overall framework of the proposed method

2.1 視覺特征提取模塊

其中：γ用于平衡膠囊層和輔助模塊的貢獻權重。文獻［20］中提出γ=0.5時效果最佳，所以本文實驗也取γ=0.5。

2.2 行人身份和著裝感知模塊

ReIDCaps 中使用矢量膠囊來了解服裝變化的特性。在訓練中，膠囊的長度CL反映行人的身份信息存在的可能性，膠囊的方向CO代表同一個行人身份的不同類型的衣服。為了實現這一點，本文方法在之后采用了兩個不同的膠囊層，分別是基礎膠囊層（Primary Capsules，P-Caps）和分類膠囊層（Classification Capsules，C-Caps）［20］。這兩層都在文獻［20］中提出，用于手寫數字識別。但在ReIDCaps 網絡設計中，更改了兩層上的參數設置，以適應ReID 任務和經過ImageNet訓練的CNN 骨干網絡。具體地說，給定O(Ixn)，8 個32 通道卷積運算（卷積核大小2×2，步長為2）用于構造P-Caps。使用重構操作來級聯P-Caps中的每個塊（總共8個塊）的對應信道。之后，在P-Caps層中得到288（3×3×32）個8維矢量膠囊。最后使用非線性擠壓函數來確保每個矢量膠囊的長度歸一化：

C-Caps 層之后是P-Caps 層。在C-Caps 層中有N個行人身份膠囊，N表示訓練集中行人身份數量。C-Caps 中每個行人身份膠囊是P-Caps層中所有矢量膠囊的組合。給定P-Caps中的8 維矢量v8Dk，本文方法將其維度映射到24 維。然后，C-Caps層中的行人身份膠囊可以通過以下公式計算：

其中：n∈[1，N]；代表耦合系數，該耦合系數由P-Caps 和CCaps 層之間的動態路由過程確定。這里24 維的使用擠壓函數歸一化（參考式（2））。動態路由是建立P-Caps 層和C-Caps 層之間關系的關鍵技術，本文采用的動態路由與文獻［20］中的描述相似。

輸入一個給定圖像，使用邊際損失（Margin Loss）作為該模塊的損失函數：

其中：yn表示輸入圖像的行人身份是否存在，存在的話yn=1，否則yn=0。使用λ=0.5 來平衡兩部分之間的權重，用m+和m-來控制的長度。由于剛剛的假設，如果行人身份存在的話，那么C24Dn的長度應該是長的，否則應該是短的，所以設。

2.3 輔助模塊

輔助模塊主要包含FSR和SEA模塊。在將經過骨干網絡的輸出采用全局平均池化，以獲得輸入圖像Ixn的CNN 表示：

其中：H和W分別代表的高度和寬度；在全局平均池化層之后，將FSR和SEA的輸入分別表示為。

FSR 目的是提高基于CNN 輸出的泛化能力。Dropout 層已經證明了其在網絡訓練中可以通過隨機將部分神經元置為零來防止CNN 過擬合［25］，使用Dropout 可以使成為稀疏表示，在反向傳播時轉移到，潛在地提高了整個網絡的魯棒性。

原ReIDCaps 里使用交叉熵損失在FSR 和SEA 分支對訓練集中行人身份進行分類，本文中使用交叉熵損失，采用標簽平滑正則化交叉熵損失［10］與Circle Loss［11］的聯合損失作為最終的損失函數。

2.4 標簽平滑正則化交叉熵

多分類任務中，神經網絡會輸出一個當前數據對應于各個類別的置信度分數，將這些分數通過Softmax 進行歸一化處理，最終會得到當前數據屬于每個類別的概率，然后會計算交叉熵損失函數。隨后訓練神經網絡，最小化預測概率和標簽真實概率之間的交叉熵，從而得到最優的預測分布。神經網絡會促使自身往正確標簽和錯誤標簽差值最大的方向學習，在訓練數據較少，不足以表征所有樣本特征的情況下，會導致網絡過擬合。標簽平滑正則化的交叉熵可以解決上述問題，這是一種正則化策略，主要是通過soft one-hot來加入噪聲，減少了真實樣本標簽的類別在計算損失函數時的權重，最終起到抑制過擬合的效果。

其中：I為行人身份數；K為圖片數量；N為行人類別數；pi，j為預測概率，qi，j為真實概率；ε為平滑因子。

2.5 Circle Loss

Circle Loss［11］對于深度特征學習的優化過程提出了兩點見解。首先，大部分損失函數，包括三元組損失和分類損失，都是通過將類間和類內的相似性嵌入到相似對中進行優化；其次，在監督下的相似對中，每一個相似性分數根據其到最優效果的距離而賦予不同的懲罰強度。由此得到了Circle Loss，使得每一個相似度分數可以以不同的梯度學習。Circle Loss優化靈活性高，收斂目標明確，有利于深度特征學習，而且它將兩種基本的學習方法（即基于類別標簽和基于樣本對的學習）統一到一個公式中。文獻［11］的實驗結果也表明Circle Loss在行人重識別任務中有比較好的表現。

其中：sp為類內相似性，sn為類間相似性；K為類內相似性分數個數，L為類間相似性分數個數；γ是尺度參數；m是優化的嚴格程度。

2.6 聯合損失

改進后的FSR 和SEA 模塊的損失使用交叉熵損失、標簽平滑正則化損失和Circle Loss 三個損失的聯合損失作為最終的損失。

相較于單一的交叉熵損失函數，標簽平滑正則化交叉熵損失可以防止模型過擬合；而Circle Loss 將度量損失與分類損失進行了統一化，相較于單一的交叉熵損失，這兩種損失聯合對于模型的訓練能夠更加魯棒，從而提升整個模型的性能指標。

3 實驗與結果

3.1 數據集和評價指標

本文在Celeb-reID、Celeb-reID-light 和NKUP 三個不同的換衣行人重識別數據集進行了大量實驗，以驗證本文方法的有效性。

Celeb-reID 數據集分為三個子集，包括訓練集、圖庫集和查詢集。該數據集中同一個行人的衣著發生了很大的變化，但其中也存在一個行人可能會穿著同一件衣服兩次的情況。具體地說，總體上每個行人70%以上的圖片都展示了不同的衣著。該數據集中有1 052 個行人身份，共計34 186 張圖片；訓練使用632 個行人身份，圖片20 208 張；測試使用420 個行人身份，圖片13 978 張。在測試集中，2 972 張圖片被用作查詢集，11 006張被用作圖庫集。此外，一般的數據集中只包含前視圖和側視圖，而該數據集中包含一些后視圖。

Celeb-reID-light 數據集是Celeb-reID 數據集的輕量級版本。與Celeb-reID 不同的是，在Celeb-reID-light中的行人不會兩次穿同一件衣服［27］。該數據集中有590 個行人身份，訓練使用490 個行人身份，圖片9 021 張；測試使用100 個行人身份，圖片1 821張。在測試集中，887張圖片被用作查詢集，934張圖片被用作圖庫集。雖然Celeb-reID-light 的尺度比CelebreID 的小，但當一個人穿著完全不同的衣服時，它可以用來證明Re-ID方法的魯棒性。

NKUP 是從現實生活中提取的可公開的換衣行人重識別數據集，有很長的時間間隔和多個鏡頭。NKUP 數據集包含107 個行人，總共9 738 張行人圖片，其中總共79 個穿著不同衣服的行人，其余穿著單一衣服的行人用作測試對象。

本文使用Rank-k和平均精度均值（mean Average Precision，mAP）評估方法的性能，Rank-k表示在排名前k個列表中正確匹配的概率，反映的是檢索精度；mAP 反映的是召回率。

3.2 實驗參數設置

本文采用經過ImageNet 預訓練的DenseNet121［24］作為特征提取的骨干網絡，輸出的特征向量為1 024維。將特征向量分別輸入視覺特征提取模塊和輔助模塊。因為實驗訓練與測試的數據集為換衣行人重識別數據集，所以使用與訓練一般行人重識別網絡不同的策略，因為考慮換衣行人重識別，模型需要產生更多可學習的參數，以適應有關服裝變化的附加信息。該網絡訓練過程中，每個批次包含20 張圖像。設置經ImageNet 訓練的DenseNet121 中的初始學習率為1E-4，并且在DenseNet 輸出之后的新的網絡中的初始學習率設置為1E-3。所輸入的圖像的大小都調整為224×224，并且在訓練前隨機翻轉和隨機擦除（概率設為0.5）。使用Adam 隨機優化［28］，參數β1=0.9，β2=0.999。80個訓練周期后學習率下降到原來的1/10，100 個周期后停止訓練。Celeb-reID、CelebreID-light 和NKUP 的訓練行人身份數N=632，490，102，標簽平滑正則化交叉熵損失的參數ε=0.1，Circle Loss 的參數設置為γ=128，m=0.25。

整個實驗基于Ubuntu 16.04、Cuda10 和Cudnn7.6 的環境和Python 3.8、Pytorch 1.7.0 和torchvision 0.8.1 深度學習框架實現，實驗的硬件配置包括：4 塊GPU：GTX 2080Ti（顯存：11 GB）。

3.3 實驗評估

本文在三個換衣行人重識別的數據集上進行了ReIDCaps基線（Baseline）方法（本文比對的實驗數據基于以上的實驗環境復現原文代碼所得）、僅帶有標簽平滑正則化交叉熵損失（Label Smooth Regularization）的ReIDCaps 方法、僅帶有Circle Loss 的ReIDCaps 方法和標簽平滑正則化交叉熵和Circle Loss聯合損失的ReIDCaps方法的實驗，實驗結果如表1所示。在Celeb-reID、Celeb-reID-light和NKUP 三個數據集上，在基線方法上加入標簽平滑正則化損失之后，mAP 分別提高了0.7、0.2、1 個百分點；Rank-1 提高了2、-0.3、1 個百分點，因為該損失可以防止模型過擬合。在基線方法上進加入Circle Loss 損失之后，mAP 分別提高了0.8、0.7、1.5 個百分點；Rank-1 提高了1、0.2、-0.9 個百分點，因為該損失將類內距離與類間距離統一化，提高了模型的泛化性。絕大多數實驗結果表明這兩種方法單獨對模型的性能都有所提升。采用標簽平滑正則化交叉熵損失和Circle Loss 的聯合損失之后，mAP 分別提高了1.1、0.9、2.2 個百分點；Rank-1 分別提高了0.5、0.9、1.8 個百分點。絕大多數性能指標較單獨加入一個損失函數相比都有所提升，且達到了最優值。由此可見兩種損失的組合可以共同提高整個模型的魯棒性，提升換衣行人重識別的匹配精度。

表1 僅標簽平滑正則化、僅Circle Loss和標簽平滑正則化和Circle Loss聯合損失在三個數據集上的性能比較 單位：%Tab.1 Performance comparison of only smooth regularization loss，only Circle Loss and joint loss of label smooth regularization loss and Circle Loss on three datasets unit：%

3.4 與現有方法對比

除了以上對比實驗，本文方法也和一些先進的非換衣行人重識別方法做了比較。在Celeb-reID、Celeb-reID-light 和NKUP 三個換衣行人重識別數據集上進行了比較，選取了四種不同的粗粒度行人重識別方法包括IDE+（DenseNet-121）、ResNet-Mid［29］、Two-Stream［30］、Multi-Level Factorisation Net（MLFN）［31］和一種細粒度行人重識別方法PCB（Part-based Convolutional Baseline）［32］，以及本文改進前的換衣行人重識別網絡ReIDCaps［9］。粗粒度方法使用整個圖像作為輸入，而細粒度方法同時考慮全身和身體局部的特征。這些方法都在非換衣行人重識別場景下取得很好的表現，如表2 所示。在Celeb-reID 換衣行人重識別數據集上，本文方法Rank-1 達到10.8%，mAP 達到51.6%；在Celeb-reID-light 小型換衣行人重識別數據集上Rank-1 達到11.1%，mAP 達到21.5%。在這兩個數據集上和對比的方法相比均取得了最優的性能指標。在NKUP 數據集上，本文方法的Rank-1 達到了7.5%，mAP 達到8.3%，mAP 為最優指標，Rank-1指標略低于PCB，優于其他方法。由此可見，本文提出的基于聯合損失的膠囊換衣行人重識別網絡在綜合性能上優于對比的絕大部分先進非換衣行人重識別方法，在三個換衣行人重識別數據集上驗證結果幾乎都一致，增加標簽平滑正則化交叉熵損失和Circle Loss 聯合損失后，提高了模型的泛化能力和魯棒性，在三個換衣行人重識別數據集的實驗結果也驗證了該方法的有效性。

表2 本文方法與現有方法比較 單位：%Tab.2 Comparison of the proposed method with the existing methods unit：%

4 結語

本文提出了一個基于標簽平滑正則化交叉熵損失和Circle Loss 聯合損失的膠囊換衣行人重識別網絡。首先使用ImageNet 預訓練DenseNet121 骨干網絡，提取底層視覺特征，然后使用膠囊網絡作為行人身份和衣著感知模塊。為了提高整個模型的魯棒性，還加入了輔助模塊，并且對于輔助模塊的損失函數進行改進，使用標簽平滑正則化交叉熵損失與Circle Loss 聯合損失。在三個換衣行人重識別數據集CelebreID、Celeb-reID-light 和NKUP 上的實驗表明，本文方法具有一定的優越性。本文方法雖然提高了一些性能指標，但和其他方法一樣，對于換衣行人重識別整體性能不高，可見換衣行人重識別確實是一個非常困難的任務，如何能夠更好地提高換衣行人重識別的模型性能，使其可以達到與非換衣行人重識別數據集上相當的性能，是進一步需要研究的目標。