異質中心角距離約束的多粒度跨模態行人重識別

鄒業欣，蔣 敏

(江南大學 人工智能與計算機學院，江蘇 無錫 214122)

0 引 言

傳統單模態行人重識別[1]是一項從不相交的攝像頭中，對可見光行人圖像進行匹配的任務，而跨模態行人重識別是在查詢集中選定一特定行人的可見光圖像或紅外光圖像，從相應的另一種模態下的圖庫集中匹配同一行人身份圖像的任務[2]。紅外光圖像丟失了豐富的顏色信息，并且兩種圖像的波長范圍不同。二者的巨大差異導致跨模態行人圖像匹配異常困難[3]。

為提高跨模態行人重識別的精度，文獻[4]提出使用生成對抗網絡生成與真實可見光圖像對應的虛擬紅外光圖像，并將其與真實紅外光圖像進行匹配。文獻[5]利用一個自監督學習的網絡生成X模態的圖像作為輔助輸入，使得網絡能夠提取公共空間中的跨模態共享信息。但是基于造圖的方法需要耗費昂貴的計算資源，并且會破壞生成圖像中的空間結構和顏色信息[6]。文獻[7-9]采用了基于歐氏距離的三元組損失來限制相同行人特征在公共空間的距離小于不同行人之間的距離。但是基于歐式距離的三元組損失函數不能有效地約束特征向量之間的角度。

針對上述問題，本文提出了一種對于跨模態行人重識別的多粒度特征學習網絡，通過有效結合全局特征和不同粒度的局部特征，提高網絡提取可鑒別性行人特征的能力。本文采用了能夠有效約束特征向量在公共空間上角度的角距離度量學習方法，并結合異質中心的思想，提出了基于角距離的異質中心三元組損失函數。最后在SYSU-MM01和RegDB數據集上進行實驗，以驗證本文方法的有效性。

1 相關工作

1.1 多粒度特征學習

跨模態行人重識別存在遮擋問題[10]，局部特征在處理遮擋問題時往往起著關鍵作用。為了提取具有可鑒別性的局部特征，文獻[11]提出了卷積基準模塊結合精確部分池化的網絡模型，可以學習到部分層級局部特征，這使得屬于同一類的不同模態樣本在學習到的特征子空間上更緊密地聚集，但這種特征切塊策略容易導致特征不連續以及特征不對齊[12]。文獻[13]提出了多粒度網絡，有3個分支，每個分支對特征進行不同處理，并使用多損失來進行學習，在單模態行人重識別上性能取得了顯著的提升。但這種模型對硬件要求較高，且實驗時間較長。為此，本文提出了多分支不同粒度特征切塊策略，粗粒度、細粒度的局部特征與全局特征三者互為補充，使網絡學習到更具判別性的行人特征。

1.2 多粒度特征學習

為了縮小跨模態之間固有的差異，文獻[14]提出了學習跨模態可共享特征的匹配模型，其中三元組損失是不可或缺的。然而在傳統三元組的采樣方法中，每個batch中所涉及和更新的信息非常有限，容易重復訓練，使得網絡難以收斂。為此文獻[15]提出了pk采樣來緩解上述問題，其隨機選取p個行人身份，每個行人身份采樣k張圖像，依此形成三元組樣本對。但當出現異常樣本時，即在一類行人圖像中，異常樣本偏離其它同類樣本的距離過遠，這會破壞其它學習的好的成對距離。為解決此類問題，文獻[16]提出了異質中心三元組損失，通過計算批樣本類中心與其它批樣本類中心的距離來校正跨模態和相同模態樣本類之間的中心距離。考慮到跨模態行人重識別的輸入為紅外光圖像和可見光圖像，本文采用2pk采樣方法，并結合異質中心三元組損失來減小計算量，同時增強模型的魯棒性。

1.3 度量學習

現今跨模態行人重識別主要是聚焦于學習具有語義表示的高級特征(如屬性和深度特征)和低級特征(如形狀、顏色和紋理)，后者更具鑒別性[17]。基于度量學習的方法可以更好地學習數據之間的潛在相關性和更具鑒別性的特征。文獻[18]基于度量學習提出了三元組損失，拉近相同行人身份特征之間的距離，推遠與不同行人身份特征之間的距離。但是由于三元組損失函數自身有限的局部優化使得網絡難以收斂[19]。文獻[20]提出使用角距離作為度量學習的策略，與身份驗證損失相結合，可以更容易實現局部以及全局優化。為此，本文采用了基于角距離的三元組損失，有效地測量特征向量之間的角度，從而模型能夠正確分離公共空間中的特征向量。

2 方 法

2.1 網絡結構

本文設計的CM-MGN網絡結構如圖1所示，主要由ResNet50骨干網絡、池化層、1×1卷積降維層，全連接層(FC)和多種損失函數構成。

圖1 CM-MGN網絡結構

ResNet50骨干網絡的前兩個殘差塊(stage)提取不同模態的特定特征，參數不共享；后3個殘差塊則提取不同模態的共享特征，參數共享。經過stage5得到特征圖(Feature map)后，依次進入3個分支(Branch)。分支一對特征圖直接進行廣義平均池化(GeM)[21]以及卷積降維(1×1 Conv)操作；分支二在水平方向上對特征圖均等分為3塊，得到粗粒度的局部特征，再進行GeM以及卷積降維操作；分支三在水平方向上對特征圖均等分為6塊，得到細粒度的局部特征，再進行池化和降維操作。最后，將3個分支提取到的特征使用HCAT損失和平滑身份損失進行聯合訓練，從而縮小跨模態內相同行人特征的差異。

由于本文需要對粒度進行分塊切割的特點，對提取到的特征維度有一定要求。為此，本文刪除了殘差塊stage5后面的平均池化層和全連接層，直接得到Feature map后分別進入各分支進行處理。為了清晰地展示各分支維度變化，在圖1中特征圖下方均標明了對應的維度。

2.2 異質中心角距離三元組損失(HCAT)

傳統三元組損失函數的設計思想是拉近錨點圖像與所有正樣本之間的距離，推遠與所有負樣本之間的距離，通常使用的是歐式距離。此外，設置了超參數δ使得具有相同行人身份的特征向量之間的距離小于不同行人身份之間的距離，如式(1)所示

(1)

其中，a，p，n表示一個基準三元組樣本對，分別代表著錨點樣本圖像、正樣本圖像和負樣本圖像，表示batch的大小，Fe(·) 表示特征提取器，D(·) 表示歐式距離，[·]+表示裁剪函數，δ表示校正距離的超參數。

(2)

(3)

其中，I代表圖像，上標v，ir分別表示可見光模態和紅外光模態，下標a，p，n分別表示錨點樣本、正樣本和負樣本，式(2)中的基準三元組樣本對為可見光錨點圖像，正樣本紅外光圖像和負樣本紅外光圖像。式(3)中的基準三元組樣本對為紅外光錨點圖像，正樣本可見光圖像和負樣本可見光圖像。總的跨模態三元組損失如式(4)所示

(4)

傳統三元組損失函數需要計算錨點樣本與其它所有樣本之間的距離，計算復雜度是巨大的。另外，若選取樣本中存在離其類中心過遠的異常樣本案例時，會破壞其它學習好的成對距離。為此，本文選擇計算錨點類樣本中心與其它類樣本中心的距離。在一個batch中，本文計算錨點類樣本中心的計算方式如式(5)和式(6)所示

(5)

(6)

(7)

然而，基于歐式距離的三元組損失函數并不能有效地測量特征向量的角度，未能分離其在公共空間上的方向。同時，在跨模態行人重識別中三元組損失會經常結合身份驗證損失一起使用，身份驗證損失利用相對距離使得分類器進行更好的分類，然而基于歐式距離的三元組損失使用的是絕對距離。二者的關注點是不同的，角距離關注的是相對距離，并且可以有效測量特征向量在公共空間中的角度。因此，結合異質中心的思想，提出了基于角距離的異質中心三元組損失，如式(8)所示

(8)

圖2 HCAT損失

2.3 總損失函數

為了提高模型正確匹配圖像的能力，本文采用了通過將每個行人視為一個類來整合特定身份信息的身份驗證損失，增大了不同類的間距。同時為了解決模型訓練過擬合的問題，本文加入了標簽平滑的操作[22]，平滑身份驗證損失如式(9)所示

(9)

其中，H表示行人身份類別數目，pi表示標簽平滑參數，表示防止訓練模型過于相信訓練集的超參數，υ在本文的實驗中設置為0.1，y表示真實值的標簽，qi表示模型預測類別為i的概率值，如式(10)所示

(10)

其中，wj表示全連接層中第j類的權重向量，T表示矩陣的轉置，b表示偏置參數，xi表示屬于yi類別的第i個樣本提取到的特征向量。

網絡包含全局特征分支一，粗粒度局部特征分支二和細粒度局部特征分支三。每個分支都有各自相應的損失，其中，分支二和分支三中的每一個分塊都有相應的損失，如式(11)所示

(11)

總的損失如式(12)所示

Lall=LBranch-1+LBranch-2+LBranch-3

(12)

3 實 驗

3.1 實驗數據集

SYSU-MM01是跨模態行人重識別中應用最廣泛的一個數據集，圖像由4個可見光攝像機和兩個紅外光攝像機拍攝而成，總共有491個行人。訓練集中有395個行人身份，其中296個行人身份用作訓練集，剩下的99個用作驗證集，總共有22 258幅可見光圖像和11 909幅紅外光圖像。測試集中有96個行人身份，隨機選擇301幅可見光圖像作為圖庫集，剩下的3803幅紅外光圖像作為查詢集。共有全局搜索模式，全局搜索模式是指將可見光攝像機(1，2，4，5)拍攝的圖像作為圖庫集，而紅外光攝像機(3，6)拍攝的圖像作為查詢集，特點是隨機選取行人圖像作為圖庫集，查詢集中的圖像都是紅外光圖像。室內搜索模式是指圖庫集和查詢集只采用室內攝像機(1，2，3，6)拍攝的圖像。由于室外圖像存在更多的噪聲，全局搜索模式比室內搜素模式更具有挑戰性。

RegDB[23]數據集總共有412個行人身份，每個行人身份都有相對應的10幅可見光圖像和10幅紅外光圖像，總共有8240幅圖像。數據集被隨機均等分為兩部分，一部分作為訓練集，另一部分則作為測試集。在測試階段，隨機選取其中一種模態的圖像作為圖庫集，則另一種模態的圖像作為查詢集。圖3是兩個數據集中部分行人圖像展示，第一行是可見光行人圖像，第二行是紅外光行人圖像，每一列展示的行人身份是相同的。

圖3 跨模態行人重識別數據集

3.2 實驗設置

本文采用的深度學習框架是PyTorch 1.6，使用在Ima-geNet上預訓練過的ResNet50模型作為本文的骨干網絡，并在單張NVIDIA 2080Ti GPU上進行訓練。在訓練階段，兩種輸入圖像的維度均為3×288×144，填充設置為10，并采用了隨機翻轉和裁剪的數據增強策略。采用SGD優化器對網絡進行優化，并將動量設置為0.9，學習率設置如式(13)所示

(13)

其中，lr表示學習率，t表示訓練周期。本文使用的是經典的2pk采樣方法，由于兩個數據集大小并不同，對于SYSU-MM01數據集，p設置為6，k設置為8，訓練總批次為120；對于RegDB數據集，p設置為8，k設置為4，訓練總批次為80。

3.3 實驗評估標準

本文采用Rank-1、Rank-10和Rank-20的標準累積匹配特征CMC(cumulative matching characteristics)和平均精度均值mAP(mean average precision)作為評估標準。對查詢圖像特征與圖庫集圖像特征的差異進行排序，差異最小的圖庫集圖像排在首位。Rank-1表示圖庫集中排序第一的圖像身份與查詢圖像身份相同的概率，Rank-10表示在圖庫集中排序前十的圖像身份是否有一張圖像的行人身份與查詢圖像身份相同的概率。平均精度(AP)是指每一類行人圖像所有正確匹配率之和除以正確匹配圖像的數量，mAP是指所有查詢集行人圖像類的平均AP。

3.4 實驗結果分析

為了驗證本文方法的有效性，數據集RegDB上是可見光圖像匹配紅外光圖像，數據集SYSU-MM01上采用了全局搜索模式，與現今跨模態行人重識別主流方法進行對比，采用統一的評估指標mAP和Rank-n。其中AliGAN[4]、HiCMD[24]和XIV[5]算法都是采用對抗生成網絡造圖的方法，對實驗的硬件條件要求較高，且消耗的計算資源較大，本文算法不僅減小了計算復雜度，同時也增強了模型的魯棒性。對比效果最佳的XIV算法，在RegDB和SYSU-MM01數據集上的mAP和Rank-1分別提升了23.94%和30.12%/8.16%和12.20%，從結果可以看出，本文算法大幅優于基于造圖方法的跨模態行人重識別。其中AGW[1]、CIDL[25]和HCTri[26]算法均采用了關注相對距離的三元組損失和關注絕對距離的身份驗證損，忽略了二者關注點不協調的問題，而本文算法提出的HCAT損失有效解決了上述問題。對比效果最佳的HCTri算法，在RegDB和SYSU-MM01數據集上的mAP和Rank-1分別提升了1.84%和2.28%/2.09%和2.44%。具體結果見表1。

表1 RegDB和SYSU-MM01數據集上不同方法的性能比較結果

從表1的實驗結果可知，本文方法在兩個數據集上均取得了較優的效果。在SYSU-MM01數據集上Rank-1和mAP分別達到了62.83%和60.89%，在RegDB數據集上Rank-1和mAP分別達到了92.33%和86.12%。本文通過有效結合全局特征和不同粒度的局部特征提升了模型的判別能力，提高了跨模態行人重識別的精確度。

3.5 消融實驗

為了驗證本文CM-MGN以及HCAT損失的有效性，本文分別在SYSU-MM01以及RegDB上設計了一系列消融實驗來評估它們對整體實驗結果的影響。基線網絡(BS)未提取多粒度局部特征，僅用到全局特征，并且使用的是傳統的三元組損失。實驗結果見表2。

表2 不同模塊組合在數據集上的實驗結果

從表2實驗結果可以得知，在基線網絡單獨引入HCAT損失后，SYSU-MM01/RegDB數據集實驗評價指標Rank-1和mAP的提升分別是3.03%/3.42%和3.32%/6.16%首位命中率的提升可以發現HCAT損失有效地提升了網絡的魯棒性。在基線網絡上單獨引入CM-MGN后，SYSU-MM01/RegDB數據集實驗評價指標Rank-1和mAP的提升分別是11.20%/20.23%和9.09%/16.00%。這表明多粒度局部特征可以對全局特征進行有效的補充。通過將二者結合，可以取得更進一步的精度提升。

HCAT損失計算的成對距離是錨點所在批樣本中心與其它批樣本中心的距離，與傳統三元組損失(TL)相比，極大地減小了計算量。如表3所示，在一個有2pk張圖像的batch中，傳統三元組需要計算2pk×(2k-1) 的成對距離來進行最困難的正樣本挖掘，需要計算2pk×2(p-1)k的成對距離來進行最困難的負樣本挖掘。而HCAT損失只需計算2p的成對距離來進行最困難的正樣本挖掘，只需計算2p×2(p-1) 的成對距離來進行最困難的負樣本挖掘。

表3 不同損失需要計算的成對距離量

同時，為了更為清晰地展示特征向量在公共空間上的方向得到了有效地分離。如圖4所示，圖4(a)為在公共特征空間中使用基線網絡提取后的特征分布；圖4(b)為在公共特征空間中使用本文的方法提取后的特征分布。

圖4 特征在公共空間中的分布

圖中圓圈表示可見光行人特征，方塊表示紅外光行人特征。圖4(a)中行人A可見光圖像和紅外光圖像特征分布顯示了相同行人不同模態特征分布相近，但分布較為分散，且不同行人的特征未能得到有效分離。而圖4(b)中，行人A不同模態特征得到了更有效地聚合，并且在公共特征空間上，不同行人身份的特征得到了有效地分離。

另外，本文實驗了多種不同的池化方法，采用了現今最流行的平均池化(GAP)、最大池化(GMP)和GeM方法，表4展示的是分別采用上述池化方法的結果，實驗表明，使用GeM可以取得最佳的效果。

表4 不同池化方法在數據集上的實驗結果

其次，由于身份驗證損失采用的是相對距離對分類器進行分類，而基于歐式距離的傳統三元組損失使用的是絕對距離，二者對距離的選取并不匹配。為此，本文實驗了基于歐式距離和角距離的三元組損失對實驗的影響，結果見表5。基于角距離的三元組損失取得了更佳的效果，這表明當身份驗證損失和三元組損失關注的都是相對距離的時候，可進一步提高模型的準確率。

表5 不同度量方法在數據集上的實驗結果

最后，本文設計了去除某一局部特征分支后對模型精度影響的實驗，以驗證粗粒度局部特征分支和細粒度局部特征分支起到互相補充的作用。結果見表6。

表6 不同分支組合在數據集上的實驗結果

為了更為直觀地展示所提方法的跨模態行人重識別效果，如圖5所示，在SYSU-MM01數據集上進行了部分結果的可視化。從查詢集中隨機選取3張所需查詢圖像，取相對應Rank-10的結果進行可視化。圖像框具有外邊框表示匹配結果正確，無外邊框表示匹配結果錯誤。可視化示例選取的是姿勢變換、有遮擋樣本，所提方法通過有效結合行人粗細粒度局部特征和全局特征，從而正確匹配出不同模態下同一行人身份。通過可視化結果可以發現，前列正確匹配結果的準確率較好。

圖5 SYSU-MM01數據集可視化結果

4 結束語

本文提出了一種有效結合全局特征和不同粒度局部特征的跨模態行人重識別網絡結構，粗細粒度下的局部特征與全局特征互為補充，避免了信息的缺失，以此來縮小跨模態行人特征的差異。同時，提出了基于角距離的異質中心三元組損失，不僅可以減小計算復雜度，還可以增強模型的魯棒性。在RegDB和SYSU數據集上的實驗結果表明，本文的方法可以顯著提高跨模態行人重識別任務的性能。后續將從提高網絡提取可鑒別性行人特征能力的方面來進一步提升識別的精度。