基于語義引導自注意力網絡的換衣行人重識別模型

鐘建華，邱創一，巢建樹，明瑞成，鐘劍鋒*

基于語義引導自注意力網絡的換衣行人重識別模型

鐘建華1，邱創一1，2，巢建樹2，明瑞成2，鐘劍鋒1*

（1.福州大學 先進制造學院，福建 泉州 362000； 2.中國科學院海西研究院 泉州裝備制造研究中心，福建 泉州 362000）（?通信作者電子郵箱 zhongjianfeng@fzu.edu.cn）

針對換衣行人重識別（ReID）任務中有效信息提取困難的問題，提出一種基于語義引導自注意力網絡的換衣ReID模型。首先，利用語義信息將圖像分割出無服裝圖像，和原始圖像一起輸入雙分支多頭自注意力網絡進行計算，分別得到衣物無關特征和完整行人特征。其次，利用全局特征重建模塊（GFR），重建兩種全局特征，得到的新特征中服裝區域包含換衣任務中魯棒性更好的頭部特征，使得全局特征中的顯著性信息更突出；利用局部特征重組重建模塊（LFRR），在完整圖像特征和無服裝圖像特征中提取頭部和鞋部局部特征，強調頭部和鞋部特征的細節信息，并減少換鞋造成的干擾。最后，除了使用行人重識別中常用的身份損失和三元組損失，提出特征拉近損失（FPL），拉近局部與全局特征、完整圖像特征與無服裝圖像特征之間的距離。在PRCC（Person ReID under moderate Clothing Change）和VC-Clothes（Virtually Changing-Clothes）數據集上，與基于衣物對抗損失（CAL）模型相比，所提模型的平均精確率均值（mAP）分別提升了4.6和0.9個百分點；在Celeb-reID和Celeb-reID-light數據集上，與聯合損失膠囊網絡（JLCN）模型相比，所提模型的mAP分別提升了0.2和 5.0個百分點。實驗結果表明，所提模型在換衣場景中突出有效信息表達方面具有一定優勢。

換衣行人重識別；多頭自注意力網絡；語義分割；特征重建；特征重組

0 引言

行人重識別（person Re-IDentification， ReID）是在跨攝像頭情況下，對不同攝像頭拍攝的同一行人進行重新識別［1］。目前在常規ReID任務中，檢測識別的精度已經取得了較大的進步。但是在現實生活中，通常會發生行人更換衣服的情況，例如在犯罪場景中，犯罪分子在攝像頭無法拍攝的區域可能會通過換衣躲避監管部門的追查［2］；或者在長達數天的ReID任務中，行人換衣的情況是通常發生的。如果按照現有的常規ReID方法進行換衣情況下的ReID，行人被正確識別的難度大幅增加。因此，換衣ReID的研究具有實際意義。

現有的常規ReID目的是充分學習并利用行人圖像的各種有效特征信息。文獻［3］中提出的強壯骨干網絡僅使用全局特征提取行人信息，添加隨機擦除［4］等方法更有效地提取信息；文獻［5］中提出分塊特征提取網絡PCB（Part-based Convolutional Baseline），證明圖像的局部特征在ReID任務中比全局特征包含更多的細節信息；文獻［6］中提出的多粒度網絡（Multiple Granularity Network， MGN）結合全局和局部特征，進一步提高模型性能；文獻［7］中提出使用局部灰度域得到更穩健的特征。

對比常規ReID任務，換衣ReID的挑戰在于ReID中最大的識別區域（即上衣與褲子）是正確識別目標行人的阻礙。目前，研究人員已經在換衣ReID任務領域取得了較多成果：文獻［8］中在換衣ReID膠囊網絡（Capsule network for cloth-changing ReID， ReIDCaps）［9］上添加標簽平滑的交叉熵損失與圓損失（circle loss）［10］，提高模型的性能；文獻［2］中提出將行人輪廓進行空間極性變換（Spatial Polar Transformation， SPT）后輸入神經網絡，保證最大區分不同行人的身材輪廓，并且避免了衣物顏色信息的導入；文獻［11］中使用單張圖像的相鄰圖像設置步態信息，并結合步態信息和色彩（Red， Green and Blue， RGB）信息輸出行人特征；文獻［12］中提出結合RGB信息和三維行人體態信息的雙流網絡提升對衣物紋理與顏色的魯棒性，使用對抗網絡生成ReID數據集中缺失的三維人體模型；文獻［13］中提出結合圖像的RGB信息和行人輪廓信息的雙流網絡，設計損失函數糾正額外模型分割的輪廓信息；文獻［14］中提出多正類分類損失與衣服信息損失進行對抗學習，通過多正類分類損失使網絡在衣物區域更多地學習行人的體態特征。

現有的換衣ReID模型大多基于卷積神經網絡（Convolutional Neural Network， CNN）的骨架網絡，但是：1）由于CNN的局部依賴性［15］，網絡的注意力大多集中在較小的判別區域；2）CNN在縮小模型規模時不可避免地使用降采樣操作［16-18］，容易在網絡的傳播中丟失細節信息，而細節信息對于換衣任務中的有效信息區域相較于常規ReID任務更重要。這兩個缺點導致基于CNN的模型判別條件苛刻，換衣任務精度難以提升。多頭自注意力網絡［15］能夠更有效地捕捉長期依賴關系，因此能夠充分利用全局特征，并且因為無下采樣操作，能夠保留更多的細節信息。此外，現有的換衣ReID模型主要使用輪廓信息或者身體姿態等輔助學習原圖像，沒有充分挖掘圖像RGB信息，也沒有對換衣任務中的特征進行進一步處理。

因此本文提出基于語義引導自注意力網絡的換衣ReID模型。通過語義信息引導雙分支網絡，將完整圖像與無服裝圖像輸入網絡，保證網絡能學習完整的行人特征和避免衣服干擾的行人特征；利用多頭自注意力網絡提取更豐富的細節信息，并能更有效地獲得全局信息；同時，提出全局特征重建模塊（Global Feature Reconstruction module， GFR）在換衣任務中強調顯著性信息，使網絡對圖像的關注區域更全面；提出局部特征重組重建模塊（Local Feature Reorganization and Reconstruction module， LFRR），以輸出換衣任務中干擾較少的頭部和鞋部特征，并將它們進行重組重建，提高模型的魯棒性；最后，提出特征拉近損失（Feature Pull Loss， FPL），拉近兩個全局特征之間的距離，拉近全局與局部特征之間的距離，進一步強調顯著性信息，從而提升換衣ReID模型的準確性。

1 本文模型

本文模型的整體框架如圖1所示。

圖1　本文模型的整體框架

1.1　訓練流程策略

本文模型的訓練流程如圖2所示。首先對原始圖像做語義分割得到無衣物信息的行人圖像，將原始圖像和無服裝圖像輸入雙分支多頭自注意力網絡進行訓練，原始圖像分支學習行人的完整信息，無服裝圖像分支學習排除了服裝干擾的行人信息。

在多頭自注意力網絡的訓練中，兩類圖像被分別分割為大小一致的塊輸入網絡，并將塊拉伸成向量序列。在輸入的向量序列前，添加一個額外的可學習的分類標志（class token）向量作為模型的分類預測。為了表示每個塊在圖像中的順序，在每個向量序列前添加位置嵌入（position embedding）。將向量序列輸入Transformer編碼器，使用多層多頭自注意力網絡提取特征。

在多頭自注意力網絡的最后一層自注意力模塊前分別進行全局特征重建和局部特征重組重建：全局特征融合頭部特征和行人的服裝特征，突出顯著性信息的同時不丟棄輔助信息；局部特征重組重建操作將圖像分塊，取出換衣任務中顯著的頭部和鞋部特征，并將兩種局部特征進行重組重建，增強模型的魯棒性。

最后通過損失函數進行迭代更新，除了常用的身份損失和柔性三元組損失，提出FPL，拉近兩個全局特征之間的距離，在全局特征中強調非服裝等無干擾信息，同時拉近全局與局部特征之間的距離，使用局部特征突出全局特征中的細節信息，提高網絡在服裝變化情況的魯棒性。

圖2　本文模型的訓練流程

1.2　語義引導多頭自注意力網絡結構

換衣ReID任務中，由于服裝對網絡造成干擾，因此提出語義信息引導網絡結構，使用語義分割將原始圖像分成服裝信息和非服裝信息兩個類別，剔除服裝信息得到無服裝圖像。考慮到實際情況中模型不只對換衣任務進行ReID，仍然有大量非換衣的常規情況，因此保留原始圖像，將無服裝圖像和原圖像輸入雙分支網絡進行訓練。骨干網絡選擇多頭自注意力網絡，是因為相較于CNN，多頭自注意力網絡沒有池化等操作，能保留更多細節信息；同時由于網絡的自注意力結構，每個局部塊都有全局的感受野，像素距離較遠的頭部和鞋部同樣有緊密的相互關系，能更好地捕獲遠程依賴性。

1.3　GFR

多頭自注意力網絡能夠更有效地利用全局特征，在換衣ReID任務中，行人服裝會發生變化，而行人的臉部信息通常變化較少，網絡對于頭部的關注度大于身體部位，因此把頭部信息作為在全局特征中的顯著性信息進行強化。在全局特征處理中，本文模型沒有丟棄軀干區域的服裝信息，而是把它與同區域的身材、手臂飾品等作為對于換衣情況下的輔助信息輸入網絡，因此提出GFR，如圖3所示。

圖3　全局特征重建模塊

1.4　LFRR

在ReID任務中，局部特征相較于全局特征能夠更有效地反映行人細節信息［5］；但在換衣情況中，服裝部分的局部信息容易導致判別失誤，于是提出LFRR。在局部特征中只使用圖像的頭部和鞋部特征，頭部特征最顯著，在長時間的ReID中，鞋子在換衣任務中不經常替換，因此鞋子也是識別換衣行人重要的特征，所以選擇頭部和鞋部特征作為模型的局部特征進行輸出，但由于長時間的ReID中，鞋子依然有替換的可能，因此進行局部特征重組重建，降低鞋子替換對網絡造成的干擾，LFRR如圖4所示。

圖4　局部特征重組重建模塊

1.5　損失函數

本文模型在訓練階段使用了3種損失函數，包括：身份損失［19］、柔性三元組損失［20］和FPL函數。

身份損失函數是基于模型預測身份和行人身份標簽間的交叉熵，計算公式如式（5）所示：

同時由于換衣情況下服裝是干擾信息，非換衣情況下服裝是正確識別信息，導致網絡注意力并沒有完全集中在非服裝區域，在換衣情況下魯棒性不強，因此需要加強非服裝方面的特征表示。本文提出FPL函數，以強調在換衣任務中的有效信息，拉近局部和全局特征使得網絡注意力集中在重組后的頭部和鞋部信息，拉近完整圖像全局特征和無服裝圖像全局特征使得網絡注意力集中在非服裝信息。FPL計算公式如式（8）（9）所示。式（8）表示拉近完整圖像全局特征和無服裝圖像全局特征的損失函數，式（9）表示拉近全局與局部特征的損失函數：

本文使用上述3種損失聯合訓練。為了避免3種損失函數收斂時振蕩［3］，在身份損失前添加歸一化層［23］。整體網絡模型的損失函數包括對全局和局部特征的身份損失和三元組損失收斂，完整全局特征和無服裝全局特征的拉近損失收斂，全局和局部特征的拉近損失收斂，如式（10）所示：

2 實驗與結果分析

2.1　數據集與評價指標

為驗證本文模型的有效性，在PRCC （Person ReID under moderate Clothing Change）［2］、VC-Clothes （Virtually Changing-Clothes）［24］、Celeb-reID （Celebrities re-IDentification）［9］和Celeb-reID-light （light version of Celebrities re-IDentification）［9］這4個公開換衣ReID數據集上進行換衣情況測試。

PRCC數據集包含221個行人，共有33 698張行人圖像，由3個不同角度相機拍攝組成，相機A和B中每個人穿著相同的衣服，相機C中的行人穿著不同的衣服。訓練集包含150個行人，圖像張數為17 896。測試集中共有71個行人，圖像張數為3 384。查詢集中相同服裝的有71個行人，3 543張圖像；換衣情況的有71個行人，3 873張圖像。

VC-Clothes數據集是虛擬數據集，包含512個行人，共有19 060張行人圖像，4個相機視角拍攝組成，相機2和相機3的行人不換衣，相機3和相機4的行人換衣。訓練集包含256個行人，9 449張圖像；測試集包含256個行人，8 591張圖像；查詢集包含256個行人，1 020張圖像。

Celeb-reID和Celeb-reID-light是最早針對換衣ReID提出的數據集之一，其中Celeb-reID-light是Celeb-reID的子集，兩個數據集并沒有嚴格地區分換衣和非換衣的情況。在Celeb-reID數據集上：訓練集包含632個行人，20 208張圖像；測試集包含420個行人，11 006張圖像；查詢集包含420個行人，2 972張圖像。在Celeb-reID-light數據集上：訓練集包含490個行人，9 021張圖像；測試集包含100個行人，934張圖像；查詢集包含100個行人，887張圖像。

為了評估模型的有效性，評價指標采用ReID中常用的累計匹配特征（Cumulative Matching Characteristic， CMC）曲線和平均精確率均值（mean Average Precision， mAP）。累計匹配特性曲線表示搜索結果前張圖像中有正確結果的概率，其中Rank-1表示搜索結果置信度最高的圖像有正確結果的概率，Rank-5表示搜索結果置信度排行前5的圖像中有正確結果的概率，Rank-10表示所搜結果置信度排行前10的圖像中有正確結果的概率。mAP表示正確結果排序靠前的程度，體現整體多張圖像的檢索性能。

2.2　實驗設置

本文的實驗采用Ubuntu 20.04操作系統，深度學習框架為PyTorch 1.9.0，編程語言版本為Python 3.7，硬件基礎為V100 GPU。

本文實驗的骨干網絡為多頭自注意力網絡，初始權重在ImageNet-21K上預先訓練，然后在ImageNet-1K上進行網絡調整。圖像的大小統一調整為384×192，使用隨機水平翻轉、填充、隨機裁剪和隨機擦除［4］的數據增強方法對圖像進行預處理。本文選擇的語義分割方法為LIP （Look Into Person）數據集［25］預先訓練的自我糾錯人體解析（Self Correction Human Parsing， SCHP）模型［26］。批量大小為64，每個行人在一批次中有8張圖像，初始化為0.003 5，使用余弦學習率衰減學習率，采用隨機梯度下降法（Stochastic Gradient Descent， SGD）優化模型，迭代次數為60。在此，將本文模型簡稱為SGSNet（Semantic-Guided Self-attention Network）。

2.3　結果與分析

2.3.1消融實驗

驗證模型的各個模塊在換衣ReID任務中的有效性，在PRCC數據集上的消融實驗結果如表1所示。其中，使用多頭自注意力網絡做基準網絡（Baseline），語義引導網絡結構（Semantic Guidance Network structure， SGN）、全局特征重建模塊（GFR）、局部特征重組重建模塊（LFRR）和特征拉近損失（FPL）在表1中都用縮略語表示。消融實驗部分驗證提出的不同模塊在換衣場景下ReID情況的有效性。

從表1可以看出，在PRCC數據集換衣情況使用語義引導多頭自注意力網絡對性能有較大提升，相較于只使用多頭自注意力網絡（Baseline），Rank-1和mAP分別提升了6.7和7.1個百分點，這是因為新增的語義引導網絡分支使用的圖像經過語義分割去除了衣服的干擾，使得網絡可以獨立學習換衣情況下的無服裝信息，精度的提升表明使用語義信息引導網絡發揮了作用。

表1在PRCC數據集上的消融實驗結果 單位： %

Tab.1　Ablation experimental results on PRCC dataset unit： %

在SGN的基礎上，添加GFR，通過分塊、融合和拼接的方式，強調了換衣任務中顯著的頭部信息，弱化了服裝信息，降低了換衣情況下的噪聲干擾，同時又保留了服裝同區域的體態信息作為輔助信息輸入。添加GFR后，Rank-1和mAP分別提升了1.5和0.1個百分點，結果表明GFR是在換衣情況下是有效的。

在添加LFRR的測試中，通過分塊、重組重建操作，提取在換衣任務中更有效的頭部和鞋部特征，重組重建兩種局部特征，突出了頭部和鞋部的細節信息。在添加LFRR后，Rank-1和mAP分別提升了1.0和0.6個百分點，結果表明LFRR能夠強調有效細節信息，提高模型魯棒性。

最后添加FPL，拉近全局與局部特征之間的距離，拉近完整圖像全局特征與無服裝圖像全局特征之間的距離，Rank-1和mAP分別提升了2.7和0.9個百分點，精度的提升表明同時使用兩種FPL在換衣情況下是有效的。

2.3.2特征重組重建模塊實驗

本節對特征重組重建模塊進行測試，提出特征平均分塊、特征重組重建模塊兩種策略進行測試。特征平均分塊指對圖像橫向平均分塊成4份，分成4份局部特征，包含對服裝特征的輸出。LFRR即本文模型的模塊，將頭部特征與鞋部特征進行重新組合。使用PRCC數據集進行測試，性能比較如表2所示。

表2　特征平均分塊和特征重組重建模塊在 PRCC數據集上的性能比較 單位：%

在表2的對比中，特征重組重建模塊效果相較于特征平均分塊的Rank-1提升了0.8個百分點，表明特征重組重建模塊能夠有效提高模型的魯棒性，弱化服裝信息，減少換鞋情況時單獨輸出鞋部局部特征的干擾。

2.3.3FPL實驗

本文對不同的FPL函數策略進行測試，包括模型中不使用FPL（No FPL）、僅對局部和全局特征之間使用FPL（FPL between Local features and Global features， FPL-LG）、僅對兩種全局特征之間使用FPL（FPL between Two Global features， FPL-TG）、本文設置的使用兩種FPL結合（用FPL表示）。使用PRCC數據集進行測試，性能對比如表3所示。

在表3中，僅在局部與全局特征中使用FPL，相較于沒有使用FPL，Rank-1和mAP分別提升了0.8和0.2個百分點，說明拉近局部和全局特征距離能夠使網絡更有效關注顯著性特征的細節信息。僅在兩種全局特征中使用FPL函數，相較于沒有使用FPL，Rank-1提升了2.3個百分點，mAP基本不變，原因是拉近兩者特征減弱了兩條分支中服裝的關注程度，減小了圖像中的干擾因素。使用本文提出的FPL，相較于沒有使用FPL，Rank-1和mAP分別提升了2.7和0.9個百分點，局部與全局特征中使用FPL穩定全局特征的注意力，并在全局特征中強調局部特征中的細節信息，兩種全局特征之間使用FPL，突出顯著特征，降低了干擾，兩者疊加提高了模型的精度。

表3不同特征拉近損失函數策略在PRCC數據集的性能比較 單位：%

Tab.3　Performance comparison of different FPL function strategies on PRCC dataset unit： %

2.3.4與現有方法比較

為了驗證本文解決方案的有效性，在PRCC、VC-Clothes、Celeb-reID和Celeb-reID-light這4個換衣ReID數據集上與目前先進的換衣ReID方法進行比較。用Rank-1和mAP作為評價指標。在PRCC和VC-Clothes數據集上的性能比較結果如表4所示，在Celeb-reID和Celeb-reID-light的性能比較結果如表5所示。

表4不同方法在PRCC和VC-Clothes數據集上的性能比較 單位：%

Tab.4　Performance comparison of different methods on PRCC and VC-Clothes datasets unit：%

注：“―”表示原文獻中沒有該項實驗結果。

和諧注意力卷積神經網絡（Harmonious Attention Convolutional Neural Network，HACNN）［27］、PCB［5］和基于Transformer網絡的物體重識別（Transformer-based object Re-Identification， TransReID）［28］是近年來具有代表性的常規ReID方法；SPT［2］和局部對齊（Part-aligned）網絡［24］是分別提出PRCC和VC-Clothes兩個換衣ReID數據集的方法；步態識別驅動圖像ReID（Gait recognition to drive the Image ReID， GI-ReID）［11］、三維形態學習（3D Shape Learning， 3DSL）［12］、細粒度形狀外觀互相作用學習框架（Fine-grained Shape-Appearance Mutual learning framework， FSAM）［13］和基于衣物對抗損失（Clothes-based Adversarial Loss， CAL）模型［14］是近年來具有代表性的換衣ReID方法。在表4中，本文模型在換衣場景，PRCC數據集中Rank-1和mAP分別達到63.7%和60.4%，VC-Clothes數據集中Rank-1和mAP分別達到了88.9%和82.6%。在PRCC數據集和VC-Clothes數據集中，相較于CAL，文本模型的mAP分別提升了4.6和0.9個百分點；相較于其他對比ReID方法，本文模型表現優秀，精度有一定的提升。

如表5所示，在Celeb-reID和Celeb-reID-light換衣數據集上，選取HACNN［27］、PCB［5］、MGN［29］這3種常規ReID方法，ReIDCaps［9］和聯合損失膠囊網絡（Joint Loss Capsule Network， JLCN）［8］這2種換衣ReID方法進行比較，在Celeb-reID換衣數據集上，本文模型的Rank-1和mAP分別達到53.0%和11.0%，在Celeb-reID-light換衣數據集中，Rank-1和mAP分別達到25.8%和16.1%，相較于對比的先進方法取得了優秀水平。在Celeb-reID和Celeb-reID-light數據集上，相較于JLCN模型，本文模型的mAP分別提升了0.2和5.0個百分點。因此，本文模型在換衣情況中優于其他對比ReID方法，在4個換衣ReID數據集的對比實驗中驗證了本文模型的有效性。

表5不同方法在Celeb-reID和Celeb-reID-light數據集上性能比較 單位：%

Tab.5　Performance comparison of different methods on Celeb-reID and Celeb-reID-light datasets unit：%

2.3.5可視化分析

為了驗證本文模型在換衣場景中的有效性，在PRCC數據集上進行可視化排序，將Baseline模型和本文模型進行比較，分別查詢Top-1～Top-5圖像，選3張示意圖進行對比，可視化結果如圖5所示，其中query表示查詢圖像。

圖5（a）和圖5（b）中，對于Top-1～Top-5圖像，Baseline模型和本文模型全部檢索正確，說明自注意力網絡能夠提取豐富的細節信息，在換衣任務中能保持一定的準確性。圖5（c）中，對于Top-1～Top-5圖像，Baseline模型對Top-1、Top-2、Top-4與Top-5檢索錯誤，本文模型只有Top-4檢索錯誤，說明本文模型的有效性。從圖5可以看出，本文模型能夠有效提高檢索精度。

圖5　使用Baseline模型與本文模型返回的前5張檢索圖像對比

3 結語

本文提出一種基于語義引導自注意力網絡的換衣ReID模型，利用語義分割提取無服裝圖像，與完整圖像輸入雙分支多頭自注意力網絡，提取圖像的完整信息與不受服裝干擾的信息。通過全局特征重建和LFRR提高顯著性特征的細節信息，保留輔助信息。最后提出FPL拉近特征之間的距離，強調非干擾信息，并突出它的細節信息。實驗結果表明本文模型具有一定優勢，在換衣場景中有較高的魯棒性與檢索精度。接下來將研究針對復雜場景中因為語義分割誤差導致的檢索錯誤問題，進一步提高換衣任務中的模型性能。

[1] 羅浩，姜偉，范星，等.基于深度學習的行人重識別研究進展［J］. 自動化學報， 2019， 45（11）： 2032-2049.（LUO H， JIANG W， FAN X， et al. A survey on deep learning based on person re-identification ［J］. Acta Automatica Sinica， 2019， 45（11）： 2032-2049.）

[2] YANG Q， WU A， ZHENG W-S. Person re-identification by contour sketch under moderate clothing change ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（6）： 2029-2046.

[3] LUO H， JIANG W， GU Y， et al. A strong baseline and batch normalization neck for deep person re-identification ［J］. IEEE Transactions on Multimedia， 2019， 22（10）： 2597-2609.

[4] ZHONG Z， ZHENG L， KANG G， et al. Random erasing data augmentation ［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 13001-13008.

[5] SUN Y， ZHENG L， YANG Y， et al. Beyond part models： person retrieval with refined part pooling （and a strong convolutional baseline）［C］// Proceedings of the 2018 European Conference on Computer Vision. Cham： Springer， 2018： 501-518.

[6] WANG G， YUAN Y， CHEN X， et al. Learning discriminative features with multiple granularities for person re-identification ［C］// Proceedings of the 26th ACM International Conference on Multimedia. New York： ACM， 2018： 274-282.

[7] 龔云鵬，曾智勇，葉鋒. 基于灰度域特征增強的行人重識別方法［J］. 計算機應用， 2021， 41（12）： 3590-3595.（GONG Y P， ZENG Z Y， YE F. Person re-identification method based on grayscale feature enhancement ［J］. Journal of Computer Applications， 2021， 41（12）： 3590-3595.）

[8] 劉乾，王洪元，曹亮，等.基于聯合損失膠囊網絡的換衣行人重識別［J］. 計算機應用， 2021， 41（12）： 3596-3601.（LIU Q，WANG H Y， CAO L， et al. Cloth-changing person re-identification based on joint loss capsule network ［J］. Journal of Computer Applications， 2021， 41（12）： 3596-3601.）

[9] HUANG Y， XU J， WU Q， et al. Beyond scalar neuron： adopting vector-neuron capsules for long-term person re-identification ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2019， 30（10）： 3459-3471.

[10] SUN Y， CHENG C， ZHANG Y， et al. Circle loss： a unified perspective of pair similarity optimization ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE ， 2020： 6397-6406.

[11] JIN X， HE T， ZHENG K， et al. Cloth-changing person re-identification from a single image with gait prediction and regularization ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 14258-14267.

[12] CHEN J， JIANG X， WANG F， et al. Learning 3D shape feature for texture-insensitive person re-identification ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 8142-8151.

[13] HONG P， WU T， WU A， et al. Fine-grained shape-appearance mutual learning for cloth-changing person re-identification ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10508-10517.

[14] GU X， CHANG H， MA B， et al. Clothes-changing person re-identification with RGB modality only ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 1050-1059.

[15] DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale ［EB/OL］. （2021-06-03）［2022-12-13］. https：//arxiv.org/pdf/2010.11929.pdf.

[16] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. （2015-04-10）［2022-12-13］. https：//arxiv.org/pdf/1409.1556.pdf.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[18] HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269.

[19] SUN Y， ZHENG L， DENG W， et al. SVDNet for pedestrian retrieval ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 3820-3828.

[20] LAWEN H， BEN-COHEN A， PROTTER M， et al. Compact network training for person ReID ［C］// Proceedings of the 2020 International Conference on Multimedia Retrieval. New York： ACM， 2020： 164-171.

[21] SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 815-823.

[22] HERMANS A， BEYER L， LEIBE B. In defense of the triplet loss for person re-identification ［EB/OL］. （2018-03-24）［2022-12-13］. https：//arxiv.org/pdf/1703.07737.pdf.

[23] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： ACM， 2015： 448-456.

[24] WAN F， WU Y， QIAN X， et al. When person re-identification meets changing clothes ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3620-3628.

[25] GONG K， LIANG X， ZHANG D， et al. Look into person： self-supervised structure-sensitive learning and a new benchmark for human parsing ［C］// Proceedings of the 2017 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6757-6765.

[26] LI P， XU Y， WEI Y， et al. Self-correction for human parsing ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 44（6）： 3260-3271.

[27] LI W， ZHU X， GONG S. Harmonious attention network for person re-identification ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2285-2294.

[28] HE S， LUO H， WANG P， et al. TransReID： Transformer-based object re-identification ［C］// Proceedings of the 2021 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2021： 14993-15002.

[29] WANG G， YUAN Y， CHEN X， et al. Learning discriminative features with multiple granularities for person re-identification ［C］// Proceedings of the 26th ACM International Conference on Multimedia. New York： ACM， 2018： 274-282.

Cloth-changing person re-identification model based on semantic-guided self-attention network

ZHONG Jianhua1， QIU Chuangyi1，2， CHAO Jianshu2， MING Ruicheng2， ZHONG Jianfeng1*

（1，，362000，；2，，，362000，）

Focused on the difficulty of extracting effective information in the cloth-changing person Re-identification （ReID） task， a cloth-changing person re-identification model based on semantic-guided self-attention network was proposed. Firstly， semantic information was used to segment an original image into a cloth-free image. Both images were input into a two-branch multi-head self-attention network to extract cloth-independent features and complete person features， respectively. Then， a Global Feature Reconstruction module （GFR） was designed to reconstruct two global features， in which the clothing region contained head features with better robustness， which made the saliency information in the global features more prominent. And a Local Feature Reorganization and Reconstruction module （LFRR） was proposed to extract the head and shoe features from the original image and the cloth-free image， emphasizing the detailed information about the head and shoe features and reducing the interference caused by changing shoes. Finally， in addition to the identity loss and triplet loss commonly used in person re-identification， Feature Pull Loss （FPL） was proposed to close the distances among local and global features， complete image features and costume-free image features. On the PRCC （Person ReID under moderate Clothing Change） and VC-Clothes （Virtually Changing-Clothes） datasets， the mean Average Precision （mAP） of the proposed model improved by 4.6 and 0.9 percentage points respectively compared to the Clothing-based Adversarial Loss （CAL） model. On the Celeb-reID （Celebrities re-IDentification） and Celeb-reID-light （a light version of Celebrities re-IDentification） datasets， the mAP of the proposed model improved by 0.2 and 5.0 percentage points respectively compared with the Joint Loss Capsule Network （JLCN） model. The experimental results show that the proposed method has certain advantages in highlighting effective information expression in the cloth-changing scenarios.

cloth-changing person re-identification; multi-head self-attention network; semantic segmentation; feature reconstruction; feature reorganization

This work is partially supported by National Natural Science Foundation of China （52275523）.

ZHONG Jianhua， born in 1985， Ph. D.， associate professor. His research interests include image processing， pattern recognition.

QIU Chuangyi， born in 1998， M. S. candidate. His research interests include image processing， person re-identification.

CHAO Jianshu， born in 1984， Ph. D.， research fellow. His research interests include image processing， deep learning.

MING Ruicheng， born in 1994， M. S.， engineer. His research interests include image processing， deep learning.

ZHONG Jianfeng， born in 1988， Ph. D.， associate professor. His research interests include structural health detection， deep learning.

TP391.41

A

1001-9081（2023）12-3719-08

10.11772/j.issn.1001-9081.2022121875

2022?12?26；

2023?02?23；

2023?02?28。

國家自然科學基金資助項目（52275523）。

鐘建華（1985—），男，福建龍巖人，副教授，博士，主要研究方向：圖像處理、模式識別；邱創一（1998—），男，福建福州人，碩士研究生，主要研究方向：圖像處理、行人重識別；巢建樹（1984—），男，江蘇江陰人，研究員，博士，主要研究方向：圖像處理、深度學習；明瑞成（1994—），男，湖北十堰人，工程師，碩士，主要研究方向：圖像處理、深度學習；鐘劍鋒（1988—），男，福建龍巖人，副教授，博士，主要研究方向：結構健康檢測、深度學習。