基于位置掩碼引導(dǎo)的換裝行人重識(shí)別模型

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A

Cloth-changing Person Re-identification Model Based on Positional Mask-guided

GE Jiashang，SONG Shimiao，GU Feifan，YANG Jie （College of Mechanical and Electrical Engineering，Qingdao University，Qingdao ，China）

Abstract： In cloth-changing person re-identification tasks，clothing variation is a critical factor degrading recognition accuracy. To discover clothing-invariant features，a Positional Mask-Guided Model （PMGM） for Cloth-changing Person Re-identification was proposed. The PMGM model leverages four positional masks （head，upper body，lower body，and arms） to guide the network in capturing local fine-grained features，which are fused with global features to precisely extract clothing-invariant representations. During inference，integrating head feature matching with identity feature matching further enhances the model discriminative capability. Experimental results show that the PMGM model achieves 5.7% improvement in mAP and 6.1% improvement in Rank-1 on the PRCC dataset compared to baseline models.

Keywords： person re-identification； computer vision; deep learning；attention mechanism

隨著視頻監(jiān)控應(yīng)用需求的增長(zhǎng)和深度學(xué)習(xí)的興起，換裝行人重識(shí)別任務(wù)逐步成為學(xué)界研究的焦點(diǎn)。換裝行人重識(shí)別（Cloth-changing Person Re-identification，CC-ReID）通過(guò)非重疊的相機(jī)識(shí)別穿著不同衣物的同一個(gè)行人。3D信息、注意力機(jī)制、生成對(duì)抗網(wǎng)絡(luò)等已在行人重識(shí)別任務(wù)中廣泛應(yīng)用。如OG-Net[1（Om-ni-scale Graph Network）將3D人體重建引人行人重識(shí)別，借助3D點(diǎn)云構(gòu)建K近鄰圖模型提取身體局部結(jié)構(gòu)信息。多粒度特征網(wǎng)絡(luò)2通過(guò)注意力機(jī)制有針對(duì)性地抑制特征中的服裝信息，挖掘行人的本質(zhì)特征。基于衣服的對(duì)抗性損失通過(guò)懲罰模型的預(yù)測(cè)能力，從原始圖像中挖掘與衣服無(wú)關(guān)的特征[3]。 cmGAN^[4] （Cross-modality Generative Adversarial Network）使用生成對(duì)抗訓(xùn)練從不同的模態(tài)中學(xué)習(xí)識(shí)別特征表示，學(xué)習(xí)圖像表示的生成器和嘗試區(qū)分RGB和紅外圖像模態(tài)的判別器通過(guò)極大極小博弈相互競(jìng)爭(zhēng)，在對(duì)抗學(xué)習(xí)過(guò)程中生成具有判別性的特征，用于行人重識(shí)別。在換裝場(chǎng)景下， AIM^[5] （Auto-Intervention Model）提出基于因果關(guān)系的自動(dòng)干預(yù)模型，消除服裝偏差實(shí)驗(yàn)?zāi)Ｐ偷聂敯粜裕谔卣魈崛r(shí)選擇切分的方式會(huì)引入背景噪聲。CCFA[6]（Clothing-Change Feature Aug-mentation）提出了一種服裝變化特征增強(qiáng)模型，自動(dòng)對(duì)反映人的服裝顏色和紋理變化的特征分布擴(kuò)展進(jìn)行建模，以增強(qiáng)模型訓(xùn)練;卻忽略了局部信息之間的相關(guān)性。IGCL[7]（Identity-guided Collaborative Learning）屏蔽與服裝外觀相關(guān)的線索，僅專(zhuān)注于人體語(yǔ)義和身份信息，卻忽略了面部特征在身份識(shí)別中的重要性。針對(duì)受服飾變化干擾及局部信息利用不足導(dǎo)致了識(shí)別精度低的問(wèn)題，本文提出了基于位置掩碼引導(dǎo)（Positional Mask-Guided Modal，PMGM）換裝行人重識(shí)別模型。在推理過(guò)程中引入頭部特征匹配模塊，通過(guò)對(duì)頭部及身體關(guān)鍵區(qū)域的位置掩碼與優(yōu)化后的局部特征進(jìn)行線性變換得到行人局部細(xì)粒度特征;局部細(xì)粒度特征與全局特征進(jìn)行特征融合實(shí)現(xiàn)特征互補(bǔ)，提高模型在換裝行人重識(shí)別任務(wù)的精度。

1換裝行人重識(shí)別技術(shù)研究

1.1 PMGM網(wǎng)絡(luò)模型

PMGM模型整體框架結(jié)構(gòu)如圖1，輸人為原始圖像 I∈R^H×W×3 ，其中 H，W，3 分別表示圖像的高度、寬度和通道數(shù)。圖像編碼器為12個(gè)Transformer層，其隱藏層為768維，在Image數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。首先，原始圖像尺寸大小調(diào)整為 256×128 后分割成 16×16 的圖像塊；每個(gè)圖像塊經(jīng)圖像編碼器展平和線性投影后輸出為 1×768 維的全局特征 F_g 和 128×768 維的局部特征 F₁ ，參考人體實(shí)例分割算法[8-9]中人體解析的思路，在原始圖像中對(duì)行人進(jìn)行體型解析操作，有效位置編碼塊設(shè)置為1，其余為0，得到頭部、上身、下身、手臂4個(gè)位置區(qū)域的二進(jìn)制位置掩碼 M_i ，其中頭部區(qū)域在肩部以上、上身為胸部和腰部、下身即腰部以下、手臂為肩部到手臂區(qū)域，深度的獲取行人的局部特征信息和利用生物特征的穩(wěn)定性。局部特征 F₁ 通過(guò)空間注意力機(jī)制輸出增強(qiáng)為局部位置特征 F₁^a ，與位置掩碼 M_i 的線性變換分別取得4個(gè)區(qū)域特征 F₁ⁱ 。4個(gè)區(qū)域特征 F_lⁱ 由768維經(jīng)線性映射為512維的區(qū)域特征 F_l^ai ，其中， F₁^ai=σF₁ⁱ=σ（M_i×F₁^a） 。隨后，全局特征 F_g 經(jīng)全連接層線性映射成512維的全局特征 F_g^a ，與4個(gè)外觀特征 F_l^ai 特征拼接得到 5×512 維融合特征 ；融合特征 通過(guò)池化層和歸一化操作后得到三元組損失函數(shù)和身份損失函數(shù)，為反向梯度傳播的值。

1.2頭部特征匹配和推理框架

在換裝行人重識(shí)別任務(wù)中，頭部區(qū)域的面部特征具有強(qiáng)魯棒性。頭部特征匹配流程如圖2，從候選圖像庫(kù)中特征提取出頭部特征并創(chuàng)建特征數(shù)據(jù)庫(kù);根據(jù)頭部位置從查詢(xún)圖像庫(kù)檢測(cè)出頭部的查詢(xún)樣本，通過(guò)特征提取得到頭部特征集;頭部特征集與特征數(shù)據(jù)庫(kù)計(jì)算余弦相似度，得到與查詢(xún)樣本最相似樣本的頭部得分向量。推理框架如圖3，圖像輸入序列通過(guò)圖像編碼器輸出身份特征和頭部特征，通過(guò)頭部特征匹配和身份特征匹配分別計(jì)算頭部得分向量和身份得分向量以表示頭部、行人身份的置信度。經(jīng)過(guò)平均池化操作后組合，得到組合得分向量，預(yù)測(cè)給定樣本的行人身份。

1.3 損失函數(shù)

模型通過(guò)身份損失 L_ce 和三元組損失 L_tri2 個(gè)損失函數(shù)進(jìn)行特征學(xué)習(xí)，身份損失 L_ce 確保特征的判別性和三元組損失 L_tri 增強(qiáng)特征的泛化能力，分別為

其中， q_k 表示目標(biāo)分布中的值； p_k 表示類(lèi)別 k 的概率； a 是邊距的參數(shù)； d_?P 是基準(zhǔn)樣本和對(duì)應(yīng)的正樣本之間的歐式距離； d_n 是基準(zhǔn)樣本和最硬負(fù)樣本之間的歐氏距離。當(dāng)正負(fù)樣本對(duì)之間的距離差與邊距相加為正時(shí)，產(chǎn)生損失，為負(fù)時(shí)，損失值為0。

模型訓(xùn)練采用聯(lián)合監(jiān)督策略構(gòu)建損失函數(shù)體系，得到總體損失函數(shù)表達(dá)式如式（3），其中權(quán)重參數(shù) λ₁ 用于平衡三元組損失，根據(jù)實(shí)驗(yàn) λ₁ 為0.4。

2 實(shí)驗(yàn)及評(píng)估

2.1 數(shù)據(jù)集以及實(shí)驗(yàn)設(shè)置

在公開(kāi)數(shù)據(jù)集PRCC和LTCC上進(jìn)行實(shí)驗(yàn)驗(yàn)證。其中，PRCC數(shù)據(jù)集是較早公布換裝數(shù)據(jù)集，拍攝時(shí)間大約在夏季，只有室內(nèi)場(chǎng)景，行人無(wú)遮擋，包含221個(gè)行人的33698張圖像，由3個(gè)攝像機(jī)拍攝。其中，攝像機(jī)A和B中行人穿著同一套服裝，攝像機(jī)C中行人穿著不同的衣服。滿(mǎn)足長(zhǎng)期換裝要求的LTCC數(shù)據(jù)集，其拍攝時(shí)長(zhǎng)兩個(gè)月，包含了17138張照片，152個(gè)身份，478種不同的服裝，由12個(gè)攝像頭的不同角度拍攝。

采用ImageNet數(shù)據(jù)集對(duì)ViT/B－16模型進(jìn)行預(yù)訓(xùn)練。隨機(jī)水平翻轉(zhuǎn)，填充，裁剪和擦除每張圖像，所有數(shù)據(jù)集的輸入圖像的大小調(diào)整為 256×128 。批次大小設(shè)置為36，訓(xùn)練迭代次數(shù)設(shè)置為60，實(shí)驗(yàn)的權(quán)重衰減參數(shù)為 1×10^-4 ，學(xué)習(xí)率初始設(shè)置為 5×10^-7 。前10個(gè)迭代學(xué)習(xí)率線性增加到 5×10^-6 ，使用按需調(diào)整學(xué)習(xí)率的方式，在30和50個(gè)迭代時(shí)調(diào)整學(xué)習(xí)率，調(diào)整倍數(shù)為0.1。在PRCC、LTCC數(shù)據(jù)集實(shí)驗(yàn)時(shí)凍結(jié)該預(yù)訓(xùn)練模型的全部參數(shù)。

2.2評(píng)價(jià)指標(biāo)及結(jié)果分析

實(shí)驗(yàn)結(jié)果評(píng)估指標(biāo)使用Rank-1準(zhǔn)確度和平均精度（mean AveragePrecision，mAP），在多次測(cè)試評(píng)估方案下進(jìn)行。實(shí)驗(yàn)分別設(shè)置為僅使用相同服裝樣本、僅使用更換服裝樣本及使用所有的樣本3種情況計(jì)算準(zhǔn)確度。PMGM模型在PRCC數(shù)據(jù)集上進(jìn)行相同衣服和更換服裝的測(cè)試，在LTCC數(shù)據(jù)集上進(jìn)行一般和更換服裝的測(cè)試。

將PMGM模型與現(xiàn)有的換裝行人重識(shí)別方法比較，包括 AIM^[5] 、CCFA[6]、 SPT+ASE^[10] 、 、3DSL[12]、FD-GAN[13]、CCPA[14]、CVSL[15]、MADE[16]。在這些換裝行人重識(shí)別方法中，AIM挖掘原始RGB圖像的信息；CCFA采用特征增強(qiáng)方法；SPT + ASE、CESD通過(guò)使用行人的生物特征來(lái)消除著裝干擾；3DSL使用行人姿態(tài)分析;MADE使用文本屬性指導(dǎo);CCPA使用著裝與姿態(tài)對(duì)比增強(qiáng)的模型框架；FDGAN提出的方法基于GAN網(wǎng)絡(luò);CVSL提出基于對(duì)比視點(diǎn)感知形狀學(xué)習(xí)，測(cè)試的Rank-1準(zhǔn)確度和 mAP的實(shí)驗(yàn)結(jié)果如表1，表中的“一\"表示原論文并未對(duì)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)評(píng)估。

由表1得知，在換裝設(shè)置下，PMGM模型在PRCC數(shù)據(jù)集上的性能優(yōu)于大多數(shù)方法。與基準(zhǔn)模型（Baseline）相比，在換裝設(shè)置下，Rank-1提高 6.1% . mAP 提高 5.7% ;在相同服裝設(shè)置下，Rank-1提高4.2% . mAP 提高 7.9% 。與AIM方法相比，在換裝設(shè)置下，Rank-1提高 3.5% . mAP 提高 1.2% 。與CVSL方法相比，在換裝設(shè)置下， Rank-1 提高 3.9% mAP 提高 2.6% ;在相同服裝設(shè)置下，Rank-1提高2.5% mAP 提高 0.8% 。實(shí)驗(yàn)結(jié)果表明，利用頭部特征匹配和優(yōu)化局部特征，弱化服裝變化對(duì)行人重識(shí)別任務(wù)的影響，并取得了較好的效果。

在LTCC數(shù)據(jù)集的換裝和一般情況下的結(jié)果表明，PMGM模型優(yōu)勢(shì)顯著。與CCFA相比，在換裝設(shè)置下，Rank-1提高 2.3% mAP 提高 2.6% ；在一般情況下， Rank-1 提高 5.4% ，mAP提高 5.5% 。與AIM相比，在換裝設(shè)置中，Rank-1提高 7.0% mAP 提高 5.6% ;在一般情況下，rank-1提高 4.9% mAP 提高 6.9% 。與FD-GAN等相比，在換裝設(shè)置下， Rank-1 提高 14.7% mAP 提高 9.3% ；在一般情況下， Rank-1 提高 7.8% mAP提高 11.1% 。與基準(zhǔn)模型相比，在一般情況下， Rank-1 提高 6.4% ，mAP提高 6.2% ；在換裝設(shè)置下，Rank-1提高 5.9% mAP 提高 4.5% 。表明PMGM模型挖掘局部細(xì)粒度特征，效果較好。

2.3 消融實(shí)驗(yàn)

為了全面的評(píng)估模塊的有效性，在換裝設(shè)置下對(duì)PRCC和LTCC換裝數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表2所示。基準(zhǔn)模型在PRCC數(shù)據(jù)集上的 mAP 和 Rank-1 準(zhǔn)確率分別為 53.8% 和 55.3% 。與基準(zhǔn)模型相比，PMGM模型在PRCC數(shù)據(jù)集上的mAP和Rank-1準(zhǔn)確率分別提高 5.7% 和 6.1% ；在LTCC數(shù)據(jù)集上的mAP和Rank-1準(zhǔn)確率分別提高 4.5% 和 5.9% 。

將位置編碼、特征匹配分別以漸進(jìn)式的形式嵌入到基準(zhǔn)模型中來(lái)驗(yàn)證設(shè)計(jì)模型的有效性。實(shí)驗(yàn)結(jié)果表明，在PRCC數(shù)據(jù)集上的mAP和Rank-1準(zhǔn)確率分別提高 4.8% 和4.5% 。在LTCC數(shù)據(jù)集上的mAP和Rank-1準(zhǔn)確率分別提高 3.3% 和 5.0% 。PMGM模型能夠有效利用行人區(qū)域位置，顯著提升了換裝場(chǎng)景下的識(shí)別魯棒性。

分別使用頭部特征、上身特征、下身特征、手臂特征匹配模塊對(duì)比結(jié)果表明，使用頭部特征匹配模塊具有最好的判別效果，驗(yàn)證了頭部特征對(duì)服裝無(wú)關(guān)身份識(shí)別具有不可替代的判別價(jià)值。通過(guò)引入頭部特征匹配模塊，在LTCC數(shù)據(jù)集下Rank-1準(zhǔn)確率達(dá)到47.6% 。

為了了解模型所獲得的行人信息，通過(guò)基準(zhǔn)模型和PMGM模型生成特征響應(yīng)熱力圖，如圖4。基準(zhǔn)模型的熱力圖只集中在服裝區(qū)域，主要關(guān)注與衣服相關(guān)的區(qū)域，PMGM模型關(guān)注到與衣服無(wú)關(guān)的屬性信息區(qū)域如頭部、手部、腿部，表明模型在訓(xùn)練過(guò)程中受到更多的約束。PMGM模型能夠充分挖掘與衣物無(wú)關(guān)的線索，提高模型識(shí)別行人的能力且具有更好的魯棒性。

為了進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型的性能，對(duì)模型中的參數(shù) λ₁ 進(jìn)行定量分析。在PRCC數(shù)據(jù)集下 λ₁ 值與PMGM模型性能指標(biāo)關(guān)系如圖5，當(dāng) λ₁=0，4 時(shí)，PMGM模型的mAP和Rank-1同時(shí)達(dá)到最大值。

3 結(jié)論

本文提出了一種基于位置掩碼引導(dǎo)換裝行人重識(shí)別模型，使用位置掩碼引導(dǎo)PMGM模型挖掘局部細(xì)粒度特征，弱化服裝對(duì)視覺(jué)特征的影響，提高換裝行人重識(shí)別精度。在推理過(guò)程中引人頭部特征匹配，利用面部特征的魯棒性特點(diǎn)進(jìn)一步提高換裝行人重識(shí)別算法的精度。在公眾的換裝數(shù)據(jù)集PRCC和LTCC數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了模型的有效性。下一步主要通過(guò)引入文本屬性引導(dǎo)圖像視覺(jué)特征，利用特征之間的優(yōu)勢(shì)進(jìn)行研究，增強(qiáng)行人重識(shí)別模型的性能。

參考文獻(xiàn)

[1]ZHENG Z，WANG X，ZHENG N，et al. Parameter-eficient person re-identification in the3d space[C]/EE Conference on Computer Vision and Pattern recognition. Virtual： IEEE，2020：7534-7547.

[2]郭傳磊，楊杰，周萌萌，等．基于多粒度特征網(wǎng)絡(luò)的無(wú)監(jiān)督換裝行人重識(shí)別算法[J]．大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2024，37（3）：60-67，75.

[3]GU X，CHANG H，MA B，et al. Clothes-changing person re-identification with rgb modalityonly[C]/IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans：IEEE，2022：1050 -1059.

[4]DAI P，JIR，WANGH，et al. Cros-modality person re-identificationwith generative adversarial training[C]/7thInternational Joint Conference on Artificial Intelligence. Stockholm： IEEE，2018：677-683.

[5]YANG Z，LINM，ZHONG X，etal.Good is bad：Causalityinspiredcloth-debiasing for cloth-changing personre-identification[C]//IEEE/CVF Conference on Computer Vision and Patern Recognition. Vancouver：IEEE，2023：1472 - 1481.

[6]HAN K，GONG SG，HUANG Y，et al. Clothing-change feature augmentation for person re-identification[C]/IEEE/ CVF Conference on Computer Vision and Pattern Recognition. Vancouver： IEEE，2023：22066 -22075.

[7]GAO Z，WEIS，GUANW，et al. Identity-guided collborative learning for cloth-changing person reidentification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2024，46（5）：2819-2837.

[8] 鞠成國(guó)，王國(guó)棟．用于人體實(shí)例分割的卷積神經(jīng)網(wǎng)絡(luò)[J]．大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，34（1）：34－39.

[9] 王沖，趙志剛，潘振寬，等．基于空洞卷積的人體實(shí)例分割算法[J]．大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，34（2）：53－ 58.

[10]YANG Q Z，WU A C， ZHENG W S.Person re-identification by contour sketch under moderate clothing change[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2Ol9，43（6）：2029-2046.

[11] QIAN X，WANG W，ZHENG L，et al. Long-term cloth-changing person re-identification[C]//15th Asian Conference on ComputerVision. Kyoto：IEEE，2020：71-88.

[12] CHEN J，JIANG X，WANG F，et al. Learning 3d shape feature for texture-insensitive person re-identification[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville： IEEE， 2021： 8142 -8151.

[13]CHAN PPK，HUX，SONG H，et al.Learning disentangled features forperson re-identification under clothes changing[J].ACM Transactions on Multimedia Computing，Communications，and Applications，2023，19（6）：1- 21.

[14]NGUYEN V D，SHAH S K.Ccpa： Long-term person re-identification via contrastive clothing and pose augmentation [DB/OL]. [2025-05-08]. https：//arxiv. org/abs/2402. 14454.

[15]NGUYEN D， KHALDI K，NGUYEN D，et al. Contrastive viewpoint-aware shape learning for long-term person re-identification[C]//IEEE/CVF Winter Conference on Applications of Computer Vision. Waikoloa： IEEE，2024：1041- 1049.

[16]PENG C，WANG B，LIUD，et al.Masked atribute description embedding for cloth-changing personre-identification [DB/OL]. [2025-05-08]. https：//arxiv. org/abs/2401. 05646.