基于多尺度特征增強與對齊的跨模態行人檢索

摘" 要： 為了解決跨模態行人檢索從圖像和文本中抽取有效的細節特征，以及實現圖像與自然語言文本跨模態對齊的問題，提出一種基于多尺度特征增強與對齊的跨模態行人檢索模型。該模型引入多模態預訓練模型，并構建文本引導的圖像掩碼建模輔助任務，充分實現跨模態交互，從而無需顯式地標注信息即可增強模型學習圖像局部細節特征的能力。另外，針對行人圖像身份易混淆問題，設計全局圖像特征匹配輔助任務，引導模型學習身份關注的視覺特征。在CUHK?PEDES、ICFG?PEDES和RSTPReid等多個公開數據集上的實驗結果表明，所提模型超越了目前已有的主流模型，其第一命中率分別達到了72.47%、62.71%和59.25%，實現了高準確率的跨模態行人檢索。

關鍵詞： 跨模態行人檢索； 多尺度特征增強； 多模態對齊； CLIP； 圖像掩碼； 跨模態交互； 交叉注意力

中圖分類號： TN911?34； TP391.41； TP183" " " " " " " "文獻標識碼： A" " " " " " 文章編號： 1004?373X（2024）22?0044?07

Cross?modal pedestrian retrieval based on multi?scale feature enhancement and alignment

Abstract： In order to solve the problem of extracting effective detail features from images and texts in cross?modal pedestrian retrieval， as well as achieving cross?modal alignment between images and natural language texts， a cross?modal pedestrian retrieval model based on multi?scale feature enhancement and alignment is proposed. In this model， the multimodal pre?training model is introduced， and the text?guided image mask modeling auxiliary task is constructed to fully realize cross?modal interaction， so as to enhance the model′s ability to learn local image detail features without explicit annotation information. In allusion to the identity confusion in person images， a global image feature matching auxiliary task is designed to guide the model to learn visual features that are relevant to identity. The experimental results on multiple public datasets such as CUHK?PEDES， ICFG?PEDES， and RSTPReid show that the proposed model surpasses existing mainstream models， with first hit rates of 72.47%， 62.71%， and 59.25%， respectively， achieving high accuracy in cross?modal pedestrian retrieval.

Keywords： cross modal pedestrian retrieval; multi?scale feature enhancement; multimodal alignment; CLIP; image mask; cross?modal interaction; cross attention

0" 引" 言

跨模態行人檢索任務[1]是根據用戶輸入的一段關于行人的自然語言文本描述來檢索圖像集中與之相對應的行人圖像。其與行人重識別（Re?ID）[2]都屬于圖像檢索的子任務，但是又有所不同，行人重識別是使用圖像搜索圖像，而跨模態行人檢索是基于文本搜索行人圖像。文本具有簡單直觀的特點，更易于使用。例如在進行犯罪嫌疑人搜索時，目擊者往往只能提供關于嫌疑人的文字描述，而無法給出具體的圖像。所以跨模態行人檢索具有更好的實用價值，尤其在安防領域，迫切需要跨模態行人檢索技術。

然而，跨模態行人檢索模型一方面需要具備挖掘行人圖像和文本細微特征的能力，另一方面需要克服不同模態間“異構鴻溝”的能力，實現視覺和文本的跨模態對齊。此外，由于環境光線、拍攝角度、當前姿勢等諸多因素的影響，同一身份的行人可能存在較大的類內方差。不同身份的行人由于大部分的外在因素相同，導致存在較小的類間方差。這就使得跨模態行人檢索任務具有極大的挑戰。

目前，基于深度神經網絡的跨模態行人檢索算法占據了主流。早期的算法[3?4]采用雙流模型來提取圖像和文本的全局特征做訓練和預測。但是全局特征容易忽略對跨模態行人檢索任務至關重要的細節特征，例如行人的上衣顏色、下裝類型等，因此無法解決類內方差大、類間方差小的問題。為了達到更好的效果，后續的方法[5?6]嘗試引入局部特征，提取圖像和文本中有用的局部特征，做對應局部塊之間的一一匹配，有效提高了跨模態行人檢索的準確率。但是圖像和文本相同而局部信息的位置不同，如何做到局部之間的準確對齊，以及如何消除局部帶來的噪聲是關鍵難題。此外，雙流模型的模態間交互較少，很難解決跨模態對齊問題。AXM?Net[7]和IVT[8]采用混合模型，增加了圖像和文本之間的交互，從而增強了網絡的模態對齊能力。

為了進一步解決當前跨模態行人檢索模型難以捕捉圖像細微特征并實現跨模態準確對齊的問題，本文提出一種基于多尺度特征增強和對齊的跨模態行人檢索模型。該模型將CLIP[9]預訓練模型作為模型骨干網絡，充分利用該大規模跨模態中蘊含的跨模態知識，提取行人圖像和查詢文本的基礎特征，并針對性地設計多個輔助訓練任務，引導模型適應跨模態行人檢索任務的特點，更好地挖掘行人圖像和查詢文本的多尺度特征，并在全局和局部兩個尺度去優化兩種模態之間的對齊問題。具體而言，本文設計了全局圖像特征匹配任務，減少噪聲干擾，增強模型學習相關類別的視覺特征能力。同時，為了使模型能夠更好地挖掘和對齊跨模態局部特征，設計了文本引導的掩碼圖像建模輔助訓練任務，通過隨機遮蓋圖像部分區域，并預測還原原始信息，有效地增強模型的局部細微特征建模能力。上述模型和訓練任務設計可有效學習圖像和文本的全局及局部細節特征，增強模型的跨模態對齊能力，從而實現高準確率的跨模態行人檢索。

1" 本文方法

1.1" 模型結構

如圖1所示，本文提出的基于多尺度特征增強與對齊的跨模態行人檢索模型是一個多模態混合模型。該模型由單獨的文本編碼器和圖像編碼器以及一個跨模態交互編碼器組成。文本編碼器用于提取文本特征，圖像編碼器用于提取圖像特征，利用文本和圖像的全局特征做全局特征任務。以文本和圖像的全局和局部特征作為跨模態交互編碼器的輸入，并在其輸出上進行掩碼圖像建模任務，增強圖像編碼器抽取行人圖像局部細節特征的能力。本文模型通過多尺度多任務學習，使得模型具有細粒度表征能力和多模態對齊能力。

1.2" 特征提取編碼器

CLIP[9]模型主要由文本編碼器和圖像編碼器構成，并且在海量圖像?文本對上進行對比學習。研究表明，預訓練的CLIP模型在多個下游任務上展現了其強大的語義信息挖掘能力、零樣本能力和模態對齊能力。跨模態行人檢索任務也是一個圖文匹配任務，本文采用預訓練的CLIP模型來提取行人圖像和檢索文本的基礎特征，從而充分利用該模型中蘊含的預訓練知識。

文本特征提取：對于用戶輸入的檢索文本T，CLIP模型首先進行分詞和截斷/補長操作，并插入文本開始標記和結束標記，從而將檢索文本長度統一為77個詞。然后通過詞嵌入方法將文本詞序列轉化為向量序列[ET={eT1，eT2，…，eT77}∈R77×512]。該向量序列加入位置編碼后送入12層編碼層，通過自注意力機制學習文本中蘊含的語義信息。本文以最后一層編碼層的輸出[zT={fT，vT1，vT2，…，vT77}]作為文本的基礎特征。其中：[fT]表示開始標記對應的輸出，可視為文本的全局特征；[vTi]表示詞i對應的文本局部特征。

征；[vIi]表示圖像區域塊的局部特征。

1.3" 全局圖像特征匹配

跨模態行人檢索任務中存在大量如圖2所示的情況。圖中，左側圖像和中間圖像是同一人物，但是因為拍攝角度不同，在整體上存在很大差異；而右圖中的行人和中間圖像中的行人并不是同一人物，但是他們的特征較相似，差異只在于鞋子顏色和背包。因此，跨模態行人檢索模型往往會錯誤估計這些圖的相似度，從而獲得錯誤的檢索結果。為了解決上述問題，本文設計全局圖像特征匹配任務來引導模型學習魯棒的行人全局特征，使得模型能夠提取到不同行人的視覺特征。

在具體實現中，首先預存本輪圖像全局特征的集合，如下：

[A=（PID（fI1），fI1），（PID（fI2），fI2），…，（PID（fIN），fIN）]

式中：N表示人物個數；[PID（fIj）]表示圖像對應的行人[PID]標識號；[fIj]表示圖像j的全局特征。從集合A中隨機采樣m組具有相同行人標識號的行人圖像特征加入到本批次訓練中。由于本任務的目的是使模型抽取的具有相同行人標識號的圖像具有相似的視覺特征，因此在訓練過程中使用如下KL散度作為訓練目標。

式中：n為圖文對個數；α是一個很小的常數，用于防止除零異常；[pk，j]為圖像k和圖像j全局特征之間的余弦相似度；[qk，j]表示圖像k和圖像j是否具有相同的行人標識號。當[PID（fIk）]與[PID（fIj）]相同時，[qk，j=1]；否則，[qk，j=0]。

1.4" 文本引導的圖像掩碼建模

以往的大量研究表明，從行人圖像中獲取與當前檢索文本相關的細節特征是跨模態行人檢索成功的關鍵和難點[5?8]。現在的方法使用在圖像分類任務上預訓練的卷積神經網絡或VIT模型來抽取圖像局部特征，但缺乏檢索文本的提示，其局部特征學習能力不足。近年來提出的SimMIM[12]模型通過掩碼圖像建模學習表征，使得圖像編碼器能夠根據圖像上下文重構圖像局部區域信息，從而有效提高了圖像編碼器的局部特征學習能力。但是SimMIM模型只能利用圖像上下文信息建模和預測掩碼區域，不具備跨模態能力。為了使得跨模態行人檢索模型能夠根據查詢文本有目的地挖掘行人圖像中的局部細微特征，本文設計了文本引導的圖像掩碼建模任務，利用檢索文本和行人圖像之間的跨模態交互，充分挖掘檢索文本和行人圖像局部信息之間的關聯信息，實現行人圖像掩碼區域的重構，從而提高圖像編碼器的細粒度圖像特征學習能力。掩碼圖像建模具體方法如圖3所示，該任務包含4個步驟：隨機圖像掩碼、圖文特征提取、圖文特征交互融合編碼器和掩碼區域預測解碼器。

1） 隨機圖像掩碼

根據預處理圖像大小（384×128）和圖像編碼器VIT的分塊大小（16×16）把原始圖像分成192塊，按照6∶10的比例隨機遮蓋分塊作為圖像編碼器的輸入，公式如下：

[Iinput=Patchi·maski，" i∈[1，192]] （2）

式中：[Patchi]表示每個圖像塊的原始特征向量；[maski]取值為0或1，0表示遮蓋，1表示不改變。

2） 圖文特征提取

采用1.2節所述方法，利用預訓練的CLIP模型中的圖像編碼器和文本編碼器分別提取行人圖像和檢索文本的基礎特征。

3） 圖文特征交互融合編碼器

組合1層交叉注意力和4層多頭自注意力，并通過圖文特征交互融合編碼器，在檢索文本引導下挖掘圖像局部區域之間隱含的關聯信息，同時融合文本語義，為后續的預測解碼器提供更加豐富的輸入信息。圖文融合特征的計算公式如下：

[Oencoder=TFencoder（CA（zI，zT，zT））] （3）

式中：[CA（·）]表示交叉注意力計算；[TFencoder（·）]表示Transformer[11]塊的多頭自注意力計算；[zI]表示骨干網絡輸出圖像的全局和局部特征；[zT]表示骨干網絡輸出文本的全局和局部特征。

4） 掩碼區域預測解碼器

采用一個僅由一層二維卷積和像素重排構成的輕巧網絡，以圖文融合特征[Oencoder]為輸入，重構圖像局部掩碼區域的像素值。為了使得解碼器盡可能無失真地恢復圖像掩碼區域，本文采用L1損失監督本任務的訓練，損失公式如下：

1.5" 總體優化目標

跨模態行人檢索任務需要充分挖掘檢索文本和行人圖像在全局、局部多尺度上的跨模態交互和對齊。為了實現全局的跨模態對齊，本文采用現有方法[5，8，13]最常用的跨模態投影匹配損失來引導模型在全局尺度上進行跨模態對齊。同時，為了增強模型的多尺度特征學習能力和對齊能力，本文在訓練過程中引入了兩個輔助任務：全局圖像特征匹配任務能夠增強模型學習行人標識碼相關的全局特征能力；文本引導的掩碼圖像建模任務則可以有效提高模型挖掘檢索相關圖像局部細節特征的能力。綜合上述任務，本文最終的訓練優化目標如下：

[L=LIIKL+Lmim+LCMPM] （5）

2" 實驗結果與分析

2.1" 數據集

為了驗證提出模型的有效性，本文采用跨模態行人檢索任務中三種主流的數據集分別對對比方法進行訓練和測試。

CUHK?PEDES[1]是最早的語言行人檢索任務的數據集，包含13 003個人物身份，每個身份由不同的拍攝角度、不同的背景產生多張圖像，大部分的每張圖像對應2個描述文本，共由40 206張圖像和80 422個文本組成。采用數據集原論文中的劃分方式，后續的方法比較和消融研究中均采用此劃分方式，將數據集劃分為訓練集、驗證集和測試集。其中，訓練集有11 003個人物身份，對應34 054張圖像和68 108個文本；驗證集和測試集平分剩下的2 000個人物身份，分別構建6 158個圖文對和6 156個圖文對。

ICFG?PEDES[14]相比于CUHK?PEDES的人物身份要少一半多，僅有4 102個身份，每個身份也包含多張圖像，每個圖像只有一個描述文本，每個文本的平均長度為37.2個單詞。將數據集劃分為訓練集和測試集。其中，訓練集包含3 102個身份、34 674個圖文對；測試集包含1 000個身份、19 848個圖文對。

RSTPReid[15]在這三個數據集中含有最少的圖像，僅有20 505張圖像，每5張圖像對應一個身份，每張圖像對應2個描述文本，且每句的描述至少有23個單詞。將數據集劃分為訓練集、驗證集和測試集，分別包含37 010個圖文對、2 000個圖文對和2 000個圖文對。

2.2" 評價指標

本文采用跨模態行人檢索領域常用的評價指標，包括Rank?k（k=1、5、10）和mAP。Rank?k（k=1、5、10）是指將查詢相似度結果從大到小排序，計算前k個中至少有一個命中的概率；mAP用于衡量檢索人物在數據庫中所有正確的圖像排在排序列表前面的程度，能更加全面地衡量算法的性能。

2.3" 實驗細節

由于行人圖像尺寸不一致，本文首先將圖像統一剪裁到384×128，同時采用隨機橫向翻轉、隨機剪裁等圖像增強處理，并對圖像進行歸一化處理。圖像編碼器和文本編碼器采用了CLIP?VIT?B/16，并以預訓練結果對模型參數進行初始化。圖文特征交互融合編碼器中采用4層Transformer塊，隱藏層的特征大小為512，多頭自注意力的頭數為8，并采用Adam優化器訓練60輪，初始學習率為[1×10-5]，批量大小設置為100。本文模型采用PyTorch實現，文中所有實驗均在單塊Nvidia RTX 3090（24 GB顯存）GPU上訓練和測試。

2.4" 綜合性能對比

為了驗證本文所提出方法的有效性和通用性，在2.1節所述三個數據集上與目前已有先進算法進行了對比實驗，均取得優越表現，實驗結果見表1～表3。基準模型采用預加載的CLIP?VIT?B/16模型。

在CUHK?PEDES[1]數據集中，本文方法在Rank?k的評價指標上超過現有的大部分方法，如表1所示。本文所提模型的Rank?1達到72.47%，Rank?5達到88.24%，Rank?10達到93.24%。在對比基準模型中，CFine[16]和VGSG[17]與本文類似，均采用CLIP預訓練模型作為骨干網絡。相比于這兩個模型，本文模型在Rank?k指標上提升了2～3個百分點。

表2中給出了ICFG?PEDES[14]數據集上的對比實驗結果，其中各方法的骨干網絡不斷地被Transformer編碼器替換。實驗結果如下。

1） 強大的特征提取骨干網絡對于提高跨模態行人檢索的準確率有著明顯貢獻。例如，CFine[16]和本文模型均采用了CLIP提取圖像和文本基礎特征，其檢索準確率明顯高于SSAN[14]等使用卷積神經網絡的傳統模型。

2） 與CUHK?PEDES數據集上的結果類似，本文提出模型的準確率比當前主流方法均有顯著提高，在Rank?k指標上比CFine[16]也分別高出1.88%、2.18%、2.09%。

如表3所示，在RSTPReid[15]數據集上，本文提出的模型優勢更加明顯，基準模型已經能夠超越目前大部分的方法，本文方法又進一步做了提升，在Rank?k的指標上達到了59.25%、81.90%和88.85%。RSTPReid數據集是一個較小的數據集，本文的方法依然有效，這也驗證了骨干網絡CLIP已經具備了圖文跨模態表征能力和模態對齊能力，在下游任務上做微調就可以取得很好的效果。

2.5" 消融實驗

相比于現有方法，本文的重要創新是設計了兩種輔助訓練任務，引導模型增強和對齊跨模態多尺度特征。為了驗證本文模型中各輔助任務對模型性能的影響，設計了消融對比實驗，實驗結果見表4。

表4中，序號1、2、3中分別添加一種方法，序號4中是全部方法的疊加結果。序號2中方法單獨對圖像特征之間求KL散度，拉近相同身份的特征概率分布，在Rank?1和mAP的指標中相對于序號1有1%和1.12%的提升，說明圖像編碼器的表征能力對整體的提升有重要作用。序號3的掩碼圖像建模方法效果最好，提升最大，說明本文設計的基于跨模態交互的掩碼圖像建模輔助任務有助于增強模型挖掘行人圖像局部細節，并實現跨模態局部對齊的能力。

2.6" 可視化結果

查詢結果的可視化圖如圖4所示，其中左側是查詢文本，右側是根據查詢相似度從大到小排列的圖像，五角星表示查詢正確的目標。可以看出，盡管正確目標不能保證最高的相似性，但是它們會出現在前5位。

第1行和第2行是用不同的查詢文本查詢的同一身份人物，第2行的查詢準確率更高，匹配的圖像都排在前列。他們之間的區別在于描述文本不同，第2行的描述更加豐富具體。這說明本文提出的模型可以在更詳細的行人細節描述提示下挖掘并對齊圖文細節特征，提升跨模態行人檢索的準確率。

第3行中查詢結果相對較差，查詢目標被排在第4位。根據描述文本的語義，前3張圖像也都十分匹配，文本并沒有突出目標與其他圖像之間的差別，而且第1張和第3張圖像更加清晰。

綜上所述，證明了本文在跨模態行人檢索任務中多尺度多任務訓練的有效性；同時對于細粒度的學習更加重要，文本和圖像特征都應含有區分細節，這是人物辨別的關鍵。

3" 結" 語

在本文中采用了多模態混合模型，從多尺度方面做多任務去優化目標，拉近匹配之間的差異性，去除非匹配之間的敏感性，同時將文本圖像兩個模態對齊到同一空間。在三個基準數據集上都取得了很好的效果，但是在模糊樣本的檢索上還存在不足。首先，在全局和局部特征相結合的前提下，應多注意細粒度的學習，深度挖掘局部特征學習將會取得更好的效果；其次，CLIP在多個下游任務上均展現了零樣本和少樣本的能力。后續可以采用大模型微調技術來挖掘CLIP在跨模態行人檢索任務中的能力，減少訓練時間和成本。

參考文獻

[1] LI S， XIAO T， LI H S， et al. Person search with natural language description [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE， 2017： 5187?5196.

[2] WANG H C， SHEN J Y， LIU Y T， et al. NFormer： robust person re?identification with neighbor transformer [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE， 2022： 7287?7297.

[3] ZHANG Y， LU H C. Deep cross?modal projection learning for image?text matching [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2018： 707?723.

[4] ZHENG Z D， ZHENG L， GARRETT M， et al. Dual?path convolutional image?text embeddings with instance loss [J]. ACM transactions on multimedia computing communications and applications， 2020， 16（2）： 1?23.

[5] CHEN Y H， ZHANG G Q， LU Y J， et al. TIPCB： a simple but effective part?based convolutional baseline for text?based person search [J]. Neurocomputing， 2022， 494： 171?181.

[6] GAO C Y， CAI G Y， JIANG X Y， et al. Contextual non?local alignment over full?scale representation for text?based person search [EB/OL]. [2021?01?08]. https：//arxiv.org/pdf/2101.03036v1.

[7] AMMARAH F， MUHAMMAD A， JOSEF K， et al. AXM?Net： implicit cross?modal feature alignment for person re?identification [C]// Proceedings of the AAAI Conference on Artificial Intelligence. Menlo Park： AAAI， 2022： 4477?4485.

[8] SHU S J， WEN W， WU H Q， et al. See finer， see more： implicit modality alignment for text?based person retrieval [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2022： 624?641.

[9] ALEC R， JONG W K， CHRIS H， et al. Learning transferable visual models from natural language supervision [C]// Proceedings of the 30th International Conference on Machine Learning. Atlanta： Machine Learning Research Press， 2021： 8748?8763.

[10] ALEXEY D， LUCAS B， ALEXANDER K， et al. An image is worth 16×16 words： transformers for image recognition at scale [EB/OL]. [2021?06?03]. https：//arxiv.org/pdf/2010.11929.

[11] ASHISH V， NOAM S， NIKI P， et al. Attention is all you need [C]// Proceedings of the Neural Information Processing Systems. New York： Curran Associates Press， 2017： 5998?6008.

[12] XIE Z D， ZHANG Z， CAO Y， et al. SimMIM： a simple framework for masked image modeling [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE， 2022： 9643?9653.

[13] LI S P， CAO M， ZHANG M. Learning semantic?aligned feature representation for text?based person search [EB/OL]. [2021?12?03]. https：//arxiv.org/pdf/2112.06714.pdf.

[14] DING Z F， DING C X， SHAO Z Y， et al. Semantically self?aligned network for text?to?image part?aware person re?identification [EB/OL]. [2021?08?09]. https：//arxiv.org/pdf/2107.12666.pdf.

[15] ZHU A C， WANG Z J， LI Y F， et al. DSSL： deep surroundings?person separation learning for text?based person retrieval [C]// Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2021： 209?217.

[16] YAN S L， DONG N， ZHANG L Y， et al. CLIP?driven fine?grained text?image person re?identification [J]. IEEE transactions on image processing， 2023， 32： 6032?6046.

[17] HE S T， LUO H， JIANG W， et al. VGSG： Vision?guided semantic?group network for text?based person search [EB/OL]. [2023?11?13]. https：//arxiv.org/pdf/2311.07514.pdf.

[18] HAN X， HE S， ZHANG L， et al. Text?based person search with limited data [EB/OL]. [2021?10?20]. https：//arxiv.org/pdf/2110.10807.pdf.

[19] SUO W， SUN M Y， NIU K， et al. A simple and robust correlation filtering method for text?based person search [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2022： 726?742.

[20] ZUO J L， YU C Q， SANG N， et al. PLIP： language?image pre?training for person representation learning [EB/OL]. [2023?05?15]. https：//arxiv.org/pdf/2305.08386.pdf.

[21] YAN S L， TANG H， ZHANG L Y， et al. Image?specific information suppression and implicit local alignment for text?based person search [EB/OL]. [2023?07?14]. https：//arxiv.org/pdf/2208.14365.pdf.

[22] WANG Z J， ZHU A C， XUE J Y， et al. Look before you leap： improving text?based person retrieval by learning a consistent cross?modal common manifold [C]// Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2022： 1984?1992.