基于局部語義特征不變性的跨域行人重識別

張曉偉，呂明強，李慧

（青島大學(xué) 計算機科學(xué)技術(shù)學(xué)院，青島 266071）

行人重識別（Person Re-identification）也稱行人再識別，是利用計算機視覺技術(shù)判斷圖像或者視頻序列中是否存在某一特定行人的圖像識別技術(shù)，其在智能化的公共安全領(lǐng)域扮演著重要角色?？缬蛐腥酥刈R別也被認為是圖像檢索的一個子問題，旨在彌補單一、固定攝像頭的視覺局限，可與行人檢測、行人跟蹤技術(shù)相結(jié)合，檢索跨攝像機設(shè)備下的同一標識的行人圖像，被廣泛應(yīng)用于智能視頻監(jiān)控、智能安保等領(lǐng)域，具有重要的研究意義和應(yīng)用價值。

近年來，伴隨深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，行人重識別在同一場景（單域）數(shù)據(jù)集下取得了巨大的進展［1-2］。行人重識別技術(shù)從基于深度卷積神經(jīng)網(wǎng)絡(luò)的全局特征開始向更細粒度的局部特征方向發(fā)展?；谌痔卣鞯男腥酥刈R別主要基于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸出的整體行人區(qū)域作為行人圖像的重識別特征，研究如何基于全局特征設(shè)計更為合理的網(wǎng)絡(luò)損失函數(shù)。其中，為解決行人檢測對行人重識別的影響，Han等［3］開發(fā)了一個可區(qū)分的ROI變換層，將行人檢測器產(chǎn)生的邊界框從原始圖像中轉(zhuǎn)換出來生成更可靠的邊界框。在損失函數(shù)的設(shè)計方面，主要有對比損失（Contrastive Loss）［4］、三元組損失（Trip let Loss）［5］、四元 組 損 失（Quadruplet Loss）［6］和 中 心 聚 類 損 失（Center Loss）［7］等。

由于全局特征不具有細粒度的區(qū)分能力，在光照條件、背景、人體姿勢和成像視角的變化下，同一ID標識的行人在不同視圖之間的特征辨識度明顯降低。因此，基于局部特征的行人重識別受到研究者的日益重視?；谛腥司植繀^(qū)域劃分方式的不同，行人語義部件模型可以分為人體語義分塊和物理切割分塊。近年來，人體姿勢估計技術(shù)取得了較大的進展［8-11］，基于人體語義分塊方法［12-14］通過借鑒人體姿態(tài)估計的結(jié)果用于行人區(qū)域劃分來進行行人重識別。但姿勢估計和行人重識別之間的數(shù)據(jù)集標注偏差仍然是阻礙行人重識別圖像語義劃分的障礙。不同于人體語義分塊方法需要對行人的強語義標注，物理切割分塊不需要行人每個部件區(qū)域的訓(xùn)練標簽，受到了研究者們的重視［15］。其中，可見部件感知模型（VPM）［16］聚焦在2幅行人圖像共同可見的部件區(qū)域上學(xué)習(xí)細粒度的區(qū)域特性，以解決行人部件與行人整體圖像間的空間位置錯位問題，顯著地改善了特征表征的學(xué)習(xí)能力。Sun等［17］提出了基于行人局部特征的部件卷積池化方法，以增強行人重識別中行人部件區(qū)域的語義一致性。在行人重識別模型中引入基于深度學(xué)習(xí)的注意力機制［18-19］，自動地給每一幅行人圖像賦予一個權(quán)重，也進一步推動了行人重識別的性能。Chen等［20］通過卷積神經(jīng)網(wǎng)絡(luò)特征通道聚合和空間位置感知提出了一種基于雙重注意力機制的行人重識別模型，其集成了注意力模塊和多樣性正則化，以學(xué)習(xí)具有代表性、健壯性和更具區(qū)分性的特征。

上述基于監(jiān)督學(xué)習(xí)的行人重識別方法［4，21-23］依靠豐富的標記數(shù)據(jù)和深度網(wǎng)絡(luò)［24-26］在單域數(shù)據(jù)集上取得了巨大的成功。在閉合的單域行人重識別上，其源域數(shù)據(jù)集和目標域數(shù)據(jù)集具有完全相同的標識類別，但在跨域的無標簽數(shù)據(jù)集上，由于跨域的數(shù)據(jù)集偏移問題導(dǎo)致行人重識別性能出現(xiàn)顯著下降。為了解決這個問題，研究者們提出使用帶有標記的源域數(shù)據(jù)來提取行人特征學(xué)習(xí)初始階段的行人重識別模型。在此基礎(chǔ)上，通過在目標域上進行無監(jiān)督聚類［27］或?qū)W習(xí)度量［28］來改進Re-ID模型，然而這種方法在源域到目標域的特征遷移過程中并沒有有效利用帶有標記的源域數(shù)據(jù)作為有效監(jiān)督信息。為了克服這一問題，目前跨域行人重識別方法主要是基于圖像級行人圖像整體特征風(fēng)格［29-31］和行人局部屬性語義特征［32-33］進行數(shù)據(jù)集之間的跨域遷移。

在圖像級特征風(fēng)格遷移方面，Zhong等［34］提出了相機不變性以緩解跨域行人重識別的跨域偏移問題。Yu等［35］提出一種基于無監(jiān)督多標簽學(xué)習(xí)的MAR模型，開發(fā)未標記目標對的多標簽視覺特征的相似一致性，基于強化學(xué)習(xí)增強不同相機視圖之間的跨視角一致性。Chen等［36］提出了一個對偶條件生成對抗網(wǎng)絡(luò)，利用大量未標記的目標域行人實例作為生成圖像的上下文指導(dǎo)，將源域目標轉(zhuǎn)移到目標域上下文中，通過遷移豐富的上下文信息來增強行人再識別的辨別力。在行人局部屬性語義特征方面，EANet模型［37］利用行人的關(guān)鍵點將行人進行分塊和對準，在此基礎(chǔ)上進行跨域遷移學(xué)習(xí)。但是，這些方法卻忽略了在目標域內(nèi)同一標識行人存在的視覺差異，這種同一標識行人的類內(nèi)差異將對無監(jiān)督的域自適應(yīng)問題產(chǎn)生重要的影響。對此，本文聯(lián)合相機不變性和行人圖像局部語義特征不變性將目標域中每個ID標識局部語義對齊的行人特征存儲于特征模板池中，對目標域行人進行不變性約束，更好地發(fā)揮跨域特征不變性的作用。

綜上所述，本文提出一種基于局部語義特征不變性的跨域行人重識別方法，其主要貢獻如下：

1）根據(jù)行人圖像在源域與目標域上語義特征的一致性，基于弱標注的源域行人圖像提出一種行人局部特征語義對齊方法，以遷移源域行人局部語義特征到無標注的目標域，增強跨域行人重識別的特征表達能力。

2）針對同一ID標識行人圖像存在的表觀特征變化，通過估計目標域圖像之間的相似性，采用特征模板池存儲并更新目標域中行人圖像的全局與局部特征，將跨域不變性加入到深度網(wǎng)絡(luò)中提高對跨域特征不變性的學(xué)習(xí)。

3）鑒于行人重識別在源域與目標域上的特征差異，基于行人局部特征語義對齊和行人特征模板池提出了一種聯(lián)合實例不變性、相機不變性和類別（標識）不變性的損失函數(shù)，無監(jiān)督地學(xué)習(xí)跨域不變性特征，提高行人重識別的跨域適應(yīng)能力。

1 局部語義特征不變性網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)框架

本文提出的基于局部語義特征不變性的網(wǎng)絡(luò)結(jié)構(gòu)框架如圖1所示?；A(chǔ)骨干網(wǎng)絡(luò)采用ImageNet［38］上預(yù)訓(xùn)練的ResNet-50［25］網(wǎng)絡(luò)，其將帶標簽的源域數(shù)據(jù)和無標簽的目標域數(shù)據(jù)輸入到網(wǎng)絡(luò)中獲取行人實例的特征表示。本文保留ResNet-50的Pooling-5層及之前的網(wǎng)絡(luò)結(jié)構(gòu)，深度特征的提取分為全局特征模塊和局部特征模塊。在全局特征模塊中添加全局平均池化（Global Average Pooling，GAP）層以獲得全局特征，使用交叉熵損失函數(shù)與三元組損失函數(shù)來優(yōu)化模型。在局部特征模塊添加自適應(yīng)平均池化層，將行人圖像提取到的三維特征張量T分成P個部分，并降維到256維，分別為每個部分添加分類器來進行訓(xùn)練，使用交叉熵損失函數(shù)來優(yōu)化模型。在目標域中，引入特征模板池保存每個行人樣本的全局與局部特征，通過估計小批量的目標樣本與特征模板池中的特征的相似性，計算無標簽?zāi)繕擞虻牟蛔冃該p失。

1.2 基于語義對齊的全局與局部特征

1.2.1 全局特征

本文在ResNet-50的Pooling-5層之后，采用GLAD模型［14］的全局平均池化來提取全局特征，之后再經(jīng)過Softmax分類器預(yù)測行人樣本的標識，使用交叉熵損失函數(shù)Ls和三元組損失函數(shù)Lt來共同計算源域全局損失Lsrc1，其計算公式為

式中：η1和η2為損失函數(shù)平衡因子，本文取值為η=［0.96，1］。

1.2.2 基于語義對齊的局部特征

本文行人局部特征的提取以PCB模型［3］為基礎(chǔ)，將行人圖像從上到下均勻劃分為6個部件區(qū)域，如圖2（a）所示。為了實現(xiàn)行人部件的語義對齊，本節(jié)基于行人局部部件的內(nèi)部特征，把每個局部部件分成4×8的特征塊f，每副行人圖像被分為6個語義部件，共包含24×8個特征塊f，如圖2（b）所示。首先，在源域數(shù)據(jù)集上，將基于行人圖像劃分的6個部件區(qū)域進行訓(xùn)練學(xué)習(xí)，形成行人部件分類器Wi。然后，對每個特征塊f使用線性分類Softmax函數(shù)進行動態(tài)分類：

圖2 基于語義特征的行人部件示意圖Fig.2 Schematic diagram of person parts based on semantic features

式中：p（Pi｜f）為屬于Pi部件的預(yù)測概率；P為預(yù)定義行人部件的數(shù)量（即P=6）；W 為部件分類器的可訓(xùn)練權(quán)重矩陣。

為保證部件分類的準確性，為每個部件分類器的預(yù)測結(jié)果設(shè)立一個閾值。經(jīng)過此分類，每個f得到P個預(yù)測概率p（Pi｜f），取其中的最大值p（Pi｜f），并且p（Pi｜f）要大于閾值Ti，滿足該條件就把f分為Pi部件中，經(jīng)過這步處理可以篩選出屬于各個部件的f；之后，對每幅行人圖像中分類預(yù)測為同一部件類別的f做局部平均池化，獲取行人各個部件的特征表示。

為對齊行人部件區(qū)域，采用成對樣本對計算最小總距離［39］，形成2幅圖像的最短路徑。假定待查詢行人圖像和搜索庫中的某一圖像經(jīng)式（2）提取的局部特征分別為F=｛h1，h2，…，hP｝和G=｛g1，g2，…，gP｝，則2幅行人圖像成對部件元素之間的距離規(guī)范化為式中：di，j為待查詢行人圖像的第i個部件和搜索庫中某一行人圖像的第j部件之間的距離，其取值范圍為［0，1］。

本文基于P×P個距離di，j（i，j∈（1，2，…，P））形成的距離矩陣D中的最短路徑來對齊待查詢行人圖像與搜索庫中行人圖像的語義局部區(qū)域。其中，2張行人圖像相似性距離Si，j是通過動態(tài)規(guī)劃計算距離矩陣D中每行或每列對應(yīng)最短路徑的總距離，即為經(jīng)過行人部件劃分和語義特征對齊后的部件區(qū)域如圖2（c）所示，每個部件區(qū)域的局部特征注意力位于行人的不同部位，如圖2（d）所示。基于語義對齊后的行人部件局部特征，其行人重識別源域局部損失Lsrc2為

式中：Si為部件Pi的交叉熵損失；權(quán)重向量γ的取值，通過實驗分析分別?。?.18，0.15，0.15，0.17，0.16，0.19］重識別性能最佳。

1.3 特征模板池

為了提高網(wǎng)絡(luò)在目標測試集上的泛化能力，提出通過估計目標圖像之間的相似性來增強網(wǎng)絡(luò)的特征不變性。為此，構(gòu)造了一個具有鍵值結(jié)構(gòu)用于存儲所有目標域圖像的全局與局部特征的特征模板池，其具有鍵池（K）和值池（V）。其中，鍵池存放在行人圖像經(jīng)ResNet-50全連接后L2規(guī)范化的特征，包括語義對齊后全局特征和局部特征的串聯(lián)聚合特征，分別為1×4 096維和6×256維；值池存儲行人圖像的標簽。

式中：R［i］為圖像xt，i的特征模板池中鍵池存放的特征，i為標簽；超參數(shù)a∈［0，1］控制更新速率。

1.4 特征不變性學(xué)習(xí)

鑒于僅使用源域的監(jiān)督學(xué)習(xí)得到的深度Re-ID模型對目標域內(nèi)的變化較為敏感，考慮目標域內(nèi)的差異變化，研究了3個跨域特征不變性，即實例不變性、相機不變性、類別不變性。

1）實例不變性。在行人重識別中，即使是同一ID標識的圖像間也會有差距，為了學(xué)習(xí)每一張圖像都有別于其他圖像，本文在Re-ID模型中增加實例不變性。將nt個目標域圖像看做nt個獨立不同的類別，計算某一給定目標圖像特征h（xt，i）與已保存在特征模板池中的特征之間的余弦相似度，并使用Softmax函數(shù)預(yù)測其歸屬類別：

式中：β∈（0，1］為平衡因子。

實例不變性的目標是使目標域上訓(xùn)練圖像的負對數(shù)似然最小化：

式中：Lei為實例不變性損失。

2）相機不變性。相機風(fēng)格的變化是影響行人圖像識別的一個重要因素，尤其是在源域與目標域之間往往存在迥異的相機風(fēng)格。因此，本文基于相機不變性拉近同一ID標識的行人圖像與其經(jīng)過相機風(fēng)格變換后的距離。假設(shè)每個圖像的攝像機ID是已知的，將每臺攝像機視為一個相機域，利用starGAN［40］來訓(xùn)練一個相機風(fēng)格轉(zhuǎn)換模型［34］，利用學(xué)習(xí)到的相機風(fēng)格轉(zhuǎn)換Re-ID模型。假設(shè)C為目標域中相機風(fēng)格的數(shù)量，一張行人圖像則可以得到C-1張其他相機風(fēng)格的圖像，且這C張圖片屬于同一行人ID，相機不變性的損失函數(shù)為

2.3 MAIT細胞和IL-22水平相關(guān)性分析 Pearson相關(guān)分析結(jié)果顯示TB患者外周血MAIT細胞和IL-22水平呈正相關(guān) (r=0.427,P<0.05)，見圖1。

式中：Lci為相機不變性的損失；ˉxt，i為xt，i及其C-1張生成圖像的集合中隨機選取的一張圖像，拉近目標域行人圖像集中具有同一標識、不同相機風(fēng)格的行人圖像。

3）類別不變性?；谀繕擞蛑袑儆谕籌D標識的行人圖像樣本集拉近彼此間的距離克服目標域中的變化，以提高Re-ID模型的穩(wěn)定性。先計算圖像特征h（xt，i）與其特征模板池中鍵池的余弦相似性。在特征模板池中找到與行人圖像xt，ik鄰近的行人圖像索引，定義為M（xt，i，k）。本文提出的類別不變性是假定目標域行人圖像xt，i的ID標識應(yīng)該隸屬于k鄰近圖像索引M（xt，i，k）的候選類。因此，將目標域行人圖像xt，i屬于某一ID標識j的概率權(quán)重賦值為

類別不變性的損失函數(shù)為

式中：Lni為類別不變性損失。

基于上述實例不變性、相機不變性、類別不變性，跨域特征不變性學(xué)習(xí)的總體損失可以寫為

合并源域和目標域的特征不變性網(wǎng)絡(luò)的損失函數(shù)為

式中：λ為平衡源域與目標域損失的權(quán)重系數(shù)，本文取值為0.3。

2 實驗結(jié)果分析

2.1 數(shù)據(jù)集與實驗設(shè)置

本文在國際公開的行人重識別（Re-ID）基準數(shù) 據(jù) 集 Market-1501［41］、DukeMTMC-reID［6，42］和MSMT17［30］上評估了本文方法。本文采用Res-Net-50［25］作為模型的骨干網(wǎng)絡(luò)，并使用在ImageNet［43］上預(yù)先訓(xùn)練的參數(shù)初始化模型，輸入圖像的大小采樣到384×128。在前40次epoch迭代訓(xùn)練階段中，使用0.01的學(xué)習(xí)率對ResNet-50的基礎(chǔ)網(wǎng)絡(luò)層進行訓(xùn)練，在接下來的20次epoch迭代中，學(xué)習(xí)率每個階段都以除以10的比例縮放。源域行人圖像和目標域行人圖像的批量大小都設(shè)置為128，網(wǎng)絡(luò)模型學(xué)習(xí)更新率α初始化為0.01，并隨著訓(xùn)練次數(shù)的增加而線性增大，α =0.01×epoch。本文設(shè)置行人部件P=6，每個部件的權(quán)重向量γ依次設(shè)為［0.18，0.15，0.15，0.17，0.16，0.19］，參數(shù)β=0.05，特征模板池候選正性樣本數(shù)k=6，損失權(quán)重λ=0.3。在測試中，提取Pooling-5層的L2規(guī)范化輸出作為圖像特征，并采用歐幾里德距離度量查詢圖像與圖庫圖像的相似度。

2.2 消融實驗

2.2.1 基于語義對齊的特征不變性分析

針對目標域提出的語義部件特征對齊與跨域特征不變性學(xué)習(xí)的有效性，本文在Market-1501和DukeMTMC-reID 數(shù)據(jù)集上開展了驗證實驗。R-k為返回置信度最高的k張行人圖像具有正確結(jié)果的概率，mAP為平均準確率。將全局特征作為實驗基線，記為GAP，基于語義部件對齊的局部特征記為PAF（Part Aligned Feature），跨域特征不變性記為Inv（Invariance）。在表1由DukeMTMC-reID→Market-1501數(shù)據(jù)集的跨域行人重識別實驗中，聯(lián)合語義部件對齊后的局部特征和全局特征（GAP+PAF）較全局特征基線（GAP）mAP提高1.6%，R-1提高1.5%。而且無論對全局特征還是局部特征，加入跨域特征不變性（Inv）均提高了行人重識別的性能，其平均準確率mAP分別提高13.1%和23.8%，R-1的性能分別提高了20.6%和29.8%。實驗發(fā)現(xiàn)，聯(lián)合全局與局部特征和特征不變性取得了最優(yōu)的行人重識別性能，其R-1和mAP分別達到了77.6%和45.0%。同樣的實驗結(jié)論在Market-1501→DukeMTMC-reID數(shù)據(jù)集的跨域行人重識別中得到了驗證。

表1 在M arket-1501和DukeM TMC-reID 數(shù)據(jù)集上的跨域行人重識別消融實驗Table 1 Ablation experim ent of cross-dom ain person re-identification on M arket-1501 and DukeM TMC-reID datasets

值得注意的是，相對于單域行人重識別，跨域行人重識別的性能均出現(xiàn)了顯著下降。從表1中可以觀察到，在Market-1501單域上本文行人重識別方法的平均準確率mAP為67.0%，R-1為88.2%；但是在跨域DukeMTMC-reID作為源域，Market-1501作為目標域，行人重識別的平均準確率mAP下降到45.0%，R-1下降到77.6%。同理，Market-1501作為源域，DukeMTMC-reID作為目標域，行人重識別的平均準確率mAP也顯現(xiàn)出大幅性能下降。由此可以看出，跨域行人重識別仍然是一個重大挑戰(zhàn)。

2.2.2 特征模板池的重要性分析

為驗證本文提出的特征模板池對跨域行人重識別的有效性，在全局與局部特征不變性的基礎(chǔ)上檢驗特征模板池的作用。從表2中可以看出，添加特征模板池的方法優(yōu)于基于小批量的跨域行人重識別方法，其在R-1和mAP分別提高近11%和8.8%。但是，使用特征模板池的缺點是會增加有限的額外訓(xùn)練時間和GPU內(nèi)存的開銷。

表2 特征模板池與M ini-batch的比較Tab le 2 Com parison of featu re tem p late pooling m em ory and M ini-batch

2.3 對比實驗

為橫向比較本文提出的基于局部語義特征不變性的跨域行人重識別有效性，在Market-1501、DukeMTMC-reID和MSMT17數(shù)據(jù)集上開展跨域行人重識別性能的對比驗證。在Market-1501→MSMT17跨數(shù)據(jù)集的行人重識別實驗中，表3顯示了本文方法相較于當(dāng)前一流的行人重識別方法ECN［44］，R-1提高0.3%，R-5提高0.8%，R-10提高1.2%，mAP提高0.4%。在DukeMTMC-reID→MSMT17跨數(shù)據(jù)集的實驗中，本文方法相較于行人重識別方法ECN［44］，R-1提高0.4%，R-5提高0.3%，R-10提高0.8%，mAP提高0.5%。從表4中可以看到，在DukeMTMC-reID →Market-1501的跨數(shù)據(jù)集行人重識別實驗中，行人重識別的性能R-1為77.6%，R-5為88.7%，R-10為92.0%，mAP為45.0%，相較于當(dāng)前一流的跨域行人重識別方法ECN［44］均有較為明顯的性能提升，分別提高2.5%、1.1%、0.4%和2.0%。在跨數(shù)據(jù)集Market-1501→DukeMTMC-reID的實驗中，本文方法相較于行人重識別方法ECN［44］，R-1提高2.2%，R-5提高1.8%，R-10提高0.7%，mAP提高2.4%。由此可以看出，本文基于局部語義特征不變性的跨域行人重識別方法有效地提高了跨域行人重識別的性能。

表3 在M arket-1501和DukeM TM C-reID到M SM T17跨域數(shù)據(jù)集上與當(dāng)前先進方法的實驗比較Tab le 3 Experim ental com parison w ith other advanced m ethods from M arket-1501 and DukeM TM C-reID to M SM T17 cross-dom ain datasets

表4 在M arket-1501和DukeM TM C-reID跨域數(shù)據(jù)集上與當(dāng)前先進方法的實驗比較Tab le 4 Experim en tal com parison w ith other advanced m ethods on M arket-1501 and DukeM TM C-reID cross-dom ain datasets

3 結(jié)束語

本文通過弱監(jiān)督學(xué)習(xí)方式對齊行人語義特征，并結(jié)合局部特征與全局特征提高了行人的表征能力；聯(lián)合跨域不變性損失函數(shù)約束行人表觀特征的不變性提高了行人重識別的跨域適應(yīng)能力。但是，相較于單域行人重識別，由于源域與目標域行人圖像存在的特征分布差異導(dǎo)致跨域行人重識別仍然具有較大的挑戰(zhàn)性。