一種利用目標結構關系增強的行人重識別方法

馮 欣，李永波，楊 武

(重慶理工大大學 計算機科學與工程學院， 重慶 400054)

0 引言

行人重識別(person re-identification)是一項基礎但重要的圖像識別技術，通過在大量候選行人圖像中找到與查詢目標圖像最為接近的目標來實現跨攝像頭等場景的目標重識別任務[1]，該技術廣泛應用于目標跟蹤，行為分析等領域。與人臉識別任務[2]類似，行人重識別旨在提取行人目標在不同視角、不同時間以及不同背景情況下的目標的區別性特征嵌入表達(embedding)，并利用度量函數衡量查詢圖像與候選目標圖像之間特征嵌入的相似性。由于行人目標圖像在跨攝像頭場景下呈現出的各方面差異，行人重識別任務面臨更大的挑戰，如圖1所示，目標由跨攝像頭造成的在不同視角下的特征差異、背景差異、目標遮擋情況和行人姿態多樣等，都是行人重識別算法需要考慮的重要因素。

傳統的行人重識別方法主要采用人工設計的顏色或者梯度等可理解特征來對目標圖像進行特征表示。文獻[3]利用特定局部二值表示法(LBP)提取特征并進行直方圖統計，該直方圖被證明是一種非常強大的紋理表示。文獻[4]提出了一種尺度不變特征(SIFT)并且被廣泛應用于圖像識別領域，如圖像檢索、圖像拼接等任務。文獻[5]提出了一種用于表示局部梯度(HOG)統計表示的特征。然而單一統計特征無法應用于行人重識別這樣的復雜圖像任務當中，該任務往往涉及環境理解、尺度變換、圖像數據質量不一致等困難。研究人員往往需要融合多種底層局部特征與全局特征來對目標圖像進行表征，并利用各種強大的分類器去學習最佳分類權重。文獻[6]采用傳統特征提取算子提取行人特征并進行目標跟蹤任務，以獲取行人運動方向。該方法算力要求低，但是特征穩定性不夠，跟蹤準確度相對不足。

圖1 行人重識別任務挑戰示例

近年來，為了生成用于區分行人的特征向量，有研究人員僅使用ResNet[7]作為訓練行人重識別的基準網絡，并使用softmax及triplet等損失函數在Market1501等數據集上訓練，得到了很好的準確度。文獻[8]基于卷積層權重的相關性假設，認為數據分布的不確定性會造成區分性特征的冗余，削弱了可區分性特征，提出了通過對神經網絡權重施加正交約束和奇異值分解的方法來對網絡權重進行去相關迭代訓練。以此正交化權重學習以提升特征的可區分性。文獻[9]認為行人重識別的遮擋，姿態變化問題抑制了某些關鍵信息的學習，提出了批量塊丟棄模塊，該模塊隨機丟棄特征圖某位置的子塊來去除部分信息。通過基分支及批量丟棄分支的特征圖拼接表征圖像特征來訓練網絡，加強關鍵特征的學習。文獻[10]在強基準網絡ResNet上對圖像特征的提取分塊進行，期望從局部特征的角度來改進行人重識別任務。針對行人重識別任務提出基于塊的卷積神經網絡，加強圖像特征的分塊專注學習，分塊精煉池化用于針對不同圖像調整解決特征分塊邊界與語義塊邊界不一致的問題，進一步提升了行人重識別網絡的性能。文獻[11]利用行人重識別任務進行目標跟蹤，得益于行人重識別框架及注意力機制特征提取的穩定性，在公開數據集MOT16上取得非常不錯的效果。

現有的行人重識別工作都圍繞數據增強及普通的位置、通道注意力開展可區分性特征的提取研究，卻忽略了通道結構之間的關系信息對于結構特征的學習提升潛力。本文提出結構增強可堆疊注意力模塊(structure-enhanced stackable module，SES)。該模塊能通過局部信息感受全局結構信息來幫助神經網絡建立目標結構特征之間的聯系，并強化結構信息，以此提煉更加具有區分性的目標結構特征。SES模塊通過對通道結構信息的請求向量與響應向量的交互建模來挖掘關系結構信息，再將結構信息與自身代表向量進行交互加強計算來強化結構表征特征。最后對結構表征特征進行結構分離卷積來獲得結構加強因子，對原始特征進行加強，結構特征有了更大的影響域，能抑制非結構化的噪音，從而學習具備結構加強信息的可區分性特征。本文通過大量消融實驗驗證了SES模塊尋找可區分性特征的有效性，并且通過對比實驗展現了SES模塊加強的行人重識別網絡在Market1501[12],CUHK03[13]數據集上具有競爭力的表現。

1 利用結構特征的注意力增強網絡

為了提取更具區分性的特征用于表征行人，本文設計了一種利用目標結構關系的結構增強可堆疊注意力模塊能在不同層級的特征圖中學習全局結構信息用于加強行人表征向量，該模塊可輕易堆疊到任何網絡的特征圖之后用于增強該特征圖的特征表達。結構增強可堆疊注意力模塊主要由結構增強向量學習模塊及結構分離卷積模塊組成。其中，結構增強向量學習模塊用于學習包含結構注意力的嵌入向量，而結構分離卷積模塊用于學習不同結構所得到的結構注意力嵌入向量的特定映射。

1.1 整體網絡結構

強基線網絡ResNet50具有很好的特征提取能力，在行人重識別任務中表現優異[10]。本文在ResNet50的基礎上進行結構增強可堆疊注意力模塊的研究。ResNet50可分為5個子模塊，由第一個低級特征學習模塊及后4個殘差堆疊模塊構成。后4個殘差堆疊模塊逐級對特征進行卷積計算，提取不同層級的語義特征用于具體圖像處理任務。分別對ResNet殘差堆疊模塊添加SES模塊來強化各層級特征，以通過結構增強因子提升網絡學習可區分性特征的能力。整體網絡結構(SESNet)如圖2所示，行人圖像經過SES模塊強化的ResNet主干網絡，得到1 024×16×8的特征圖，再經過平均池化得到1 024維特征向量用于表征行人，最后通過該向量與其他行人表征向量計算度量距離。

圖2 SESNet整體網絡結構

1.2 結構增強向量學習模塊

卷積神經網絡能夠通過卷積核與特征圖的卷積計算學習不同層級的結構特征構成特征圖通道，不同的通道表示不同的結構特征信息。文獻[14]通過神經網絡特征圖的可視化技術，觀察原圖像素在不同層級特征的影響度。低層模塊經歷的卷積計算較少，負責學習低等級的語義結構信息，如顏色、紋路、簡單形狀信息，不能去除低等級的圖像噪音。高層模塊通過卷積計算的堆疊，從低等級特征提取更高等級特征，可得到更加豐富的語義結構信息，比如不同姿態的手、腿等信息。高等級信息還能抑制低等級的環境信息及噪音。以往行人重識別研究多通過實驗研究不同的網絡結構所帶來的高等級信息學習能力，來學習強大的行人表征向量，卻極少關注不同層級結構特征之間的交互關系對最終表征向量學習的影響。本文通過結構增強可堆疊模塊來加強ResNet50對不同層級的結構特征的學習能力，該模塊由結構增強向量學習模塊及結構分離卷積模塊組成，如圖3所示。

結構增強向量學習模塊的輸入為ResNet某層級的特征圖X∈RC×H×W，該特征圖的各個通道學習到了特定的圖像結構信息，通過建立不同通道之間的交互聯系來增強網絡對行人圖像結構關系的挖掘，以強化網絡對可區分性特征的學習能力。X經過元素重排(reshape)操作得到X∈RC×(H×W)×1的特征圖Xinput。Xinput經過3次輸入維度為H×W、輸出維度分別為C1、C1、C2的1×1卷積、批量標準化(batch normalization)及ReLU激活函數，進一步得到請求(query)張量Q∈RC×C1×1、響應(response)張量R∈RC×C1×1和表征自身信息的嵌入(embedding)張量E∈RC×C2×1。請求張量Q為

Q=ReLU(BN(WconvXinput))

(1)

響應張量R和嵌入張量E可由式(1)類似計算得出。表征某種結構信息的請求向量qi(qi∈Q)分別與所有響應rj(rj∈R)向量做對應元素相乘,再對其進行1×1卷積得到第i個通道的關系響應向量。為了最大化關系信息的挖掘潛力，本文考慮表征結構信息的特定通道與其他通道雙向的關系，即將某通道的主動響應向量及其被動響應向量堆疊作為通道i的結構關系表征向量Si，結構關系向量S可由式(2)得。

(2)

式中Φ(qi,rj)=Conv (qi×rj)，是qi,rj對應元素相乘，Conv是卷積核為1×1的卷積計算。此時，S是C×(2C)×1維度的張量。S再經過輸入通道為2×C，輸出通道為C2的1×1卷積、批量標準化及ReLU激活函數得到結構向量。結構向量與嵌入向量E做對應元素相乘，得到強化之后的嵌入向量

E′=(ReLU (BN (WconvS)))×E

(3)

1.3 結構分離卷積模塊

卷積神經網絡的強大之處在于它能通過卷積核與特征圖像素進行乘加運算來提取對應像素的某種語義特征，并且該特征通過神經網絡自動學習來適應性調節到最適合的抽象特征提取器。如圖4所示，卷積計算通過卷積核逐步依次向右、向下移動掃描提取原圖的特征得到新的特征圖。該特征圖表示與卷積核存在相似結構的強度。當卷積核提取原圖左上角的特征時，該位置特征與卷積核形狀完全一致，得到最大響應值3；當卷積核提取圖像中間特征時，由于存在相似結構，得到響應值2；當卷積核提取圖像右下角特征時，只有極少部分特征相似，得到響應值1；其余位置均不存在相似結構，均得到響應值0?？芍?，卷積計算用于提取圖像中的某種共性特征以生成表征更高層級信息的特征圖。實際應用中，神經網絡會根據樣本推理結果與標簽的差異度量進行反向傳播，進而調節卷積核以使卷積核適應性學習到具體的某種結構信息響應圖來完成對圖像特征的提取。經過網絡的學習、推理之后，卷積神經網絡每個通道都存儲了圖像的某種語義結構信息。

圖4 卷積特征提取

由于行人重識別的輸入圖像都是行人，因此圖像語義都有著相似的結構信息。每張圖的目標數量、目標形態及背景信息都不一樣，目標檢測網絡每層通道所學習到的結構信息存在結構不一致性，是針對特定圖像的不同結構的響應信息。針對行人重識別任務輸入的結構一致性，特征圖每一層的響應存在相似性，本文認為通道結構信息之間的聯系存在結構關系穩定性與關系映射差異性。

結構關系穩定性是指每個通道與其他通道之間的關系在輸入不同時也存在結構關系穩定性。關系映射差異性是指每個通道與其他通道的關系嵌入向量在統一性衡量為強化因子時存在映射差異性。卷積計算用于提取特征圖的共性特征，然而本文認為結構關系信息衡量存在差異性。基于此，設計結構分離卷積模塊對表征各通道特定結構關系信息的強化嵌入向量E′進行分離映射。圖5展示了結構分離卷積模塊結構。針對C維度的特征圖，采用C個卷積核Wi,i∈C去分別學習每個通道的強化嵌入向量到注意力強化因子的映射關系，該映射專屬于某通道中結構關系信息強化嵌入向量的專屬映射，而不是對強化嵌入向量進行統一性衡量。

(4)

圖5 結構分離卷積

1.4 損失函數

盡管行人重識別數據集中行人類別數確定，針對數據集能使用標簽平滑交叉熵損失[15]滿足訓練要求。但行人重識別任務往往針對開放世界的行人檢測任務。為此，本文使用標簽平滑交叉熵損失(label smoothed cross entropy)聯和三元組損失(triplet loss)[16]來訓練模型。三元組損失通過最大間隔因子Margin使表征同目標的向量之間的距離更近，表征不同目標的向量之間的距離更遠，以此來強化神經網絡對區分性特征向量的學習能力。聯和損失函數可為：

Lloss=Ltriplet+LLSCE

(5)

Ltriplet=max(d (a,p)-d (a,n)+margin,0)

(6)

(7)

式中,函數d為距離度量函數歐氏距離度量；a、p、n分別為查詢、匹配、不匹配圖像表征向量；batch為一次訓練的批次；class為數據集中包含的行人數；y_pred為網絡預測的二維向量；y_predij為第i個樣本屬于j類的概率；qj為平滑因子；λ為平滑度,取0.1；y_labeli為第i個樣本所屬類別。

2 實驗結果與分析

為了在訓練初期能夠找到合適的搜索空間以保證模型穩定性，在訓練初期采用warmup[7]的訓練方式。隨著批次的增加，學習率逐漸進行指數衰減，衰減速率為每50個對數據集的完整迭代訓練衰減為之前的一半。實驗設置隨機數種子，保證初始化參數一致。實驗結果為5次實驗取均值所得，盡量排除隨機性結果。

2.1 實驗數據集

為驗證重識別模型的魯棒性，本文在經典行人重識別數據集Market1501[12]和CUHK03[13]上對所提出網絡結構的區分性特征學習能力進行驗證。上述2個經典數據集都具有不同圖像質量的樣本，樣本中行人姿態多樣、背景多樣、大小不一，很好地反應了真實世界中行人圖像樣本的多樣性。Matket1501數據集是由清華大學在夏天采集。該數據集拍攝了1 501位行人，每位行人都被不同的攝像頭拍攝，總計32 668個檢測框將行人框選標識。該數據集訓練集包含751位行人共計12 936張圖像,測試集包含750位行人共計19 732張圖像。CUHK03數據集是由香港中文大學在校園采集。該數據集分為detected、labeled和testsets數據集。其中，detected數據集中的行人框是由檢測器檢測，labeled數據集中的行人框是由人工標注。實驗在labeled數據集(CUHK03L)共計14 096張行人圖像上進行，每位行人都由不同攝像頭拍攝，訓練集包含767位行人共計7 368張圖像，測試機包含700位行人共計6 728張圖像。圖6展示了數據集樣例圖。表1展示了Market1501及CUHK03L數據集的樣本分布。

圖6 樣例數據

表1 Market1501及CUHK03L數據集

2.2 實驗準備

算法在PyTorch(V1.7.0)深度學習框架下實現，操作系統為ubuntu16.04。硬件配置如下：CPU為Intel Core i7-7700 @3.6 GHz×8，GPU為NVIDIA GTX10-80Ti×2，內存32 GB。推理批次為64，迭代次數為500。使用隨機梯度下降(SGD)優化算法進行模型訓練，基礎學習率為0.000 8，并隨具體批次執行warmup或者衰減策略進行改變。

2.3 實驗評估標準

實驗采用平均精度均值指標mAP(mean average precision)及累計匹配特征指標CMC(cumulative matching characteristics)的rank-1等級對實驗結果進行評價。測試時指定測試集內的查詢圖像與候選圖像，對測試集所有樣本進行特征提取。將查詢圖像特征與所有候選圖像進行相似度衡量。累計匹配特征rank-n指與查詢圖像相似度排名前n的圖像中有正確樣本的準確率。平均精度均值指計算所有樣本準確率(precision)-召回率(recall)曲線下代表類別精度均值的面積(average-precision)的均值。準確率(Pre)及召回率(Rec)為

(8)

(9)

式中：TP代表真正樣本(TruePosition)；FP代表假正樣本(FalsePositive)；FN代表假負樣本(FalseNegative)。

2.4 實驗結果分析

本文方法在Market1501及CUHK03L數據集上進行驗證。圖7展示了隨機樣本的rank-5查詢結果。藍色框圖代表查詢圖，紅色實線框圖代表查詢正確的結果，黃色虛線框圖代表查詢錯誤的結果。從圖中可以看出，SESNet能準確找到與查詢圖對應的行人樣本，盡管圖例存在錯誤匹配樣本，但該樣本的外觀及姿態都與查詢圖像極為相似，這也從側面反映了SESNet查找特征的準確性及該任務存在的巨大挑戰。

圖7 SESNet Top-5查詢結果

本文分別對SES模塊的2部分子模塊進行了消融實驗以驗證SES模塊的有效性，并且對比了強基線(baseline)網絡ResNet50構建的特征學習網絡的性能表現。實驗結果如表2所示，其中，SES-代表無結構分離卷積的SES模塊。

表2 SES模塊消融實驗

由表2可知，當SES模塊未采用結構分離卷積時，SES-仍通過結構增強向量模塊及普通1×1卷積成功建立了目標結構之間的關系，使得網絡學習到了注意力加強因子，準確度得到很大提升。由于SES-沒有對不同結構的增強向量進行單獨映射，不能最大程度挖掘結構間的關系，因此準確率略遜于SES。對SES-模塊采用結構分離卷積，即SES模塊，則經過SES模塊對行人特征結構的增強，準確率再次得到提升。最終，Baseline在CUHK03L數據集上mAP提升3.5%，rank-1準確率提升4.0%。在Market1501數據集上mAP準確率提升4.5%，rank-1提升2.0%。

表3對比了不同行人重識別方法在Market1501數據集及CUHK03L數據集上的表現。對比基于融合全局特征與局部特征的細粒度特征方法[11,17,21]，SESNet通過注意力增強因子加強了用于行人重識別任務的重要特征，從而不再通過其他的分支網絡來生成局部特征表示，也不會出現特征不對齊的問題[22]。

表3 SESNet與先前方法在Market1501及CUHK03L的指標

對比其他基于注意力的方法[18-19]，SESNet具備更加細粒度的結構關系及不同結構特征之間的特定關系語義。對比采用二進制編碼及自蒸餾模型的方法[20]，SESNet采用連續的數值編碼來學習行人特征的細微差異，更利于對相似行人進行判別。因此，SESNet通過多方面的設計改進，使得網絡提取的行人表征特征更具備區分性。

為了進一步驗證SESNet的特征提取效果，本文使用Grad-CAM[23]可視化方法增強神經網絡的可解釋性，對基線網絡ResNet及結構增強注意力網絡SESNet高層特征圖進行了特征可視化。圖8展示了ResNet及SESNet對樣本特征的感興趣區域熱圖(heatmap of interest,HOI)。由圖8可見，ResNet感興趣區域隨姿態變化而變化，且難以理解。然而，即使人物呈現不同的姿態，SESNet仍然能穩定注意到區分性部位，且抑制了不相關區域的影響。

圖8 ResNet和SESNet對樣本特征的感興趣區域熱圖

3 結論

為了使神經網絡能學習到更具備區分性的表征向量，提出了結構增強可堆疊注意力模塊強化強基線網絡ResNet50的特征學習能力。結構增強可堆疊注意力模塊通過學習更加細粒度的注意力增強向量強化結構表征向量，并且使用結構分離卷積對不同的增強結構向量進行分離映射，得到結構專屬的增強因子增強ResNet50網絡學習到的不同等級的特征。通過大量對比實驗及神經網絡可視化技術，在行人重識別通用數據集CUHK03L及Market1501上對結構增強可堆疊注意力模塊的強化特征學習能力進行了驗證，在CUHK03L及Market1501數據集上實現了具有競爭力的性能表現。最終在CUHK03L數據集上達到了78.0%的平均精度均值及81.3%的rank-1準確率，在Market1501數據集上實現了88.2%的平均精度均值及96.2%的rank-1準確率。