基于多支路特征融合的行人重識別研究*

熊 煒，楊荻椿，艾美慧，李 敏，李利榮

(1.湖北工業大學電氣與電子工程學院，湖北 武漢 430068;2.美國南卡羅來納大學計算機科學與工程系，南卡 哥倫比亞 29201)

1 引言

近年來智能安防建設快速發展，人們對監控視頻處理的要求日益提高，依靠人臉、指紋等生物特征進行重識別顯得十分困難，此時行人重識別Person ReID(Person Re-IDentification)技術成為了一個重要的替代品。行人重識別是計算機視覺領域的一個熱門研究課題，意指在跨攝像頭的情況下檢索特定行人圖像。目前該項技術的識別能力已經超越了人類本身[1]，但是仍然存在以下困難：在拍攝過程中攝像頭參數、拍攝環境和行人姿態的變化容易造成所拍攝行人圖像質量低劣的問題。如何應對這些挑戰，是當前研究的首要任務。

行人重識別研究主要分為基于傳統方法和基于深度學習方法2類[2]。

傳統的行人重識別從特征表達和距離度量學習2個方面進行研究?；谔卣鞅磉_的方法重點在于設計魯棒、可靠的行人圖像特征外觀模型，即能夠區分不同行人同時又不受光照和視角變化的影響。2005年Zajdel等人[3]公開描述了行人重識別的概念。2006年Gheissari等人[4]首次在計算機視覺領域頂級會議CVPR(IEEE Conference on Computer Vision and Pattern Recognition)上提出利用H-S直方圖和邊緣直方圖提取行人特征，至此行人重識別正式進入研究階段。Hamdoun等人[5]提出在一定時間間隔的視頻序列上提取相同區域的特征點用來表示行人外觀變化。Gray等人[6]利用RGB、HSV、YCbCr顏色通道和亮度紋理通道提取被分割為3個部分的行人圖像特征。Farenzena等人[7]根據行人結構的對稱性將圖像分割為不同區域，并提取每個區域的累積顏色特征和紋理特征。而基于距離度量學習的方法則關注的是找到有效的行人特征相似度的度量標準，即通過度量學習的方法獲得新的距離度量空間，使得同一行人不同圖像的特征距離小于不同行人之間的距離。研究學者[8-10]基于歐氏距離、馬氏距離等距離度量函數提出不同的度量方法，皆旨在優化行人樣本之間的距離。但是，這些傳統方法的行人重識別性能不佳[11],只適用于小型數據集，難以勝任實際運用。

隨著深度學習時代的來臨，研究人員開始運用深度學習進行行人重識別[12]。卷積神經網絡(CNN)強大的特征提取能力和學習能力使基于深度學習的行人重識別取得了階段性的進步，基本取代了傳統方法。Geng等人[13]使用預訓練好的GoogleNet提取全局特征，將分類損失函數和驗證損失函數結合用于訓練網絡，實驗證明了使用遷移獲得的預訓練網絡可以大幅提升識別效果。大量學者[14-16]通過人工對數據集增加屬性標簽，利用屬性標簽中的額外信息和行人特征互補提升模型性能。然而，以全局特征為主的行人重識別很快進入了瓶頸階段，學術界意識到需要引入行人圖像中的局部特征進行識別[17]。Wei等人[18]設計了基于全局特征和局部特征對齊的特征描述子GLAD(Global-Local-Alignment Descriptor)，將行人的全局特征和局部特征(頭、上身、下身)融合進行特征表征。Zheng等人[19]針對行人圖像不對齊現象，通過使用姿態估計模型得到局部骨架關鍵點進行語義部件對齊，從而提取局部特征。Zhao等人[20]提出了Spindle Net，同樣是通過姿態信息提取行人骨架點，然后根據這些點將行人劃分為7個區域，最后與全局特征相融合。Zhang等人[21]提出了密集語義對齊的網絡框架，首先將行人圖像分為24個語義區域并映射到UV空間，獲得密集語義對齊的24個身體部分圖像，然后將所提取的全局特征和局部特征進行融合。但是，使用姿態估計需要用到在其他數據集上已經預訓練好的模型，會引入數據誤差，增加網絡結構復雜度。于是Sun等人[22]將圖像統一進行均勻分塊，對每一塊采用一個損失函數訓練，考慮到統一分塊可能出現語義部分不對齊的現象，提出了RPP(Refined Part Pooling)策略，最終將所有局部特征組合成全局特征，得到的評價指標刷新了歷史記錄。Li等人[23]提出了協調注意力網絡HA-CNN(Harmonious Attention Convolution Neural Network)，通過多條分支學習具有判別度的像素和特征區域，并引入了交叉感知學習機制，最后將各分支特征進行融合。雖然上述方法的識別效果已經有了一定提升，但是忽略了使用低層可識別性語義信息，并且網絡結構復雜。

為了彌補已有行人重識別方法不能利用有效特征信息進行識別、網絡結構復雜的缺陷，本文提出了一種多支路特征融合的網絡模型。選用SE-ResNeXt50[24]作為基礎骨干網絡，將3個不同的卷積塊(其中包括1個低層卷積塊)分別接出1條支路，采用通道域注意力模型CAM(Channel Attention Model)[25]加強語義關聯特征通道聚集，為提取高細粒度特征，采用批特征擦除BFE(Batch Feature Erasing)[26]，并且對不同卷積層采用不同的正則化方法。距離度量時，本文采用了聚類損失函數[27]。本文所提網絡模型在Market1501、DukeMTMC-reID、CUHK03和MSMT17數據集上進行了單域和跨域實驗，結果表明所提取的特征具有良好的表征能力和泛化能力。

2 基于多支路特征融合的行人重識別模型

2.1 行人重識別網絡模型結構

本文提出的網絡模型結構如圖1所示，由骨干網絡和3個分支網絡(Branch1,Branch2,Branch3)構成，其中,f1,f2,f3為行人特征向量。骨干網絡采用了SE-ResNeXt50網絡；Branch1由CAM[25]、實例和批量正則化IBN(Instance and Batch Normalization)[28]和全局平均池化GAP(Global Average Pooling)組成；Branch2由GAP組成；Branch3由批標準正則化BN(Batch Normalization)、BFE[26]和全局最大池化GMP(Global Max Pooling)組成。最后將3個分支網絡所輸出的特征f1,f2和f3進行融合，融合特征f用于行人分類。

Figure 1 Structure of the proposed network model

SE-ResNeXt50網絡是2017年ImageNet奪冠模型SENet[24]和殘差模型ResNeXt[29]的結合，它通過自動學習特征通道權重參數的機制和多支路卷積的設計提升了識別效果。本文對SE-ResNeXt50進行了如下修改：(1)移除網絡最后的池化層和全連接層；(2)將conv_5中的下采樣步長從2變為1。分支網絡Branch1首先將SE-ResNeXt50的第3個卷積塊conv_3輸出的特征引出，雖然低層卷積所提取的特征在通道上語義相關性較高，但是這些通道關聯并不緊湊，故加入CAM對語義相似的通道進行聚合；然后通過1×1卷積進行升維處理，同時為了消除不同行人的外觀特征差異和增強模型泛化能力，采用IBN分別對每幅行人圖像和批量行人圖像聯合進行歸一化處理；最后通過GAP得到特征f1，f1大小為1×1×2048。分支網絡Branch2是把SE-ResNeXt50的第5個卷積塊conv_5輸出的全局特征通過GAP得到特征f2，f2大小為1×1×2048，該分支用于監督Branch1和Branch3學習。分支網絡Branch3首先將SE-ResNeXt50的第4個卷積塊conv_4輸出的特征引出，通過1×1卷積進行升維處理，但是Branch1中采用實例正則化IN(Instance Normalization)[30]消除不同外觀行人的個體特征差異的同時，也丟失了不同行人之間可識別的相關特征信息，故采用BN進行歸一化處理，保留不同行人特征的差異性，使得Branch1和Branch3互補學習；然后加入BFE，隨機把同一批量行人特征圖的相同語義部分區域的值全部置為零，目的是為了讓網絡注重學習其它更加具有辨別性的特征信息；最后通過GMP增強特征擦除后學習到的顯著局部特征，加快模型收斂速度[26]，得到特征f3，f3大小為1×1×2048。將經過尺度統一后的3個分支特征f1、f2和f3融合，得到特征f，f大小為1×1×2048，然后通過Softmax函數進行分類。運用聚類損失函數[27]和標簽平滑損失函數[31]訓練該網絡模型，3個分支網絡聯合學習，相互監督。

2.2 通道域注意力模型CAM

所謂注意力機制一般來說就是卷積網絡首先快速瀏覽行人圖像的全局信息，獲得重點關注的分類信息區域；然后投入更多注意力到重點關注區域，以提取可辨別性特征，去除干擾信息。由于低層卷積提取的特征更多是局部底層粗略信息，高層卷積提取的特征更多的是全局語義信息，因此只有低層卷積提取出準確的邊緣信息，高層卷積才能更好地獲得完整行人特征。本文所用的骨干網絡SE-ResNeXt50的低層卷積所提取特征注重行人粗略的語義部分(如頭手等明顯的部分)，并且隨著網絡深度的加深，這些有關聯的特征通道是分散的，并不能有效表征相關語義信息，為充分利用邊緣特征信息，本文對conv_3輸出的特征圖M加入注意力機制。CAM[25]將具有相似語義信息的特征通道聚類，增強了特征的識別性。

本文所采用的通道域注意力模型如圖2所示，其中，特征圖M∈RH×W×C，H和W分別表示特征圖的高度和寬度，C表示通道數；Mci表示第i個通道的特征矩陣；關系矩陣Ecicj∈RH×W表示第j個通道對第i個通道的關聯度；M′ci表示M′中第i個通道的特征矩陣；M′表示通過CAM聚類語義相關通道后的特征圖。

Figure 2 Schematic diagram of CMA model

關系矩陣Ecicj的計算如式(1)所示：

(1)

特征矩陣M′ci的計算如式(2)所示：

(2)

其中，γ是超參數，控制CAM的影響力大小。

特征圖M′由各通道特征矩陣M′ci拼接可得。

2.3 實例和批量正則化IBN

分類問題中常使用批量正則化BN，BN對每一批量圖像進行歸一化以保證數據分布的一致性，但是行人重識別數據集是從不同攝像頭拍攝得到的，網絡所提取的同一行人特征會隨光照、視角等因素的變化而變化，導致所做的正則化處理不能代表整體數據分布，會出現類內(Within-class)行人之間的度量距離大于類間(Between-classes)行人的情況。實例正則化IN常用于圖像風格遷移中，可保留圖像的風格信息，還可以加速模型收斂速度。而在行人重識別中注重保持不同行人圖像之間實例獨立，故可采用IN解決數據分布不統一的問題。但是，Pan等人[28]指出IN在降低圖像外觀差異的同時，會損失相關特征信息，BN在保存圖像可識別特征的同時，會對網絡處理外觀信息時產生影響，于是提出IBN-Net，聯合使用IN和BN提升了模型的表征能力和泛化能力。IN和BN的本質區別在于，IN是將單幅圖像的單個通道通過計算均值、方差進行標準正態分布，BN是將整個批量圖像的同一通道通過計算均值、方差進行標準正態分布。式(3)列舉了IN和BN中計算均值μ的區別。

(3)

其中，H和W分別表示圖像的高度和寬度，B表示批量圖像數量，xjk表示圖像中第j行、第k列像素的像素值,xjkm表示第m幅圖像中第i行、第j列像素的像素值。

由于IBN可以充分利用IN和BN的優勢，同時將劣勢互補，極大增強了模型識別能力，故本文在Branch1中使用IBN代替BN，如圖3所示，對特征圖M′經過升維處理后進行IBN正則化，其中一半通道使用IN，另一半通道使用BN。

Figure 3 Schematic diagram of IBN

2.4 批特征擦除BFE

Branch1和Branch2這2個分支網絡均是提取全局特征，存在著可判別性特征缺乏的問題，近年來有研究者證明了特征融合方法的有效性[18-21]。故本文通過批特征擦除BFE提取局部特征與全局特征進行特征融合。批特征擦除BFE[26]采用極其簡單的機制達到了較高的識別效果，即隨機擦除同一訓練批次特征圖的相同區域，這一區域應能夠包含一個語義部分特征，從而達到網絡更加注重學習剩余特征的目的。BFE首先根據設置擦除的矩形高度比he和寬度比we計算擦除矩形區域的高HBFE和寬WBFE，如式(4)所示：

HBFE=H×he

WBFE=W×we

(4)

其中，H和W分別表示特征圖的高度和寬度。

假設隨機選擇矩形的1個頂點坐標為p1(x,y)，其中，x∈(0,H-HBFE)，y∈(0,W-WBFE)，則另外3個頂點坐標分別為p2(x,y+WBFE)、p3(x+HBFE,y)、p4(x+HBFE,y+WBFE)，然后將矩形區域像素的像素值全部置為零。

2.5 損失函數

本文所提網絡模型采用聚類損失函數[27]和標簽平滑損失函數[31]聯合訓練。聚類損失函數可以在距離度量中輸出行人圖像之間更大的類間變化距離和更小的類內變化距離。如式(5)所示，聚類損失函數類似于三元組損失函數，與其相比，聚類損失函數在其基礎上度量目標行人與正負樣本之間的距離是通過各類樣本集合的特征映射平均值計算的。

(5)

交叉熵損失函數[32]是常見的分類損失函數，但在行人重識別數據集中，訓練集數量有限，容易造成模型過擬合，因此希望網絡模型不要過度依賴真實標簽，能夠接受少量的錯誤標簽，提升泛化能力。如式(6)所示，給定錯誤率ε，對行人標簽實施平滑處理(Label Smoothing)[31]。

(6)

其中，K為行人數量總和，k是行人標簽，pi是網絡預測該行人屬于標簽i行人的概率，qi是真偽標簽。

因此，本文采用的聯合損失函數Lloss如式(7)所示，2個損失函數不同的優化目標會共同約束特征，學習更多具有識別性的特征。

Lloss=Lcluster+Llabel

(7)

3 實驗與分析

為驗證本文所提網絡模型的有效性，分別在Market1501、CUHK03、DukeMTMC-reID和MSMT17共4個數據集上進行實驗，使用Rank-1、Rank-5和mAP作為評價指標對模型進行評估。

3.1 數據集

Market1501數據集[33]是由6個不同視角攝像頭在清華大學校園所采集的共1 501個行人32 668幅DPM檢測器自動檢測并切割成矩形框的行人圖像，其中，訓練集由751個行人的12 936幅圖像組成，測試集由750個行人的19 732幅圖像組成。

DukeMTMC-reID[34]是DukeMTMC數據集的子集，它由8個不同視角攝像頭在杜克大學校園所采集的圖像構成，共有1 812個行人36 441幅人工檢測的圖像，并提供了行人屬性的標記，其中，訓練集由702個行人的16 522幅圖像組成，測試集由702個行人的19 889幅圖像組成；在gallery查詢集中加入了額外的408個干擾行人。

CUHK03[35]是2014年以來第1個可用于深度學習訓練的大規模行人重識別數據集，它由10個(5對)不同視角攝像頭在香港中文大學校園所采集的圖像構成，共有1 467個行人14 097幅圖像，并提供了DPM檢測器檢測和人工檢測2個類型數據集。本實驗采用了基于DPM檢測器獲取的檢測數據集和文獻[37]所提的測試協議，將數據集分為：訓練集(767個行人)和測試集(700個行人)。

MSMT17[36]是2018年CVPR會議上提出的大型數據集，它是由15個攝像頭(12個室外、3個室內)在北京大學所采集的圖像構成，采集是在不同氣候條件、不同時間段進行的，共有4 101個行人126 441幅Faster RCNN檢測器檢測所得行人圖像，其中訓練集由1 041個行人的32 621幅圖像組成；測試集由3 060人的93 820幅圖像組成。

3.2 實驗設置

本文實驗環境為64位Ubuntu16.04操作系統，Python3.6、Pytorch1.0.1、iGame GeForce RTX 2070顯卡、64 GB內存。

在數據集預處理階段，所有圖像尺度統一為258×128，并通過翻轉、隨機遮擋等操作對數據進行了增強處理。共設置100次迭代，每個訓練批次大小為32(8個行人，每個行人有4幅圖像)。優化器采用Adam，初始學習率為3.5×10-4。

3.3 實驗步驟

本文所提網絡模型的骨干網絡是SE-ResNeXt50，初始權重參數是利用ImageNet預訓練好的。為驗證所選骨干網絡的性能，分別以ResNet50、SE-ResNet50和SE-ResNeXt50作為骨干網絡在Market1501上進行實驗，訓練過程中僅使用了Branch2，實驗結果如表1所示。從表1中可以發現，雖然SE-ResNeXt50網絡訓練時間最長，但在Rank-1和mAP指標上均有明顯優勢，且訓練時間僅比ResNet50多0.21 h，表明選用SE-ResNeXt50網絡可以更有效地提升網絡模型性能。

Table 1 Comparison experiments of backbone networks on Market1501

為驗證所提模型中每個分支網絡的效果，首先依次對每個分支網絡進行實驗，即每個實驗中只有1個分支網絡。然后進行了2個分支網絡的實驗，即每個實驗中只有2個分支網絡。最后進行3個分支網絡的實驗，即實驗中有3個分支網絡。分別在4個數據集上的實驗結果如表2所示。通過實驗結果可以發現：主干路Branch2是單個分支網絡實驗中識別效果最好的；在2個分支網絡實驗中，由Branch2組合的分支網絡評價指標Rank-1和mAP均有大幅提升；當3個分支網絡同時加入模型時，在Market1501上Rank-1達到了95.1%,mAP達到了86.8%，在DukeMTMC-reID上Rank-1達到了89.6%,mAP達到了79.1%，最為明顯的在CUHK03上,Rank-1高達76.6%，mAP高達72.8%，在MSMT17上，Rank-1和mAP分別達到了80.2%和56.6%，這表明主干路Branch2所提取的全局特征是具有高表征能力的特征，3個分支網絡相互監督學習，共同提升模型性能。

在Branch1中，CAM模型是為了將相關語義部分的特征通道進行聚類，從而增加特征信息，IBN正則化是為了提升特征表征能力和泛化能力，為了驗證其有效性，在4個數據集上保持Branch2和Branch3不變的情況下，分別進行以下實驗：(1)移除CAM;(2)用BN代替IBN。實驗結果表明，在4個數據集上模型均有相似的提升效果，表3只展示了在Market1501上的結果，可以發現加入CAM模型后，Rank-1提高0.9%，mAP提高了1.5%；IBN正則化將模型的Rank-1和mAP分別提高了0.5%和1.3%。

在Branch3中，批特征擦除BFE對同一批次的特征圖隨機擦除一個明顯語義部分，加強模型對其余可辨性特征的學習，并且可以防止過擬合現象的發生。為了驗證其有效性，在4個數據集上保持Branch1和Branch2不變的情況下，進行有無BFE對比實驗。實驗結果表明，在4個數據集上模型均有相似的性能提升，表4只展示了在Market1501上的結果，在加入BFE后，Rank-1和mAP分別提高了1.5%和2.9%。

Table 2 Experiments of different branches combinations

Table 3 Effectiveness experiments of CAM and IBN

Table 4 Comparison experiments of BFE

Re-ranking[37]測試技巧是通過對行人特征向量K-reciprocal編碼后進行杰卡德距離計算，然后將該距離與原始距離組合度量圖像之間的距離，重新排序行人圖像，可以提升模型性能。在測試本文所提模型時加入了Re-ranking，實驗結果如表5所示，在3個數據集上評價指標均有大幅提升，其中在CUHK03上，Rank-1達到了85.4%，mAP達到了87.6%。

Table 5 Experiments of Re-ranking test technique

在MSMT17上進行測試時，由于顯存不足，未得出實驗結果，表9同理。

3.4 實驗結果可視化

本節對深層卷積網絡所提取的行人特征進行了映射，如圖4所示。

Figure 4 Mapping of person features

從圖4中可以看出，SE-ResNeXt50網絡低層網絡提取了行人輪廓，高層網絡提取了相關可辨別性特征(如手提包)，再次說明了所選取骨干網絡的高性能。

行人圖像查詢結果可視化結果如圖5所示。第1列為查詢圖像，后10列為查詢結果排序圖像，其中黑色邊框表示錯誤識別，無色邊框表示正確識別，可以發現對對有完整行人正面的查詢圖像所獲得的查詢結果更加精確，但是對有遮攔、行人背面的查詢圖像所獲得的查詢結果前5個識別圖像基本準確。再次驗證本文所提的行人重識別模型具有較好的識別效果。

Figure 5 Visualization of the query results

3.5 實驗對比

為了驗證本文所提模型的優越性，將其與近年來的主流模型進行了比較，表6～表10分別展示了在Market1501、DukeMTMC-reID、CUHK03、MSMT17和跨數據集上測試的評價指標對比結果。

表6所示為本文所提模型在Market1501數據集上與主流模型(CamStyle[38]、HA-CNN[23]、AlignedReID[1]、HSP[39]、PCB+RPP[22]、BFE[26]、DG-Net[40]和Bag Trick[41])的比較結果。與目前較優模型DG-Net[40]相比(未加Re-ranking)，Rank-1和mAP分別提高了0.3%和0.8%。

表7所示為本文所提模型在DukeMTMC-reID數據集上與主流模型的比較結果。從表7中可以看出，ABD-Net[25]是目前性能較好的模型，本文在該模型基礎上只引用了CAM，大大降低了模型復雜度，但是Rank-1和mAP分別提高了0.6%和0.5%。

表8所示為本文所提模型在CUHK03數據集上與主流模型的比較結果。本文所提模型的Rank-1和mAP分別達到了76.6%和73.2%，性能明顯高于多數模型，加入Re-ranking后，Rank-1和mAP可以達到85.4%和87.6%。

Table 6 Performance comparison of mainstream models on Market1501

Table 7 Performance comparison of mainstream models on DukeMTMC-reID

表9所示為本文所提模型在MSMT17數據集上與主流模型的比較結果。MSMT17是一個更加接近實際情況的大型數據集，但是本文所提模型依然取得了較好的結果，Rank-1和mAP分別比DG-Net[40]提高了3%和4.3%,表明了本文所提模型對處理大數據集的優越性。

Table 8 Performance comparison of mainstream models on CUHK03

Table 9 Performance comparison of mainstream models on MSMT17

為了驗證網絡模型的泛化能力，本節還進行了跨域測試的實驗，結果如表10所示，表10中M、D、C分別代表Market1501、DukeMTMC-reID、CUHK03，箭頭(‘→’)左邊字母代表訓練集，右邊字母代表測試集。可以發現所提模型在跨域測試中Rank-1和mAP最高只能達到62.5%和34.4%，相比其他模型Rank-1最高可提高0.3%，mAP最高可提高1.3%，也存在性能低于其他模型的現象。分析原因可知，行人重識別的數據集中訓練集和測試集是不相交的，而且各數據間的風格差異頗大，比如Market1501中行人穿著基本是短袖和短褲，而DukeMTMC-reID中行人穿著基本是外套和長褲，導致模型跨域表現不佳。實驗結果表明本文所提模型的泛化能力在一定程度上有所提升，但是總體識別能力有待進一步提高。

Table 10 Performance comparison of mainstream models on the cross-domain condition

同時，本文還在Market1501上對模型復雜性進行了比較，所有實驗均是在相同實驗參數的情況下進行的，實驗結果如表11所示。從表11中可以發現，本文模型達到了高水平識別精度，訓練時間相比DG-Net[40]減少了4.9 h、參數量比CamStyle[38]減少了約6.8 million。

Table 11 Comparison of model complexity

通過上述實驗對比可知，本文所提模型不僅充分利用了低層卷積的有效特征信息，而且結構簡單，所獲得的特征擁有高細粒度的特征表征能力，能夠達到很好的識別效果。

4 結束語

本文提出了一種多支路特征融合的行人重識別網絡模型，利用融合后的特征進行重識別。該模型采用SE-ResNeXt50作為骨干網絡，引出3個分支網絡，根據每個分支的特點采用不同的處理方式，最后將3個分支的特征融合，并加入聚類損失函數和標簽平滑損失函數聯合訓練模型。實驗結果表明，本文所提模型在單域情況下，識別率達到了較好的效果，但在跨域情況下，識別率有待提升。未來的工作方向是在保證模型簡單化的情況下，提升泛化能力。