基于多級脈沖特征集融合的行人重識別方法

費孝如 葉武劍 劉怡俊 呂友成 姜子星

摘要：針對提取監控視頻中行人的時空特征相對困難和使用步態這一時空特征進行小樣本學習后，準確率相對較低的問題，提出一種基于多級脈沖特征集融合的行人重識別方法（MSSF）。首先，通過脈沖卷積提取基于步態圖像幀的局部行人脈沖特征，在此基礎上，將局部脈沖特征映射為具有全局行人屬性的脈沖特征集；接著通過融合不同深度級別的脈沖特征集來表征行人的時空多維特征，并使用水平金字塔進一步提取更具區分度的特征；最后，通過時空梯度反向傳播優化網絡參數。實驗在CASIA-B數據集上進行，在小樣本學習后，跨視角正確率最高達到了71.7%，提升4.91%，驗證了所提方法的有效性。

關鍵詞： 行人重識別；步態特征；脈沖神經網絡；多級脈沖；特征融合；時空梯度

中圖分類號：TP391 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）29-0008-04

1 概述

行人重識別（Person Re-identification）也稱行人再識別，是指從單幀圖像或視頻序列中查找特定目標行人的過程，是一個圖像檢索問題。隨著監控安防應用的發展和普及，行人重識別作為遠距離公共監控場景下難以進行人臉識別的重要補充，其需求日益增長且相關技術得到了廣泛的關注[1]。由于監控設備的差異、光照強度的變化、行人衣著的變換和行走角度的變化等影響，不同時間地點的監控視頻中行人的外觀會產生很大變化，因此行人重識別研究面臨很多困難。

行人重識別研究一般可分為基于單幀圖像和基于視頻序列兩種。基于單幀圖像的行人重識別主要通過卷積神經網絡提取行人衣服的顏色和樣式等外觀特征來進行分析[2-4]，這樣的行人特征往往是容易改變的，且受光線和監控設備的影響較大，只適用于短時間內的行人檢索。而基于視頻序列的行人重識別研究可以充分利用監控視頻數據，提取行人在時間和空間維度上的特征，防止只依賴不穩定的外觀特征，更貼近實際應用。Yao等人[5]將行人完整步行周期內的視頻圖像進行平均處理得到骨骼步態能量圖。Niall等人[6]提出了一種結合卷積、時間池化的新型循環神經網絡來聯合提取視頻中的行人特征。Li等人[7]提出了一種多尺度三維卷積網絡來提取視頻時間維度特征，并結合二維卷積提取的空間維度特征來提升行人重識別的魯棒性。

目前，大部分基于視頻序列的行人重識別方法提取視頻序列中更具區分度的時空特征能力有限，進而導致在小樣本學習中無法獲得較高的準確率。因此，本文提出了一種基于多級脈沖特征集融合（MSSF）的行人重識別方法，通過引入對時空信息敏感的脈沖神經網絡，對行人的步態這一時空特征進行分析，來提高網絡模型提取時空特征的能力。首先，通過脈沖卷積操作提取基于行人步態圖像幀的脈沖特征，以表征行人的局部時空特征；在此基礎上，將基于圖像幀的脈沖特征映射為脈沖特征集，來表征全局的時空特征；接著，通過融合不同深度級別的脈沖特征集進一步提取更具區分度的特征，并使用水平金字塔提高特征表征能力；最后，通過時空梯度反向傳播優化網絡參數。實驗在CASIA-B數據集上進行，結果表明，本文所提出的MSSF模型可以有效提取行人的時空特征，提升了小樣本學習下跨視角情況的步態識別準確率。

2 方法

2.1 網絡模型框架

本文提出的MSSF模型，主要包括基于圖像幀的脈沖特征提取、多級脈沖特征集融合和水平金字塔混合特征映射三大部分，分別對應圖1中的模塊A、B和C。本模型首先通過脈沖神經網絡，提取不同感受野下局部脈沖特征；接著，通過卷積操作，將多個不同深度級別的不同局部脈沖特征映射為脈沖特征集，并進行匯總融合；最后，通過水平金字塔將特征映射為更具區分度的條帶狀特征，以提高網絡的識別精度。

2.2 多級脈沖特征集融合

如圖1中A部分所示，輸入的行人序列首先經過3層脈沖卷積操作后，得到了3列具有不同深度的基于圖像幀的局部脈沖特征。為了更好地提取時間維度上的特征，本文將每一列作為一個集合進行統計學的平均或最大值池化操作，提取出具有全局特性的多級脈沖特征集，如圖1中的B部分所示。同時，為了有效地提高識別的準確率和魯棒性，本文使用水平金字塔映射（HPM，Horizontal Pyramid Mapping）方法將特征分割成條帶狀[8-9]，如圖1中的C部分所示。由于特征映射的對象是B部分提取出的全局特征和C部分提取出的局部特征，故本文將該方法稱為水平金字塔混合特征映射。

最終，通過水平金字塔混合特征映射模塊，將行人的特征映射到更具有辨別度的深層空間，此時最終的特征可以重新調整其維度，使其方便計算特征之間的距離，進而完成行人重識別的訓練和測試過程。

2.3 損失函數

由于脈沖信號離散的特性，需要在層與層之間的空間維度和層內部的時間維度分別做反向傳播，因此本文采用時空反向傳播STBP（Spatio-Temporal Back Propagation）[11-12]來訓練所提出的MSSF模型。

3 ?實驗分析

3.1 實驗環境和數據集設置

本文實驗在Centos7服務器上完成，實驗基于Python和PyTorch進行。

本文采用標準數據集CASIA-B [13]進行實驗，該數據集包含有124個行人樣本的視頻序列圖像，且每個行人均有3種不同狀態（正常狀態NM、背包狀態BG和含有外套狀態CL）和11個行走角度（0°， 18°， 36°， … ， 180°）。

在所有實驗中，圖片根據文獻[14]中的方法統一對齊為64×44大小。在訓練過程中，一個批次中有4個不同的行人，每個行人有8組樣本，每組樣本由30張視頻序列圖組成。同時，本文采用置信度最高的圖片的正確率（rank-1正確率）作為評價指標[15]。

為了驗證所提出的MSSF模型是否能夠提取更具區分度的時空特征，本文采用小樣本數據集劃分方法進行實驗，將CASIA-B中的前24個行人作為訓練集，后100個行人作為測試集。本次對比實驗僅對比正常狀態（NM）下重識別效果。

3.2 實驗結果與分析

首先，根據時空反向傳播訓練過程中的損失變化情況，繪制了如圖2所示的損失曲線。圖中橫坐標為訓練迭代次數，縱坐標為損失值，可以發現所提出的MSSF模型在STBP下可以有效地進行擬合。

接著，針對數據集中的NM、BG和CL三類不同的行人狀態，本網絡模型在所有角度的測試集上進行測試，得到平均準確率變化曲線如圖3所示。圖3中，橫坐標表示訓練迭代次數，縱坐標表示rank-1準確率。可以看出NM狀態下的準確率最高，最終達到64%，BG和CL最終達到52%和32%。

隨后，將所提出的MSSF模型提取的不同深度級別的脈沖特征進行可視化，如表1所示。第一列為初始時刻step=0時的輸入視頻序列圖像，以該張圖為例，給出了三個深度級別下的特征圖。首先，在第一級別的特征圖中，可以發現經過脈沖卷積后的基于圖像幀的脈沖特征能夠有效地表征行人的外形輪廓和內部形狀的局部特征，在映射為脈沖特征集后，可以明顯地發現，基于脈沖特征集的特征將基于幀的特征進行了匯總整合，能夠表征更為豐富的全局特征。隨著級別的升高，基于圖像幀的脈沖特征所呈現的維度更加抽象，脈沖特征集也在前者的基礎上形成了能夠吸收局部特征的高維全局特征。

最后，為了驗證所提出的模型在小樣本學習情況下的準確率，本文與Weig. Fusion[16]，FBW-CNN[17]，CMCC[18]和ASTSN[19]進行實驗對比，結果如表2所示。可以發現，除了0°時，所提出的MSSF比ASTSN低1.7%以外，其余各角度的平均rank-1正確率均優于其他方法。

4 結論

本文提出了一種基于多級脈沖特征集融合的行人重識別方法，通過脈沖信息表征行人圖像幀的局部特征，并將不同深度級別和不同圖像幀的脈沖特征融合為全局脈沖特征，最終通過水平金字塔映射為更具區分度的時空特征。實驗結果表明：在小樣本訓練中，本文提出的模型具有優勢。

但是，目前的識別方法距離實際應用還有很大差距，在準確率方面還有很多提升空間，在脈沖編碼和網絡設計等方面仍然需要繼續優化。

參考文獻：

[1] Leng Q M，Ye M，Tian Q.A survey of open-world person re-identification[J].IEEE Transactions on Circuits and Systems for Video Technology，2020，30（4）：1092-1108.

[2] Wang G A，Yang Y，Cheng J，et al.Color-sensitive person re-identification[C]//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence.August 10-16，2019. Macao，China.California：International Joint Conferences on Artificial Intelligence Organization，2019：933-939.

[3] Hong P X，Wu T，Wu A C，et al.Fine-grained shape-appearance mutual learning for cloth-changing person re-identification[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville，TN，USA.IEEE，2021：10508-10517.

[4] Jin X，Lan C L，Zeng W J，et al.Style normalization and restitution for generalizable person re-identification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle，WA，USA.IEEE，2020：3140-3149.

[5] Yao L X，Kusakunniran W，Wu Q，et al.Robust gait recognition using hybrid descriptors based on Skeleton Gait Energy Image[J].Pattern Recognition Letters，2021，150：289-296.

[6] McLaughlin N，Martinez del Rincon J，Miller P.Recurrent convolutional network for video-based person re-identification[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NV，USA.IEEE，2016：1325-1334.

[7] Li J N，Zhang S L，Huang T J.Multi-scale 3D convolution network for video based person re-identification[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33：8618-8625.

[8] Fu Y，Wei Y C，Zhou Y Q，et al.Horizontal pyramid matching for person re-identification[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33（1）：8295-8302.

[9] Wang G S，Yuan Y F，Chen X，et al.Learning discriminative features with multiple granularities for person re-identification[C]//Proceedings of the 26th ACM international conference on Multimedia.Seoul，Republic of Korea.New York：ACM，2018：274-282.

[10] Schroff F，Kalenichenko D，Philbin J.FaceNet：a unified embedding for face recognition and clustering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston，MA，USA.IEEE，2015：815-823.

[11] Wu Y J，Deng L，Li G Q，et al.Direct training for spiking neural networks：faster，larger，better[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33（1）：1311-1318.

[12] Zheng H L，Wu Y J，Deng L，et al.Going deeper with directly-trained larger spiking neural networks[J].Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（12）：11062-11070.

[13] Yu S Q，Tan D L，Tan T N.A framework for evaluating the effect of view angle，clothing and carrying condition on gait recognition[C]//18th International Conference on Pattern Recognition （ICPR'06）.Hong Kong，China.IEEE，2006：441-444.

[14] Takemura N，Makihara Y，Muramatsu D，et al.Multi-view large population gait dataset and its performance evaluation for cross-view gait recognition[J].IPSJ Transactions on Computer Vision and Applications，2018，10（1）：1-14.

[15] Chao H Q，He Y W，Zhang J P，et al.GaitSet：regarding gait as a set for cross-view gait recognition[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33：8126-8133.

[16] 呂蕾，張金玲，朱英杰，等.一種基于數據手套的靜態手勢識別方法[J].計算機輔助設計與圖形學學報，2015，27（12）：2410-2418.

[17] 王松林.基于Kinect的手勢識別與機器人控制技術研究[D].北京：北京交通大學，2014.

[18] 胡弘，晁建剛，楊進，等.Leap Motion關鍵點模型手姿態估計方法[J].計算機輔助設計與圖形學學報，2015，27（7）：1211-1216.

[19] 徐勝，馮文宇，劉志誠，等.基于機器視覺的復雜環境下精確手勢識別算法研究[J].系統仿真學報，2021，33（10）：2460-2469.

【通聯編輯：唐一東】