基于空間注意力機制的行人再識別方法

張子昊，周千里，3，王蓉，*

（1.中國人民公安大學 警務信息工程與網絡安全學院，北京 100038；2.安全防范技術與風險評估公安部重點實驗室，北京 100038； 3.北京市公安局，北京 100740）

利用視頻監控進行案件偵破時，多數場合只能看清行人的身體部分，同時需要進行跨視域的連續跟蹤查找，因此行人再識別對于查獲犯罪嫌疑人及可疑人員，尋找發現偵查破案所需的線索與信息至關重要。行人再識別核心思想是利用行人的整體特征對沒有視野重疊覆蓋的跨攝像機行人圖像間建立對應關系。

依據提取特征方式不同，行人再識別可分為基于特征表達、基于度量學習以及基于深度學習等方法。基于特征表達的方法主要是通過提取行人圖像的顏色、紋理、形狀和屬性特征來對行人進行再識別，但這些淺層的人工特征易受到行人姿態以及行人圖片光照、分辨率的影響。基于度量學習的方法是對特征進行相似度度量，主要依靠的是歐氏距離［1］以及馬氏距離［2］，然而，由于受行人圖像復雜背景的影響，使得基于度量學習在行人匹配上遇到了識別精度不高的瓶頸。基于深度學習的方法將特征表達與度量學習結合在一起，實現了端到端的行人再識別，此類方法通過海量的數據來訓練模型，使提取到的行人特征更具泛化性。Yi等［3］利用一個孿生網絡［4］，將輸入圖片分割為3個重疊的水平條紋，并使用卷積層分別提取3個條紋的特征，最終融合成為一個特征向量作為輸出，然后再進行相似度比較。隨著全局特征遇到瓶頸，學者開始將目標轉到局部特征。Varior等［5］采用圖像切塊的方式，將被分割好的若干塊圖像塊按照順序送到一個LSTM 網絡，網絡最后輸出的全局特征融合了所有圖像塊的局部特征。為了解決局部特征對齊的問題，Zhang等［6］提出了一種端到端的方法AlignedReID，讓網絡自動學習人體對齊，在提取局部信息時采用動態匹配的方法選取最短路徑從而進行行人對齊。為了解決行人再識別數據不足的問題，Deng等［7］通過引入CycleGAN來實現不同攝像頭下圖片風格的轉化，并將生成的圖片用于訓練。Luo等［8］在AlignedReID基礎上提出了動態匹配局部信息（DMLI）的新方法，即AlignedReID++，該方法可以動態調整局部信息，無需額外的監督。

本文在AlignedReID++基礎上，提出了一種改進的行人特征提取方法。該方法通過引入空間注意力機制，利用特征的空間特性動態調整特征表達，使提取到的特征更具有全局性和泛化性。同時，又引入了實例正則化（Instance-Normalization，IN）模塊來輔助批正則化（Batch-Normalization，BN）層對特征進行歸一化處理，提高網絡對顏色、紋理特征變化的魯棒性。

1 A lignedReID++算法

AlignedReID++算法主要包括特征提取和相似度度量2個部分，如圖1所示。在特征提取部分，將256×128大小的行人圖片通過ResNet50網絡進行特征提取，并對提取到的特征分別輸入給全局分支和局部分支。在全局分支中使用全局池化層來進一步提取全局特征。在局部分支中使用水平池化層，將行人圖片從水平方向進行劃分，并對每一條劃分后的圖片條紋進行局部特征提取。在相似度度量部分，分別對提取到的局部特征和全局特征進行特征間的距離計算。對于全局分支提取到的全局特征，使用L2距離來計算全局距離，其表達式為

圖1 AlignedReID++算法流程圖Fig.1 AlignedReID ++algorithm flowchart

式中：fA和fB分別為2幅行人圖片的特征向量，通過計算2幅圖像特征向量之間的L2距離來計算2幅圖像的相似度。對于局部特征部分，采用動態匹配局部特征的方法解決行人圖片姿態各異無法對齊的問題，對于一幅行人圖像的多個水平局部特征，動態地從上至下匹配局部部分，尋找擁有最短距離的對齊。對于2幅圖像的局部特征lA=｛lA1，lA2，…，lAH｝和lB=｛lB1，lB2，…，lBH｝，首先使用Element-wise的轉化，將距離歸一化到［0，1）之間，如下：

式中：di，j為第一張圖片第i個數值條與第2張圖片的第j個數值條的距離，這些距離組成了距離矩陣D。動態的局部距離則定義為在距離矩陣D中，從（1，1）到（H，H）總距離的最短路徑。局部距離動態規劃計算過程如下：

式中：Si，j為距離矩陣D從（1，1）到（i，j）的總距離，而SH，H則表示2幅圖片最短路徑的總距離，其計算公式為

所以，2幅圖像之間總的距離可以表示為局部距離與全局距離之和：

式中：dl（A，B）為局部距離；λ為平衡全局距離以及局部距離的權重系數，這里取值為1。訓練過程中使用Triplet損失［9］作為度量學習的損失，同時在全局分支中，使用Softmax損失來輔助分類，AlignedreID++的整體損失函數為

2 基于空間注意力機制的行人特征提取

通常來說，在AlignedReID++算法中提取到的行人特征是由許多子特征組成，這些子特征以組的形式分布在卷積層中的每一層，而子特征易受背景噪聲的干擾，會導致錯誤的識別和定位。BN層［10］是將一個batch的數據進行歸一化，增加了不同特征語義之間的差異性，但是當訓練數據集和測試數據集差異較大時，單一的BN層會影響測試的結果。

針對上述問題，本文提出一種改進的行人特征提取方法，其框架如圖2所示。圖中：x、^x、C、H、W分別為空間注意力模塊處理前每一個組的特征向量、經過空間注意力模塊處理后的每一個組的特征向量、特征圖的通道數量、特征圖的高度以及特征圖的寬度；g為經過全局平均池化（Global Average Pooling，GAP）后的特征向量；a為經過歸一化后得到的特征向量矩陣；Fgp（·）為特征向量經過全局平均池化的過程。整體框架與AlignedReID++類似，包括特征提取和相似度度量2個部分。在特征提取網絡ResNet50的基礎上，引入空間注意力模塊SGE（Spatial Group-wise Enhance）［11］，根據每個特征在空間上的位置來生成空間因子，動態分配每個特征權重，增強有用特征，抑制可能的噪聲。同時，為了進一步增強卷積網絡對于不同風格行人圖片的泛化性與魯棒性，在BN層［10］的基礎上引入IN層，組成IBN（Instance-batch Normalization）模塊，使得網絡性能得到進一步的優化。

圖2 改進后AlignedReID++算法流程圖Fig.2 Improved AlignedReID ++algorithm flowchart

2.1 空間注意力模塊

SGE模塊通過在每個組里生成注意力向量，根據每個子特征在空間位置上的重要性，動態地分配權重，同時有針對性地學習和抑制噪聲。

SGE模塊首先將特征圖按通道維度分為G個組，對于每一個組進行全局平局池化得到池化后的特征向量g，計算過程為

式中：m為特征向量的維度；Xi為每一個組中的特征向量。之后對于特征向量中的每一個元素，將其與g進行逐元素點乘運算，得到每一個位置對應的注意力權重為

之后，對逐元素點乘后的結果進行歸一化處理，使特征向量中數值分布在（0，1）之間，并將處理過后的結果經過Sigmoid激活層，最后，將經過激活層的結果與原組中的特征進行逐元素點乘的運算，得到對于一個組生成的空間注意力初始值，計算過程為

式中：^xi和xi分別為空間注意力模塊處理后的每一個組的特征向量和處理前的每一個組的特征向量；σ（ai）代表Sigmoid激活層，ai為經過歸一化處理后的特征矩陣。

將空間注意力模塊加入到ResNet50特征提取網絡中，使得改進后的特征提取網絡，提取到的特征更具代表性和泛化性，加入空間注意力機制SGE模塊后的模型具體結構如圖3所示。圖中：x為未經過殘差模塊處理的特征向量，～x為經過殘差模塊處理過后的特征向量。

圖3 SGE-ResNet模塊結構Fig.3 SGE-ResNetmodule structure

在ResNet50特征提取網絡的每一個瓶頸層的最后一個BN層之后，加入SGE模塊，使得特征提取網絡可以根據特征的空間分布來增強有用的特征表達，同時抑制可能的噪聲，提高了特征提取的魯棒性和代表性。這一操作與SEnet［11］的網絡架構相似。不同的是，SEnet通過學習的方式來動態獲得每一個特征通道的重要性，根據重要性來動態分配權重。而SGEnet是根據每個組中子特征的空間位置來生成注意力向量，根據注意力向量來再學習過程中動態的分配權重，提高有用特征的權重，同時減少可能的噪聲。

2.2 IBN歸一化層

IN層［12］的作用是將不同風格的圖片中的風格信息過濾掉，而只保留內容信息，具有很好的外觀特征不變性。因此，為了提高特征提取網絡對色調、色差的魯棒性，使得提取到的特征更具代表性和全局性，本文在BN層的基礎上引入IN層，組成IBN模塊，將IBN模塊加入到ResNet50［13］后的具體結構如圖4所示。

圖4 IBN模塊結構Fig.4 IBN module structure

為了防止網絡在高層的語義判別性被破壞，IN層只加在網絡低層中，同時為了保留低層中的語義信息，網絡低層中也保留BN層。在第一個歸一化層，IN層和BN層各占一半的通道數，一方面保證了不增加網絡參數和計算量，另一方面也是為了在IN層過濾掉反映外觀變化的信息的同時用BN層保留語義信息。

3 仿真實驗與結果分析

3.1 數據集

本文選用Market1501、DukeMTMC、CUHK03 3個行人再識別通用數據集作為訓練集以及測試集。Market1501數據集包括由6個攝像頭拍攝到的1 501個行人，訓練集有751人，包含12 936張圖像，測試集有750人，包含19 732張圖像；CUHK03數據集包含1 467個行人，包含767個行人的訓練集和包含700個行人的測試集；DukeMTMC數據集包含了1 404個行人，其中來自702個人的16 522張圖片作為訓練集，另外的702個人的2 228個查詢圖像作為測試集，還有17 661張圖像作為搜索庫（Gallery）。

3.2 實驗設置

實驗中所有算法都是在Pytorch框架下通過Python語言實現的。訓練和測試步驟在NVIDIA GTX1080Ti GPU上運行。訓練總輪數epoch設置為300，訓練學習率初始設置為0.0002，訓練每個bitchsize設置為32，迭代到150個epoch時學習率除以10。總的權重衰減參數設置為5×10-4。困難三元組損失中參數margin設置為0.3。空間注意力機制SGE模塊中的分組數設置為64。

3.3 仿真實驗

實驗1將空間注意力機制SGE模塊引入ResNet50網絡，分別在Market1501、DukeMTMC、CUHK03三個行人再識別通用數據集評價改進模型性能。性能評價均采用全局距離加局部距離的結果（Global+DMLI），以及進行再排序（Re-ranking，RK）后的結果。

Rank1是指搜索結果中置信度最高的圖片是正確結果的概率；Rank1（RK）是將結果再排序后，結果中置信度最高的圖片是正確結果的概率；CMC（Cumulative Match Characteristic）［14］曲線是一種top-k的擊中概率，主要用來評估閉集中rank的正確率，這里取Rank1擊中的概率；mAP（mean Average Precision）［15］是模型的平均精度均值，衡量的是模型在所有類別上的好壞；mAP（RK）是將結果進行再排序操作后，模型的平均精度均值；再排序是獲得圖像特征后，選擇L2歐氏距離來計算排序或檢索任務的相似度得分。

由表1可以看出，在加入SGE模塊后，在Market1501［16］數據集上性能相差不多，但是在進行Re-ranking操作后在Rank1擊中率以及mAP上提升了0.4%、0.3%；在DukeMTMC［17］數據集上，Rank1擊中率提升了0.8%，mAP 提升了0.2%，進行Re-ranking操作后，Rank1擊中概率提升0.5%，mAP提升了1.5%；在CUHK03［18］數據集上，Rank1擊中率提升了1%，mAP提升了0.2%，在進行Re-ranking操作后，Rank1提升了3.5%，mAP提升了2.8%。可以看出，在加入空間注意力機制后，相較于原始模型效果有明顯提升。

表1 基于SGE模塊改進的模型性能在M arket1501、DukeM TMC、CUHK 03數據集上的評價Tab le 1 Evaluation of im p roved m odel perform ance based on SGE m odu le on M arket1501，DukeM TM C and CUHK 03 datasets %

實驗2將IN層加入到歸一化層［19］中，輔助BN層，組成IBN層共同加入到ResNet50網絡中，分別在Market1501、DukeMTMC、CUHK03三個行人再識別通用數據集評價改進模型性能。性能評價均采用全局距離加局部距離的結果（Global+DMLI），以及進行Re-ranking操作后的結果。

由表2可以看出，在引入IBN歸一化層后，在Market1501數據集上性能相差不多，Rank1提升了0.2%，mAP提升了1.9%。在進行Re-ranking操作后在Rank1擊中率提升了0.5%，mAP提升了1.2%；在DukeMTMC數據集上，Rank1擊中率提升了2.9%，mAP提升了2.4%，進行Re-ranking操作后，Rank1擊中概率提升1.9%，mAP提升了2.7%；在CUHK03數據集上，Rank1擊中率提升了4.2%，mAP提升了3%，在進行Re-ranking操作后，Rank1提升了5.5%，mAP提升了4.5%。可以看出，在引入IBN歸一化層后，相較于原始模型效果有明顯提升。

表2 基于IBN層改進的模型性能在M arket1501、DukeM TM C、CUHK 03數據集上的評價Tab le 2 Evaluation of im p roved m odel perform ance based on IBN layer on M arket1501，DukeM TM C and CUHK 03 datasets %

實驗3將SGE模塊和IBN歸一化層加入到ResNet50網絡中，在Market1501、DukeMTMC、CUHK03三個行人再識別通用數據集評價改進模型性能。性能評價均采用全局距離加局部距離的結果（Global+DMLI），以及進行Re-ranking操作后的結果。

由表3可以看出，將空間注意力機制SGE模塊以及IBN歸一化層加入到ResNet50網絡后，在3個數據集上效果均有顯著提升，在Market1501數據集上，Rank1擊中率提升了0.8%，mAP提升了2.7%，Re-ranking操作后Rank1擊中率提升了0.9%，mAP提升了2%；在DukeMTMC數據集上，Rank1擊中率提升了2.9%，mAP提升了3%，Re-ranking操作后Rank1擊中率提升了2.2%，mAP提升了2.9%；在CUHK03數據集上，Rank1擊中率提升了4.7%，mAP提升了3.2%，Reranking操作后Rank1擊中率提升了5.4%，mAP提升了5.1%。

表3 基于IBN層以及SGE模塊改進的模型性能在M arket1501、DukeM TM C、CUHK 03數據集上的評價Tab le 3 Evaluation of im p roved m odel perform ance based on IBN layer and SGE m odu le on M arket1501，DukeM TM C and CUHK 03 datasets %

圖5給出了原模型以及加入SGE模塊和IBN歸一化層后的性能曲線。可以看出，改進后的算法在性能上相較于原算法有顯著的提升，證明了改進后模型的有效性。

圖5 4種網絡在Market1501、DukeMTMC、CUHK03數據集上的CMC曲線Fig.5 CMC curves of four networks on Market1501，DukeMTMC and CUHK03 datasets

圖6是在不同網絡下，針對待查詢圖庫query中的同一幅較為模糊的行人圖片，從查詢庫中輸出與其相似度最高的10幅行人圖片。綠色標簽表示查詢結果與待查詢圖片是同一標簽，即是同一個人；紅色標簽表示查詢結果與待查詢圖片不是同一標簽，即不是同一個人。可以看出，在引入SGE空間注意力機制以及IBN歸一化層后，查詢結果有了很好的改善，表明了改進模型的有效性。

圖6 不同網絡下相似度最高的10張行人圖片Fig.6 Ten most similar pedestrian images on different networks

表4為改進后的方法與行人再識別最新方法的比較。可以看出，與改進前的方法相比較，改進后方法在識別精度上，在Market1501、DukeMTMC和CUHK03 3個數據集上均有提升。與表中其他行人再識別方法相比，改進后的方法在識別準確率上也有較為明顯的提升，由此可以得出改進后方法的有效性。

表4 改進后的方法與最新行人再識別方法比較Tab le 4 Com parison between im p roved m ethod and latest pedestrian re-identification m ethods %

4 結 論

1）本文提出了一種基于注意力機制的行人特征提取方法。在AlignedReID++基礎上，對特征提取部分進行了改進。通過引入空間注意力模塊，根據特征的空間位置，動態地增強有用特征，抑制可能的噪聲。同時通過引入新的歸一化層IBN層，進一步提高了提取特征的魯棒性和全局性。

2）相較于改進前AlignedReID++中的Res-Net50特征提取網絡，本文方法可以提取更為豐富的行人特征，提取到的特征更具準確性和魯棒性。在Market1501、DukeMTMC以及CUHK03三個數據集上進行的算法測試實驗結果表明，改進后的AlignedReID++算法的準確性更高，具有更強的魯棒性。