基于特征學習的雙路徑紅外-可見光行人重識別算法

(南京郵電大學 自動化學院 人工智能學院, 江蘇 南京 210023)

行人重識別是指利用計算機視覺技術來確定一個目標行人是否在圖像或視頻中存在。近年來，隨著社會對公共安全問題的關注越來越多，行人重識別引起了人們極大的研究興趣。許多行人重識別算法被提出，包括手工特征算法[1]、度量特征算法[2]以及深度學習算法[3]，這些算法一定程度上解決了行人重識別問題。深度學習算法目前已成為行人重識別的主流算法，包括單模態和多模態行人重識別算法。

現有的大部分研究[4-6]都專注于RGB模態中的行人重識別，主要集中在RGB模態中外部條件變化的挑戰，包括光照條件、視點變化、不對稱等方面。文獻[4]利用排序優化框架中的相似性和差異性線索進行行人識別。為提高行人重識別的精度，文獻[5]研究了跨模態支持一致性和跨模態投影一致性的算法。Chen等[6]利用自然語言描述作為有效的視特征，識別不同身份的額外訓練監督。然而，現有的單模態行人重識別算法只能解決RGB圖像中的識別問題，不能很好地解決跨模態行人重識別問題。

如圖1所示，雖然圖1(a)和1(c)是不同的行人圖像，但是圖1(a)所對應的紅外圖像圖1(b)與圖1(c)非常相似，說明拍攝角度、行人姿態和光照變化等因素嚴重影響對紅外-可見光行人重識別的準確性。雙模態攝像機很好地彌補了單模態RGB攝像機的缺陷，并且將單模態行人重識別研究延伸至跨模態領域，目前已提出多種針對跨模態行人重識別的方法。文獻[7]提出SYSY-MM01大規模跨模態行人重識別數據集，得出零填充有利于提高識別精度的結論。文獻[8]引入一種分層跨模態解調算法，有效減少模態間差異。文獻[9]提出雙向中心約束頂級排序算法，通過引入模態間約束和模態內約束，刻畫尺寸變形和類內變化。文獻[10]通過在網絡中添加X模態，輔助學習不同模態特征，提高識別性能。

圖1 紅外-可見光行人重識別中復雜的變化Fig. 1 Complex variations in infrared-visible person re-identification

上述算法著重于縮小RGB與紅外模態間差異，在模態信息不共享情況下，識別精度不太理想。本研究提出一種基于特征學習的雙路徑紅外-可見光行人重識別算法，在引入注意力機制刻畫模態內和模態間特征差異的同時，利用身份損失函數、身份異質中心損失函數和交叉熵損失函數，提高行人重識別準確性。

1 基于特征學習的雙路徑紅外-可見光行人重識別算法

本研究提出的紅外-可見光行人重識別的雙路徑學習算法，通過在RGB分支中引入注意機制來獲得更多行人信息，在特征嵌入階段引入BNNeck(batch normalization neck)模塊加快身份損失收斂速度，其雙路徑網絡結構如圖2所示。

1.1 雙路徑局部特征網絡

在RGB單模態行人圖像重識別中，常用算法是對行人圖像進行水平分割，提取局部特征，然后對行人圖像進行特征匹配。由于紅外圖像只有行人的外觀信息和姿態信息，沒有顏色和光照等信息，故不能解決紅外-可見光行人重識別問題。本研究采用的雙路特征學習算法主要包括特征提取和特征嵌入兩部分。

1) 特征提取。首先，利用卷積注意力機制提取RGB圖像特征，并結合紅外圖像特征構建特征描述子；然后，水平切割具有高層語義信息的紅外-RGB行人特征，并將其作為共享層的輸入。由于訓練數據有限，網絡預訓練參數通過大規模數據集ImageNet訓練得到。

圖2 本研究算法的雙路徑網絡結構Fig. 2 Architecture of the proposed dual-path network

2) 特征嵌入。首先，為更好學習模態間可區分的低維嵌入特征，將提取的特征引入共享層；然后，使用L2正則化方法平滑特征表示；最后，利用提出的BNNeck身份損失函數，以及RGB圖像身份損失函數、紅外圖像身份損失函數、交叉熵、損失函數和中心異質損失函數，得到準確的行人身份。

為減少模態間差異，本算法采用操作：①為表征不同模態的低級特征，RGB特征網絡和紅外特征網絡的ResNet50的第一個卷積塊參數不完全相同；②為表征模態的中層特征，每個特征網絡共享深層卷積塊參數；③在自適應池化卷積層后，使用共享的BN(batch nomalization)層學習共享特征。

1.2 注意力機制

在RGB分支中加入CBAM(convolution block attention module)注意力機制，學習不同圖像區域權值獲得更有鑒別性的信息。

(1)

式中,σ表示sigmoid函數，W0和W1分別為兩個全連接層的參數。該通道注意力機制能夠較好地從模態層面把握RGB圖像的特征信息，減小RGB圖像與紅外圖像的差異，可視為不同的半動態語境選擇語義屬性的過程。

圖3 通道注意力模塊結構Fig. 3 Channel attention module structure

(2)

圖4 空間注意力模塊結構Fig. 4 Spatial attention module structure

紅外行人圖像是一個只包含語義結構和形狀信息的單通道圖像[11]，而RGB圖像是一個包括外觀和顏色等高級語義信息的多通道圖像。為避免在特征提取中損失重要信息，盡量獲得更多行人信息，減少模態間差異，本算法在RGB分支加入注意力機制(如圖5所示)進行特征提取。具體的特征提取過程為：①在輸入288×144×3的RGB行人圖像后，利用注意力機制，針對Conv5_x和平均池化層間的高層特征進行加權，得到18×9×2 048的特征映射，有效擴大感受野范圍；②利用提出的平直流行結構，融合18×9×2 048的特征映射和加權后的特征映射，加強全局跨通道交互。

圖5 基于注意力機制的特征提取過程示意圖Fig. 5 Feature extraction process based on attention mechanism

基于注意力機制提取的特征映射，為后續處理提供包含重要信息和次要信息的全局特征，有助于從模態層面把握RGB圖像的特征信息，減少兩種模態之間的差異。

1.3 跨模態BNNeck和損失函數

1.3.1 概述

本研究利用RGB圖像豐富的信息來學習模態特征，縮小模態間的差異。如圖2所示，利用特定模態的網絡和身份損失提取模態相關信息，并在RGB分支中引入卷積注意力模塊，對行人圖像進行特征提取，使其更具有判別特征；將BNNeck模塊與模態共享層相結合，提高深度模態共享的協調性。得到的最終總損失函數為：

(3)

1.3.2 身份損失

1) 特定模態身份損失。由于RGB圖像和紅外圖像中行人的視覺特征差別很大，需要在提取每個分支的特征時使用不同的權重來學習每個模態的單一網絡。每個網絡分支采用特定的身份損失來學習其特征，本研究采用Softmax損失進行身份預測，表示為：

(4)

為更好提取RGB圖像的特征并學習其全局不變性，在RGB分支中加入注意力機制，將式(4)改寫為:

(5)

則卷積注意力模塊在RGB分支特征提取中造成的偏置。

(6)

式中:w和h分別表示圖像的寬度和高度，λ用來限制損失。

2) 跨模態BNNeck身份損失。身份損失將識別任務視為一個分類任務，并通過余弦距離優化身份損失。如果直接將兩個模態的特征相結合并計算身份損失，很可能導致兩種模態下的目標行人身份不一致，損失函數無法收斂。為解決這一問題，在雙分支網絡的全鏈接層后引入名為跨模態BNNeck的模塊，在共享全連接分類層后增加一個BN層。從網絡中提取的原始特征為f，經過BN層后變為f′。在訓練階段，分別使用f和f′計算身份損失，并通過BN層得到正則化后的特征。BNNeck減少了身份損失的限制，使其更容易收斂，同時，正則化進一步縮小了同一行人RGB圖像特征和紅外圖像特征間的差異。跨模態BNNeck身份損失公式為：

(7)

1.3.3 中心異質損失和交叉熵損失

為縮小內在差異，引入中心異質損失和交叉熵損失。中心異質損失公式為

(8)

式中：ci,1和ci,2分別為第i個行人的RGB模態和紅外模態特征分布中心，U為行人個數，M和N為第i個行人的RGB圖像和紅外圖像數，xi,1,j和xi,2,j分別為第i個行人的第j個RGB圖像和紅外圖像的特征。

由于中心異質損失僅通過約束每個行人的中心距離提高模態內相似度，并不能通過網絡學習判別特征來擴大模態間差異。因此，采用中心異質損失和交叉熵損失聯合監管，交叉熵損失函數為：

(9)

式中：K為批次數，xi是第yi類中第i個特征，Wj是W中第j行參數，b表示模態的偏置。

2 實驗

實驗環境為Ubuntu 16.04，GPU選用NVIDIA GeForce RTX 2070，深度學習框架Pytorch的版本為1.0.0。輸入圖像大小設置為288×144。為提升訓練和測試精度，采用隨機裁剪和隨機水平翻轉對數據集進行擴充，batch size的大小為32，設置總訓練周期為60個epoch。

2.1 數據集

本研究選用公開的數據集SYSU-MM01[5]和RegDB[11]，使用首位排序精度(Rank-1，R1)、 前10位排序精度(Rank-10，R10)、前20位排序精度(Rank-20，R20)和平均精度(mean average precision，mAP)共同對算法性能進行評估。

SYSU-MM01共有491位行人，其中395個行人用于訓練，96個行人用于測試；同時，22 258張RGB圖像和11 909張紅外圖像用于訓練，301張RGB圖像和3 803張紅外圖像用于測試。由于單鏡頭全景搜索方式更接近現實，因此采用該搜索方式進行性能評估。

RegDB共有412位行人，其中206個行人用于訓練，206個行人用于測試。測試過程中，RGB圖像作為查詢示例，紅外圖像作為圖庫集用以驗證算法性能。

2.2 SYSU-MM01數據集上的測試結果

與本研究所提算法進行性能比較的算法包括方向梯度直方圖(histogram of oriented gradient，HOG)等在內的傳統算法以及包括cmGAN等在內的深度學習算法共14種，從全景搜索/室內搜索和單鏡頭/多鏡頭兩個角度進行評估，4個方面的比較數據見表1。可以看出，室內搜索的性能優于全景搜索的性能，這是因為室內環境較為單一，無明顯光線變化，行人匹配更容易；全搜索下，多鏡頭R1的準確率高于單鏡頭R1，但多鏡頭R1的mAP低于單鏡頭排序R1，這是因為多鏡頭可以從各個角度收集更多的行人照片，更容易進行匹配，而單鏡頭模式則相反。

表1 SYSU-MM01數據集的實驗對比Tab. 1 Comparison with other works on SYSU-MM01 dataset

由表1中可見，HOG/LOMO在R1和mAP中分別只有2.76%/3.64%和4.24%/4.53%，說明傳統算法難以在跨行人重識別中取得良好效果；單流(One-Stream)、雙流(Two-Stream)和零填充(Zero-Padding)將R1和mAP的性能提高了近8%，說明分類損失有助于特征的學習；在R1和mAP的識別性能上，相比于零填充，cmGAN和D2RL的性能均提高了近10%，說明通過網絡優化和訓練，算法的有效性得到了很大提高；DDAG和TSLFN+HC的R1和mAP均達55%左右，同時R10和R20也分別高出1.85%和1.07%，這證明了雙路徑網絡的有效性。綜上，本研究算法在R1和mAP分別達到59.39%和57.81%，R10和R20分別達到93.35%和97.89%，證明了算法的有效性。

表2 RegDB數據集的實驗對比Tab. 2 Comparison with other works on RegDB dataset

圖6 不同算法的注意力機制熱力圖Fig. 6 Heat map of attention mechanism for different algorithms

2.3 RegDB數據集上的測試結果

在數據集RegDB上使用visible2 thermal搜索方式，以RGB圖像作為搜索圖像庫，紅外圖像作為待搜索圖像庫，與其他9個算法的測試結果對比見表2。

由表2可見，本算法的R1和mAP分別為85.44%和73.19%，比X Modality算法的相應值分別高出23.23%和13.01%，比性能最好的TSLFN+HC算法的相應值分別高出1.44%和1.19%；同時R10和R20也達到了最高性能。在RegDB數據集上，本算法的R1和mAP優于其他算法。

2.4 注意力機制的可視化

為直觀顯示注意力機制的性能，比較SYSU-MM01數據集上的紅外圖像的熱力圖，如圖6所示。由圖6可以看出，卷積注意力機制能夠很好地保留行人的特征(如行人姿態)，在RGB圖像中與在紅外圖像中保持相同的身份，表明融合注意機制可以使網絡更好地提取行人特征，提高識別精度；與DSCSN+CCN[19]和RNPR[20]兩種算法相比，RNPR算法因只能識別一小部分行人信息而降低了行人重新識別的準確性，而本研究的注意力機制可以更準確地提取行人特征，更好地保留行人特征信息。

2.5 各模塊消融實驗

本節評估本算法在全搜索和室內搜索方式SYSU-MM01數據集上每個模塊的有效性(如表3)，并評估RegDB數據集上每個模塊的有效性(如表4)。表中，D表示雙路徑網絡的基線網絡結果，B表示BNNeck模塊，C表示添加到RGB分支中的CBAM注意力機制。

由表3和表4可知：①雙路徑網絡具有明顯優勢，卷積塊共享雙路徑網絡在跨模態行人重識別中可以獲得優良的性能。②B的有效性。在兩個數據集上，BNNeck模塊(D+B)的加入顯著提高了算法的性能。③C的有效性。當在網絡中加入CBAM注意模塊(D+C)時，通過注意力機制將兩種模態之間的差異進一步縮小，從而提高算法的性能。④兩個模塊的有效性。將BNNeck模塊和CBAM模塊合并到網絡中(D+B+C)，整體性能進一步提高，說明兩個模塊相互配合，共同促進。

表3 各模塊在SYSU-MM01數據集下的實驗結果Tab. 3 Evaluation of each component on the large-scale SYSU-MM01 dataset

表4 各模塊在RegDB數據集下的實驗結果Tab. 4 Evaluation of each component on the RegDB dataset

2.6 與基準損失函數的比較

將損失函數與基準損失函數進行比較，驗證所提算法的性能。比較4種不同的損失函數：Softmax損失、結合圖注意力機制的Softmax損失[17]、異中心損失以及交叉熵損失，實驗結果見表5。

可以看到，與其他基線損失函數相比，本研究提出算法的性能最好。圖注意力機制的Softmax函數比單一的Softmax函數好，說明圖注意力機制對于紅外-可見光行人重識別性能的重要性。交叉熵的異中心損失增加了模態內相似性，改善了性能。在使用特定模態Softmax和模態共享Softmax進行擴展后，在兩個數據集上的識別性能均得到了提高。

表5 雙路徑網絡下，本算法與基準算法間不同損失函數的性能比較Tab. 5 Performance comparison of different loss functions between the proposed algorithm and the baseline algorithm under the dual-path network

圖7 訓練階段損失變化趨勢Fig. 7 Trend of loss during training

2.7 收斂速度測試

數據集SYSU-MM01上的訓練階段損失變化趨勢如圖7所示，可見由于網絡參數較少，同時采用端到端的設計，使得訓練過程中部分參數能夠及時得到釋放，避免參數量過高的問題，因而使得本算法模型規模小，訓練周期短，收斂速度快。

3 結論

本研究提出一種雙路徑深度學習算法，通過雙路徑分別提取RGB圖像和紅外圖像特征，獲得不同行人的身份信息。引入注意力機制提取RGB圖像特征，通過共享層減少RGB圖像與紅外圖像差異，并通過融合跨模態BNNeck得到共享身份信息；通過多個損失函數交互作用，有效提高算法性能。本算法模型規模小、訓練周期短，能有效減小紅外圖像與RGB圖像模態間差異，算法識別精度優于現有算法。但由于數據集較少，訓練度不夠，本算法僅適用于訓練周期較短的識別任務。