結合上下文信息和融合表征的行人重識別方法

秦昌輝，李小霞，劉曉蓉

（1.西南科技大學 信息工程學院，綿陽 621010；2.特殊環境機器人技術四川省重點實驗室，綿陽 621010）

0 引言

行人重識別[1]是廣泛應用于跨攝像頭監控系統的圖像檢索技術，其核心內容是特征提取和距離度量，已成為計算機視覺領域的研究熱點。由于行人姿態和視角變化、遮擋、攝像頭拍攝環境復雜多變等因素的影響，研究出性能優良的行人重識別方法還是一項巨大的挑戰，吸引了眾多研究人員進行了大量的研究。

傳統的行人重識別技術依靠人工設計的特征來表征行人目標，包括顏色、紋理、HOG（Histogram of oriented gradient）[2]、SIFT（Scale invariant feature transform）[3]等特征及其它們的組合。然而人工設計的特征表征能力有限，難以滿足復雜監控場景的行人重識別任務。由于卷積神經網絡強大的特征提取能力，能夠自適應調節不同類別間的分界面，可以通過卷積神經網絡來學習出一個判別性強的特征空間，然后通過距離度量函數計算特征空間中樣本的距離，取得了顯著的效果。文獻[4]提出了一種融合分類與驗證任務的孿生網絡模型，該模型以圖片對為輸入，以行人身份和圖片對中的行人是否為同一身份為監督信息，通過交叉熵損失和驗證損失來優化模型，能夠同時學習出一個具有判別性的特征空間和相似性度量方法。相較于單一的身份分類模型，該方法充分利用了數據集中不同圖片之間的關系，取得了不錯的識別效果。但是該方法僅使用圖像的一個全局特征，難以適應行人部分遮擋和姿態變化等情況，因此出現了利用行人身體各個部位提供的細粒度信息來描述行人的方法。文獻[5]引入人體骨骼關鍵點檢測方法來獲得行人身體部位的14個關鍵點并劃分行人部位，然后對整個行人和各個部位提取特征，并且在多個尺度上連接各部位特征，最后融合全局特征和各部位特征。該方法通過關鍵點檢測模型實現了行人各部位的語義對齊，但是增加了額外的計算負擔。文獻[6]依據行人身體的各個部位具有一致的語義信息，將主干網絡得到的全局特征水平切分為六個局部特征，并通過精細局部池化（refined part pooling RPP）方法修正統一切分造成的局部區域內語義不一致的問題，優化六個局部特征的損失之和得到判別性高的模型。文獻[7]構建了一個包含全局特征分支和特征丟棄分支的模型，該模型通過隨機丟棄一個批次內同一區域的特征能夠加強對局部區域顯著特征的學習，連接兩個分支的特征可獲得更全面的行人特征表達。

上述方法都致力于提取全局特征和局部特征來獲得具有判別性的行人特征表達，但是多數方法只用了高層特征來學習特征空間，在特征提取過程中對不同位置信息的重要程度未作區分。根據卷積神經網絡自身的特性，低層卷積學習圖像的局部特征，包含較多的細節信息，高層卷積學習圖像的全局特征，表達出較強的語義信息。因此這些方法提取的特征會損失部分細節信息，具有判別性的顯著特征得不到加強，影響了行人重識別的精度。

本文提出一種結合上下文信息和融合表征的行人重識別方法，該方法使用上下文殘差模塊構建主干網絡提取圖像特征，使特征圖每個位置的特征與整個特征圖產生長距離依賴關系，擁有全局感受野，提取的特征信息更加充分。主干網絡提取的高低層特征輸入三個并行分支進行身份識別和度量學習，使用Softmax損失、三元組損失和中心損失聯合優化模型，可以獲得一個類內緊致、類間分離的特征空間。模型推理階段將三個分支歸一化后的特征融合，使用更加豐富的特征來表征行人，獲得更高的行人重識別精度。

1 方法

為了獲得更具判別性的行人特征，本文提出了一種結合上下文信息和融合表征的行人重識別方法，其網絡模型如圖1所示。主干網絡包括1個卷積層、1個池化層和4個上下文殘差模塊（Context Residual Module，CRM）。CRM_3和CRM_4提取的特征圖分別通過三條分支網絡。每條分支網絡由1個廣義平均池化（Generalized Mean Pooling，Gempool）層、1個歸一化模塊（Normalize block）和1個全連接（Fully Connection，FC）層構成。在模型的訓練階段，Gempool層提取的特征用于計算三元組損失和中心損失，全連接層提取的特征用于計算Softmax損失。在模型的推理階段，以通道堆疊（Concatenate）的方式融合歸一化模塊輸出的低層特征f1和高層特征f2、f3，得到更豐富的特征表達。

圖1 行人重識別網絡模型

1.1 上下文殘差模塊

上下文信息是圖像中每個像素與其它像素之間的依賴關系，有利于更加全面地理解圖片所表達的場景信息，減輕遮擋對行人重識別的影響。在標準的卷積網絡中，卷積層在較小的鄰域內建立像素之間的局部依賴關系，通過堆疊卷積層的方式獲得更大范圍內的依賴關系，這種方式會增加模型的計算量和優化難度。為了避免上述問題，本文設計了一個上下文殘差模塊，該模塊利用自注意力機制學習像素的全局注意力權重，通過全局注意力權重對特征圖加權求得到全局上下文信息。本文設計的上下文殘差模塊如圖2所示，由n個殘差單元和一個上下文建模單元串聯組成，本文主干網絡中使用了4個上下文殘差模塊，n的取值依次是3，4，6，3。

圖2 上下文殘差模塊

上下文殘差模塊中的殘差單元結構如圖3所示，輸入特征X一路經過卷積、歸一化和激活層前向傳播得到F(X)，另一路通過恒等映射與F(X)相加，再通過激活層輸出特征。使用殘差結構可以防止深層網絡引起的模型性能退化，有利于模型優化。

圖3 殘差單元結構

本文使用的上下文建模單元如圖4所示，輸入特征圖經過1×1的卷積變換和Sigmoid函數激活后學習到空間注意力權重的概率分布，依賴關系強的位置擁有更高的概率，關系弱的位置概率低，從而達到增強有用特征、抑制無關特征的目的，輸入特征與概率分布相乘得到空間上下文信息。再經過1×1的卷積、歸一化、Mish激活函數和1×1的卷積捕獲通道之間的依賴關系，最終獲得具有全局依賴關系的上下文信息。其中r是通道壓縮率，本文設置為8，可以減少模型的參數量。最后通過相加的操作將上下文信息聚合到輸入特征的每個位置。上下文建模單元定義為式(1)所示：

圖4 上下文建模單元

式(1)中i，j，k表示特征圖的空間位置，N是空間位置的總個數，W1，W2，W3是1×1卷積核的參數，σ是Mish激活函數，X為輸入特征，Z為輸出特征。

1.2 高低層特征融合

為了緩解最大池化或平均池化特征圖造成信息缺失，導致特征的魯棒性和判別性降低的問題，本文使用廣義平均池化對主干網絡提取的特征圖進行池化處理，融合三個分支網絡歸一化后的特征f1、f2和f3得到豐富的行人特征表達。廣義平均池化的輸入為X，輸出為f，計算公式定義如式(2)所示：

式(2)中K為特征圖通道的維數，Xk是特征圖第k個通道的特征，pk是池化參數，因為式(2)的池化操作可微，所以pk可以通過學習得到。當pk趨于無窮時，式(2)就變化為最大池化，當pk=1時，式(2)就變化為平均池化。

在嵌入空間中，Softmax損失主要優化圖像對之間的余弦距離，而三元組損失則是優化圖像對之間的歐式距離，兩種損失函數組合使用時優化目標可能會出現不一致的現象，導致兩種損失不能同時收斂，為了解決這個問題，本文設計了一個歸一化模塊將特征向量歸一化到一個單位超球面附近，使兩種損失函數能夠向一致的方向收斂，歸一化網絡結構如圖5所示。

圖5 歸一化網絡模塊

在模型推理階段以通道堆疊（Concatenate）的方式融合圖1中的f1、f2和f3得到豐富的行人特征，其中f1是低層特征，包含更多的細節信息，f2和f3是高層特征，具有更強的語義信息，融合高低層特征來表征行人可以有效地降低因卷積和池化造成的信息丟失的影響，增強特征的判別性。

1.3 損失函數

為了使模型學習到一個類內更緊致、類間更分離的特征空間，增強特征的判別性，本文使用Softmax損失、三元組損失和中心損失聯合優化模型，損失函數定義如式(3)所示：

總的損失函數是Softmax損失、三元組損失和中心損失之和，式中i為模型的第i個分支，總共三個分支，λ1、λ2和λ3分別是各個損失的權重。Softmax損失可以引導模型學習到一個各個類別之間具有有效分界面的特征空間，具有很好的分類性質，其定義如式(4)所示：

式(4)中的n為一個訓練批次中的圖片數量，C為總的類別數，pj為第i張圖片的預測概率向量，pi是第i張圖片真實類別對應的概率值。三元組損失引導模型向增大類間距離、減小類內距離的優化方向收斂。隨機選擇P個身份，每個身份K個樣本構成一個訓練批次，經過模型提取特征后，使用困難樣本挖掘技術產生困難三元組計算損失，α是邊際控制量，三元組損失函數定義如式(5)所示：

式(5)中α取值為0.3，xa，xp和xn分別是模型提取的錨點、正樣本和負樣本的特征。為了增強特征的聚類性能，縮小類內距離，使用中心損失引導特征向各自的類中心靠攏，中心損失定義如式(6)所示：

式(6)中Cyi是一個批次內第i張圖片對應的類別中心，m是一個批次中圖片的數量。

2 實驗與分析

2.1 實驗環境及參數配置

本文實驗使用的計算平臺是Windows10操作系統，NVIDIA RTX2070 GPU，使用Pytorch深度學習框架構建模型，Adam優化器優化模型參數，Adam的初始學習率設置為3.5×10-4，權重衰減率設置為5×10-4。在訓練模型時，輸入圖片的分辨率設置為256×128，批次大小為32，其中包含8個不同的人，每個人采樣4張圖片，迭代次數為120。損失函數的權重λ1、λ2設置為1，λ3設置為0.0005。

2.2 數據集及評價指標

本文在Market1501[8]和DukeMTMC-reID[9]兩個行人重識別數據集上采用首位命中率（Rank-1）和平均準確度（mean Average Precision mAP）兩個指標衡量本文方法的有效性。Market1501數據集包含1501個身份的32668張行人圖片，采集自清華大學校園中的6個相機。訓練集包含751個身份的12936張圖片，測試集包含750個身份的19732張圖片，訓練集和測試集中包含的人身份不同。DukeMTMC-reID數據集的圖像采集于杜克大學校園內8個不同的攝像頭，訓練集包含702個身份的16522張圖像，另外702個身份的2228張作為檢索圖片，1110個身份的17661張圖片作為被檢索圖片集。

2.3 數據增強

為了豐富數據的多樣性，提高模型的泛化能力，本文使用了數據增強策略，包括標準化、隨機水平翻轉、隨機裁剪和隨機擦除，圖6是輸入圖片經過數據增強后的效果。

圖6 數據增強效果

2.4 實驗結果與分析

為驗證本文方法的有效性，在Market1501和DukeMTMC-reID數據集上進行了對比實驗。實驗結果如表1所示，其中Base方法是以Resnet50為主干網絡提取特征，特征經過如圖1所示的三條分支網絡計算損失，測試時只用f2特征作為行人表征，F是融合f1、f2和f3作為行人表征。由表1中的數據分析可知，本文方法在兩個數據集上Rank-1和mAP指標均有不同程度的提升，其中上下文殘差模塊CRM的使用對于mAP的影響十分顯著，在Market1501和DukeMTMC-reID數據集上分別提高了1.7%和2.6%，圖像的上下文信息可以有效地提高行人在特征空間中的判別性。

表1 不同方法組合的實驗結果（%）

表2是本文方法與目前先進方法在Market1501和DukeMTMC-reID數據集上指標的比較。在所對比的先進方法中，本文方法在兩個數據集上均獲得了最高的Rank-1和mAP。在mAP指標上取得了更顯著的優勢，相較于2019年的BFE方法，在兩個數據集上分別獲得了2.4%和2.8%的提升，驗證了本文方法的有效性。

表2 Market1501和DukeMTMC-reID數據集上不同算法的指標對比（%）

3 結語

在實際應用環境中，卷積神經網絡提取的特征會因行人圖像存在遮擋、姿態和視角變化等復雜因素的影響而降低判別性，針對此問題本文提出一種結合上下文和融合表征的行人重識別方法。首先通過上下文殘差模塊以全局的感受野提取圖像的上下文信息，增強了特征的判別性和魯棒性；然后使用三個損失函數聯合優化模型，使模型收斂到一個類內緊致、類間分離的特征空間；最后融合高低層特征表征行人，使行人特征更加豐富。在Market1501和DukeMTMC-reID數據集上的實驗結果驗證了本文方法提取到了判別性更強的行人特征，有效地提高了行人重識別的準確率。