一種用于行人再辨識的批次分塊遮擋網絡

張燦龍，常松雨，李志欣，王智文

1(廣西師范大學 廣西多源信息挖掘與安全重點實驗室，廣西 桂林 541004)2(廣西科技大學 計算機科學與通信工程學院，廣西 柳州 545006)

1 引 言

行人再辨識旨在對不同監控場景中的行人進行身份再認，可廣泛應用于智能安防、人機交互、相冊聚類等領域.受行人圖像分辨率變化大、拍攝角度不統一、光照條件差、行人姿態變化大等因素的影響，行人再識別仍然是一項極具挑戰性任務.

近年來，基于深度學習的行人再識別[1-12]被廣泛關注.人體是高度結構化的，因此通過對人體樣本對的相應部件和整體姿態的比較[5-8]，能有效提高身份識別的準確率.而利用注意力機制[9，10]來捕獲關鍵部位，則能提高人體部件的定位精度.通過度量學習[10-12]則可在同等的部件定位和姿態估計條件下進一步提高行人分類準確度.以上基于部件定位和姿態估計的行人再辨識方法能獲得較高的識別率，但其需要額外的姿態估計和語義信息，從而大大增加了問題復雜度.

也有研究使用分割的方式[1]處理行人部件匹配問題，它們將輸入圖像的卷積特征映射圖從上到下分割成固定數量的水平條帶，然后從這些條帶中聚合特征，來提高特征提取的性能.然而，將多個分支的特征向量聚集在一起通常會導致復雜的網絡結構.為此，本文提出批次分塊遮擋網絡(BPNet)來改進這些問題.BPNet是一個由全局分支和特征遮擋分支組成的網絡，其中全局分支用于對全局特征進行學習和編碼，特征遮擋分支是一個具有特征遮擋功能的雙分支結構，用于對局部細節特征進行學習和編碼.所設計的批處理分塊遮擋模塊與現有的遮擋模塊不同之處在于：批處理分塊遮擋模塊中批處理是訓練過程中參與單一損失計算的一組圖像，遮擋是指在單次迭代中為一批圖像刪除相同的塊，加強對局部區域的注意特征學習.

分塊遮擋是具有分塊特性的正則化方法，它使遮擋結構具有分區的功能，從而形成遮擋子分散，而總遮擋面積不變的特點，增強了對差異較大的場景訓練的魯棒性.另一方面，有規律的遮擋提高了網絡結構的精確度，如果采用將頭部和腳部特征分別存儲的隨機性刪除特征方式[2]，則有可能會使網絡因找不到對應的語義而無法完成局部特征學習.

2 批次分塊遮擋網絡

所提出的批次分塊遮擋網絡如圖1所示，由主干網絡、全局分支、批次分塊遮擋分支組成.

圖1 批次分塊遮擋網絡結構Fig.1 Batch part-mask network

2.1 主干網絡

首先用ResNet-50網絡的前4個卷積層作為主干網絡來提取盡可能多的圖像特征.在經過這4個卷積層之前，首先經過一個步長為2的7×7卷積和一個池化層，使得輸出圖像尺寸僅為輸入圖像尺寸的1/4，這種方法可以大大減小計算量，使用7×7這樣的大卷積可以擴大濾波的視野，避免模型在剛提取圖像特征時就陷入了局部細節而無法關注全局特征.然后依次經過4個由相同的殘差模塊不斷疊加而組成的卷積層.

為了與re-ID網絡進行對照，本文在不改變ResNet結構的基礎上對主干ResNet-50網絡做了輕微的修改，在第4個卷積層之前沒有使用下采樣操作.故得到的特征圖大小不變，是一個尺寸為2048×24×8的特征圖.與ResNet網絡最大的不同之處在于本網絡將res_conv4_1塊之后的后續部分劃分為3個獨立的分支，共享與原始ResNet-50類似的體系結構.

2.2 自我關注注意力模塊

在第3卷積層和第4卷積層之間添加了自我關注注意力模塊(SA attention)[14]調整非局部模型，使批次分塊遮擋網絡在訓練過程中高效且廣泛的分離空間區域關系，網絡結構如圖2所示.

圖2 自我關注注意力模塊Fig.2 Self-attention module

第3卷積層輸出圖像X的特征首先被轉換為2個特征空間f，g以計算注意力，其中f(x)=Wfx，g(x)=Wgx.

(1)

sij=f(xi)Tg(xj)

(2)

βj，i表示在合成第j個區域時模型參與第i個位置的程度.這里，C是通道的數量，N是來自先前隱藏層的特征的特征位置的數量.注意層的輸出是O=(O1，O2，…，Oj，…，ON)∈RC×N.

(3)

此外，我們還將注意力層的輸出乘以比例參數，然后加回輸入要素圖.因此，最終輸出為

yi=γoi+xi

(4)

其中γ是可學習的標量，并將其初始化為0.引入可學習的γ可使網絡首先依賴于局部的鄰域中的線索，然后逐漸學習為非局部證據分配更多權重.

2.3 全局分支

在這個主干網絡上半部分添加了一個全局分支，它和ResNet的前一個卷積層合并成ResNet-50主干網絡.對于全局分支，首先將輸入的特征圖轉化為2048維的特征向量.而后通過1×1的卷積層、一個批處理歸一化層、一個ReLU層將特征向量降低為512維.

全局分支使用的是與ResNet-50網絡相同的全局平均池化(Global Average Pooling，GAP)，此外，全局分支通常被用在多分支網絡體系結構中[13]，來提供全局特征表示，監督對特征刪除分支的訓練，并將特征刪除分支應用于學習良好的特征映射.

2.4 批次分塊遮擋分支

批次分塊遮擋分支由兩個包含不同擦除模塊的分支組成，設單批輸入圖像經主干網絡計算得到的特征張量為T.第1分支中的批量擦除層會隨機擦除張量T中的同一區域，將擦除區域內所有位置的值都歸為0.第2分支則會先將輸入的特征圖均分成上下兩塊，然后在每一塊中隨機地遮擋一小塊，即將遮擋區域內的所有值設為0.設在特征圖T上應用第1分支和第2分支的擦除處理后得到的特征張量分別為T′和T″.然后利用全局最大池化得到2048維的特征向量，最后利用三重態損失和softmax損失將特征向量的維度從2048降到1024.

批次分塊遮擋分支的目的是學習多個關注的特征區域，而不是只關注主要的識別區域.擦除區域的高度和寬度因任務而異，一般來講，擦除區域應該足夠大，且能夠覆蓋輸入特征圖的語義部分.DropBlock[2]提出在輸入的圖片上隨機擦除一大塊區域可能會在訓練的初始階段對網絡學習造成傷害.所以本文采用一種預訓練方式，該方法最初將擦除區域設置的很小，然后逐步增加擦除區域以穩定訓練過程.

與全局分支不同，批次分塊遮擋分支中使用的是全局最大池化(Global Max Pooling，GMP)，因為GMP鼓勵網絡在最具描述性的部分被遮擋后，能識別出相對較弱的特征.通常強特征容易被選擇，導致弱特征很難與其他低值區分開，當強特征被刪除時，GMP可以促使網絡增強弱特征.在BPNet中，不需要在全局網絡分支的監督下改變擦除區域，在訓練的初始階段，當特征擦除分支不能很好的學習時，全局分支能幫助訓練.

同樣值得注意的是ResNet瓶頸塊，它在特征圖上應用了一組卷積層，若不存在此瓶頸塊，全局平均池化層和全局最大池化層將同時作用于T，使得網絡難以收斂.

2.5 多任務學習

批次分塊遮擋網絡中的3個分支用來學習不同的性能表示信息.全局分支具有更大的接收域，全局平均池化從行人圖像中捕獲整體但粗糙的特征，而由第1分支和第2分支在遮擋模塊的作用下，全局最大池化學習到局部但精細的特征.本批次分塊遮擋網絡過程中結合多任務學習聯合訓練.

2.5.1 Softmax損失函數

輸入的特征圖在進入到批次分塊遮擋分支后，我們采用 Softmax分類損失訓練該分類識別網絡.

(5)

其中，B表示小批次訓練樣本數量，表示樣本Xi經過Softmax層計算的樣本屬于真實類別yi的預測概率.

2.5.2 硬三重態損失函數

我們使用批量軟硬邊三重損失來避免邊值參數.

(6)

2.5.3 多任務學習

多任務學習(Multi-task learning，MTL)在計算機視覺和圖像識別等領域取得了很大的成功，MTL通過共享多個人物之間的關聯信息來提升模型效果.本文將多任務學習應用于所提出的BPNet網絡結構中，有效的提高了計算性能.

損失函數：本文采用了軟邊批處理硬三重態損失和Softmax損失這幾種常用于各種深度學習的損失函數，總的訓練損失為它們在全局分支和特征擦除分支上的總和.所以得出以下公式(其中LG表示全局分支上的損失，L1和L2分別代表特征刪除分支上第1分支和第2分支的損失)：

L=λ1LG+λ2L1+λ3L2

λ1+λ2+λ3=1

(7)

其中，λ1，λ2和λ3分別為控制全局分支，第1分支和第2分支的權重.根據實驗權重自適應得到.

3 實 驗

本節在標準的行人再辨識數據集上對提出的具有不同度量學習損失函數的BPNet網絡進行了測試.并將BPNet和經典的PCB，PCB+RPP，BDB等網絡進行了對比和分析.

3.1 數據集

本文的測試工作主要在兩個常用的數據集上：Market-1501[15]和DukeMTMC-reID[16].Market-1501和DukeMTMC-reID 是兩個大規模的行人再識別領域通用的數據集.Market-1501數據集包含從6個攝像機視點觀察到的1501個身份，包含751人的12936幅由DPM[17]檢測到的訓練圖像和750人的19732幅測試圖像.DukeMTMC-reID數據集包含702人的16522幅訓練圖像，2228幅查詢圖像，702人的17661測試圖像，它們共對應1404個不同的人.訓練數據集中的所有圖像統一裁剪為384×128，并將完成裁剪后的圖像順序打亂.測試集中的圖像被調整為384×128，并且只進行了標準化.

3.2 訓練

本網絡使用2個相同的GTX-1080Ti GPUs進行分批訓練，批處理大小為64.每個身份在一個批處理中包含4個實例圖像，因此每個批處理有16個身份.主干網絡ResNet-50是從ImageNet[18]預訓練模型初始化的.網絡使用邊緣硬三重態損失來避免邊值參數.在訓練過程中50輪到200輪學習速率為1e-3，200輪后衰減至1e-4，300輪后衰減至1e-5，整個訓練過程包括400輪，實驗代碼基于Python3.6與Pytorch 0.4編寫.

3.2.1 模型和計算復雜度的比較

表1給出了3種方法的模型計算復雜度和測試速度的比較，這些方法在同一個實驗環境下進行，經過對比可以看出本文的批次分塊遮擋網絡在參數數量、計算復雜度和訓練速度方面均優于其他方法.

表1 在Market-1501上模型計算復雜度和測試速度的數據對比Table 1 Comparison of model computation complexity and testing speed on Market-1501 dataset

3.2.2 分塊數量的不同對性能影響的比較

主干網絡的前幾層對輸入的圖片進行了卷積和下采樣，批次分塊遮擋網絡對輸入特征圖的遮擋在網絡的第4卷積層之后，因為更深處的遮擋不容易丟失過多的特征信息.批次分塊遮擋網絡的前3層特征圖可視化結果如圖3所示.

圖3 ResNet-50前3層卷積層可視化Fig.3 Visualization of ResNet-50 stage1，2，3

實驗中采用新的分割方法進一步對訓練圖像和圖像圖庫進行分割，并選擇具有挑戰性的查詢圖像進行評價.在訓練期間，輸入圖像的大小被調整到384×128，然后通過隨機水平翻轉和歸一化進行擴充.在批次分塊遮擋模塊中設置的擦除高度比為0.3，擦除寬度比為1.0.在所有的行人再辨識數據集中使用相同的設置.

直觀地說，遮擋模塊數量決定了零件特性的粒度，當圖像的分塊數量為1時，遮擋模塊學習特征是全局的.當圖像的分塊數量開始增加時，提高了檢索的準確性，然而，本文在Market-1501和DukeMTMC-reid上進行了實驗，結果如圖4所示，準確性并不總是隨著圖像的分塊數量的增加而增加.當圖像的分塊數量增加到4以上時，無論是rank-1還是mAP都開始表現出輕微的下降.過度增加圖像的分塊數量實際上損害了部分特征的鑒別能力，故在實際應用中，采用part=2，batch=64的訓練方式.

圖4 不同分塊數量在Market-1501上的對比Fig.4 Comparison of the number of different blocks on Market-1501

本網絡中雙分支結構的優勢在于它既可以學習最顯著的外觀線索，又學習細粒度的鑒別特征，同時全局分支監督對特征刪除分支的訓練，使得特征刪除分支應用于一個學習良好的特征映射，從而進一步提高性能，兩分支相互加強，對優化網絡結構都必不可少.

特征刪除分支包括第1分支和第2分支，兩分支的相同點在于都是通過應用批處理在特征圖T上的Part-mask層，提供批量擦除的特征圖T′和T″.不同點在于輸入兩分支的圖片，第1分支在整個特征圖上按批次進行隨機遮擋，而輸入第2分支的圖片首先被水平均勻分割成上下兩塊，然后在每塊中進行隨機遮擋.本文在Market-1501數據集上進行了多次實驗分析BPNet網絡不同的組成部分對實驗結果的影響.每個分支對實驗性能的影響對比如表2所示，其中，Baseline指的是Global Branch，Part 1 branch指的是第1分支，Baseline+Part 1 branch指的是Global Branch+第1分支，BPNet指的是Baseline+第1分支+第2分支.由實驗結果可以看出，將特征圖水平均勻分割成大小相等的兩塊并在每一塊單獨遮擋的方法有效的提高了網絡的識別精度.

表2 全局分支和特征刪除分支在Market-1501上的數據對比Table 2 Global branches and feature deletion branches in comparison of data on Market-1501

Dropout[19]隨機擦除輸入張量的值，是一種廣泛使用的防止過擬合的正則化技術.SpatialDropout[20]隨機地將輸入張量的整個通道歸零，歸零的通道是隨機分配的.批次Dropout意味著在同一個批次內選擇隨機空間位置，并將這些位置中刪除所有輸入特性[22].批次Dropout和批次Part-mask的區別在于批處理時，Part-mask將一塊大的連續區域歸零，Dropout歸零一個個孤立的特征.在Market-1501數據集上Part-mask與其他擦除方法的比較如表3所示.

表3 不同擦除模塊在Market-1501上的數據對比Table 3 Different dropout modules in comparison of data on Market-1501

Part-mask意思是，對于一批連續輸入的張量，每個張量隨機擦除一塊連續的區域[22，23]，批次分塊遮擋和分塊遮擋的區別在于批次分塊遮擋對于同一批輸入的每一個輸入張量都作用于同一區域，而分塊遮擋作用于不同的區域.本文提出的批次分塊遮擋的可視化結果如圖5所示.

圖5 第1分支和第2分支的比較Fig.5 Comparison of part 1 branch and Part 2 branch

3.2.3 自適應權重對性能影響的比較

本文做了多個實驗來測試不同權重對損失函數的影響，實現結果如表4所示，可以看出，當權重系數自適應時性能明顯較高.

表4 不同權重對損失函數在Market-1501上的影響對比Table 4 Different weights on the loss function at comparison of data on Market-1501

3.3 與現有方法的對比

在本小節中，在兩個廣泛使用的公開行人再辨識數據集上，包括Market-1501，DukeMTMC數據集，將本文提出的方法與現有的行人再辨識方法進行對比.對于每一個待查詢圖像，將其與所有查詢庫中的圖像進行對比，然后按歐氏距離進行降序排列，并計算積累匹配特性曲線(即CMC).本文把第一匹配率(即Rank-1)精度和平均率均值(即mAP)作為評價指標.與查詢圖像具有相同身份和相同ID的結果不計算在內.值得注意的是，本文所有實驗是在單張圖像查詢設置中進行的，沒有重新排序.如表5所示，從表中可以觀察到以下結果：

表5 與現有的行人再辨識方法的效果對比Table 5 Comparison with existing re-id methods

1)相比于傳統手工特征，大部分行人再辨識方法都是基于深度學習的方法，這類方法的識別性能有大幅度的提升，這也證明了深度學習在特征表示學習方面的優越性.

2)PCB[13]主要是將輸入的行人圖片水平均勻分割成P塊，在各個模塊上應用全局池化，得到256維的特征向量，然后用N類別的softmax損失進行訓練.BDB主要包含兩個分支，以ResNet-50網絡作為主干網絡，另一個Drop分支抽取局部關注點信息，隨機擦除特征圖中相同的區域.

3)本文將PCB[13]的分區策略與BDB[21]的遮擋模塊相結合并在主干網絡添加了SA注意力模塊提出了批次分塊遮擋網絡BPNet，將輸入網絡的一部分特征圖進行水平均勻分割，在分割后的特征圖單獨進行遮擋，增加了網絡訓練集的多樣性，不論在DukeMTMC還是Market-1501數據集上都有明顯提高.

4)在實驗結果表明BPNet對行人再辨識有明顯的促進作用，如表5所示.在Duke數據集上達到了88.6%的Rank-1精度，77.2%的mAP精度.在Market-1501數據集上達到了95.5%的Rank-1精度，86.3%的mAP精度，比先前的工作分別高出了1%和2.0%的精度.

4 結 論

本文提出了批次分塊遮擋模塊來對行人再辨識的神經網絡訓練進行優化，利用這種訓練機制提出了相應的批次分塊遮擋網絡(BPNet)，此網絡結構利用全局分支來嵌入突出的特征表示，通過具有分塊特性的特征遮擋分支來學習詳細的特征，此批次分塊特征遮擋網絡將輸入的一部分特征圖在全局進行遮擋，另一部分特征圖被水平分為大小相等的兩塊后在每一塊單獨進行隨機遮擋，對于較大差異的場景的訓練增強了穩定性和魯棒性，提供了更加全面的特征表示.實驗結果驗證了該網絡可以顯著改善行人再辨識的檢索基準.受原始模型結構、數據采集和實驗硬件的限制，許多更先進的結構和方法未能應用到本模型中.下一步工作將研究深度學習與其他機器學習方法結合的行人再識別模型，以進一步提高行人預測的準確率和遷移性.