基于數據增強和多層反向傳播網絡的行人重識別研究

摘 ?要：行人重識別在模式識別中占據很大的比重，這項技術的目的是識別出不同攝像機在不同時間且處于不同環境下的行人是否為相同身份。為了更好地表達行人特征，提出了一種數據增強和多層反向傳播網絡的方法（DAML）。文章認為樣本圖像類型的稀少和深度網絡傳播過程中數據丟失是導致識別率低的重要因素。我們希望增加圖像樣本數量，讓深度網絡中的每一層都進行回傳，以提高識別率。在Market-1501、CUHK03和DukeMTMC-reID等主流數據集上，我們的方法取得了較好的效果。

關鍵詞：行人重識別;數據增強;多層反向傳播;特征

中圖分類號：TP391.4 ? ? ? 文獻標識碼：A文章編號：2096-4706（2021）13-0170-03

Pedestrian Re-Identification Research Based On Data Enhancement and Multiple Layer Back Propagation Network

LUO Feng

（Aviation Maintenance Sergeant School， PLA Air Force Engineering University， Xinyang ?464000， China）

Abstract： Pedestrian re-identification occupies a large proportion in pattern recognition. The purpose of this technology is to identify whether pedestrians under different cameras at different times and in different environments have the same identity. In order to express the characteristics of pedestrians better， a data augmentation and multiple layer back propagation network method （DAML） is proposed. It is considered that the scarcity of sample image types and data loss in the process of deep network propagation are important factors leading to low recognition rate. We hope to increase the number of image samples and let each layer in the deep network pass back to improve the recognition rate. Our method has achieved good effects on mainstream data sets such as Market-1501， CUHK03 and DukeMTMC-reID.

Keywords： pedestrian re-identification; data enhancement; multiple layer back propagation; feature

0 ?引 ?言

行人重識別是一種使用計算機視覺技術來評估特定行人是否出現在圖像或視頻序列中的技術，被廣泛認為是圖像檢索的子問題。具體來說，提供一個查詢人物圖像，然后我們希望匹配在人物圖像候選集中相同的人物圖像。然而，只要使用檢測器，誤差是不可避免的。常見的影響因素有視角、遮擋物、照明條件以及人物姿勢的變化，它們使行人重識別問題成為一個非常具有挑戰性的課題。因此，我們提出：（1）一種在不改變標簽數量的情況下進行數據增強的方法，并將其應用于人的重新識別，以獲得魯棒性更強的特征，從而提高識別率。（2）一種多層反向傳播網絡的方法來連接深度模型各層的特征，該方法關注不同層之間的特征信息，以提高精度。

1 ?相關方法

數據擴充和特征表示是行人重識別技術的兩個重要組成部分。由于視角、光照、遮擋和姿勢的變化，行人特征很容易模糊，數據增強是提高識別率的首選方法。

在實踐中[1]，介紹了各種常用的數據增強方法，包括傳統的旋轉、翻轉、縮放、平移、對比度、噪聲以及Gan數據生成等方法。作者提出了這種方法，并取得了一定的成效。Zhun Zhong等人在文獻[2]中提出了一種在圖像中隨機一個區域用噪聲對其進行遮擋的方法，該遮擋物可以是黑色塊、灰色塊或隨機噪聲等。在文獻[3]中，作者設計了一種名為CamStyle的方法來消除相機風格的差異。使用CycleGAN可以將標記的訓練圖像樣式化到每個攝影機，并與原始訓練樣本組合，使得訓練集完成增強。除了數據擴充外，加強網絡模型也是一種改善特征表示的方法。例如，MGN[4]是一個多分支深度網絡，通過將圖像分割成多個條帶，得到多粒度局部特征表示[5]。提出了一種名為SPReID的方法，通過預先訓練好的行人語義分析網絡模型獲取人物圖像的每個語義部分，提取每個部分的局部特征進行比對。

2 ?設計方法

在本節中，我們將詳細介紹所提出的方法。我們將在第一小節中描述圖片的數據增強。在第二小節中，我們將描述多層反向傳播網絡的體系結構。

2.1 ?數據增強

在深度學習中，我們使用數據集微調深度網絡模型時，經常會遇到一些因為數據嚴重不足導致結果不理想的情況，原因是數據樣本較小時，很容易導致過度擬合。此外，在收集數據時同樣也存在一定的挑戰。例如：（1）我們收集的數據只是真實時空分布的一部分，與ImageNet[6]擁有125萬張圖像相比，行人重識別數據集就顯得極為稀少了。（2）大部分行人重識別數據集都是在校園內采集的，由于涉及個人隱私和肖像權，我們很難在不同的時間和環境收集更多的人物圖像。

因此，我們建議在不改變標簽數量的情況下增加數據，并將其應用于行人重識別中。我們所提數據增強的流程圖如圖1所示。我們可以看到，輸入圖像是隨機選擇的，按照一定的概率選擇原始圖像或者轉換成另一種類型的圖像。其中，原始圖像保證了數據的真實性，翻轉圖像增加了視角變化中的樣本，高斯噪聲增加了樣本的多樣性，顏色抖動增加了不同光照變化中的樣本，隨機擦除增加了遮擋對象中的樣本。圖中p代表選取不同樣本的概率，p1+p2+p3+p4+p5=1.0，我們通過大量的對比實驗，證明概率按照p1=0.4、p2=0.1、p3=0.1、p4=0.1、p5=0.3這樣分配時效果最好。

2.2 ?多層反向傳播網絡

2.2.1 ?網絡體系結構

眾所周知，幾乎所有深度神經網絡從上一層傳播到下一層的過程中，由于圖像特征尺寸的減小，一些細節特征不可避免地會丟失。因此，我們提出了多層反向傳播網絡，它力求通過中間節點的反向傳播，充分利用網絡傳輸過程中丟失的特征信息。我們的多層反向傳播網絡是在原始DenseNet121[7]網絡基礎上實現的。

多層反向傳播網絡的結構圖如圖2所示。首先，我們保持原始DenseNet121網絡模型的前四層不變，因為DenseNet121網絡模型中前幾層的卷積核相對較小，全局圖像特征很少出現在網絡模型的前幾層內。隨后我們將Denseblock塊和transition層視為一個整體，并將其定義為Dense-conv層。我們從Dense-conv2層開始連接MaxPooling，然后將特征向量劃分為兩個子流。其中一個子流連接全連接層后用于計算Softmax損失，另一個子流先用Conv層進行處理，減小特征向量尺寸后用于計算Tripletloss損失，我們將這一套設計看成一個整體并將其定義為layer1。隨后，我們在Dense-conv2層的末尾添加Dense-conv3層，然后重復前面的操作并將其定義為layer2。按照此設計一直到第4層。最后，我們將所有降維處理后的特征向量連接起來作為最終的特征表示。

2.2.2 ?損失函數

為了提高多層反向傳播網絡學習特征的能力，我們參考文獻[4]使用Softmax損失和Tripletloss損失作為訓練階段的損失函數。這兩個損失函數被廣泛用于解決各種分類問題。

在網絡中，我們在每個layer層的第一次分流MaxPooling之后直接使用Softmax損失進行人員分類，定義為：

其中Wk表示k類的權重向量，我們用N代表mini-batch，C是用來表示訓練集中的類數。而在每個layer層的第二次分流中，我們用一個卷積減少特征向量的尺寸后使用Tripletloss損失來提高排序性能：

其中fα（i）、fp（i）、fn（i）分別對應的是錨特征、正樣本以及負樣本的特征。此外，p代表行人身份的種類，K代表在mini-batch中每個身份用有圖片的數量，我們設定p=1，…，K;n=1，…，K;j=1，…，P，同時滿足j≠i，α表示最小間隔，它的作用是用來控制內部之間的差異，[*]+是ReLU的激活函數。

我們這樣設置不僅考慮了大粒度的特征向量也考慮了小粒度的特征向量，從粗到細，兩者相輔相成，因此這種組合設置具有很強的收斂性。

3 ?實驗

我們在三大主流行人重識別數據集上進行了實驗，包括Market-1501[8]、CUHK03[9]和DukeMTMC-reID[10]。

我們首先使用所提出DAML方法在Market-1501數據集上進行實驗。實驗結果如表1前兩列所示，我們可以看到我們的方法DAML取得了良好的結果，Rank-1=93.8%，mAP=91.1%。與排名第二的方法相比，我們的方法分別在Rank-1和mAP上高出1.1%和8.6%。由此說明所提出的DAML方法可以在Market-1501數據集上提高行人重識別的性能。

接著，在具有挑戰性的DukeMTMC-reID數據集上，我們將DAML方法與幾種最先進的方法進行了比較。實驗結果在表1三、四列展示，我們的方法DAML達到了Rank-1=89.3%，mAP=85.6%，與其他方法相比我們的方法有小幅度的提升，實驗證明DAML的方法在DukeMTMC-reID數據集上是真實可行的。最后，我們使用DAML方法對新訓練/測試協議下的CUHK03數據集進行了實驗。實驗結果在表1的后四列所示，我們可以看到，我們的方法DAML在Labeled中達到了Rank-1=82.3%、mAP=81.2%。此外，我們在Detected中達到了Rank-1=76.4%和mAP=75.6%。與其他方法相比，我們的DAML方法取得了極佳的效果。

4 ?結 ?論

深度學習是行人重識別的主流研究方向。本文正是針對這一研究方向，創新了兩種真實可行的研究方法。第一種是利用數據增強技術增加訓練樣本的多樣性，第二種是在原有DenseNet121的基礎上引入多層反向傳播網絡，增加人物特征的魯棒性，進一步提高了實驗精度。我們在三個大型數據集上取得了良好的結果，并且實驗表明我們的DAML方法是真實有效的。

參考文獻：

[1] PEREZ L，WANG J. The Effectiveness of Data Augmentation in Image Classification using DeepLearning [J/OL].arXiv：1712.04621 [cs.CV].（2017-12-13）.https：//arxiv.org/abs/1712.04621.

[2] ZHONG Z，ZHENG L，KANG G L，et al. Random Erasing Data Augmentation [J/OL].arXiv：1708.04896 [cs.CV].（2017-11-16）.https：//arxiv.org/abs/1708.04896v2.

[3] ZHONG Z，ZHENG L，ZENG Z D，et al. Camera Style Adaptation for Person Re-identification [J/OL].arXiv：1711.10295 [cs.CV].（2017-11-28）.https：//arxiv.org/abs/1711.10295v2.

[4] WANG G S，YUAN Y F，CHEN X，et al.Learning Discriminative Features with Multiple Granularities for Person Re-Identification [J/OL].arXiv：1804.01438 [cs.CV].（2018-04-04）.https：//arxiv.org/abs/1804.01438

[5] KALAYEH M M，Basaran E，Muhittin G，et al. GokmenHuman Semantic Parsing for Person Re-identification [J/OL].arXiv：1804.00216 [cs.CV].（2018-05-31）.https：//arxiv.org/abs/1804.00216.

[6] JIA D，DONG W，SOCHER R，et al.ImageNet：A large-scale hierarchical image database [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami：IEEE，2009：248-255.

[7] HUANG G，LIU Z，MAATEN L V D，et al.Densely Connected Convolutional Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu：IEEE，2017：2261-2269.

[8] LI W，ZHAO R，XIAO T，et al. DeepReID：Deep Filter Pairing Neural Network for Person Re-identification [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：152-159.

[9] ZHENG L，SHEN L Y，TIAN L，et al. Scalable Person Re-identification：A Benchmark [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1116-1124.

[10] ZHENG Z D，ZHENG L，YANG Y. Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in Vitro [C]//2017 IEEE International Conference on Computer Vision （ICCV）.Venice：2017，3774-3782.

作者簡介：羅鋒（1993—），男，漢族，河南光山人，助教，碩士，研究方向：人工智能、模式識別。