基于標簽平滑正則化的行人重識別研究

倪旭

摘要：文章采用一種標簽平滑正則化方法，分別把該方法應用到交叉熵損失函數和中心損失函數（center loss）中，實驗結果表明，在Market1501，CUHK03，Dukemtmc-reID行人重識別數據集上，利用該算法可以有效防止模型過擬合，提高模型的泛化能力，提高行人重識別率。

關鍵詞： 行人重識別； 標簽平滑正則化； CMC； center loss； ResNet50

中圖分類號：TP183 文獻標識碼：A

文章編號：1009-3044（2019）08-0150-03

開放科學（資源服務）標識碼（OSID）：

Pedestrian Re-Identification Based on Label Smoothing Regularization

NI Xu

（Jiangsu Key Laboratory of Big Data Analysis Technology，Nanjing University of Information Science & Technology，Nanjing 210044， China）

Abstract：In this paper， a label smoothing regularization method is applied to the cross entropy loss function and the center loss function. The experimental results show that the Market1501， CUHK03， Dukemtmc-reID pedestrian re-identification data sets are utilized. The algorithm can effectively prevent the model from over-fitting， improve the generalization ability of the model， and improve the recognition rate of pedestrians.

Key words： pedestrian re-identification；label smooth regularization；CMC；center loss； ResNet50

1引 言

行人重識別（Pedestrian Re-ID ，Pedestrian Re-Identification）[1]是利用計算機技術判斷在多個攝像機下是否存在特定行人的技術。主要解決跨攝像頭多場景中行人的識別與檢索，給定一個行人，在數據庫中找出該行人的所有圖片。可以對無法獲取清晰人臉圖像的行人進行連續跟蹤，但是由于拍攝的角度，光照，和行人的位置變化，會造成同一個行人在不同攝像頭下拍攝得到的圖片出現很大的差異，影響行人識別精度。

目前，基于特征表示方法和基于度量學習的方法是行人重識別研究的主要方法。特征表示方法研究如何提取魯棒性強的行人特征，度量學習方法研究距離函數，其目的是使得同一個行人的距離小于不同行人的距離。

1.1基于特征表示的方法

由于卷積神經網絡（Convolution Neural Network，CNN）[2]的快速發展，研究者常把行人重識別問題看作分類問題或驗證問題，即利用行人的ID信息作為分類標簽進行分類，或讓網絡自動學習輸入的一對行人圖片是否為同一行人。

1.2基于度量學習的方法

用深度學習處理行人重識別問題時，度量學習是一種有效的方法。度量學習主要利用神經網絡獲取行人特征，計算不同圖片的距離，判斷其相似度。其表現為同一行人的不同圖片相似度大于不同行人的不同圖片。常用的度量學習損失方法有對比損失，（Contrastive loss）[3]、三元組損失（Triplet loss）[4]。

首先，我們輸入的兩張圖片分別為[I1]和[I2]，通過卷積神經網絡提取特征并歸一化，所得的特征向量為[f1]和[f2]。計算這兩特征向量的歐氏距離得到：

[dI1，I2=||fI1-fI2||2] （1）

孿生網絡（Siamese network）常用在對比損失中。輸入為兩張隨機的圖片[Ia]和[Ib]，每一對訓練圖片都有一個標簽[y]，其中[y=0]表示的是他們屬于不同的行人，[y=1]表示兩張圖片屬于同一個行人。從而對比損失函數可以表示為：

[Lc=yd2Ia，Ib+（1-y）（a-dIa，Ib）2+] （2）

其中（[Z）+]表示的是[max（z，0）]，取[z]和0的最大值。閾值參數為[a]，用于控制距離的大小。當輸入為一對正樣本對，[d（Ia，Ib）]會慢慢變小，在向量空間中，同一行人圖片會漸漸聚類在一起。反之，當輸入為負樣本對時，[d（Ia，Ib）]會逐漸變大直到超過[a]。因此，通過最小化[Lc]，可以實現正樣本對之間的距離逐漸變小，負樣本對之間的距離逐漸變大。

目前，度量學習方法廣泛使用三元組損失（Triplet loss）函數，后續也有大量工作對三元組損失函數進行改進。三元組損失需要三幅輸入樣本圖片。和對比損失不同，一個輸入的三元組（Triplet）的三幅樣本圖片分別命名為固定圖片（Anchor）[a]，正樣本圖片（Positive）[p]和負樣本圖片（Negative）[n]，這樣[a]和[p]就形成了一個同類樣本對，[a]和[n]就形成一個異類樣本對。所以三元組損失表示為：

[Lt=（da，p-da，n+a）+] （3）

三元組可以拉近正樣本對之間的距離，推開負樣本對之間的距離，最后使得同一行人圖片在特征空間里形成聚類。

2算法

2.1 標簽平滑正則化

當我們輸入的圖片經過神經網絡進行特征提取，然后進行歸一化后，輸入[x]，模型計算得到類別為[k]的概率為：

[p（k|x）=exp（x）i=1kexp（zi）] （4）

假設真實分布為[q（k）]，交叉熵損失（cross entropy loss）函數為：

[l=-k=1Klog（p（k））q（k）] （5）

最后最小化交叉熵等價最大化似然函數，可得：

[?l?zk=p（k）-q（k）] （6）

假設[q（k）=δk，y]，當[k=y]時，[δk，y=1]，當[k≠y]時，[δk，y=0]。實際中，優化時，對于邏輯輸出，使得達到[zy>>zk]，[k≠y]。

這樣很容易導致模型對于預測結果太自信，從而容易出現過擬合（over-fitting），導致損失函數邏輯輸出的導數變大，降低模型的泛化能力。為了避免模型過于自信，引入一個獨立樣本分布的變量[q（k|x）=（1-ε）δk，y+εu（k）]實驗中使用均勻分部代替[u（k）]，即[u（k）=1K]。

模型即輸出為：

[y=（1-ε）*y+ε/K] （7）

在本文實驗中，選擇K為標簽類別數目。

2.2中心損失函數[5]

交叉熵損失函數可以表示為：

[LS=-i=1mlog（eWTyixi+byij=1neWTjxi+bj）] （8）

其中[wx+b]是全連接層的輸出，因此[log]的輸入就是表示[xi]屬于類別[yi]的概率。

中心損失（center loss）函數可以表示為：

[LC=12i=1m||xi-cyi||22] （9）

其中[Cyi]表示第[yi]個類別的特征中心，[xi]表示全連接層之前的特征。[m]表示mini-batch的大小，這個公式就是希望一個批量中每個樣本的特征離特征的中心距離的平方和要越小越好，也就是類內距離要越小越好。

關于LC的梯度和cyi的更新公式如下：

[?LC?xi=xi-cyi] （10）

[Δcj=i=1mδ（yi=j）·（cj-xi）1+i=1mδ（yi=j）] （11）

其中[δ（condition）]，當condition滿足條件的時候為1，當不滿足條件的時候為0。

上面關于[Cyi]的更新中，當[yi]和[cj]類別不一樣的時候，[cj]不需要更新，當兩者相同時才需要更新。

最后把交叉熵損失和中心損失合在一起，用[λ]控制比重，表達式為：

[L=LS+λLC] （12）

3實驗

3.1實驗公開數據集

Market1501[6]是最常用的行人重識別數據庫。所有的32668張圖片來自6個不同的攝像頭。分別在不同的時間、不同的光照、不同的試場條件下拍攝的。總共有1501個類別，其中751類為訓練集，總共12936張圖片，剩余的750類為測試集，總共19732張圖片。

DukeMTMC-reID[7]數據集是由視頻序列等間隔采樣得到的。由8個攝像頭采集的一共36411張圖片，訓練集圖片為16522張，測試集包含圖片19889張，包含查詢圖片2228張，搜索圖片17661張。數據庫包含1812類，其中1404類出現在超過三個以上的攝像頭，這些出現在多個攝像頭的圖片分為702類訓練集和702類測試集，剩下的408類只出現在一個攝像頭下。

CUHK03[8]數據集取自5個不同視角對，共1467個行人的14000多張圖片。我們采用新的測試協議，類似于Marknet1501，它將數據集分為包含767個行人的訓練集和包含700個行人的測試集。在測試階段，我們隨機選擇一張圖片作為query，剩下的作為gallery，這樣的話，對于每個行人，有多個ground truth在gallery中。

3.2性能指標

在衡量行人重識別性能指標時，累積匹配率，也叫CMC（Cumulative Matching Characteristic）曲線，通常用來度量其識別結果。其具體步驟是先對查詢集中指定對象和候選集中的每個對象進行距離計算，接著對所計算得到的距離進行升序排名，排名后，對比查找對象是否是同一個行人，排名位置越靠前，則說明算法的識別效果越好。通過CMC曲線，可以清晰地看出隨著樣本數目的增加，識別性能的變化情況。CMC曲線表示在匹配前k個結果中，模型找出正確圖片的概率值。橫坐標表示排名得分，縱坐標表示識別率。例如，Rank-k的識別率為P，表示正確的目標在排名結果的前k名的概率為P。通常在評價模型的行人重識別率時，我們考慮的是Rank-1～Rank-10，尤其關注第一個點的行人重識別率，即Rank-1，為第一次匹配成功的概率。可以代表行人重識別算法的真正識別性能。因此，CMC曲線的位置越高，識別效果越好。

現在給一個含有M個行人樣本的查詢集Q，[T=（t1，t2，...，ti，...，tn）]是根據距離的大小得到的[n]個候選集的排名列表，[ri]是排名列表T中[ti]所對應的序號，則CMC曲線可以根據下列公式得出：

[CMC（n）=1Mi=1M1，ri≤n0，ri≥n（n=1，2，...，N）] （13）

平均準確率mAP（mean average precision）反應檢索的人在數據庫中所有正確的圖片排在排序列表前面的程度，能更加全面的衡量ReID算法的性能。

3.3實驗內容

為了驗證本算法的有效性，本文所有的實驗均在電腦配置為64位ubuntu 16.04系統，Inter Core i7-3770CPU4GHz*8 ，內存8GB，顯卡GTX TITAN X。

基礎學習速率設為0.0003，迭代周期設為120，訓練批量設為20，測試批量設為20，使用cpython進行測試，比普通的python測試快近22倍，使用殘差網絡ResNet50為底層框架，并將最后一個conv blockde stride從2改為1 [10]，這樣網絡的參數并不會變化，但是可以得到比原來大一倍的特征圖，這樣可以使得模型的準確率提高約0.8%。其次增加一個部分bottleneck，在全連接分類層的基礎上加一個結構（3.2），添加了一個[bn]（batchnorm）批規范化，其目的是對網絡做歸一化，利于網絡訓練，添加的Dropout（0.5）是為了提高模型的泛化能力，以P=0.5的概率隨機選擇神經元。在行人重識別中，數據集都特別小，這樣在訓練時，由于樣本數少，而用很深的網絡，訓練參數多，這樣很容易出現過擬合問題，加入Dropout可以有效防止過擬合。

[Linear（2048，512）->bn->LeakeyReLU（0.1）->Dropout（0.5）]

（14）

我們以交叉熵損失函數為基礎，加入了標簽平滑正則化方法。與此同時，在中心損失函數基礎上，結合交叉熵損失函數和標簽平滑規則方法。分別在Market1501，DukeMTMC-reID，CUHK03數據集上，使用Resnet50為base model來進行實驗，實驗結果分別如表1、表2、表3所示。

在這里我們只討論各個數據集使用不同損失的mAP和Rank-1情況。

在Market1501數據集上，在交叉熵損失中加入標簽平滑正則化方法，mAP可以提高4.1%，Rank-1可以提高3.3%。在中心損失的基礎上加入標簽平滑正則化方法，mAP可以提高5.7%，Rank-1可以提高3.9%；

在DukeMTMC-reID數據集上，在交叉熵損失中加入標簽平滑正則化方法，mAP可以提高5.3%，Rank-1可以提高4.7%；在中心損失的基礎上加入標簽平滑正則化方法，mAP可以提高4.1%，Rank-1可以提高4.9%；

在CUHK03數據集上，在交叉熵損失中加入標簽平滑正則化方法，mAP可以提高6.2%，Rank-1可以提高6.9%；在中心損失的基礎上加入標簽平滑正則化方法，mAP可以提高2.2%，Rank-1可以提高4.5%。

通過以上三個數據集，以及對比兩組融合了標簽平滑規則的損失函數，可以明顯地看出該方法可以提高行人重識別率。

4 結論

本文主要采用了一種標簽平滑正則化方法，對交叉熵損失函數進行優化，同時優化網絡，增大特征圖，加入歸一化，加入Dropout等能有效解決模型的過擬合問題，提高模型的泛化能力，提高魯棒性。今后的研究方向和重點是在現有的模型的基礎上改進特征提取網絡，進行模型的多特征融合，進一步提高行人重識別率。

參考文獻：

[1]彭志勇，常發亮，劉洪彬，等.基于HSV模型和特征點匹配的行人重識別算法[J].光電子·激光， 2015（8）：1575-1582.

[2]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229-1251.

[3]Hadsell R ， Chopra S ， Lecun Y . Dimensionality Reduction by Learning an Invariant Mapping[C]// Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on. IEEE， 2006.

[4]Cheng D ， Gong Y ， Zhou S ， et al. Person Re-identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function[C]// Computer Vision & Pattern Recognition. IEEE， 2016.

[5]Wen Y ， Zhang K ， Li Z ， et al. A Discriminative Feature Learning Approach for Deep Face Recognition[M]// Computer Vision – ECCV 2016. Springer International Publishing， 2016.

[6]Zhang L ， Xiang T ， Gong S . Learning a Discriminative Null Space for Person Re-identification[J]. 2016.

[7]Gou M ， Karanam S ， Liu W ， et al. DukeMTMC4ReID： A Large-Scale Multi-camera Person Re-identification Dataset[C]// Computer Vision & Pattern Recognition Workshops. IEEE， 2017.

[8]Liao S ， Hu Y ， Zhu N X ， et al. Person re-identification by Local Maximal Occurrence representation and metric learning[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE Computer Society， 2015.

[9]Paisitkriangkrai S ， Shen C ， Hengel A V D . Learning to rank in person re-identification with metric ensembles[J]. 2015.

[10]Sun Y ， Zheng L ， Yang Y ， et al. Beyond Part Models： Person Retrieval with Refined Part Pooling （and a Strong Convolutional Baseline）[C]// European Conference on Computer Vision. Springer， Cham， 2018.

【通聯編輯：唐一東】