基于Camstyle改進的行人重識別算法

張師林，曹 旭

北方工業大學 城市道路交通智能控制技術北京市重點實驗室，北京 100144

1 引言

行人重識別是廣域視頻監控中的一項重要任務，其目的是跨攝像頭識別出同一個人，在交通、公共安全和視頻監控方面發揮著重要作用。如果當前有一個需要查詢的人，行人重識別任務需要從部署在不同位置的多個攝像頭收集的數據中排列出最可能的目標。行人重識別難點在于人體姿勢、照明和視野的不同所引起的行人姿態和外觀的變化，攝像頭的差異性是也一個重要的因素，它對行人重識別的準確性有很大的影響。本文是基于Camstyle[1]實現的，利用傳統方法，如kissme[2]、xqda[3]等很難去解決以上問題。近年來，深度學習方法[4-8]得到了很好的效果，文獻[4]提出了預訓練卷積神經網絡模型在行人數據庫上進行微調的方法，從而得到高維的深層行人特征。以上方法都利用深度學習得到特征，將行人重識別作為一項排名任務。

有限數量的樣本和不同攝像頭存在的差異使深度學習的方法沒有更好體現其優勢。根據文獻[9]總結，在數據集Market-1501[10]中每個人的樣本數量平均只有17.2張圖片，數據集CUHK03[11]樣本數量為9.6張圖片，數據集DukeMTMC[12]樣本數量為23.5張圖片，這將導致深度學習方法出現過擬合現象。為了克服這些問題，在CycleGAN[13]啟發下，提出了攝像頭風格學習的方法。在一組攝像頭收集的圖像樣本中，每個攝像頭收集的圖像樣本都可以通過CycleGAN網絡轉換成其他攝像頭風格的圖像。在Market-1501中，數據集的收集是由6個不同位置的攝像頭完成的，1個攝像頭拍攝的圖像通過CycleGAN網絡可以被轉換為其他5個攝像頭的風格，轉換后的圖像使用其原圖像的標簽，真實的圖像和轉換風格后的圖像組合成新的訓練集。如圖1所示，引入攝像機風格轉換圖像，深度學習模型可以學習更多的特征，得到更豐富的行人信息，本文方法應用triplet loss做度量學習獲取有區分力的特征，兩者結合可以增加類內樣本的多樣性，使類內更凝聚，增大類間距，并提高模型的泛化能力。

圖1 Market-1501數據集風格轉換后分類結果

全局特征學習是從圖像樣本上提取代表全身的特征信息，并得到最顯著的外觀線索以此來表示人的身份信息。但是，在多變的環境中，一些重要的細節信息往往被忽略，這可能會影響識別的準確性。為了解決這一問題，本文提出了多粒度損失來增強攝像頭風格學習得到的特征信息，以此方法可以將全局信息和局部信息在不同的粒度上相結合，得到更多的細節信息，對全局信息補充，并一定程度上降低行人樣本不對齊對識別準確度的影響。訓練樣本由粗粒度到細粒度劃分如圖2所示，不同粒度的分區使信息內容有多樣性，通過多粒度特征和全局特征相結合，可以得到更有區分力的行人特征。

圖2 多粒度分割

本文方法的貢獻主要有兩方面。首先，提出了攝像頭風格學習，它不僅消除了攝像機的風格差異，減少了CNN過擬合的影響，還增加了訓練樣本的多樣性，提高了模型的泛化能力。其次，將多粒度特征和全局特征結合起來，得到更多的細節信息，對全局信息進行補充，并提高識別準確度。實驗結果表明，該方法具有良好的性能。在Market-1501數據集上，Rank1的準確率為96.1%，mAP的準確率為93.8%，獲得了當前已發表最高準確度。

2 相關研究工作

隨著深度學習的不斷發展，很多深度學習的方法在行人重識別領域被提出，如文獻[14-18]，文獻[14]提出了一種基于特征融合的行人重識別方法，融合后的特征對行人圖像具有更好的表述能力。文獻[16]提出超分辨率特征映射的方法，可以使低清的probe圖像得到高清特征。訓練分類模型是一種有效的方法，可以充分利用行人的標簽，如文獻[19-25]，文獻[19]提出了IDE方法，將行人重識別問題作為圖像分類問題，并使用了ImageNet[26]預訓練模型。文獻[27]隨機擦除輸入訓練樣本圖像中的矩形區域，可防止模型過擬合，使模型更具魯棒性。文獻[28]從其他數據集中隨機選擇偽積極樣本作為附加訓練樣本，結合局部特征得到一個更有區分力的行人特征，并提出RPP方法，對局部特征重修正調整。

2.1 生成對抗網絡

獲取數據困難和容易出現過擬合是行人重識別的重要問題，針對這些問題，人們提出了幾種基于生成對抗網絡的數據增強方法和正則化方法。文獻[9]提出LSRO方法，將GAN網絡生成的無標簽虛假圖像與真實有標簽的原訓練集結合作為新的訓練集，以實現半監督學習。文獻[29]使用GAN網絡實現跨數據集的背景遷移。姿態多變性是行人重識別的難點之一，為了克服這個問題，文獻[10]使用GAN網絡生成了8個姿勢的圖像樣本，用來代表所有攝像頭視角的行人姿勢。文獻[30]使用條件GANs學習從輸入到輸出圖像的映射。文獻[31]提出了新的GAN網絡SPGAN，它可以將生成的圖像結合行人重識別loss來解決區域偏差問題。文獻[32]提出了一個新的數據集SyRI，通過更改HDR等參數，可以生成100多個環境中的行人樣本數據。文獻[33]提出區域轉換網絡，在保留原始樣本身份的同時，結合多類GAN損失來生成不可見區域的圖像樣本。Camstyle與本文的工作更為相似，但本文的方法與之不同，Camstyle主要考慮生成樣本的質量，本文使用triplet loss結合風格轉換樣本來提高行人重識別的性能。

2.2 行人對齊

人臉對齊已經被深入研究，文獻[34]提出了一種無監督方法，根據其他圖像的分布來對齊臉部，然后用卷積RBM表述符對該方法做進一步提升。在行人重識別中，對行人進行檢測時會引入過多的背景信息，還可能出現圖像部分缺失的情況，所以，行人對齊是實現更高識別精度的必要方法。早期已經有幾個工作提出了行人對齊的方法，如身體各部位對應匹配[2，11]，相比與早期的行人對齊工作，文獻[25]通過深度學習的方法得到用于仿射變換的6維向量，網絡可以自動對輸入圖像進行矯正，行人對齊和行人識別有一個好的相互作用，行人識別準確度越高，行人對齊效果也會越好，而當行人對齊好的時候，行人識別也會得到好的準確度，此方法相比之前的方法也獲得了更高的準確度。以上工作都對輸入樣本的形態進行了改變，行人圖像樣本在對齊的過程中會出現一定的扭曲，這樣會對識別準確度造成一定影響。與上述工作不同，本文是從另一角度解決行人對齊問題。在文獻[35]的啟發下，設計了多粒度損失來解決行人對齊問題。

圖3 網絡結構圖

3 方法實現

本章將分別介紹網絡結構和方法的實現過程，總體框架如圖3所示。圖中分為4分支，第一分支使用triplet loss，其他分支使用cross-entropy loss。

3.1 網絡結構

使用resnet-50[36]作為主網絡，并使用文獻[1]中的訓練策略，該策略使用Imagenet[26]為預訓練模型。對resnet-50做了一些改變：（1）全局平均池化層之前的結構與resnet-50模型相同保持不變，只將最后一個卷積層的卷積步幅改為1，不同于Imagenet的多物種分類，行人重識別可以歸屬為細粒度的類內識別，卷積步幅為1可以得到更多的細節特征，更好地表述不同人的信息。（2）刪除了全局平均池化層并改為對應不同分支的池化層，（3）在主網絡后添加了一個1×1卷積層和一個全連接層。卷積層用來減少特征維度，卷積后，通道數從2 048變為256，然后接BN層[37]并使用ReLU激活，BN層用于參數歸一化，并緩解過擬合。全連接層有兩種，一種的輸出維度是128，用于triplet loss度量學習，命名為“FC-128”，另一種的輸出維度等于訓練集中行人身份的數量，用于cross-entropy loss分類，命名為“FC-#ID”。

在圖3中，包含4個分支。第一個分支的輸入為原訓練集樣本和由原訓練樣本風格轉換后的樣本。在訓練過程中，將原訓練集樣本和風格轉換后樣本歸為同一身份標簽。其他分支與第一分支的不同處包括有：（1）它們含有不同的粒度。第一個分支使用全局特征，而第二個分支和第三個分支分使用局部特征，最后一個分支沒有分割，但使用了不同的損失函數。（2）全連接層由“FC-#ID”代替“FC-128”。（3）使用cross-entropy loss代替triplet loss。所以，網絡有兩個損失函數：用于分類的cross-entropy loss和用于相似性度量學習的triplet loss。對于有標簽的訓練集樣本，IDE[19]是有效的訓練方法，可以利用cross-entropy loss將訓練過程轉化為一個分類問題，cross-entropy loss可以表示為：

ns表示每一批次送入網絡訓練的樣本數量，pi(y)是輸入樣本類別屬于y的概率值。

對于相似性度量學習，采用了文獻[38]中的triplet loss，triplet loss可以設置margin，margin可以控制正負樣本的距離，使類內距離趨小，類間距離趨大，當行人圖像特征歸一化后，可以通過設置閾值來更好地判斷行人身份是否屬于同一個ID，結合CycleGAN生成的數據，訓練樣本增多可以使triplet loss不易出現過擬合現象，提高訓練后模型的泛化性，公式可以表示為：

X表示為在一批次中訓練時輸入的圖像，xa是一個錨點，xa和xp屬于同一類別，它們形成了一個積極的訓練對，xa和xn屬于不同的類別，它們形成了一個消極的訓練對，m是一個距離參數，它可以拉近同類別之間的距離并限制不同類別之間的距離，d(?)表示兩個圖像樣本在特征映射空間的歐式距離。設置m為0.3，并將全連接層FC-128的輸出特征作為嵌入特征用來計算triplet loss。

3.2 攝像頭風格學習

由不同攝像頭造成的圖像風格變化是影響行人重識別準確性的重要因素。在訓練集中，同一身份行人的樣本數量很少，但包含了很多的圖像風格，這樣訓練后的模型不會對行人圖像產生一個好的特征表述，為解決這個問題，采用攝像頭風格學習方法。真實圖像和攝像頭風格學習生成的圖像示例如圖4所示，訓練集被增強為原圖像和風格轉換圖像的組合，生成的虛假圖像填補了真實數據點之間的空白，并在特征空間中擴展了類邊界，增強后的數據集可以使生成的嵌入特征對類別的分布有一個更好的表述。

圖4 風格轉換

本文方法中，通過攝像頭j(j∈1,2,…,C)收集真實圖像樣本xs,j，C是所用數據集中使用攝像頭的數量，{xs*,i|i∈1,2,…,C?i≠j}，在訓練過程中將xs,j和生成的假圖像設置為同一類別。為簡單起見，省略了攝像頭的下標，使用真實圖像樣本聯合生成的假圖像樣本來計算triplet loss，損失函數可以表示為：

ns是一個訓練批次中真實圖像樣本的數量，ns*是生成的圖像樣本的數量。在實驗中，如果數據集是被C個攝像頭收集的，那么對于每一個真實圖像樣本都會生成C-1個假圖像樣本。

λ為損失函數LT所占的權重，triplet loss是必不可少的，它可以使模型獲得更有區分力的特征，如果沒有triplet loss，訓練后得到的結果會受到很大的影響。

如圖5所示，圖中用softmax表示cross-entropy loss，如果只使用cross-entropy loss，會出現類內距離大于類間距離的現象，影響識別準確度，通過結合triplet loss，可以使類內距離更緊湊，增加類間距離，提高識別準確度。

圖5 加入triplet loss對分類效果的影響

3.3 多粒度損失

在行人重識別中，用于訓練的圖像樣本是通過攝像頭拍攝的，場景比較復雜，全局特征得到的是一個整體性的圖像表述，這樣去區分圖像的前景和背景就比較困難，特別是當有遮擋，光線劇烈變化等情況發生時，全局特征可能就被破壞了，以上分析可知，只考慮全局特征可能會忽視掉重要的細節特征。在3.2節的基礎上，將多粒度特征與全局特征相結合，不同的分區數量，代表圖像信息的多樣性，隨著分區數量的增加，局部特征能夠更集中地去表現所在分區的特征信息，從而過濾其他區域的信息，這樣可以學習到更多重要的細節信息，并且通過不同粒度的結合又不會丟失局部信息與整體信息的聯系。如圖3所示，模型的網絡結構以resnet-50為主干，替換其全局平均池化層后接分支網絡，四分支共享主干的網絡參數，所以增加多粒度后模型計算的復雜度不會提升很多，第一個分支損失函數可以表示為LT，其他分支可以分別表示為，Cross-entropy loss函數可以表示為：

上面的損失函數包含有7個損失，LCross為第二、第三、第四分支所有損失函數的集合，它包含了6個損失，具體表示形式為公式（5），λ是損失函數LT的權重，改變λ值對識別準確度有較大的影響，圖6顯示了使用不同λ值對重識別準確度的影響，這里設置λ為0.1。LT為第一分支的損失函數，用于樣本間的度量學習，可以得到更有區分力的特征，具體表現形式為公式（3）。多粒度損失結合攝像頭風格學習能更好地表述圖像的細節，降低相機差異的影響。

3.4 均衡采樣策略

行人重識別數據集由不同人的圖像組成，每個人都有不同數量的圖像樣本。通常情況下，每批次訓練并沒有對每個ID的樣本數量進行限制，訓練數據是從全部訓練集中隨機選取的，這樣就會使輸入的訓練數據對于每個ID不平等，擁有更多圖像樣本的ID訓練的次數就越多，圖像樣本越少的ID訓練得越少。

這樣訓練出來的模型會對擁有更多圖像樣本的ID提供更多的信息，但是每個人都應具有同樣的重要性，應該受到平等的對待，所以，引入了均衡采樣策略。對于每一批次的訓練樣本，隨機選擇P個不同的人，對選擇的每一個人隨機抽取K個訓練樣本，這樣每一批次的訓練圖像樣本個數為P×K，在所有ID都被取樣之后，認為完成了一個epoch。這種均衡采樣策略與文獻[38]中提出的策略相似，但在本文中是使用它來消除類之間的不平衡。這樣，對于有更多圖像的人，只是忽略了圖像多出的部分，以后的采樣也能抽取到未被采樣的樣本，而對于圖像較少的人，可以多次使用相同的圖像，這種方法保證在訓練過程中每一批次每個ID都有相同數量的訓練樣本。

圖6 λ對準確度的影響

3.5 性能分析

本文通過CycleGAN生成可用于訓練的攝像頭風格轉換圖像，增加了訓練數據的多樣性，結合triplet loss使類內樣本更緊湊，增加類間距離，減少類內距離大于類間距離的情況，起到了聚類的作用，多粒度特征可以對全局特征做一個補充，學習全局特征可以獲得行人圖像比較粗糙的信息，對一些細節信息不會有好的表述，多粒度特征可以對行人圖像樣本局部區域進行更精細的表述，不同分區的分支所獲取的特征結合全局特征形成更有區分力的行人特征，從而提高識別準確度。

4 實驗分析

本文主要在 Market-1501[10]和 DukeMTMC-reID[12]數據集中驗證了提出的方法，這兩個數據集都是大型數據集并對每張圖像樣本提供了攝像頭的標簽。

4.1 行人重識別數據集

Market-1501是一個大型的行人重識別數據集，是由校園中的6個不同位置攝像頭收集的圖像樣本組成。它包含了32 668圖像樣本，這些樣本屬于1 501個ID。數據集分為兩個部分，訓練集和測試集，訓練集包含12 936個圖像樣本，它們屬于751個ID，測試集包含19 732個圖像樣本，它們屬于750個ID。這些圖像由DMP[39]方式獲取，所以會有很多的圖像并不對齊。訓練集中每個ID平均有17.2張圖像。測試集中選取3 368個樣本作為查詢圖像，它們分屬750個ID，在實驗中使用單查詢方式評估結果。

DukeMTMC-reID是新發布的多目標多攝像頭行人跟蹤數據集的一個子集。原始數據集包含8個不同攝像頭拍攝的85 min高分辨率視頻。本數據集是從視頻中剪切行人圖像獲取的，每120幀剪切一次行人圖像樣本。數據集由36 411個行人圖像樣本組成，這些樣本屬于1 404個ID。與Market-1501數據集的劃分類似，數據集包含來自702個ID的16 522個訓練圖像樣本，來自其他702個ID的2 228個查詢圖像樣本和17 661個待匹配的圖像庫樣本。

4.2 實驗參數設置

所有實驗是在Pytorch框架實現的，硬件基礎為GeForce GTX TITAN GPU。

4.2.1 攝像頭風格轉換模型

對于數據集Market-1501，它是由6個攝像頭收集的數據樣本，所以需要訓練15個CycleGAN模型。對于DukeMTMC-reID，它由8個攝像頭收集的數據樣本，所以需要訓練28個CycleGAN模型。在訓練時，輸入圖像的像素設置為256×256，并且使用隨機翻轉和隨機擦除來進行數據增強。使用Adam[40]優化器進行參數更新，需要訓練50個epoch，前30個epoch，辨別器和生成器分別設置學習率為lr=0.000 1和lr=0.000 2，在剩下的20個epoch中學習率線性衰減到零。

4.2.2 行人重識別模型

輸入圖像大小調整為256×128像素。使用隨機剪切、隨機翻轉和隨機擦除做數據增強。將Dropout rate設置為0.5，使用SGD優化器，并將momentum設置為0.9，權重衰減因子設置為5E?4，并將Nesterov設置為true。訓練時初始學習率設置為0.06，在訓練100個epoch和150個epoch后分別衰減為6E?3和6E?4，在完成200個epoch后停止訓練。每一個訓練批次分別取64個真實圖像樣本和32個生成的圖像樣本，隨機選擇P個不同的人，對選擇的每一個人隨機抽取K個訓練樣本，本文K設置為4，所以對于真實圖像和生成圖像P分別為16和8，使用真實圖像訓練分類模型計算crossentropy loss，使用真實圖像和生成圖像相結合計算triplet loss。在測試中，使用歐式距離去計算查詢圖像和圖像庫樣本的相似性。

添加多粒度損失，需要在以上基礎做適當修改，輸入圖像的大小調整為384×192像素。訓練初始學習率設為0.1，經過50和100個epoch的后學習率分別衰減為3E?2和3E?3，完成150個epoch后停止訓練。每一個訓練批次分別取32個真實圖像樣本和16個生成的圖像樣本。如圖3所示，在測試中，將所有分支的輸出特征連接在一起作為最終特征，最后進行距離對比排序。

4.3 性能評估

Triplet loss的權重λ是一個重要的參數。如圖6所示，當設置λ為0.1時Rank-1和mAP達到了最佳結果所以這里設置λ為0.1。

在表1和表2中將提出的方法分別在Market-1501和DukeMTMC-reID數據集上與已發布的方法進行了比較。與現有技術相比，本文的方法取得了很好的效果。在Market-1501測試中，Rank-1為95.3%，mAP為86.1%，超過PCB+RPP方法分別為1.5%、4.5%。在DukeMTMC-reID上，Rank-1為88.1%，mAP為76.4%，Rank-1超過DNN_CRF方法3.2%，mAP超過PSE+ECN方法0.7%。在Market-1501數據集上使用re-ranking方法后，Rank-1的準確率為96.1%，mAP的準確率為93.8%。

從表1和表2的結果可以看出，單使用攝像頭風格學習（CSL）方法，訓練后就可以得到更有區分度的特征，在所測試的兩個數據集中，結果都好于原Camstyle方法，并且提升很明顯。此方法可以獲得更多的訓練數據，并增加類間距離，減少單使用cross-entropy loss所出現的類內間距大于類間間距的情況，實際效果如圖5所示。

在結合多粒度損失（MGL）后，準確度在單使用CSL的基礎上又有了可觀的提升，在數據集Market-1501上，Rank-1和mAP分別提升了2.1%和7%，在數據集Duke MTMC-re ID上，Rank-1和mAP分別提升了6.6%和14.3%，多粒度損失可以對行人的細節特征做更好的表述，通過不同的粗細粒度，可以增加局部與全局不同維度的關聯性，使模型的泛化性進一步增強，從而有效提升重識別的準確度。

在圖7中，可以看到在Market-1501數據集上4個查詢圖像的檢索結果，綠色框代表正確為同一身份，紅色框代表錯誤為不同身份，可以看出本文方法能夠有效地檢索出與查詢圖像同一身份的人。

表1 Market-1501對比實驗結果%

表2 DukeMTMC-reID對比實驗結果%

圖7 相似性度量排序后可視化結果

5 結論

本文方法對行人重識別主要有兩方面貢獻。首先，提出攝像頭風格學習獲得有區分力的行人特征，其次，多粒度損失與攝像頭風格學習相結合可以更好地表述圖像的細節信息，減少過擬合的影響，并且進一步提高精度。在Market-1501和DukeMTMC-reID進行實驗獲得很好的結果，超過現有已公開的方法。本方法在初始獲取數據過程中需要根據攝像頭的數量C訓練對應的個CycleGAN模型，需要耗費很多時間，占用計算資源，在多粒度分割時采用硬性的平均分割，并沒有考慮分割比例對準確度是否會有影響，接下來會對以下方面做進一步探索：（1）使用StarGAN代替CycleGAN，通過StarGAN實現一區域對多區域的圖像轉換，從而減少生成訓練數據所需要的時間，節約計算成本。（2）增加粒度的多樣性，并調整分割比例，測試不同分割比例，不同粒度對識別準確度的影響。