基于風格轉換的無監督聚類行人重識別

張智，畢曉君

（1. 哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001; 2. 中央民族大學 信息工程學院，北京 100081）

行人重識別是利用計算機視覺技術來判斷無視角交疊攝像頭間是否存在相同行人的技術。行人重識別技術作為提升智能監控系統自動化程度的關鍵技術已經成為研究熱點，該技術常與行人檢測與跟蹤技術結合，廣泛用于智能視頻監控與公共安防的刑偵工作等。目前，深度學習理論[1]在各個領域都大放異彩，現在行人重識別領域[2]最優秀的模型都是基于深度學習的方法。

基于深度學習的行人重識別方法主要分為2大類，有監督學習的行人重識別[3-4]和無監督學習的行人重識別[5-8]。有監督學習需要大量的標注樣本指導模型訓練，由于實際應用中樣本標注的成本十分昂貴，無監督學習的行人重識別方法不需要大量的有標簽樣本，因此無監督方法更具有實際應用價值。無監督方法較有監督方法更難實現，源域和目標域間的差異性過大是目前該領域需要解決的問題。截止到目前，對于無監督行人重識別，國外研究剛剛起步，而在國內還屬于研究空白。因此，無監督學習的行人重識別方法研究具有重大意義。

目前，無監督行人重識別的研究工作中，均使用有標簽源域數據對模型進行預訓練，用無標簽的目標域數據對模型進行正式訓練以及測試。但是，研究中存在域間差異性過大問題，大幅度影響模型的識別率。2017年，Zhong等[5]首次提出域連接性學習方法構建源域和目標域之間的聯系，該方法一定程度上構建了源域與目標域之間的特征空間關系，但沒有有效解決域間巨大差異性問題。圖像風格轉換(image style transfer)是將圖像按照參考風格圖像進行轉換, 最終得到某種特定風格的目標圖像的技術，該技術常被應用于圖像處理及視頻處理，也是無監督行人重識別領域的重要輔助技術。2018年，Deng等[7]提出一種用于無監督行人重識別的風格轉換模型(similarity preserving cycleconsistent generative adversarial network, SPGAN)，該模型以循環生成對抗網絡(cycle-consistent adversarial networks,CycleGAN)[9]為基礎框架，引入以目標域的身份作為約束的損失函數，輔助生成器生成目標域風格的行人圖片；另外，該模型加入孿生網絡(siamese network, SiaNet)以及對應的一致性損失函數，保證行人圖片經過轉換后其相關身份信息不丟失。但是，SPGAN模型的生成器存在特征轉換尺度單一，且特征信息傳遞效率低的問題，導致其風格轉換效果不佳。2019年，Fu等[8]提出一種基于聚類方法的無監督行人重識別模型(self-similarity grouping, SSG)，通過對行人特征進行聚類操作尋找目標域數據間的相似性來對特征進行分類，并按照類別賦予行人特征不同的偽標簽，最后利用偽標簽進行有監督學習，取得了較好的效果。但是SSG模型主要通過挖掘目標域數據間的相似性來降低域間差異性過大的影響，而沒有從根本上減小域間差異性，導致模型能力受限。

目前無監督行人重識別領域中，沒有工作通過將基于圖像生成的風格轉換模型引入到基于聚類方法的無監督行人重識別模型中，來降低域間巨大差異性對聚類方法模型性能的影響。為了提升聚類方法無監督行人重識別模型的性能，本文針對SSG模型存在源域和目標域之間差異性較大問題，提出一種基于風格轉換的無監督聚類行人重識別方法。首先，將無監督行人重識別領域的風格轉換模型SPGAN引入SSG模型中，減少兩域間差異性對網絡識別效果的影響；然后，針對引入的SPGAN模型的生成器特征轉換尺度單一以及特征信息傳遞效率低的缺點進行改進，提升SPGAN模型的風格轉換效果，進一步減少域間差異性對SSG模型的影響，提升SSG網絡的識別效果。

1 基于風格轉換的無監督聚類行人重識別

本文通過提出一種基于風格轉換的無監督聚類行人重識別方法，減少域間巨大差異性對模型性能的影響。該方法包含以下2個改進：1)將無監督行人重識別領域的風格轉換模型—SPGAN引入到基于聚類方法的無監督行人重識別模型—SSG中，通過風格轉換方法降低域間差異性對SSG模型識別率的影響；2)為進一步減小域間巨大差異性的影響，對SPGAN進行改進，通過改進其生成器，解決生成器中特征轉換尺度單一以及特征信息傳遞效率低的問題，提升SPGAN模型的風格轉換效果，進一步降低域間差異性對SSG模型識別率的影響。

本文提出的整體模型如圖1所示，首先，通過基于多尺度特征轉換的風格轉換模型對源域圖像進行風格轉換，利用轉換圖像替代原來的源域圖像對模型進行預訓練，然后使用聚類方法對目標域數據進行聚類并分配標簽，再通過正式訓練對預訓練模型進行微調。

1.1 基于風格轉換的SSG模型

無監督聚類的行人重識別模型SSG通過對網絡提取的特征進行聚類，并按照聚類結果為它們分配偽標簽來訓練模型。SSG方法的具體步驟如下：1)使用源域數據預訓練Baseline模型；2)將目標域數據輸入Baseline模型提取特征；3)通過聚類算法對行人特征進行聚類，并分配偽標簽；4)利用帶有偽標簽的行人特征訓練模型。

域間差異性過大導致模型最終識別率的下降是目前無監督行人重識別領域的一個重大問題，SSG模型通過聚類方法挖掘目標域數據間的相似性降低源域和目標域間差異性過大對識別率帶來的影響。由于Baseline模型使用源域數據進行預訓練，挖掘目標域數據間相似性僅可以側面降低域間差異性對模型識別率的影響。為了進一步降低域間差異性過大對SSG模型的影響，本文將風格轉換模型SPGAN引入到 SSG模型中。所提出的基于風格轉換的SSG模型如圖2所示。

圖1 基于風格轉換的聚類無監督行人重識別模型Fig. 1 Clustering approach based on style transfer for unsupervised person re-identification model

圖2 基于風格轉換的SSG模型Fig. 2 SSG model based on style transfer

首先，利用SPGAN模型對行人重識別的源域及目標域數據集進行風格轉換，在光照、分辨率以及相機風格方面，得到更接近目標域風格的有標簽數據集；利用轉換后源域數據集預訓練以ResNet50[10]為基礎框架的Baseline模型，得到一個更加適應于目標域的Baseline模型。利用新的Baseline模型對無標簽數據進行特征提取，每個行人的特征被提取后復制為2份，一份作為整體行人特征另一份進行橫向裁剪分為上半部分行人特征以及下部分行人特征將目標域數據提取的特征重復以上步驟得到3組特征集合

將3組特征向量分別通過基于密度的聚類方法 (density-based spatial clustering of applications with noise)[11]進行聚類操作，3組特征向量分別進行分類，根據不同組不同類別為每個行人圖像分配標簽根據3個特征向量的分組結果，建立一個新的目標域數據集，其中每張圖像帶有3個標簽信息。

在新數據集上使用三元組損失函數(batchhard triplet loss)[12]損失函數對Baseline模型進行微調訓練，該損失函數可表示為

式中：fte為整體行人特征輸入全連接層后得到的整體嵌入向量，與整體行人特征具有相同的標簽信息。

1.2 基于多尺度特征轉換的風格轉換模型

SPGAN網絡是一個用于無監督行人重識別的風格轉換網絡，它以CycleGAN為基礎框架，首先，通過2個鏡像對稱的生成對抗網絡(generative adversarial network, GAN)形成一個環形網絡，來進行圖像的風格轉換；其次，加入了新的損失函數，該損失函數以目標域的身份作為約束，輔助生成器去生成目標域風格的行人圖片；另外，該模型為了保證行人圖片轉換過程中不丟失圖片身份相關的信息，加入了孿生網絡SiaNet以及對應的一致性損失函數，保證行人圖片經過轉換后其相關身份信息不丟失。本文提出的基于多尺度特征轉換的風格轉換模型由多尺度特征轉換的生成器、判別器以及SiaNet網絡組成。

1.2.1 多尺度特征轉換的生成器模型

SPGAN的生成器是編碼器?轉換器?解碼器體系結構，其編碼器的作用是提取輸入圖像的特征信息；其轉換器由原始殘差塊組成，作用是將源域的輸入圖像特征轉換為接近于目標域圖像風格的特征；其解碼器的作用是將特征向量進行復原。但是該生成器存在一些問題，首先，由于編碼器下采樣和解碼器的上采樣過程中，通過的特征具有尺度和位置不變性，而且在SPGAN的生成器中，只在一個尺度上使用原始殘差塊，只有最低層的特征信息可以進行特征的轉換，這樣尺度單一的特征信息轉換會導致部分信息的丟失以及網絡學習功能的下降；其次，由于原始殘差塊的結構原因，特征信息在通過最低層的原始殘差塊時，原始殘差塊限制可以通過瓶頸的信息，這樣會限制網絡學習的功能。針對上述問題，本文對SPGAN的生成器進行改進。

改進的生成器模型如圖3所示，ReLU為線性整流函數，Tanh為雙曲正切函數。

圖3 改進生成器模型Fig. 3 Improved generator model

首先，采用一種改進殘差塊模塊[13]，替換原來承擔轉換作用的原始殘差塊。原始殘差塊如圖4(a)所示，其結構順序一般為：使用Conv + BN +ReLU + Conv + BN模式作為側邊分支的模式，特征通過側邊分支與原來的特征相加，再通過ReLU層傳遞信息。改進殘差塊如圖4(b)，該模塊與原始殘差塊相比，改變了原有的結構順序，改進殘差塊采用BN + ReLU + Conv + BN + ReLU +Conv模式作為側邊分支，特征通過側邊分支直接與原特征相加。將主干的ReLU層直接放到側邊分支中，并且改變其排列順序，將ReLU和BN層作為權重層的預激活層，這種結構有利于更多的特征信息通過，保證特征信息在傳遞過程中更好地防止特征信息丟失，且生成器更易于訓練；其次，針對生成器結構中特征轉換尺度單一問題，本文將改進殘差塊引入到生成器上采樣及下采樣的對應層中，在此結構中，生成器在上采樣以及下采樣過程中均有改進殘差塊承擔特征信息轉換作用，在防止特征信息在傳遞過程中丟失的前提下，形成一個多尺度特征轉換的生成器，一定程度上解決了原始SPGAN在下采樣和上采樣過程中特征信息無法進行多尺度轉換以及特征信息丟失的問題，提升生成器網絡的學習性能，進一步提升改進模型在風格轉換上的效果。

圖4 生成器殘差塊示意Fig. 4 Schematic diagram of generator residuals

1.2.2 判別器模型

本文的判別器屬于卷積網絡，判別器將圖像作為輸入對其進行特征提取，通過判別提取特征的真假來預測輸入圖像是原始圖像還是生成圖像。

1.2.3 SiaNet網絡

SiaNet網絡通過利用Contrastive Loss[14]進行監督訓練，通過訓練，SiaNet網絡將風格轉換后的圖片與其轉換前圖片拉近，將風格遷移后的圖片與目標數據集中的其他圖片推遠，這樣可以保證行人的ID信息不變。

1.2.4 損失函數

該部分模型包含2個生成器—判別器對，分別是 {G,DT} 和 {F,DS}，它們將源域(目標域)的圖像轉換成目標域(源域)風格的圖像。對于生成器和對應的目標域判別器，其對抗損失函數可表示為

式中px和py分別表示源域和目標域的樣本分布。

對于生成器F和對應的源域判別器DS，其對抗損失函數可表示為

由于沒有成對數據進行訓練，本模型通過使用正向轉換以及反向轉換的循環后恢復原始圖像，以減少可能的映射函數空間，其循環一致性損失函數可表示為

除了使用對抗損失函數以及循環一致性損失函數，為了保證生成器生成圖像的穩定性，本模型還使用目標域身份約束作為圖像?圖像轉換的輔助方法，該身份約束損失函數可表示為

該部分模型的整體損失函數可表示為

2 仿真實驗與結果分析

2.1 實驗環境和參數設置

本實驗的硬件環境配置為Intel?CoreTMi7 9 700K 64位處理器，采用2個GeForce GTX 2 080 Ti GPU進行運算加速，操作系統為64位Ubuntu 16.04，采用基于python3.6以及Pytorch 1.0.0完成程序編程。

基于多尺度特征轉換的風格轉換模型的迭代次數為15，批量大小為8；基于風格轉換的無監督聚類行人重識別模型的迭代次數為30，每次迭代包括70個epoch，批量大小為128。

2.2 數據集設置

本文采用目前無監督行人重識別領域常用的公開數據集Market1501[15]以及Duke-MTMCreID[16]進行實驗。文獻[17-19]模型均需要使用源域數據進行模型預訓練，然后使用目標域數據進行正式訓練及測試，本文數據集的設置與目前無監督行人重識別采用的數據集設置標準一致。

2.3 仿真實驗與結果分析

實驗從有效性實驗以及與主流模型的對比實驗2個方面對模型效果進行驗證。在實驗測試中，將測試集分為查詢集與候選集，針對每個查詢行人圖像計算其余所有候選圖像的距離并按照距離大小從小到大的順序對候選圖像排序。實驗采用無監督行人重識別通用的累積匹配特性 (cumulative match characteristic curve, CMC)中的Rank-1、Rank-5、Rank-10以及平均精度(mAP)作為評價指標。

2.3.1 算法有效性驗證實驗

為了驗證所提出的模型的有效性，實驗在與目前無監督行人重識別工作一致的2種通用跨域設定上進行實驗。它們分別是以Market1501為源域，在Duke-MTMC-reID上進行無監督實驗；以Duke-MTMC-reID為源域，在Market1501進行無監督實驗。

首先，對2.1節提出的改進算法?基于風格轉換的SSG模型進行實驗。實驗對該模型進行有效性實驗驗證。實驗結果如表1所示。

表1 改進SSG有效性實驗驗證結果Table 1 Results of improved SSG verification experiment %

表1中的數據為模型在目標域上進行測試的結果，表中的模型均使用源域數據進行預訓練，使用目標域數據進行正式訓練及測試。從表中可以看出，將SPGAN模型引入到SSG模型中后，其識別效果優于SSG模型，在以Duke-MTMC-reID數據集為目標域的測試實驗中，僅有Rank-5指標低于SSG模型0.2%，其他指標均有不同幅度提升。實驗結果證明該部分實驗的有效性。

同時，實驗結果說明無監督聚類的行人重識別模型性能受到源域和目標域差異性過大帶來的影響，SSG模型通過聚類方法挖掘目標域數據間的相似性，只能降低部分域間差異性對模型識別效果的影響。因此，本部分實驗證明引入風格轉換進一步降低域間差異性帶來的影響是有必要的。

接下來，對改進的風格轉換模型?基于多尺度特征轉換的行人重識別風格轉換模型—SPGAN+進行有效性實驗。SPGAN+圖片轉換效果及對比效果如圖5、6所示，實驗結果如表2所示。

圖5 原數據集抽樣圖片和SPGAN+轉換的抽樣圖片Fig. 5 Sample images of original data and transferred data using the SPGAN+

圖6 圖像轉換的抽樣圖像Fig. 6 Visual examples of image-image translation.

表2 改進SPGAN有效性實驗驗證結果Table 2 Results of improved SPGAN verification experiment %

圖5為原數據集抽樣圖片和SPGAN+轉換的抽樣圖片。由圖5可以看出，本文模型在兩域間的風格轉換上達到較好效果，經過SPGAN+模型轉換后的源域圖片風格明顯接近于目標域圖片風格，實驗證明，改進的風格轉換模型在視覺效果上的有效性。

圖6中，圖6(a)表示原數據集的隨機選取圖片，圖6(b)表示使用SPGAN模型將源域圖像轉換為目標域圖像的隨機選取圖片，圖6(c)表示使用本文改進的SPGAN+模型將源域圖像轉換為目標域圖像的隨機選取圖片。經過對比，可以看出使用SPGAN+模型進行風格轉換后的圖像相比SPGAN模型更接近于目標域風格。

從視覺效果上來說，SPGAN+模型的風格轉換效果優于SPGAN模型，也說明通過本文方法改進了生成器中特征轉換尺度單一及特征信息傳遞效率低下問題，明顯提升該模型的生成器的學習性能，提升模型風格轉換的視覺效果。

表2中，Baseline表示直接使用源域數據源訓練的Baseline模型在目標域上進行測試的實驗結果，SPGAN表示首先將源域圖像通過SPGAN模型轉換成目標域風格的圖像，然后訓練Baseline模型，在目標域上進行測試實驗；SPGAN+代表本文的改進行人重識別風格轉換模型，首先將源域圖像通過SPGAN+模型轉換成目標域風格的圖像，然后訓練Baseline模型，并在目標域上進行測試的實驗結果。由表2可知，本實驗改進的SPGAN+模型的性能有較好提升，在以Market1501以及Duke-MTMC-reID數據集為目標域的測試中，改進模型的各項實驗指標均有較好的提升，驗證了改進的SPGAN+模型的有效性。

實驗結果說明，SPGAN模型的生成器中，其生成器結構存在特征轉換尺度單一的缺點，且其承擔轉換作用的原始殘差塊存在信息傳遞效率低和限制可以通過瓶頸的特征信息的缺點，導致生成器的學習性能不佳，使SPGAN模型在風格轉換上不能達到較好效果。因此，本部分實驗證明本文改進算法SPGAN+的生成器通過解決轉換尺度單一以及特征傳遞效率低下的問題可以讓該模型得到更好的域間風格轉換效果。

最后，進行基于風格轉換的無監督聚類行人重識別算法的實驗。實驗對整體模型與SSG以及第1部分實驗進行有效性對比驗證。實驗結果如表3所示。

表3 改進SSG有效性實驗驗證結果Table 3 Results of improved SSG verification experiment %

表3中，SSG+SPGAN表示本實驗通過將SPGAN引入到SSG模型中進行實驗的結果；SSG+SPGAN+表示本實驗通過將SPGAN+引入到SSG模型中進行實驗的結果。由表3可知，將風格轉換模型SPGAN以及SPGAN+分別引入到SSG模型中，最終識別效果均好于只使用SSG模型的識別效果；SSG+SPGAN與SSG+SPGAN+實驗結果，后者在性能上優于前者，后者的識別率僅在以Duke-MTMC-reID為目標域的實驗中，其rank-1略低于前者，其他項識別效率均高于前者。

這部分實驗說明，針對SPGAN模型生成器轉換尺度單一以及特征信息傳遞效率低的問題的改進，在整體模型中對模型最終識別率存在提升效果，進一步驗證了改進風格轉換模型SPGAN+的有效性以及整體模型的有效性。

2.3.2 本文算法與主流算法對比實驗

實驗對目前各個方向最先進的基于上下文呈現的行人重識別網絡(context rendering network,CR-GAN)[17]、基于存儲器的領域自適應的行人重識別(exemplar memory for domain adaptive person re-identification, ECN)[18]、于深度軟多標簽參考學習的行人重識別(deep soft multilabel reference learning, MAR)[19]和SSG進行對比，實驗結果如表4所示。

表4 本文算法與先進無監督行人重識別算法結果對比Table 4 Comparison of the results between our algorithm and the advanced unsupervised person re-identification algorithms %

在表4中，“—”表示對應方法未在數據集上實現。由表4可知，本實驗提出的方法相較于其他主流方法，本實驗的方法僅在Duke-MTMC-re-ID數據集的rank-5上略低于MAR，其他指標均取得了最高精度，說明本文算法優于上述對比算法。

3 結束語

首先，本文發現基于聚類的無監督行人重識別算法—SSG中源域和目標域之間數據分布的差異性是影響模型性能的重要因素，而減小域間風格差異性的方法可以降低該問題對SSG 模型識別效果的影響。其次，本文發現引入的SPGAN模型的生成器存在特征轉換尺度單一以及特征信息傳遞效率較低的問題，該問題影響SPGAN模型的風格轉換效果，降低整體模型的識別率，通過實現特征的多分辨率尺度轉換，并且提升生成器特征傳遞效率，可以提升SPGAN 模型的風格轉換效果，進一步提升最終識別效果。在目前無監督行人重識別領域使用的通用數據集設定上，對本實驗提出的算法進行驗證，本文實驗結果表明，將SPGAN引入到SSG模型中后，模型識別效果得到提升；對引入的SPGAN模型生成器進行改進，提升其轉換性能，模型的識別效果得到進一步提升。

無監督聚類行人重識別模型 SSG 中使用的聚類方法還存在一些問題，提升 SSG 模型中對特征聚類的準確度是今后需要完善的工作 。