基于自適應融合網絡的跨域行人重識別方法

郭迎春 馮放 閻剛 郝小可

行人重識別[1-3]利用計算機視覺技術判斷不同攝像頭的圖像或者視頻序列中是否存在特定行人,廣泛應用于智能安防、無人超市、人機交互等多個領域.隨著深度學習的應用普及,行人重識別獲得了發展條件,其在有監督領域上的準確率得到了大幅度的提升[4].但是有監督的行人重識別因需要帶有真實標簽的數據集而脫離實際應用,無監督的行人重識別彌補了有監督學習的需要真實標簽的劣勢.目前無監督的行人重識別所能達到的精度遠遠不能滿足現實生活應用需求,跨域的行人重識別由于其只需要一個預訓練源域數據集帶有真實標簽而被識別的目標域數據集無需標簽,成為未來研究發展的方向[5].

由于不同場景存在著攝像頭參數、背景和光照等問題,簡單地將在源域上進行訓練所得到的模型應用于目標域上進行測試會導致行人重識別性能的下降[6-7].同時,傳統的跨域問題常常是基于閉集場景下的,即假設源域和目標域共享完全相同的類,但是這種假設并不適用于行人重識別問題.跨域的行人重識別數據集通常是在不同時空下獲得的,所以源域與目標域的圖像通常具有不同的身份信息,應該將其看作是開集問題,這比閉集問題更具有挑戰性.

本文研究跨域方法,著重解決現有基于聚類的跨域行人重識別方法中忽略對偽標簽噪聲處理的問題,提出了基于自適應融合網絡的行人重識別模型,主要創新和貢獻如下:

1)本文提出的融合網絡模型,采用雙網絡結構共同學習并進行網絡融合,利用融合后的網絡反過來監督雙網絡結構的訓練,這種知識共享的模型結構可以有效地防止聚類偽標簽噪聲的擴大.

2)本文提出了自適應融合策略,使得模型在每一次融合過程中,可以針對兩個網絡的學習情況分配不同權重自適應地對兩個網絡知識進行融合.

3)本文設計了細粒度風格轉換模塊來降低不同相機間視角下的風格差異性,提高模型對時空變化的魯棒性.

本文的安排如下:第1 節介紹跨域行人重識別主要分類及相關工作;第2 節介紹本文提出的基于自適應融合網絡的跨域行人重識別方法;第3 節給出實驗設置并對實驗結果進行分析;第4 節總結本文工作并對未來工作進行展望.

1 相關工作

無監督跨域的行人重識別研究是在無監督的行人重識別研究上發展而來.相較于無監督的方法,無監督跨域的方法額外利用一個具有標簽的源域數據集,因此會有一定的先驗知識作為指導,識別效果也會更優.最近的無監督行人重識別通過挖掘特征間的內在聯系解決圖像由于時空變換引起的特征分布的差異性,從而提高了識別精度,其中具有代表性的是文獻[8-10],分別利用相機感知代理處理相機變化的問題、元信息構建超圖挖掘潛在的價值信息、成對相似性處理不同實例在增強視圖間的匹配,對未來跨域無監督的行人重識別發展具有一定的參考意義.

目前跨域行人重識別方法主要可以分為四類:

1)域分布對齊的跨域行人重識別[11-12],通過對齊源域與目標域的數據分布來減小域間隙.域分布對齊意在將目標域的數據分布盡可能地與源域數據分布一致,這樣可以減少域間隙,從而提高實驗的準確率.Wang等[11]利用額外標注的行人屬性信息,通過身份標簽分支和屬性分支結合訓練,實現網絡間信息的交融,最終學習到行人更本質的特征.Djebril等[12]認為解決跨域問題應該將重點放在對齊域之間的成對差異而不是特征表示,為此提出一個基于非相似最大平均差異(Dissimilarity-based maximum mean discrepancy,D-MMD)損失來最小化成對差異.域分布對齊應用在跨域的行人重識別方向往往需要考慮更多的因素而導致模型較為復雜.

2)域不變性的跨域行人重識別[13-16],該方法利用生成對抗網絡(Generative adversarial networks,GAN)來處理數據圖像以獲得相似的數據集間圖像風格.Liu等[13]將跨域轉換分解為光照、相機角度、分辨率三個因子轉換,每個因子作為一個子風格,為每個子風格訓練一個生成器并提出一種可以權衡各種因子影響程度從而進行融合的網絡Adaptive transfer network (ATNet),該網絡通過最小化中間層的子任務達到細粒度級別的風格遷移.文獻[14]提出的相似性保持生成對抗網絡(Similarity preserving GAN,SPGAN)和Wei等[15]提出的行人遷移生成對抗網絡(Person transfer GAN,PTGAN)都是利用生成對抗網絡將源域的圖像風格轉換為目標域的圖像風格,同時保留源域圖像的標簽信息,使得源域和目標域間的知識轉移更具有魯棒性.Zhong等[16]通過挖掘相機配置之間的關系,基于生成對抗網絡通過生成域內不同相機之間的圖像來解決域內相機間隙問題.但是這些方法過度依賴于生成圖像的質量,導致準確性普遍低于有監督的行人重識別.

3)計算特征相似性產生的軟標簽來優化網絡[17-19],通常是利用保存所有圖像的平均特征或是利用輔助數據集構建的特征空間來表示軟標簽.計算特征相似性是利用已經訓練過的圖像或是輔助數據集圖像等構建特征空間來表示將要訓練的圖像.Zhong等[17]提出的范例相機鄰域不變性(Exemplar camera neighborhood invariance,ECN)利用存儲器結構來保存平均特征進而為訓練圖像來分配軟標簽,利用樣本不變性、相機不變性、鄰域不變性這三個不變性監督優化網絡.Yu等[18]提出的深度軟多標簽參考學習(Deep soft multi-label reference learning,MAR)利用MSMT17 數據集[15]作為輔助數據集構建特征空間,并在特征空間中表示目標域數據集圖像.這些方法的不足就是特征或參考數據集不具有足夠的代表性,使得軟標簽不夠準確,降低模型性能.

4)基于聚類的方法[20-26],為了充分利用無標簽的目標域數據,利用聚類算法產生的偽標簽來當作目標域的標簽,這類方法在大量的實驗中被證明在當前具有最好的效果.Fu等[20]提出的自相似性分組(Self-similarity grouping,SSG)模型通過將特征圖垂直平均劃分為六個局部特征,利用局部特征來分配多尺度的聚類偽標簽.Zhai等[21]提出一種新的判別聚類的方法增廣判別聚類(Augmented discriminative clustering,AD-Cluster),通過基于密度的聚類算法,自適應地擴充樣本和判別特征學習來解決無監督跨域的行人重識別問題.Yang等[22]提出一種非對稱協同框架,充分利用了在聚類算法中通常被舍棄的離群點來監督網絡的訓練.Ge等[23]專注于聚類偽標簽噪聲的影響提出同步平均教學網絡模型(Mutual mean teaching,MMT),利用兩個相同的網絡相互監督訓練.Wang等[24]在MMT的基礎上提出將注意力波動模塊(Attentive waveblock,AWB)集成到兩個網絡中,使得兩個網絡學習到具有差異性的特征,增強網絡的互補性.基于聚類的方法往往與聚類算法的準確率有大的關系,且明顯缺陷是模型的準確性過度依賴于聚類產生的偽標簽的質量,而且隨著網絡的迭代,偽標簽的噪聲會越來越大.

受MMT 模型的啟發,本文在基于聚類算法的跨域行人重識別基礎上,針對聚類算法生成的偽標簽帶有噪聲的問題,設計自適應融合網絡模型.該模型采用雙網絡結構共同學習并對雙網絡結構進行網絡融合,利用融合后的網絡監督雙網絡結構訓練,有效解決了單網絡情況下偽標簽噪聲不斷擴大的問題.同時,為了降低模型對相機變換的敏感性,本文設計了細粒度的風格轉換模塊.細粒度的風格轉換模塊區別于以往的利用GAN 進行數據集擴充的方法,是在細粒度級別上針對于在同一個數據集上的不同相機風格進行圖像生成,而不是在源域和目標域之間作圖像生成,通過starGAN 給每張行人圖像都生成所有相機風格下的生成圖像,在擴充數據集的同時,增強了模型的魯棒性.相比于聯合判別生成學習網絡(Joint discriminative and generative learning network,DGNet)[27]以身份標簽為基礎的風格轉換模式,本文方法專注于相機域間的風格轉換,對每個相機下的圖像都生成其他相機風格的生成圖像,增強了模型對相機的魯棒性.

2 基于自適應融合網絡的跨域行人重識別方法

在眾多的跨域行人重識別方法中,基于聚類的方法有著強大的競爭力,由于忽略了對聚類偽標簽噪聲的處理而導致噪聲隨著網絡迭代而不斷擴大.本文針對于此,主要研究偽標簽噪聲在網絡訓練中擴大的問題,并提出基于自適應融合網絡的行人重識別,并利用細粒度風格轉換降低不同相機間視角下的風格差異性,提高模型的適應性.本節將詳細介紹提出的方法.

2.1 問題定義

給定一個帶有真實標簽的源域數據集S={Xs,Ys},其中Xs代表源域的圖像,Ys代表圖像Xs對應的真實標簽,源域數據集S中包含Ns張圖像,Ns張圖像共具有Is個身份標簽,源域中每個行人圖像xs,i∈Xs(i=1,2,···,Ns)具有唯一的身份標簽ys,i∈Ys.

給定一個無標簽的目標域數據集T={Xt},其中Xt代表目標域的圖像,數量為Nt,每張行人圖像xt,i∈Xt都不具有標簽信息.本文利用自適應融合網絡模塊來學習跨域的行人重識別,以便將有標簽的源域學習到的知識遷移到無標簽的目標域上利用.本文模型見圖1.首先,對目標域訓練集下的圖像進行全相機細粒度風格轉換得到新的目標域;然后,對模型采用雙網絡結構進行訓練,并通過自適應的融合策略將兩個網絡學習到的知識進行結合得到融合網絡,融合網絡的分類結果作為雙網絡結構的監督信號指導模型訓練.

圖1 自適應融合網絡模型Fig.1 Adaptive fusion network model

2.2 源域預訓練

為將源域學習到的知識更好地遷移到目標域上,本文利用源域數據集對模型進行預訓練,并將預訓練的模型參數作為訓練目標域數據集的初始化參數.

對于參數為θ的深度神經網絡模型Ms,首先在源域數據集上對模型進行有監督地預訓練.源域中的每張行人圖像xs,i∈Xs通過模型Ms提取出特征f(xs,i |θ),并最終輸出對圖像的身份預測p(xs,i |θ).本文采用交叉熵損失和三元組損失[28]來優化源域預訓練模型.交叉熵損失定義為:

2.3 目標域聚類

為了解決目標域數據集缺少真實標簽的問題,本文利用Mini-Batchk-means 聚類算法產生偽標簽用于訓練.首先,目標域圖像經過網絡提取得到特征f(xt,i |θ). 其次,對特征f(xt,i |θ)進行Mini-Batchk-means 聚類算法得到It個類別,同一個類別內的圖像具有相同的偽標簽yt.

為了充分利用聚類得到的偽標簽進行模型的提高,本文使用了交叉熵損失和三元組損失.模型的交叉熵損失定義為:

2.4 雙網絡結構

基于聚類的跨域行人重識別方法的效果往往與聚類算法的精度成正相關,為了增強網絡對聚類偽標簽的抗噪能力,本文模型采用雙網絡結構進行表征學習.雙網絡結構采用兩個相同的ResNet50 網絡作為主干網絡進行目標域的訓練,但對兩個網絡采用不同的預訓練初始化參數.同時,為了使兩個網絡能夠學習到區別于彼此的特征,對輸入到兩個網絡中的目標域圖像進行不同的預處理,包括隨機翻轉、擦除、裁剪處理.

雙網絡結構的設計專注于對抗偽標簽噪聲問題,防止出現單網絡結構下噪聲隨著迭代不斷擴大的情況.但是,隨著訓練的進行,兩個網絡學習能力會逐漸靠近,可能會出現兩個網絡收斂到彼此相等的位置,這違背了雙網絡結構的設計初衷.對此,為了保有兩個網絡每一次知識學習的經驗,本文采用經驗平均模型代替兩個ResNet50 網絡進行融合.經驗平均模型的參數是對應的雙網絡結構中網絡參數的加權平均,而不是通過反向傳播得到的,所以不會明顯增大網絡的計算量.對于在第T次迭代下網絡k的經驗平均模型定義為HT(θk),經驗平均模型對網絡每一次迭代的學習能力進行保留,并通過式(5)進行更新:

式中,α∈[0,1] 是一個動量更新因子,HT-1(θk)是在(T-1)次迭代時網絡的經驗平均模型.當T=0時,H0(θk)=θk.

2.5 自適應融合網絡

為了使雙網絡結構的訓練獲得更有效的監督,本文選擇對雙網絡進行知識融合.融合后的網絡包含兩個網絡學習到的知識,相比于單網絡結構的學習,雙網絡在學習過程中進行了相互補充,并且利用融合網絡的輸出去監督兩個網絡的訓練,可以有效避免噪聲隨著迭代的進行而擴大.雖然兩個網絡具有相同的結構,但是學習知識的能力是不同的,所以在每一次融合的時候不能單純地平等對待兩個網絡.對此,提出一種自適應融合策略用于解決兩個網絡的融合權重問題.自適應融合策略是基于類內離散度和類間離散度計算得到的,類內離散度表示每個圖像樣本特征和所屬類別平均特征的差距,類間離散度表示的是每個類別的平均特征和所有樣本的平均特征的差距.

具體地,通過聚類算法將所有目標域樣本聚類到It個類別中,并用C來表示每個聚類,那么第k個網絡中的第i個聚類Ci的類內離散度被定義為:

式中,μi,k是第i個聚類Ci中所有圖像在第k個網絡上的平均特征.第k個網絡中的第i個聚類Ci的類間離散度被定義為:

式中,μk是目標域中所有訓練樣本在第k個網絡上的平均特征,nt,i是目標域中所有訓練樣本的數量.利用類內離散度和類間離散度得出第k個網絡的自適應平衡因子:

自適應平衡因子Jk量化了網絡的學習能力,Jk越大代表網絡的學習能力越強.當類間離散度變大或者類內離散度變小的時候,Jk也會相應地變大.通過自適應平衡因子可以計算雙網絡結構的自適應融合權重:

式中,wk代表第k個網絡的融合權重.

在每次迭代獲得兩個網絡的經驗平均模型之后,通過融合權重比例對雙網絡進行融合.由于融合網絡只用于雙網絡結構的監督,所以不會影響兩個網絡獨立地更新.參數為θf自適應融合網絡定義為:

由于融合網絡采用的是網絡對行人身份的分類預測,而不是對聚類算法產生的偽標簽進行訓練,所以設計了融合交叉熵損失和融合三元組損失來優化雙網絡結構模型.融合交叉熵損失利用了融合網絡的分類預測以及每個網絡的分類預測,其定義為:

融合三元組損失是在三元組損失的基礎上結合分類預測得到:

最后結合基于偽標簽的交叉熵損失和三元組損失以及基于融合網絡的融合交叉熵損失和融合三元組損失定義模型的整體損失:

式中,λid和λtri是權重參數,用來平衡不同損失之間的影響.

2.6 細粒度風格轉換

雖然自適應融合網絡可以有效減少聚類偽標簽噪聲的影響,但是由于行人重識別數據集的行人圖像由多個不同視角的相機捕捉而成,相機風格的變換使得即使是同一身份的行人也難以被分辨,造成網絡對相機具有一定的敏感性.受PTGAN[12]啟發,本文利用生成對抗網絡降低模型對相機的敏感度.不同于PTGAN 在源域和目標域間進行風格轉換,本文的風格轉換模塊是在目標域相機間進行的細粒度級別的風格轉換.

如圖2 所示,細粒度風格轉換模塊將行人圖像在廣義上分割成行人因子和風格因子,行人因子包含圖像中行人部分,風格因子包含除行人部分外的其他部分.其中每個相機下的風格因子假定是相同的,利用starGAN 網絡為每個相機訓練一個生成因子的生成器.最后,通過保留每張圖像的行人因子,而替換圖像的風格因子達到行人圖像風格轉換的目的.對于存在E個不同視角的相機,圖像xt,i∈Xt屬于相機A,那么需要生成相機 (E-A)風格的轉換圖像.最終,將生成后的圖像加入到目標域數據集一起訓練.

圖2 細粒度風格轉換模塊Fig.2 Fine-grained style conversion module

2.7 總的算法流程

本文提出的自適應融合網絡的跨域行人重識別方法總的算法流程見算法1.

算法1.自適應融合網絡

3 實驗結果域分析

為了驗證方法的有效性,本文在Market1501[29]、DukeMTMC-ReID[30]和MSMT17[15]三個行人重識別基準數據集上對本文方法進行評估,包括與主流方法的對比、消融實驗和參數分析.

3.1 數據集與評估指標

Market1501[29]數據集包含取自6 個不同相機視角的1 501 個身份的總共32 668 張行人圖像,其中包含751 個身份的12 936 張圖像用于訓練集,另外包含750 個身份的19 732 張圖像用于測試集.在測試集中又分為包含19 732 張的Gallery 集和3 368張的Query 集.這些圖像通過可變形部分模型[31]進行身份檢測.

DukeMTMC-ReID[30]數據集是DukeMTMC[32]的子集,包含取自8 個攝像機視角的1 812 個身份圖像.其中16 552 用作訓練集,17 661 用作Gallery 集,2 228 用作Query 集.在1 812 個身份中,1 404個出現在至少2 個攝像頭,其余的出現在1 個攝像頭中.

MSMT17[15]數據集是目前行人重識別領域最大的數據集.由12 臺室外攝像機和3 臺室內攝像機拍攝的126 441 張照片組成.這些圖像代表4 101個身份,并按照1:3的比例隨機分為訓練集和測試集.訓練集包含1 041 個身份,共32 621 張圖像,而測試集包含3 060 個身份,共93 820 張圖像.對于測試集,隨機選擇11 659 張圖像作為Query 集,而其他82 161 張圖像作為Gallery 集.

本文實驗使用平均精度均值(Mean average precision,mAP)和Rank-n準確率對本文中涉及到的行人重識別模型性能進行量化評價.其中,mAP將所有類別的平均精度進行綜合加權平均而得到的;Rank-n是檢索結果中前n位候選的準確率,本文主要選擇Rank-1、Rank-5 和Rank-10 進行評估.

3.2 實驗設置

本文模型的訓練包含源域的預訓練和目標域的跨域自適應兩部分.在圖像輸入到網絡之前,將圖像的大小調整為256 × 128.根據經驗將邊距參數m設置為0.5.

本文實驗基于Pytorch 框架,使用Pytorch1.1版本,使用2 個GTX-2080TI GPU 進行訓練,1 個GTX-2080TI GPU 進行測試.采用自適應矩估計優化器對網絡進行優化,權值衰減為0.0005.

在源域的預訓練階段,本文使用在ImageNet[33]上預訓練過的ResNet-50 作為主干網絡.初始學習率設置為0.00035,總共進行80 次迭代,并在第40次和70 次的迭代時,將初始學習率減少到了原來的1/10.

在目標域的跨域自適應階段,利用在源域預訓練中得到的預訓練權重作為網絡的初始權重.總共進行80 次迭代,學習率固定設置為0.0001,并將式(5)中的動量更新因子α設置為0.999,式(15)中的權重參數λid設置為0.6,λtri設置為0.8.分別將作為目標域的Market1501、DukeMTMC-ReID 和MSMT17 實驗中Mini-Batchk-menas 聚類算法的聚類個數設置為500、700 和1 500.

本文模型的參數量如表1 所示.在計算單網絡參數量的情況下乘2 得到模型整體的參數量.

表1 本文的自適應融合網絡模型參數量表Table 1 The model parameter number of the proposed adaptive fusion network

3.3 實驗結果

3.3.1 與主流行人重識別方法比較

本節將本文提出的算法與當前主流的行人重識別算法進行比較.比較方法包括:1)無監督方法.自底向上聚類(Bottom-up clustering,BUC)[34]和軟化的相似性學習(Softened similarity learning,SSL)[35];2)無監督跨域的方法.多任務中層特征對齊網絡(Multi-task mid-level feature alignment,MMFA)[36]、可遷移聯合屬性-身份深度學習(Transferable joint attribute-identity deep learning,TJ-AIDL)[11]、基于差異的最大平均差異損失(Dissimilarity-based maximum mean discrepancy loss,D-MMD)[12]、三重對抗學習和多視角想象推理網絡(Triple adversarial learning and multi-view imaginative reasoning network,TAL-MIRN)[37](基于域分布對齊的方法);自適應遷移網絡(Adaptive transfer network,ATNet)[13]、相似性保持生成對抗網絡+局部最大池化(Similarity preserving generative adversarial network+local max pooling,SPGAN+LMP)[14]、異構-同構學習(Hetero-homogeneous learning,HHL)[16](基于GAN的方法);范例相機近鄰不變性(Exemplar-invariance,camera-invariance and neighborhood-invariance,ECN)[17]、多標簽參考學習(Multilabel reference learning,MAR)[18](基于特征相似性計算的方法);無監督領域自適應行人重識別(Unsupervised domain adaptive person re-identification,UDAP)[38]、帶有漸進式增強框架的基于部分的卷積基線(Partbased convolutional baseline-progressive augmentation framework,PCB-PAST)[39]、自相似性分組(Self-similarity grouping,SSG)[20]、增廣判別聚類(Augmented discriminative clustering,AD-Cluster)[21]、同步平均教學框架(Mutual mean-teaching framework,MMT)[23]、多專家頭腦風暴網絡(Multiple expert brainstorming network,MEBNet)[40]、軟迭代標簽聚類(Soft iterative label clustering,SILC)[41]、雙流互反解糾纏學習(Dualstream reciprocal disentanglement learning,DRDL)[42]、基于漸進式表征增強的自訓練(Self-training with progressive representation enhancement,PREST)[43]、具有混合記憶的自步對比學習框架(Self-paced contrastive learning with hybrid memory,SpCL)[44]、多損失優化學習(Multi-loss optimization learning,MLOL)[45]、不確定性引導的噪聲回彈網絡(Uncertainty-guided noise resilient network,UNRN)[46](基于聚類的方法).“本文方法+不確定性”是在文獻[46]和文獻[47]的啟發下,利用Kullback-Leibler (KL)散度計算雙網絡結構中兩個網絡的不確定性,然后利用不確定性來約束損失函數的計算.所有對比的方法結果是從源論文中獲得的,無監督方法沒有用到源域數據集,僅在目標域數據集上進行訓練.

表2 展示了在Market1501 和DukeMTMCReID 數據集上的實驗結果.由表2 可以看出,在實驗準確率上無監督跨域方法普遍優于無監督方法,其中采用聚類算法的無監督跨域行人重識別相比于其他3 個無監督跨域行人重識別算法在整體上可達到最佳效果.如表1 所示,當以DukeMTMC-Re-ID 作源域,Market1501 作目標域時,本文方法的mAP 達到了79.1%,Rank-1 達到了91.8%.當以Market1501 作源域,DukeMTMC-ReID 作目標域時,本文方法的mAP 達到了68.5%,Rank-1 達到了81.7%.這是由于本文的融合網絡模型很好地抑制了偽標簽噪聲,所以可以更有效地利用偽標簽去訓練.同時,采用基于細粒度的風格轉換模塊可以在克服相機敏感性的問題上擴充數據集,提升了模型的識別能力.當模型在雙網絡結構知識互補的基礎上對損失加入不確定性的差異約束使得模型準確率得到了進一步的提升,在以Market1501 作目標域和DukeMTMC-ReID 作目標域時,“本文方法 +不確定性”的mAP 分別達到了79.9% 和69.8%,Rank-1 分別達到了92.3% 和82.1%.

表2 在Market1501 和DukeMTMC-ReID 上與主流方法比較 (%)Table 2 Comparison with the state-of-the-art methods on Market1501 and DukeMTMC-ReID (%)

與SpCL 方法相比,本文方法在Market-to-Duke 上的準確率略低,這是由于SpCL 對源域和目標域上的所有可用信息進行編碼以學習特征,但是這同樣會使其域適應性能力降低.在雙網絡結構的基礎上利用不確定性約束損失函數的“本文方法+不確定性”中,除了Rank-1 之外都有所提升,且mAP 比SpCL 高1%,說明了利用不確定性對損失函數進行約束可以有效降低偽標簽噪聲.

MLOL 方法在Market-to-Duke 上實驗表現較好,然而在其他實驗中的識別準確率都遠低于本文方法.如表3 所示,SpCL 和MLOL 在MSMT17 數據集上的低準確率側面印證了兩者的局限性.

為進一步驗證本文方法的有效性,在更大更接近現實場景的MSMT17 數據集上進行了實驗.表3為在MSMT17 數據集上的實驗結果.當DukeMTMC-ReID 數據集作為源域時,本文方法的mAP 達到30.2%,Rank-1 達到60.4%;當Market1501 數據集作為源域時,mAP 達到29.4%,Rank-1 達到59.6%.在具有挑戰性的大型數據集MSMT17 上的高性能表現進一步證明了本文方法的有效性,而且通過不確定性對損失函數進行約束同樣在MSMT17的數據集上也顯示了它的有效性,Duke-to-MSMT17 和Market-to-MSMT17的各項指標都有所提升.

表3 在MSMT17 上與主流方法比較 (%)Table 3 Comparison with the state-of-the-art methods on MSMT17 (%)

3.3.2 消融實驗

為了驗證雙網絡結構、經驗平均模型、自適應融合策略以及風格轉換4 個模塊的有效性,在Market1501 和DukeMTMC-reID 數據集上進行了消融實驗,實驗結果如表4 所示.直接轉換表示目標域數據集直接在源域的預訓練模型上進行測試;基線表示僅使用聚類方法的偽標簽部分進行訓練.F 為雙網絡結構且沒有采用自適應融合策略,T 為經驗平均模型,A 為自適應融合策略,S 為細粒度風格轉換模塊,w 為添加上述模塊.

表4 在Market1501 和DukeMTMC-ReID 上的消融實驗 (%)Table 4 Ablation experiments on Market1501 and DukeMTMC-ReID (%)

為了促進網絡的融合,先利用平均融合代替自適應融合,進行“F+A”的實驗時再采用自適應融合策略.另外,細粒度風格轉換模塊只應用在目標域數據集上,而不用于源域數據集的預訓練.消融實驗證明了提出的雙網絡結構、經驗平均模型、自適應融合策略以及風格轉換每一個模塊單獨的有效性及它們之間相互組合的有效性.采用雙網絡結構使模型準確率相比于“基線”得到大幅度的提升,之后以雙網絡結構為基礎分別加入自適應融合模塊、經驗平均模型和細粒度風格轉換模塊都使模型準確率進一步得到提高.最終,將4 個模塊一起使用的模型達到了最優的效果,mAP 為79.1%,Rank-1為91.8%.值得注意的是,本文的風格轉換模塊可以作為一個即插即用的模塊,用于增強模型對相機風格變換的魯棒性,對于同一數據集只需要進行一次風格轉換即可在后續的實驗中多次應用.

3.3.3 參數分析

本節分析了損失函數中平衡交叉熵損失和融合交叉熵損失的超參數λid、平衡三元組損失和融合三元組損失的超參數λtri、Mini-Batchk-means 聚類算法應用在不同數據集的超參數聚類數量.默認情況下,改變一個超參數的同時另外兩個超參數固定不變.

圖3 比較了式(15)中不同的λid取值對實驗結果的影響.當λid=0 時,表示本文方法只應用融合交叉熵損失;當λid=1 時,表示本文方法只應用交叉熵損失.可以看出,λid取值為0 或1的實驗結果都沒有取中間值好,這表明同時交叉熵損失和融合交叉熵損失的必要性,也證明融合網絡模型的有效性.當λid=0.8 時,本文模型達到了最高準確率.

圖3 λ id 取值評估實驗Fig.3 Evaluation of different values ofλid

圖4 比較了式(15)中不同的λtri取值對實驗結果的影響.當λtri=0 時,表示只應用融合三元組損失;當λtri=1 時,表示只應用三元組損失.當λtri=0.6時,本文模型達到了最高的準確率.在圖5中,比較了不同的聚類數量取值對實驗結果的影響.當進行Duke-to-Market 和Market-to-Duke的實驗時,聚類數量為500 和700 時模型效果最好.當進行Duketo-MSMT17 和Market-to-MSMT17的實驗時,聚類數量為1 500 時模型效果最好.

圖4 λ tri 取值評估實驗Fig.4 Evaluation of different values ofλtri

圖5 聚類數量取值評估實驗Fig.5 Evaluation of different numbers of clustering

3.3.4 聚類算法對比

在基于聚類的跨域行人重識別方法中,聚類算法的效果與實驗結果的準確率成正比關系,即聚類算法效果越好,實驗結果準確率越高.聚類算法效果越好,聚類偽標簽所帶有的噪聲就越少,模型訓練就越不容易產生偏差.為了探究不同聚類算法的應用對本文模型的影響,在本節對Mini-Batchkmeans、k-means 和噪聲環境下基于密度的空間聚類研究(Density-based spatial clustering of applications with noise,DBSCAN)聚類算法進行了對比,實驗結果如表5 所示.為了對比模型應用不同聚類算法時在運算效率上的差異,表5 展示了模型采用Mini-Batchk-means、k-means 和DBSCAN 聚類算法時每次迭代的運算時間(s).當使用Mini-Batchk-means或k-means 聚類算法時,兩者的實驗準確率相差不大,k-means 效果略好于Mini-Batchk-means,但k-means 所需運行時間高于Mini-Batchk-means.當使用DBSCAN 聚類算法時,在Duke-to-Market 實驗時mAP 達到了80.1%,Rank-1 達到了92.3%;在Market-to-Duke實驗時mAP 達到了69.9%,Rank-1 達到了82.1%。相比于使用Mini-Batchk-means或k-means,實驗準確率有著明顯的提升,但是DBSCAN 所需的運算時間也是遠高于Mini-Batchk-means和kmeans的.出于對運算時間的考慮和準確率的綜合考慮,本文模型采用Mini-Batchk-means 進行實驗.

表5 聚類算法對比Table 5 Comparison of clustering algorithms

4 結束語

目前基于聚類的跨域行人重識別方法忽略了聚類偽標簽的噪聲問題,導致模型效果無法到達有監督的行人重識別方法水平.本文提出基于細粒度風格轉換的自適應融合網絡方法,采用雙網絡結構共同學習,并對雙網絡進行自適應融合,利用融合后的網絡監督雙網絡訓練.同時,為了解決數據集圖像對相機敏感性的問題,對目標域圖像進行細粒度的風格轉換,將轉換后的擴充目標域數據集應用于訓練.與現有的基于聚類的跨域方法相比,本文模型取得了更高的準確率.在三個行人重識別基準數據集Market1501、DukeMTMC-ReID、MSMT17上的實驗結果充分驗證了本文方法的有效性.未來研究工作將考慮進行多個不同網絡結構的融合,以便使不同網絡可以學習到彼此更具有差異性的知識,引導模型走出局部最優,減少偽標簽噪聲的影響.