基于圖像和特征聯合約束的跨模態行人重識別

張玉康 譚 磊 陳靚影

近年來,隨著城市監控網絡的不斷完善,行人重識別技術由于其巨大的應用潛力而受到越來越多的關注.給定一個需要檢索的行人圖像,行人重識別的任務是檢索出一段時間內由非重疊區域下的攝像機所拍攝到的所有該行人圖像,其在智能監控、行人追蹤、行為分析等計算機視覺應用及公共安全領域扮演著十分重要的角色[1-4].

當前行人重識別研究方法大多都專注于解決在可見光條件下人體姿態、背景、光照等的問題.因此,此類方法主要采用行人特征提取、相似性判別或基于生成式[5-8]的方式來實現行人重識別.例如,Zhao等[5]提出了一種基于人體區域引導的多級特征分解和樹狀結構競爭特征融合的Spindle-Net 網絡,其主要用于對齊人體語義區域來解決行人重識別問題;Sun 等[6]提出采用基于注意力機制的方式,把行人水平均勻分割成六個子塊,并對其進行局部調整對齊,極大地改善了行人重識別的效果;Hermans 等[7]提出了一種改進的三元組損失函數,其約束條件在于除要求行人類內距離小于類間距離,還使其小于某個閾值來提升行人重識別的效果;PTGAN 算法[8]提出一種保持行人圖像前景不變而將背景遷移為目標圖像背景的方法,極大地緩解了行人重識別研究所面臨的數據標注困難的問題.

然而,在實際的監控系統中,特別是在光照不足的條件下,攝像機通常需要從可見光模式切換到近紅外模式來應對這種情況.因此,在將此類方法應用于實際場景之前,有必要考慮可見光與近紅外跨模態下的行人重識別問題.

基于跨模態下的行人重識別已成為近兩年來業內人士的一個重要關注點.其研究目標是對可見光狀態下(自然狀態)和近紅外狀態下(攝像機所捕捉到行人不同光譜的狀態)的行人進行匹配[9-13].目前,該方向主要有兩種思路:一種是基于近紅外和可見光模態下的行人特征提取方法;另一種是基于生成式的方式(Generative adversarial networks,GANs)將兩種跨模態下的行人轉換成同一種模態,以實現行人重識別過程.

針對前者,Wu 等[9]提出了一種基于深度零填充的方式將兩種模態以參數共享的方法進行訓練來解決行人重識別問題.Ye 等[10]提出了一種基于雙向雙約束Top-ranking 損失的雙路網絡來提取行人特征.此外,在其另一項工作中[11],他們提出了一個層級跨模態匹配模型來聯合優化行人在特定模態和共享模態下的特征描述.對于后者,Dai 等[12]設計一個基于判別器的生成對抗訓練模型,從不同的模態中學習具有判別力的特征.為了減少模態差異,Wang 等[13]提出一種將近紅外圖像和可見光圖像進行相互轉換的方法,并提取相應模態下的行人圖像特征.Wang 等[14]認為灰度圖像比彩色圖像的識別效果高,將彩色圖像全部轉換為灰度圖像并用于行人重識別中.

上述提到的方法雖然在一定程度上提升了跨模態行人重識別的精度,但由于可見光圖像和近紅外圖像具有數據獨立且分布不同的特點,導致其相互轉換的圖像與真實圖像之間存在數據差異.基于此,本文設計了一種新穎的中間模態生成器,通過將兩種模態分別進行特征提取后,以自適應的方式解碼在一個共享的潛在特征空間,進而轉化為中間模態的圖像,利用其潛在的特征空間來實現可見光與近紅外之間的遷移,從而提升行人重識別的效果.實驗表明,本文方法不僅可以減少跨模態行人重識別的模態差異,而且還能保持行人外貌特征的一致性,極大地提升了跨模態行人重識別的精度.

在此基礎上,為了保留生成圖像與真實圖像之間行人身份的一致性,本文提出特征約束模塊和圖像約束模塊,從特征層和圖像層分別對中間模態生成器進行約束.

另外,在基于監督的行人重識別中,數據集的標注是一個耗時耗力的工作,而跨模態的數據集的標注更加困難,加劇了行人重識別算法設計的復雜度.因此,本文提出了一個用于評估實際監控場景下的跨模態行人重識別數據集,本數據集僅用于測試,而不用于訓練,詳細見下文的第3.2 節.

綜上所述,本文貢獻主要包括以下三個方面:

1)本文提出了一種新的中間模態生成器,用于解決近紅外與可見光狀態下的行人重識別過程中所存在模態差異性的問題.

2) 為了保持生成器在生成過程中行人身份的一致性,本文提出了一個特征約束模塊和圖像約束模塊,分別用于特征層和圖像層的聯合約束.

3) 針對跨模態行人重識別數據集的匱乏,本文提出了一個用于評估實際監控場景下基于跨模態的行人重識別數據集.

實驗結果證明了該方法的有效性,相對于當前跨模態的行人重識別方法,本文所提出的算法取得了較大的性能優勢.

1 方法

1.1 總體框架

在此小節中,將介紹本文所提出的基于圖像和特征聯合約束的中間模態行人重識別方法,如圖1所示,本文所提出的方法的完整結構包括:中間模態生成器(Middle modality generator,MMG)、特征約束模塊(Feature constraint module,FCM)和圖像約束模塊(Image constraint module,ICM).MMG 模塊是為了解決跨模態行人重識別中由于圖像成像的變化而導致的模態差異問題,通過加入MMG 模塊,ICM 模塊可以更好地關注不同行人之間的距離;而ICM 模塊也可以反過來對MMG 模塊進行約束,促進MMG 模塊尋找更加合適的圖像和特征,因此本文所提出的MMG 模塊和ICM 模塊兩個可以相互促進、共同優化.

圖1 本文方法的總體框架Fig.1 The overall framework of this method

在訓練階段,每個輸入圖像都被用于訓練采用了生成對抗網絡的近紅外與可見光模態編碼器.同時,共享解碼器將利用這兩個編碼器中的中間特征來解碼到中間模態圖像,MMG 所生成的中間模態圖像作為了行人重識別(ICM)的輸入.由于MMG是一個獨立的模塊,該部分較容易地嵌入到一個設計良好的ICM 模塊中,并進行端到端的訓練.在這項工作中,本文采用基于ResNet-50 網絡[15]訓練所提出的MMG.

本文所提出的基于圖像和特征聯合約束的跨模態行人重識別方法,在圖像層面通過行人重識別約束模塊(ICM)對生成對抗網絡的中間模態生成器模塊(MMG)所生成的中間模態圖像進行約束,在特征層面通過特征約束模塊(FCM)對生成對抗網絡的中間模態生成器模塊(MMG)的編碼器進行特征層面的約束.

1.2 中間模態生成器

盡管利用GAN 從近紅外和可見光圖像相互遷移在行人重識別的性能上取得了一定的進展,但由于潛在傳輸空間巨大,瓶頸明顯.因此,本文試圖在普通GAN 的基礎上,在近紅外和可見光之間的遷移空間中找到一個潛在的中間模態.受啟發于基于CycleGAN[16]的生成器的結構可分為兩部分:編碼器和解碼器.根據這一結構,本文在近紅外和可見光的生成器中添加了另一個共享的解碼器,以從近紅外和可見光圖像中得到一種潛在的中間模態圖像.

在本文中,本文定義xvis表示來自于可見光模態Xvis的輸入圖像,xnir表示來自于近紅外模態Xnir的輸入圖像,本文采用了CycleGAN[12]的近紅外-可見光循環一致性結構來建立本文的中間模態生成器MMG 模塊,在本文方法中,MMG 模塊包括近紅外和可見光兩個模態生成器用以促進中間模態的生成,其中生成器Gvis和判別器Dvis用來從近紅外模態生成和判別可見光模態的圖像,生成器Gnir和判別器Dnir用來從可見光模態生成和判別近紅外模態圖像.因此,本文的MMG 模塊可以通過以下對抗損失來進行訓練:

其中,判別器Dvis和Dnir的作用是通過最大化上述等式來區分生成圖像和真實目標圖像,生成器Gvis和Gnir的作用是通過最小化上述等式來生成更加真實的圖像.

此外,受到CycleGAN[12]循環一致性損失的啟發,使得生成器Gvis(Gnir)所生成的可見光(近紅外) 圖像可以被生成器Gnir(Gvis) 還原為原始近紅外(可見光)圖像,本文通過Lcyc損失來約束MMG網絡:

通過在MMG 模塊中使用可見光-近紅外生成器來促進中間模態圖像的生成,進一步緩解了模態間的差異性.

1.3 特征約束模塊

雖然循環一致性損失和對抗性損失有助于圖像在兩種模態之間進行遷移,但在遷移過程中保持行人身份一致性也是必不可少的.以前的工作是大都利用基于Re-ID 骨干網的損失約束生成對抗網絡使其產生行人身份的一致性.目前最先進的Re-ID方法是基于ResNet-50 網絡[15]的,它在特征提取方面顯示出強大的能力.盡管這種能力有助于解決許多計算機視覺任務,但在可見光-近紅外識別問題中,需要一種更強的損失對行人身份進行約束.受TP-GAN[17]的啟發,本文提出了一種特征約束模塊(FCM),該模塊在編碼器之后采用身份損失來在圖像生成階段進行特征級約束.如圖1 所示,FCM 模塊通過具有全連接層的平均池化來構造,通過交叉熵損失進行約束,該損失公式為:

其中,N表示輸入網絡的一個批次的圖像的數量,p(emid) 表示輸入編碼器特征emid的概率分布.綜上,本文所提出的MMG 模塊的損失函數表示如下:

其中,遵循最初的CycleGAN 參數配置,本文設定λ1和λ2分別為10 和1,設定λ3為0.5.

1.4 圖像約束模塊

由于上文中MMG 模塊已經將可見光和紅外圖像遷移到了潛在的中間模態,因此跨模態的行人重識別問題已經轉為為單模態的識別問題.由于基于ResNet-50 網絡[15]的可見光下Re-ID 方法在該領域取得了很大進展,這里本文采用了相同的設定,以交叉熵損失和三元組損失為約束損失的ResNet-50 來完成最后一步:

其中,對于交叉熵損失,N是輸入網絡的每一批次的圖像數量,p(xmid) 是中間模態圖像的概率分布;對于三元組損失,表示來自于同一正樣本對的行人的中間模態的特征,表示來自于負樣本對的不同行人的中間模態的特征.D表示對特征向量計算其歐氏距離,ξ表示提前設定好的閾值,[z]+=max(z,0).

綜上所述,本文所提出的模型的總體損失表示如下:

本文按照經驗設定α1和α2分別為1 和1.

2 數據集

2.1 Parking-01 數據集

2.1.1 Parking-01 數據集介紹

如圖2 所示,本數據集采集于冬季下午某地一個路口拐彎處的9 個攝像機下.共103 個行人的2 008張圖像,其中可見光圖像為1 409 張,近紅外圖像為599 張.與現有SYSU-MM01 數據集[5]相比,本數據集主要有以下特點:

圖2 數據集圖像示例Fig.2 Example of dataset images

1)由于受到光照等環境因素的影響,這9 個攝像機并非同一時間全部轉換模態,而是有一定的時間差,這個時間差會對行人重識別的應用產生較大影響,本數據集是第一個基于這個時間差構建的跨模態行人重識別數據集.

2)數據集更能反映出現實世界中跨模態行人數據本身分布的特點,對研究現實場景下的跨模態行人重識別問題具有重要意義;

3)基線方法在此數據集上的效果只有15.5 %,表明了本數據集具有較大的挑戰性,因此本數據集具有一定的研究意義和學術價值.

這里以圖像 “0001_c2_400_nir.jpg” 為例來介紹本數據集圖像的命名規則,“0001” 表示ID,“c2”表示該圖像來自于第二個攝像機下,“400” 表示這段視頻以1 s 時間采集時的幀率,“nir” 表示該圖像為近紅外圖像,如果是 “vis” 則表示該圖像為可見光圖像.本文將該數據集命名為Parking-01 數據集.

2.1.2 Parking-01 數據集評估協議

Parking-01 數據集僅用于網絡模型的測試評估,不用于訓練網絡.考慮到本數據集采集的特殊性,在測試過程中包括兩種測試模式,一種為可見光檢索近紅外模態,另一種為近紅外檢索可見光模態.在可見光檢索近紅外模式時,以可見光圖像為query 庫,近紅外圖像中每個ID 在每個攝像機下任取一張圖像為gallery 庫.在近紅外檢索可見光圖像時,以近紅外圖像為query 庫,可見光圖像中每個ID 在每個攝像機下任取一張圖像為gallery 庫.數據集最終測試結果為測試10 次求其平均值.

2.2 SYSU-MM01 數據集介紹

本研究在SYSU-MM01 數據集[9]上做了大量的評估實驗.SYSU-MM01 數據集是跨模態行人重識別的公認權威數據集.包含由4 個可見光相機拍攝的287 628 張可見光圖像和2 個近紅外相機拍攝的15 792 張近紅外圖像,一共有491 個行人.SYSUMM01 數據集分為訓練集和測試集,分別包含395個和96 個行人.根據其標準評估協議,數據集包括all-search 模式和indoor-search 檢索模式.對于allsearch 模式,可見光相機1、2、4 和5 用于gallery集,紅外相機3 和6 用于query 集.對于indoorsearch 模式,可見光攝像機1 和2 (不包括室外攝像機4 和5)用于gallery 集,紅外攝像機3 和6 用于query集.對于這兩種模式,本文都采用singleshot 和multi-shot 設置進行測試.

本文提出了在SYSU-MM01 數據集進行訓練后,在Parking-01 數據集上按照2.1.2 的數據集評估協議進行評估.

3 實驗測試與結果

3.1 實驗實施細節

評估協議.以標準累積匹配特性(CMC)曲線和平均精度(mAP)作為性能評價指標.在測試階段,可見光相機的樣本用于gallery 集,近紅外相機的樣本用于query 集.

實驗細節.本方法中的訓練圖像大小首先被設定為128×128,并且使用了水平翻轉的圖像增強方式,之后再輸入Re-ID 網絡時圖像大小調整為256×128.在本文中Re-ID 模塊所使用的ResNet-50 網絡模型是經過ImageNet[18]預訓練的,然后在SYSU-MM01 數據集進行微調.本方法輸入網絡的圖像批次為32.MMG 模塊的學習率為0.0002,FCM和Re-ID 模塊的學習率設定為0.1,經過100 次的訓練后,該學習率被衰減為0.01,模型一共訓練150 次.MMG 模塊的優化器采用的是Adam,其數值設定為(0.5,0.999).FCM 和ICM 模塊的優化器是SGD.三元組損失的P和K值分別設定為8 和4.

3.2 與現有方法的比較

本文提出的方法與SYSU-MM01 數據集上的13 種最新方法進行了比較,包括HOG[19]、LOMO[20]、Two-Stream[9]、One-Stream[9]、Zero-Padding[9]、BCTR[10]、BDTR[10]、D-HSME[21]、MSR[22]、cmGAN[12]、ResNet-50、CMGN[23]、D2RL[13]和AlignGAN[14],其中ResNet-50*為本文所測出的結果.為了公平比較,上述方法分別在SYSU-MM01數據集上的all-search single-shot、indoor-search single-shot、all-search multi-shot 和indoor-search multi-shot 四種模式下進行實驗,實驗結果分別如下表1～4 所示,表中R1、R10、R20 分別代表Rank-1、Rank-10、Rank-20.其中,“*” 表示本文測出的結果.

表1 SYSU-MM01 數據集all-search single-shot模式實驗結果Table 1 Experimental results in all-search single-shot mode on SYSU-MM01 dataset

從表1 可以看出,本文方法在SYSU-MM01 數據集上all-search single-shot 模式下達到了目前最好的效果,在Rank-1、Rank-10、Rank-20 以及mAP 上分別超過最排在第二位的D2RL 4.2 %、3.3 %、1.3 %、3.7 %.

從表2 可以看出,本文方法在SYSU-MM01 數據集上all-search multi-shot 模式下達到了較好的效果,其中在Rank-1 和mAP 上達到了最好的效果.

表2 SYSU-MM01 數據集all-search multi-shot模式實驗結果Table 2 Experimental results in all-search multi-shot mode on SYSU-MM01 dataset

從表3 可以看出,本文方法在SYSU-MM01 數據集上indoor-search single-shot 模式下達到了較好的效果,其中在Rank10 上達到了最好的效果.

表3 SYSU-MM01 數據集indoor-search single-shot模式實驗結果Table 3 Experimental results in indoor-search singleshot mode on SYSU-MM01 dataset

從表4 可以看出,本文方法在SYSU-MM01 數據集上indoor-search multi-shot 模式下達到了較好的效果.

表4 SYSU-MM01 數據集indoor-search multi-shot模式實驗結果Table 4 Experimental results in indoor-search multishot mode on SYSU-MM01 dataset

如表3 和表4 所示,在SYSY-MM01 數據集的測試中本文發現,在indoor-search 兩種模式下本方法略低于現有最好方法,這主要是由于對于中間模態的約束不佳,而造成生成結果反而比原始的圖像更加難以檢索.這在一定程度上是基于生成對抗網絡的跨模態行人重識別方法所存在的普遍問題.但是相比于其他方法,本文所提出的方法仍然在Rank1 和mAP 上處于領先的地位.

表5 和表6 為本文所提出的方法在所構建的Parking-01 數據集上的實驗效果,其中表5 為近紅外檢索可見光模式的實驗結果,表6 位可見光檢索近紅外模式的實驗結果.

表5 近紅外檢索可見光模式的實驗結果Table 5 Experimental results of near infrared retrieval visible mode

表6 可見光檢索近紅外模式的實驗結果Table 6 Experimental results of visible retrieval near infrared mode

從上述兩個表格可以看出一下問題:1) Rank-1和mAP 的效果較低,顯示出跨模態行人重識別在本文所構建的Parking-01 數據集上具有很大的挑戰,因此所構建的數據集有著巨大的研究意義和研究價值;2)本文所提方法在近紅外檢索可見光模式下,比ResNet-50 網絡[11]的基準線分別在Rank-1、Rank-10、Rank-20 以及mAP 上分別高出了10.4 %、14.1 %、10.9 %、10.4 %;在可見光檢索近紅外模式下,比ResNet-50 的基準線分別在Rank-1、Rank-10、Rank-20 以及mAP 上分別高出了11.4 %、2.6 %、6.1 %、5.4 %,這個也證實了本文所提出方法的有效性.

3.3 算法分析

3.3.1 不同模態轉換性能分析

為了與近紅外轉可見光模式、可見光轉近紅外模式兩種方法進行比較,本文進行將ResNet-50、轉近紅外模式、轉可見光模式與本文所提出的方法在SYSU-MM01 數據集上進行了實驗比較,實驗結果如表7 所示.從表7 的實驗結果可以看出,本文所提出的中間模態轉換比轉到近紅外模式或者轉到可見光模式在Rank-1 上分別高出了2.3 %、3.5 %,顯示了本文所提方法有著較大的性能優勢.

表7 不同模態轉換的實驗結果Table 7 Experimental results of different mode conversion

3.3.2 算法時間復雜度

本文的方法實施框架為Pytorch,算法在兩個GeForce 1080Ti GPU 上訓練時間約為40 個小時.算法模型一共訓練150 個epoch,一個epoch 時間為16 分鐘,一個epoch 訓練的圖像張數為32 451張圖像,當epoch=1 時,隨機選取100 張圖像進行測試,單張圖像平均測試時間約為1.69 秒.

3.4 循環一致性損失分析

為了檢測算法中循環一致性損失的效果,本文在去掉了循環一致性損失并對網絡進行訓練與測試,僅用和相同的判別網絡設置去約束近紅外和可見光圖片送入編碼器后解碼并輸入到圖像約束模塊,并且與本文所提出的中間模態方法進行比較.從表8 的實驗結果可以看出,本文所提出的中間模態轉換比沒有循環一致性損失在Rank-1 上高出了3.5 %,顯示了較大的優勢.

表8 有無循環一致性損失的實驗結果Table 8 Experimental results with or without loss of cycle consistency

3.5 中間模態圖像可視化及分析

為了更好地觀察實驗中間模態的結果,本文將中間模式生成器生成的圖像以圖3 中的圖像形式可視化.從圖中可以看出,本文提出的方法可以通過潛在的特征空間將可見光和紅外模態轉換為一種模態,減少了模態之間的差異,提高了行人重識別的效果.

圖3 中間模態生成器所生成的中間模態圖像Fig.3 Middle modality image generated by middle modality generator

4 結論

本文針對近紅外和可見光之間數據分布存在差異性的問題,不同于以往使用生成對抗網絡進行單向轉換為近紅外或者可見光的方法,提出了通過生成對抗網絡尋找一種在其相互轉換過程中潛在的中間模態,以提升此種模態下的行人重識別效果.本文提出的特征約束模型和行人重識別約束模型對生成對抗網絡的中間模態生成器進行約束,進一步壓縮了可見光和近紅外圖像及特征間的轉換空間.此外,考慮到跨模態行人重識別數據集的稀缺性,本文還構建了一個基于跨模態的行人重識別數據集,為進一步開展此方向的研究提供了有效的評估策略和依據.