基于領(lǐng)域自適應(yīng)的多源多標(biāo)簽行人屬性識(shí)別

程南江，余貞俠，陳琳，喬賀轍

（1.成都信息工程大學(xué)計(jì)算機(jī)學(xué)院，成都 610225；2.中國科學(xué)院重慶綠色智能技術(shù)研究院，重慶 400714）

0 引言

行人屬性是人類可搜索的語義描述，可作為視頻監(jiān)控的軟生物識(shí)別技術(shù)，在人的重識(shí)別［1-2］、人臉驗(yàn)證［3］和人物信息檢索［4-5］等方面有重要應(yīng)用。行人屬性識(shí)別（Perdestion Attribute Recognition，PAR）任務(wù)的目的是在給定人物圖像時(shí)挖掘目標(biāo)人物的屬性，預(yù)測行人圖像中的多個(gè)屬性作為視頻監(jiān)控中的語義描述，如年齡、性別、服裝等，其實(shí)質(zhì)是對行人的所有屬性標(biāo)簽進(jìn)行二分類的多標(biāo)簽分類。

傳統(tǒng)的行人屬性識(shí)別方法［6］通常側(cè)重于從低層次特征、強(qiáng)大的分類器或?qū)傩躁P(guān)系等角度開發(fā)魯棒的特征表示，也提出了許多經(jīng)典的方法。然而，大量的評估報(bào)告表明，這些傳統(tǒng)方法的性能遠(yuǎn)遠(yuǎn)不能滿足實(shí)際應(yīng)用的要求。

與許多視覺任務(wù)一樣，深度學(xué)習(xí)在行人屬性識(shí)別方面也取得了顯著進(jìn)展。近些年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像分類和圖像檢索方面得到了廣泛的應(yīng)用，許多基于CNN 的PAR 方法被提出。這些方法包括基于全局的［7-9］、基于局部的［10-12］、基于視覺注意的［13-16］等。Deep-Mar［7］直接將整幅圖像作為輸入，并用基于ResNet-50［17］的網(wǎng)絡(luò)對所有屬性進(jìn)行分類。Abdulnabi 等［9］通過三階級(jí)聯(lián)CNN 呈現(xiàn)不同類別之間的視覺共享信息，并在多任務(wù)學(xué)習(xí)中利用豐富的先驗(yàn)信息。基于全局的方法的優(yōu)點(diǎn)是相對直觀、復(fù)雜度低、效率高。然而，由于缺乏對局部細(xì)粒度屬性識(shí)別的考慮，這些方法的性能仍有待提高。基于局部的方法通常需要額外的身體部件信息來提取特定的屬性特征。Bourdev等［12］將一幅圖像分解為一組圖像塊，根據(jù)給定的視角和部分區(qū)域提取判別特征。Li 等［10］提出了一種聯(lián)合學(xué)習(xí)CNN 模型，利用人體姿態(tài)輔助PAR，姿態(tài)估計(jì)模型可以生成行人關(guān)鍵點(diǎn)，準(zhǔn)確定位局部區(qū)域進(jìn)行屬性識(shí)別。基于局部的方法結(jié)合全局特征和細(xì)粒度局部特征顯著提高了識(shí)別性能。然而，此方法更多地依賴于定位模塊的準(zhǔn)確性，并且大多數(shù)PAR數(shù)據(jù)集的數(shù)據(jù)不足，需要手工標(biāo)注身體部位區(qū)域。注意力機(jī)制在屬性識(shí)別中被廣泛應(yīng)用于對屬性區(qū)域進(jìn)行弱定位。Liu等［13］提出了一個(gè)基于注意力的網(wǎng)絡(luò)：HydraPlus-Net，該網(wǎng)絡(luò)可以分為兩部分：骨干網(wǎng)絡(luò)和注意力網(wǎng)絡(luò)。這兩個(gè)網(wǎng)絡(luò)共享同一個(gè)主干CNN 的權(quán)重，其輸出通過全局平均池化（Global Average Pooling，GAP）層進(jìn)行連接和融合。Wu 等［14］提出了一種分散感知注意力算法，以提高多粒度屬性定位的準(zhǔn)確性。Yaghoubi 等［15］擴(kuò)展了一個(gè)多任務(wù)學(xué)習(xí)模型，該模型關(guān)注前景（即人體）特征，并減少了背景區(qū)域的影響。視覺注意力機(jī)制通常用于生成注意力掩模，通過匹配識(shí)別區(qū)域提取屬性特征。然而，基于注意力的方法只關(guān)注局部區(qū)域或像素的小尺寸，忽略了與屬性相關(guān)的鄰域特征的上下文判別信息。

雖然各種網(wǎng)絡(luò)通過提取更有識(shí)別力的特征提高了性能，但現(xiàn)有流行的PAR 數(shù)據(jù)集中，有一個(gè)至關(guān)重要的問題經(jīng)常被忽視，即PAR 數(shù)據(jù)集的屬性沒有相關(guān)標(biāo)準(zhǔn)，導(dǎo)致每個(gè)數(shù)據(jù)集的屬性有很大差異，如在現(xiàn)有4 個(gè)主流的PAR 數(shù)據(jù)集中，PA-100K（Pedestrian Attribute-100K）［13］數(shù)據(jù)集有26 項(xiàng)屬性，PETA（PEdesTrian Attribute）［18］數(shù)據(jù)集有35 項(xiàng)屬性，RAPv1（Richly Annotated Pedestrian v1）［19］和RAPv2［20］的屬性數(shù)則為51 項(xiàng)。這個(gè)問題導(dǎo)致了在改進(jìn)行人屬性識(shí)別算法時(shí)，通常只能在單一數(shù)據(jù)集上進(jìn)行比較，無法將多個(gè)屬性不同的數(shù)據(jù)集結(jié)合起來。并且在實(shí)際應(yīng)用時(shí)，由于各個(gè)數(shù)據(jù)集間的屬性差異，通常無法加入現(xiàn)有公開數(shù)據(jù)集直接訓(xùn)練，為完成任務(wù)，只能花費(fèi)大量時(shí)間進(jìn)行圖片的搜集、裁剪和標(biāo)注。這種方法不僅耗時(shí)，而且需要大量的人力物力。在一些僅有少量樣本的場景上，大多數(shù)算法往往不能得到良好的訓(xùn)練效果。并且，現(xiàn)有公開數(shù)據(jù)集的采集場景差異也非常大，例如，RAPv1和RAPv2 數(shù)據(jù)集樣本均由室內(nèi)攝像頭采集，光線較為融合，這些圖片也較為清晰，分辨率高；而PATA 數(shù)據(jù)集來自室外攝像頭，其圖片分辨率低且曝光率較高。

針對上述問題，本文提出了一種基于多源多標(biāo)簽，以領(lǐng)域自適應(yīng)為基礎(chǔ)，利用特征對齊和標(biāo)簽對齊提高跨數(shù)據(jù)集行人屬性識(shí)別性能的方法。

1 本文方法

本文方法的總體結(jié)構(gòu)如圖1 所示，以ResNet-50 為基礎(chǔ)，加入了用于行人屬性識(shí)別任務(wù)的特征及標(biāo)簽對齊模塊。其中特征對齊模塊（Feature Alignment Module，F(xiàn)AM）使用領(lǐng)域自適應(yīng)方法，通過學(xué)習(xí)公共的特征不變表示，使多個(gè)數(shù)據(jù)集的樣本在公共特征空間中盡可能有相同的分布，以實(shí)現(xiàn)數(shù)據(jù)集間樣本的特征對齊。標(biāo)簽對齊模塊（Label Alignment Module，LAM）則對數(shù)據(jù)集的標(biāo)簽進(jìn)行操作，從多個(gè)數(shù)據(jù)集中找出共有屬性，將數(shù)據(jù)集的共有屬性標(biāo)簽向所選出的源域數(shù)據(jù)集標(biāo)簽進(jìn)行對齊，以此增強(qiáng)模型對共有屬性的識(shí)別效果。

圖1 基于領(lǐng)域自適應(yīng)的多源多標(biāo)簽行人屬性識(shí)別總體結(jié)構(gòu)Fig.1 Overall structure of multi-source and multi-label pedestrian attribute recognition based on domain adaptation

1.1 特征對齊模塊

由于數(shù)據(jù)集之間的場景差異，本文采用循環(huán)生成對抗網(wǎng)絡(luò)（Cycle-Generative Adversarial Network，Cycle-GAN）［21-22］實(shí)現(xiàn)數(shù)據(jù)集間樣本的特征對齊，以完成兩個(gè)數(shù)據(jù)集圖片風(fēng)格的相互轉(zhuǎn)換。以PA-100K 數(shù)據(jù)集和RAPv1 數(shù)據(jù)集為例。特征對齊模塊的目的是得到PA-100K 域P和RAPv1 域R之間的映射關(guān)系，使兩個(gè)域之間能夠進(jìn)行相互映射。域P提供圖片IP，域R提供圖片IR，在給定iR∈IR和iP∈IP的情況下，最終得到兩個(gè)最優(yōu)的生成器GP→R和GR→P，前者完成從PA-100K域向RAPv1 域的映射，后者則相反。整個(gè)訓(xùn)練過程引入了循環(huán)一致性損失（Lcycle）來規(guī)范，具體來說，對樣本iR和iP而言，目標(biāo)之一是iP→GP→R(iP) →GR→P(GP→R(iP)) ≈iP，另一個(gè)則是iR的逆過程。循環(huán)一致性損失是周期架構(gòu)中的L1 損失，其定義如下：

同時(shí)，兩個(gè)對抗器DR和DP也分別對應(yīng)判別器GP→R和GP→R。具體來說，DR試圖區(qū)分那些來自IR或GP→R(IP)的圖片，DP則試圖區(qū)分那些來自IP或GR→P(IR)的圖片。以DP為例，訓(xùn)練目標(biāo)是得到其對抗損失（Adversarial Loss），公式如下：

綜上，總的損失函數(shù)定義為：

1.2 標(biāo)簽對齊模塊

圖2 將RAPv1數(shù)據(jù)集的標(biāo)簽與PA-100K數(shù)據(jù)集的標(biāo)簽對齊Fig.2 Aligning labels of RAPv1 dataset with those of PA-100K dataset

1.3 損失計(jì)算模塊

行人屬性識(shí)別方法通常采用具有sigmoid 函數(shù)的多個(gè)二元分類器，損失通常以如下方式計(jì)算：

其中：rj為數(shù)據(jù)集中第j個(gè)屬性的負(fù)樣本比率。

由于上述損失函數(shù)為單一數(shù)據(jù)集的計(jì)算方式，而本文中引入了多個(gè)數(shù)據(jù)集，因此改進(jìn)后的多標(biāo)簽半監(jiān)督損失函數(shù)如下：

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

PA-100K 數(shù)據(jù)集［13］是由598 個(gè)真實(shí)的戶外監(jiān)控?cái)z像頭捕獲到的圖像構(gòu)建而成的，其中包括100 000 張行人圖像，是迄今為止最大的行人屬性識(shí)別數(shù)據(jù)集。整個(gè)數(shù)據(jù)集按8∶1∶1的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集。

RAPv1 數(shù)據(jù)集［19］來自真實(shí)的室內(nèi)監(jiān)控場景，共選取26臺(tái)攝像機(jī)來采集圖像，包含41 585 張分辨率范圍為36×92 到344×554 的圖片，其中的33 268 幅圖像用于訓(xùn)練，剩余部分用于測試。

RAPv2 數(shù)據(jù)集［20］采集自現(xiàn)實(shí)室內(nèi)購物中心的高清監(jiān)控。該數(shù)據(jù)集包含84 928 張圖像，并分為三個(gè)部分，其中50 957張用于訓(xùn)練，16 986 張用于驗(yàn)證，16 985 張用于測試。

PETA 數(shù)據(jù)集［18］是由10 個(gè)公開的用于行人重識(shí)別的小規(guī)模數(shù)據(jù)集構(gòu)建而成。該數(shù)據(jù)集包含19 000 張圖像，隨機(jī)選出9 500 張用于訓(xùn)練，1 900 張用于驗(yàn)證，7 600 張用于測試。

2.2 評估標(biāo)準(zhǔn)

實(shí)驗(yàn)采用了基于標(biāo)簽和基于實(shí)例的標(biāo)準(zhǔn)評價(jià)屬性識(shí)別算法。基于標(biāo)簽的標(biāo)準(zhǔn)首先獨(dú)立計(jì)算每個(gè)屬性的準(zhǔn)確率，以所有屬性的平均準(zhǔn)確率（mean Accuracy，mA）作為識(shí)別率。mA的計(jì)算公式如下：

其中：L為屬性的個(gè)數(shù)；TPi和TNi分別為正確預(yù)測的正、負(fù)樣本個(gè)數(shù)；Pi和Ni分別為正、負(fù)樣本總數(shù)；N為樣本總數(shù)。

基于實(shí)例的標(biāo)準(zhǔn)包括準(zhǔn)確性Acc、精度Prec、召回率Rec和F1 值四個(gè)廣泛使用的指標(biāo)，定義如下：

其中：Yi為第i個(gè)樣本的真實(shí)正標(biāo)簽；f(xi)為第i個(gè)樣本的預(yù)測正標(biāo)簽。

2.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在2 張NVIDIA GTX1080ti 上使用PyTorch 進(jìn)行，采用256×192 作為骨干網(wǎng)絡(luò)ResNet-50 的輸入圖像大小，該網(wǎng)絡(luò)已在ImageNet 上進(jìn)行了預(yù)訓(xùn)練，通過隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）對網(wǎng)絡(luò)進(jìn)行優(yōu)化。圖片通過隨機(jī)擦除、隨機(jī)裁剪、水平翻轉(zhuǎn)和其他操作進(jìn)行了簡單的數(shù)據(jù)增強(qiáng)處理。動(dòng)量大小設(shè)置為0.5，權(quán)重衰減為0.000 5。初始學(xué)習(xí)率為0.01，批處理大小設(shè)置為64，學(xué)習(xí)率的衰減因子為0.1，總共訓(xùn)練30 輪。

實(shí)驗(yàn)時(shí)，將PA-100K 作為目標(biāo)域，RAPv1、RAPv2 和PETA 分別作為源域，具體步驟如下：分別將RAPv1、RAPv2和PETA 數(shù)據(jù)集的樣本與PA-100K 數(shù)據(jù)集樣本通過領(lǐng)域自適應(yīng)方法進(jìn)行特征對齊，再把這三個(gè)數(shù)據(jù)集的標(biāo)簽與PA-100K的標(biāo)簽對齊；最后分別將對齊后的樣本和標(biāo)簽與PA-100K 樣本結(jié)合起來組成一個(gè)新的訓(xùn)練集，測試集不變，仍將PA-100K 的測試集用作測試。三種混合數(shù)據(jù)集在表中分別以RAPv1→PA-100K、RAPv2→PA-100K 和 PETA→PA-100K表示。

為了驗(yàn)證本文方法的有效性，本文將所提方法與近年來最先進(jìn)的（State-Of-The-Art，SOTA）方法進(jìn)行了比較，包括基于局部的方法，如PGDM（Posed Guided Deep Model）［10］、ALM（Attribute Localization Module）［24］、CoCNN（Co-occurrence Convolutional Neural Network）［24］；基于注意力的方法如HPNet（Hydra Plus Net）［13］、MT-CAS（Multi-Task learning via Co-Attentive Sharing）［25］、AR-BiFPN（Attribute Recognition-Bidirectional Feature Pyramid Network）［26］；以及其他損失函數(shù)改進(jìn)方法，如StrongBaseline（Strong Baseline model）［27］。表1為在PA-100K 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

表1 在PA-100K數(shù)據(jù)集上的不同方法結(jié)果對比 單位：%Tab.1 Result comparison of different methods on PA-100K dataset unit：%

從表1 可以看出，本文方法在PA-100K 數(shù)據(jù)集上的性能優(yōu)于其他SOTA 方法。相較于StrongBaseline，所提出的方法在mA上分別提升了1.22、1.62 和1.53 個(gè)百分點(diǎn)。具體來說，以RAPv1→PA-100K 為例，本文方法在mA和Acc方面分別比AR-BiFPN 提高了0.67 和0.25 個(gè)百分點(diǎn)。在RAPv2→PA-100K 上，方法在mA、Acc方面優(yōu)于其他SOTA 方法，并產(chǎn)生最高的F1 值，這是由于Prec和Rec的值更均衡。F1 和mA值的提升表明，本文方法通過結(jié)合多個(gè)來自不同域的樣本（RAPv1 和RAPv2 數(shù)據(jù)集由室內(nèi)攝像機(jī)采集，而PA-100K 數(shù)據(jù)集則來自室外攝像機(jī)）進(jìn)行跨數(shù)據(jù)集訓(xùn)練的方法是有效的。

在兩個(gè)數(shù)據(jù)集場景差異最大的PETA→PA-100K 上，如表1 所示，本文方法仍然優(yōu)于其他SOTA 方法：mA相較于第二名提高了0.27 個(gè)百分點(diǎn)，Rec值是第三好的結(jié)果。綜上，本文方法明顯優(yōu)于其他基準(zhǔn)方法，在將PA-100K 數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)集時(shí)，生成了最高的基于標(biāo)簽的度量mA。在這些數(shù)據(jù)集上的良好表現(xiàn)展現(xiàn)了行人屬性識(shí)別中進(jìn)行跨數(shù)據(jù)集訓(xùn)練的優(yōu)越性。

為研究各個(gè)模塊對實(shí)驗(yàn)結(jié)果的影響，使用ResNet-50 作為基準(zhǔn)，分別加入特征對齊模塊（FAM）和標(biāo)簽對齊模塊（LAM），在RAPv1→PA-100K、RAPv2→PA-100K 和PETA→PA-100K 上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示。加入LAM之后，在三個(gè)混合數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果相較于基準(zhǔn)方法在各項(xiàng)指標(biāo)上均有不同程度提升，其中mA分別提升了0.87、1.14 和0.32 個(gè)百分點(diǎn)，說明了LAM 可以使方法的識(shí)別效果有較大的增益。并且，在同時(shí)加入LAM 和FAM 后，相較于只加LAM 時(shí)，三組實(shí)驗(yàn)結(jié)果也均有不同提升，其中在RAPv1→PA-100K 上，mA、Acc、Rec和F1 分別提升了0.75、0.33、0.86和0.11 個(gè)百分點(diǎn)；在RAPv2→PA-100K 上這四項(xiàng)指標(biāo)則提升了0.39、1.23、1.33 和0.59 個(gè)百分點(diǎn)；在由于場景差異過大而最能反映模塊效果的PETA→PA-100K 上，mA、Rec和F1 這三項(xiàng)指標(biāo)分別提高0.90、0.15 和0.31 個(gè)百分點(diǎn)，這表明即使對一些場景差異較大的數(shù)據(jù)集，本文方法也能有效提升屬性識(shí)別精度。

表2 消融實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Results of Ablation experiments unit：%

為了分析本文方法對各個(gè)屬性的影響，如表3～5 所示，分別展示了在RAPv1→PA-100K、RAPv2→PA-100K 和PETA→PA-100K 上各個(gè)共有屬性的識(shí)別準(zhǔn)確率，并與StrongBaseline［27］對應(yīng)屬性的識(shí)別準(zhǔn)確率進(jìn)行比較（PA-100K與RAPv1 和RAPv2 的共有屬性相同，共有10 個(gè)，與PETA 的共有屬性有11 個(gè)）。從表3～5 可以看出：對比基準(zhǔn)算法StrongBaseline，三個(gè)混合數(shù)據(jù)集的絕大部分共有屬性識(shí)別準(zhǔn)確率均有不同程度的提升，尤其在一些正負(fù)樣本分布失衡的屬性上的效果提升非常大，例如屬性Hat 在PA-100K 中的正樣本比例僅為4.21%，而本文方法在這個(gè)屬性上的識(shí)別準(zhǔn)確率相較于StrongBaseline 分別提升10.68、8.47 和7.31個(gè)百分點(diǎn)。

表3 在RAPv1→PA-100K上的共有屬性識(shí)別準(zhǔn)確率對比Tab.3 Comparison of common attribute recognition accuracy on RAPv1→PA-100K

表4 在RAPv2→PA-100K上的共有屬性識(shí)別準(zhǔn)確率對比Tab.4 Comparison of common attribute recognition accuracy on RAPv2→PA-100K

表5 在PETA→PA-100K上的共有屬性識(shí)別準(zhǔn)確率對比Tab.5 Comparison of common attribute recognition accuracy on PETA→PA-100K

3 結(jié)語

為解決行人屬性識(shí)別數(shù)據(jù)集中屬性不一致，導(dǎo)致很難將現(xiàn)有行人屬性識(shí)別數(shù)據(jù)集進(jìn)行實(shí)際應(yīng)用的問題，提出了一種基于領(lǐng)域自適應(yīng)的多源多標(biāo)簽行人屬性識(shí)別方法。該方法包含兩個(gè)模塊，即標(biāo)簽對齊模塊和特征對齊模塊，其中標(biāo)簽對齊模塊將來自不同領(lǐng)域的多個(gè)數(shù)據(jù)集的標(biāo)簽對齊；特征對齊模塊用于多個(gè)數(shù)據(jù)集間的特征對齊。通過這兩個(gè)模塊得到一個(gè)新的混合數(shù)據(jù)集重新進(jìn)行訓(xùn)練。在PA-100K、PETA、RAPv1 和RAPv2 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果（將PA-100K 數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)集）表明，本文方法的性能優(yōu)于大多數(shù)現(xiàn)有SOTA方法，有很大的應(yīng)用潛力。不過由于本文方法僅在四個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，且使用的領(lǐng)域自適應(yīng)方法沒有考慮到行人屬性識(shí)別樣本的特殊性，因此，未來的研究可以圍繞增添數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)和改進(jìn)領(lǐng)域自適應(yīng)方法上展開。