融合人體姿態(tài)估計(jì)與非局部注意力機(jī)制的遮擋行人重識(shí)別

陳岸明 林群雄 孫全忠 洪小龍 溫峻峰

（1.清華大學(xué)深圳國(guó)際研究生院 廣東省深圳市 518000）

（2.廣東省公安科技協(xié)同創(chuàng)新中心 廣東省廣州市 510000）

（3.中科天網(wǎng)（廣東）科技有限公司 廣東省廣州市 510000）

現(xiàn)如今，科技的持續(xù)進(jìn)步使得監(jiān)控?cái)z像頭廣泛應(yīng)用于日常生活，城市的安全越來(lái)越依靠智能視頻監(jiān)控系統(tǒng)。利用視頻監(jiān)控系統(tǒng)排查搜尋已成為一個(gè)重要的技術(shù)偵查手段。因?yàn)閿z像頭的分辨率不一和拍攝角度不同，監(jiān)控?cái)z像頭大多數(shù)無(wú)法獲取非常清晰的臉部圖片，導(dǎo)致人臉失效。這種情況下，行人重識(shí)別(Person Reidentification)就成為了一種有效替代人臉識(shí)別的方法[1,2]?，F(xiàn)有的行人重識(shí)別任務(wù)都是直接對(duì)行人檢測(cè)算法或人工截取得到的單個(gè)行人圖像來(lái)進(jìn)行行人的檢索，并且大部分行人重識(shí)別方法都假設(shè)匹配中的行人都是站立的完整行人圖像，這顯然是不符合現(xiàn)實(shí)場(chǎng)景中攝像機(jī)所拍攝到的所有情況。在現(xiàn)實(shí)世界中的一些重要場(chǎng)景如醫(yī)院、車站、機(jī)場(chǎng)、商場(chǎng)等人員擁擠的場(chǎng)景中都會(huì)出現(xiàn)行人被部分遮擋的情況，以及街道中行人被車輛、樹木等遮擋的情形也常有發(fā)生[3]，因此，遮擋場(chǎng)景下的行人重識(shí)別任務(wù)是當(dāng)前行人重識(shí)別中亟需關(guān)注的研究重點(diǎn)[4]，并且由于遮擋帶來(lái)的信息缺失和辨識(shí)困難，本文研究遮擋行人重識(shí)別方法，以提高在遮擋場(chǎng)景下的行人重識(shí)別精度。

遮擋行人重識(shí)別系統(tǒng)正面臨著兩大挑戰(zhàn)。第一，超豐富的遮擋變化，隨機(jī)遮擋不同的身體部位，大幅改變?nèi)梭w圖像的外觀。第二，遮擋的干擾，通常與身體部位具有相似的外觀，不利于網(wǎng)絡(luò)對(duì)人體圖像的學(xué)習(xí)識(shí)別。現(xiàn)有的方法大多通過(guò)檢測(cè)非遮擋的身體部位和對(duì)準(zhǔn)可見的人體部位來(lái)解決遮擋的問(wèn)題，其中兩類典型的對(duì)齊方法已被廣泛研究。第一類方法[5,6,7]利用各種外部線索，如人體編碼，語(yǔ)義解析和姿態(tài)估計(jì)來(lái)準(zhǔn)確地對(duì)齊可見的身體部位。然而，外部線索的提取很敏感，無(wú)法應(yīng)對(duì)帶有嚴(yán)重遮擋或噪聲問(wèn)題的圖片，在面對(duì)嚴(yán)重的遮擋和背景噪聲時(shí)往往會(huì)失敗。另一類方法[8,9,10]是基于局部圖像特征的相似性對(duì)身體部位進(jìn)行對(duì)齊，但它經(jīng)常難以區(qū)分人體與障礙，導(dǎo)致匹配錯(cuò)位甚至錯(cuò)誤。遮擋行人重識(shí)別問(wèn)題關(guān)鍵在于解決遮擋問(wèn)題。目前大致有三種方法解決遮擋問(wèn)題[11]：

（1）添加模擬遮擋到訓(xùn)練集中作為訓(xùn)練集數(shù)據(jù)的擴(kuò)充，以強(qiáng)化深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)于帶遮擋圖片的學(xué)習(xí)，進(jìn)一步提高識(shí)別準(zhǔn)確度[12,13]。

（2）為了解決第一種方法研究過(guò)程中引入噪聲特征的問(wèn)題而產(chǎn)生的。它利用人體姿態(tài)或部位關(guān)系等提取生成合適的特征，以減小添加遮擋引入的噪聲的影響，進(jìn)而優(yōu)化識(shí)別效果[14,15]。

（3）重構(gòu)由于遮擋缺失的身體部位還原完整的人體，從而實(shí)現(xiàn)去遮擋[16,17]。這種方法可以不用姿態(tài)估計(jì)直接恢復(fù)完整人體，對(duì)于有時(shí)間序列的視頻圖片有很好的識(shí)別提升效果。

本文提出了一種姿態(tài)估計(jì)的非局部注意遮擋行人重識(shí)別網(wǎng)絡(luò)，該網(wǎng)絡(luò)首先在ResNet-50 骨干網(wǎng)絡(luò)中引入非局部注意力模塊，將其他位置計(jì)算得到的權(quán)重標(biāo)出該對(duì)應(yīng)位置需要注意的關(guān)鍵區(qū)域，傳輸?shù)较乱粚泳W(wǎng)絡(luò)中，使下層網(wǎng)絡(luò)學(xué)會(huì)關(guān)注對(duì)應(yīng)的關(guān)鍵區(qū)域；然后對(duì)骨干網(wǎng)絡(luò)提取到的特征進(jìn)行水平局部分塊得到局部特征分支，并對(duì)分塊后的各局部特征均進(jìn)行降維后再分別進(jìn)行身份學(xué)習(xí)，可以從具有區(qū)分度的局部信息中實(shí)現(xiàn)對(duì)不同身份行人的識(shí)別；再由姿態(tài)引導(dǎo)全局特征分支利用姿態(tài)估計(jì)器得到人體特征點(diǎn)以實(shí)現(xiàn)對(duì)遮擋干擾的抵消，從獲得的特征點(diǎn)中的到所有未被遮擋的人體部分，只提取這部分的人體信息特征，有效抵消了非人體信息對(duì)行人重識(shí)別的干擾；最后聯(lián)合身份損失函數(shù)和三元組損失函數(shù)對(duì)該網(wǎng)絡(luò)的身份標(biāo)簽和行人特征分別進(jìn)行訓(xùn)練。在使用最廣泛的遮擋行人重識(shí)別領(lǐng)域的Occluded-DukeMTMC 數(shù)據(jù)集[6]上的大量實(shí)驗(yàn)證明了本文所提出方法的有效性。

1 所提出方法

本文構(gòu)建了姿態(tài)引導(dǎo)的非局部注意遮擋行人重識(shí)別網(wǎng)絡(luò)，具體包含非局部注意力模塊的ResNet-50 骨干網(wǎng)絡(luò)，特征分塊的局部特征分支和姿態(tài)引導(dǎo)全局特征分支，如圖1所示。

圖1：本文網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 基于非局部注意機(jī)制的骨干網(wǎng)絡(luò)

本文使用ResNet50 作為主干，且其不含平均池化層和全連接層，對(duì)給定的圖像進(jìn)行全局特征圖提取。在本網(wǎng)絡(luò)的ResNet50 主干中，第五大層的第一小模塊conv5_1 的下采樣步幅被設(shè)置為1。因此，在通過(guò)本文的主干網(wǎng)絡(luò)后，大小為H×W 的輸入圖像將輸出具有（H/16×W/16）空間尺寸的特征圖，是原始ResNet-50中的（H/32×W/32）的四倍。更大的特征圖可以讓更大的空間尺寸上的目標(biāo)行人和遮擋物的信息更容易得到更好的解釋。

除此之外，受AGW 基線[18]的啟發(fā)，本文在ResNet-50 的中間層中添加非注意力模塊。具體的，在第三大層網(wǎng)絡(luò)的最后兩小層conv3_4/5 和第四大層網(wǎng)絡(luò)的最后三小層conv_4/5/6 的后面分別添加了非局部注意力模塊，使得網(wǎng)絡(luò)對(duì)于遮擋行人重識(shí)別有了識(shí)別能力更強(qiáng)。

本文將從ResNet50 網(wǎng)絡(luò)主干中提取的特征映射表示為其中h表示高度，w表示寬度，c表示通道數(shù)。然后將特征映射F輸入到兩個(gè)分支：局部特征分支和姿態(tài)引導(dǎo)全局特征分支。

1.2 局部特征分支

在局部特征分支中，特征F被水平劃分為p個(gè)部分，記為Fi,i=1,...,p。然后通過(guò)平均池化和1×1 卷積層進(jìn)行處理，將維數(shù)從2048 降到256，得到部分特征向量Fi。將每個(gè)部分特征fi輸入相應(yīng)的全連接層FCi，并使用softmax 層對(duì)各輸入圖像進(jìn)行ID 識(shí)別預(yù)測(cè)。部分特征分支示意圖如圖2所示。

圖2：部分特征分支結(jié)構(gòu)圖

1.3 姿態(tài)引導(dǎo)全局特征分支

姿態(tài)引導(dǎo)全局特征分支包括姿態(tài)估計(jì)和全局特征構(gòu)建兩部分。

第一部分是姿態(tài)估計(jì)。本文使用在COCO 數(shù)據(jù)集上預(yù)先訓(xùn)練的人體姿態(tài)估計(jì)器從人體圖像中檢測(cè)人體特征點(diǎn)，然后借助特征點(diǎn)產(chǎn)生由以特征點(diǎn)真實(shí)位置為中心的二維高斯分布形成的熱圖。當(dāng)LMj為0 時(shí)，對(duì)應(yīng)的熱圖的值設(shè)置為0。生成的熱圖記為Mj,j=1,...,N。每個(gè)熱圖通過(guò)雙線性插值降采樣到h×w的大小。對(duì)于給定的一個(gè)輸入圖像，本文采用姿態(tài)估計(jì)器，提取圖片內(nèi)行人的N 個(gè)特征點(diǎn)，并給出每一個(gè)特征點(diǎn)的坐標(biāo)及其置信度分?jǐn)?shù)。本文設(shè)置N 為18，同時(shí)設(shè)置了一個(gè)閾值γ來(lái)過(guò)濾掉置信度分?jǐn)?shù)小于γ的特征點(diǎn)。人體特征點(diǎn)可以表示為：

其中，LMj表示第j個(gè)地標(biāo)，cxj,cyj表示第j個(gè)地標(biāo)的坐標(biāo)，為置信值，γ為閾值。

第二部分是姿態(tài)引導(dǎo)的全局特征構(gòu)建。姿態(tài)引導(dǎo)的全局特征分支旨在整合全局特征圖信息和來(lái)自目標(biāo)行人的姿態(tài)信息。如圖3所示，首先將特征圖F合并為全局特征fg。然后將熱圖Mj,j=1,...,N與特征圖F元素相乘，從而輸出姿態(tài)引導(dǎo)特征圖M′j,j=1,...,N。由于各熱圖對(duì)目標(biāo)行人的不同遮擋區(qū)域信息進(jìn)行了清晰的編碼，因此姿態(tài)引導(dǎo)特征圖可以將焦點(diǎn)聚集于非遮擋部分，有效對(duì)遮擋區(qū)域的信息進(jìn)行抑制。經(jīng)過(guò)平均池化層，各引導(dǎo)特征圖M′j將得到維度為2048 的特征向量，該向量與包含特定特征點(diǎn)的部分相對(duì)應(yīng)。本文對(duì)所有特征向量進(jìn)行最大池化運(yùn)算，并連接全局特征fg，將連接起來(lái)的特征記為fcat。最大池化操作使特征向量融合可見身體部位的信息，忽略被遮擋的部分和冗余的部分信息。然后本文將4096維的fcat通過(guò)全連接層，得到的256 的低維特征，將該特征表示為姿態(tài)引導(dǎo)的全局特征fpose。利用Softmax 層對(duì)每幅輸入圖像進(jìn)行ID 識(shí)別，姿態(tài)引導(dǎo)的全局特征分支的輸出為每幅輸入圖像I的預(yù)測(cè)。姿態(tài)引導(dǎo)全局特征分支如圖3所示。

圖3：姿態(tài)引導(dǎo)全局特征分支結(jié)構(gòu)圖

1.4 損失函數(shù)

遮擋行人重識(shí)別有三種廣泛應(yīng)用于迭代的損失函數(shù)，包括身份損失（Identity Loss）、驗(yàn)證損失（Verification Loss）、三元組損失（Triplet Loss）。本文使用了身份損失和三元組損失的聯(lián)合損失。身份損失函數(shù)用于分類問(wèn)題。如果不同行人ID 視為不同的類，那么遮擋行人重識(shí)別任務(wù)訓(xùn)練行人圖片的過(guò)程可以看作是一個(gè)圖像分類問(wèn)題。在測(cè)試階段，身份損失（ID loss）函數(shù)將訓(xùn)練得到的圖片特征作為輸出，對(duì)于一張帶有標(biāo)簽的輸入圖片，預(yù)測(cè)該圖片的類別。一般用交叉熵來(lái)判斷實(shí)際輸出和期望輸出之間的關(guān)系。交叉熵的值越小，表示兩個(gè)輸出的接近程度越高。本文利用Pytorch 自帶的交叉熵?fù)p失函數(shù)CrossEntropyLoss 函數(shù)設(shè)計(jì)編碼器，得到身份損失函數(shù)表達(dá)式：

表1：Occluded-DukeMTMC 數(shù)據(jù)集參數(shù)

其中，n為每批訓(xùn)練中的樣本數(shù)量，xi為輸入圖片，yi為圖片標(biāo)簽，p(yi|xi)為xi被認(rèn)定為yi類的概率。

三元組損失將遮擋行人重識(shí)別任務(wù)訓(xùn)練行人圖片的過(guò)程可以看作是一個(gè)檢索排序問(wèn)題。其主要思想是，先預(yù)設(shè)一個(gè)邊緣距離，將同一行人圖片稱為正對(duì)圖片，不同行人圖片稱為負(fù)對(duì)圖片，則正對(duì)圖片之間的距離比負(fù)對(duì)圖片的距離多至少一個(gè)預(yù)設(shè)距離。通常，一個(gè)三元組包含一個(gè)錨樣本、一個(gè)具有同一性的正樣本、和一個(gè)具有不同性的負(fù)樣本，用這三種樣本表示三元組損失函數(shù)：

其中，i為錨樣本，j為正樣本，k為負(fù)樣本，dij為正樣本與錨樣本之間的距離，dik為負(fù)樣本與錨樣本之間的距離。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

遮擋行人重識(shí)別現(xiàn)存的公開、圖片數(shù)量較大的數(shù)據(jù)集較少。本文實(shí)驗(yàn)選擇了迄今為止最大的遮擋行人數(shù)據(jù)集數(shù)據(jù)集——Occluded-DukeMTMC 數(shù)據(jù)集[6]。表 1 為該數(shù)據(jù)集的參數(shù)介紹。

Occluded-DukeMTMC 數(shù)據(jù)集是由DukeMTMCreID 數(shù)據(jù)集[19]處理得來(lái)的。在原始的DukeMTMC-reID中，訓(xùn)練集、查詢庫(kù)和圖庫(kù)中的遮擋圖像比重分別為14%、15%和10%。顯然，原先的數(shù)據(jù)集由于遮擋圖片比重較少，不符合遮擋行人重識(shí)別對(duì)于遮擋圖片的要求。

2.2 評(píng)估協(xié)議

行人重識(shí)別的主要評(píng)價(jià)指標(biāo)有累計(jì)匹配特征曲線(Cumulative Match Characteristics Curve,CMC)和均值平均精度(Mean Average Precision,mAP)，本文中CMC僅由累計(jì)匹配特征中的匹配排名第一的正確擊中概率Rank-1 指標(biāo)替代。

2.3 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)首先在實(shí)驗(yàn)室服務(wù)器上搭建PyTorch 平臺(tái)，并利用該環(huán)境作為訓(xùn)練環(huán)境和測(cè)試環(huán)境。在本文的實(shí)驗(yàn)設(shè)置中，輸入圖像被調(diào)整到384×128，并通過(guò)水平隨機(jī)翻轉(zhuǎn)和隨機(jī)擦除進(jìn)行增強(qiáng)。本文將批處理大小設(shè)置為32，將訓(xùn)練周期數(shù)設(shè)置為60。在Occluded-DukeMTMC數(shù)據(jù)集實(shí)驗(yàn)上，基本學(xué)習(xí)速率初始化為0.1，在40 個(gè)迭代周期后衰減到0.01，特征提取層學(xué)習(xí)率與分類層學(xué)習(xí)率不一致，特征提取層學(xué)習(xí)率為分類層的0.1 倍。

2.4 實(shí)驗(yàn)分析

2.4.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文所提出方法的有效性，我們?cè)贠ccluded-DukeMTMC 數(shù)據(jù)集上設(shè)計(jì)了一系列的消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2：不同模塊組合在Occluded-DukeMTMC 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

如表2 中所示，PGFA w/o partial 表示僅使用姿態(tài)引導(dǎo)的全局特征進(jìn)行匹配，而PGFA w/o global 全局表示僅使用部分特征進(jìn)行匹配，PGFA 表示文獻(xiàn)[6]中所提出方法的檢索指標(biāo)結(jié)果，上述結(jié)果顯示局部特征與全局特征均能對(duì)所提出網(wǎng)絡(luò)的檢索精度有提升效果，說(shuō)明了在遮擋場(chǎng)景的行人重識(shí)別問(wèn)題中包含非遮擋人體與背景信息的所有圖像信息仍對(duì)檢索精度有貢獻(xiàn)，并且引入的局部特征給網(wǎng)絡(luò)帶來(lái)的提升也說(shuō)明了檢索過(guò)程中局部的差異化信息的有效性，最終二者結(jié)合達(dá)到了最佳效果，最后在原始PGFA 網(wǎng)絡(luò)中引入的非局部注意力機(jī)制進(jìn)一步給網(wǎng)絡(luò)在Occluded-DukeMTMC 數(shù)據(jù)集中的檢索精度帶來(lái)了提升，說(shuō)明非局部注意力在骨干網(wǎng)絡(luò)對(duì)圖像由低級(jí)特征到高級(jí)特征的提取過(guò)程中進(jìn)一步對(duì)非遮擋人體局部進(jìn)行了關(guān)注，有效的抵消了部分遮擋背景的干擾而直接關(guān)注到了人體特征。

2.4.2 與現(xiàn)有方法的對(duì)比

為了說(shuō)明本文所提出的基于姿態(tài)估計(jì)與非局部注意力機(jī)制的遮擋行人重識(shí)別方法在遮擋行人重識(shí)別任務(wù)中的優(yōu)越性，我們將在Occluded-DukeMTMC 數(shù)據(jù)集上與各先進(jìn)算法進(jìn)行比較，如表3所示。PCB[20]和Random Erasing[21]等方法是針對(duì)整體行人重識(shí)別問(wèn)題設(shè)計(jì)的；Part Bilinear[22]、FD-GAN[23]和PGFA[6]等方法采用姿態(tài)估計(jì)方法；DSR[24]和SFR[25]等方法是針對(duì)部分行人重識(shí)別問(wèn)題設(shè)計(jì)的。我們的方法達(dá)到了54.2%的Rank-1準(zhǔn)確率和38.7%的mAP 準(zhǔn)確率，這優(yōu)于上述所有方法。與在一般行人重識(shí)別任務(wù)上具有優(yōu)秀表現(xiàn)的PCB[20]相比，本文方法超過(guò)了+11.6%的Rank-1 精度和+5%的mAP。這是因?yàn)楸疚姆椒ú粌H利用姿態(tài)信息來(lái)抑制被遮擋區(qū)域的噪聲信息，還使用非局部注意力機(jī)制關(guān)注具有區(qū)分性的局部信息，有效的抵消了背景噪聲的干擾。

表3：在Occluded-DukeMTMC 數(shù)據(jù)集上與先進(jìn)方法的對(duì)比結(jié)果

為了更直觀展示本文方法在遮擋干擾下的有效性，我們選擇行人遮擋、物體遮擋等情況的圖像進(jìn)行檢索，得到如圖4所示的檢索結(jié)果，圖中綠色上標(biāo)表示正確的檢索結(jié)果，紅色為誤檢結(jié)果。第一排的查詢圖像被其他行人遮擋，仍能被基本檢索正確。第二排行人被車輛遮擋下半部身軀，在前10 的檢索結(jié)果中均得到正確結(jié)果，由此可見該模型對(duì)遮擋噪聲的抑制能力。

圖4：檢索結(jié)果可視化

3 結(jié)論

本文提出了基于姿態(tài)估計(jì)與非局部注意力機(jī)制的遮擋行人重識(shí)別方法，將非局部注意力機(jī)制應(yīng)用于姿態(tài)估計(jì)下的特征對(duì)齊網(wǎng)絡(luò)，利用非局部注意力機(jī)制和姿態(tài)估計(jì)下的人體特征點(diǎn)信息去關(guān)注遮擋行人圖像中的非遮擋人體局部，有效的抵消了遮擋給行人重識(shí)別任務(wù)帶來(lái)的干擾。實(shí)驗(yàn)表明，本文方法在大規(guī)模遮擋行人重識(shí)別數(shù)據(jù)集上可獲得較高的準(zhǔn)確率，證明了所提出方法的有效性。