基于高分辨率網(wǎng)絡(luò)的行人重識(shí)別技術(shù)

董明超 黃 偉 吳金明 徐懷宇

1(上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院 上海 200120)2(中國(guó)科學(xué)院上海高等研究院 上海 200120)3(中國(guó)科學(xué)院大學(xué) 北京 100049)

0 引 言

行人重識(shí)別算法的主要任務(wù)是匹配不同攝像頭視野下采集到的人像，將相同個(gè)體的人像識(shí)別為同一身份。行人重識(shí)別屬于圖像檢索的子問(wèn)題，在視頻監(jiān)控等安防領(lǐng)域有著重要作用。由于不同行人圖像采集自不同的攝像頭下，會(huì)導(dǎo)致人體圖像受到光照差異、場(chǎng)景變換、視角切換、姿態(tài)變化等因素影響，從而給行人重識(shí)別算法的研究與應(yīng)用提出了具有挑戰(zhàn)性的問(wèn)題。

隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)逐漸變成圖像特征提取的常用工具。提取圖像高級(jí)語(yǔ)義信息的方法在行人重識(shí)別算法中得到廣泛推廣。在過(guò)去的幾年時(shí)間里，學(xué)者們提出了多種方法處理行人重識(shí)別問(wèn)題。基于表征學(xué)習(xí)方法[1-4]的行人重識(shí)別算法將行人重識(shí)別當(dāng)作多分類(lèi)問(wèn)題來(lái)解決，在訓(xùn)練網(wǎng)絡(luò)時(shí)將同一身份的所有圖像當(dāng)作一個(gè)類(lèi)別，探尋相同行人不同視角下圖像的共同外觀特征以及不同行人圖像間的外觀區(qū)別。度量學(xué)習(xí)方法[5-9]把圖像投影到一個(gè)新的度量空間中，在新的度量空間中學(xué)習(xí)圖片之間的相似度，將同一身份行人的不同圖像相似距離拉近，不同身份行人圖像之間的距離推遠(yuǎn)，從而達(dá)到相同身份行人圖片在度量空間中聚集的效果。相對(duì)于利用整幅人像圖片的方法，一些學(xué)者提出了利用圖像中局部區(qū)域進(jìn)行特征提取，文獻(xiàn)[10-11]提出將特征圖水平分割后根據(jù)子特征圖一一比較相似度,文獻(xiàn)[12]提出將行人圖像水平分割后從上到下把分割好的局部圖像依次輸入一個(gè)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)中提取特征，文獻(xiàn)[13]首先利用人體關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)提取行人圖像中人體的關(guān)鍵點(diǎn)，通過(guò)仿射變換把不同圖像中的關(guān)鍵點(diǎn)對(duì)齊后對(duì)比相似度，文獻(xiàn)[14]在提取出人體關(guān)鍵點(diǎn)后，將圖像按照人體肢體區(qū)域進(jìn)行圖像切割以獲取對(duì)應(yīng)位置的特征。基于生成對(duì)抗網(wǎng)方法[15-16]的行人重識(shí)別算法能夠根據(jù)給定的行人圖像生成新的偽造圖像，為特征提取提供了更多的特征。文獻(xiàn)[17]考慮到不斷變換的背景會(huì)影響到圖片特征提取的準(zhǔn)確性，在特征提取網(wǎng)絡(luò)之前添加了一個(gè)背景分割網(wǎng)絡(luò)用以剔除行人圖片中雜亂背景信息的干擾。

傳統(tǒng)特征提取網(wǎng)絡(luò)對(duì)圖片提取特征時(shí)，隨著網(wǎng)絡(luò)的層次加深，圖片的分辨率會(huì)不斷地下降，在提取出了高級(jí)語(yǔ)義信息的同時(shí)也過(guò)濾掉了部分重要的細(xì)節(jié)特征，提出了一種改進(jìn)的高分辨率特征提取網(wǎng)絡(luò)，在網(wǎng)絡(luò)不斷提取高級(jí)語(yǔ)義信息的同時(shí)保持網(wǎng)絡(luò)中始終擁有高分辨率細(xì)節(jié)信息，最后融合高級(jí)的語(yǔ)義特征與高分辨率的細(xì)節(jié)信息共同作為顯著性特征，提高特征的信息表達(dá)能力。在數(shù)據(jù)的處理階段采用了語(yǔ)義分割網(wǎng)絡(luò)對(duì)行人背景信息進(jìn)行分割，得到不含背景信息的行人圖片，并對(duì)行人背景位置進(jìn)行隨機(jī)填充噪音來(lái)模擬真實(shí)環(huán)境中雜亂的背景干擾，進(jìn)一步擴(kuò)充了訓(xùn)練數(shù)據(jù)的容量，達(dá)到了數(shù)據(jù)增強(qiáng)目的。采用三元組損失函數(shù)[6]和交叉熵?fù)p失函數(shù)同時(shí)對(duì)訓(xùn)練網(wǎng)絡(luò)進(jìn)行約束，將表征學(xué)習(xí)與度量學(xué)習(xí)進(jìn)行融合，提高行人重識(shí)別的精度。

1 高分辨率網(wǎng)絡(luò)行人重識(shí)別算法

本實(shí)驗(yàn)中對(duì)涉及的行人重識(shí)別數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)，在保持行人圖像中人體前景區(qū)域不變的情況下改變背景區(qū)域信息，增加同一行人不同背景信息的圖片數(shù)量，從而達(dá)到數(shù)據(jù)擴(kuò)充的效果。為了緩解隨著網(wǎng)絡(luò)加深特征圖分辨率不斷下降并丟失細(xì)節(jié)特征的問(wèn)題，提出高分辨率特征學(xué)習(xí)網(wǎng)絡(luò)，在保持高級(jí)語(yǔ)義信息的同時(shí)兼顧高分辨率細(xì)節(jié)信息，增強(qiáng)網(wǎng)絡(luò)對(duì)較小特征的提取效果。網(wǎng)絡(luò)采用多種損失函數(shù)同時(shí)進(jìn)行約束，提高對(duì)特征空間的利用率，相同行人圖像的度量距離縮小，不同行人圖像之間的度量距離擴(kuò)大。

1.1 數(shù)據(jù)預(yù)處理

在Market-1501數(shù)據(jù)集和DukeMTMC-reID數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)集中存在少量行人圖像數(shù)量過(guò)少的情況，為了緩解行人圖像過(guò)少對(duì)網(wǎng)絡(luò)學(xué)習(xí)產(chǎn)生的影響，提出了對(duì)行人圖像更換背景的數(shù)據(jù)增強(qiáng)方式。

采用Mask R-CNN[18]語(yǔ)義分割網(wǎng)絡(luò)把行人圖像中的行人前景區(qū)域提取出來(lái)，得到包含人體區(qū)域的二值掩碼圖像如圖1所示。掩碼圖像為人體輪廓及內(nèi)部區(qū)域的投影表示，與原圖進(jìn)行對(duì)應(yīng)位相乘操作可以將背景信息過(guò)濾，得到只含有人體前景信息的純?nèi)讼駡D片。在圖像的背景區(qū)域填充隨機(jī)噪聲再將人像前景恢復(fù)到原來(lái)位置可以新增出背景模糊的人像圖，在保持行人身份清楚不變的情況下增加樣本的多樣性，擴(kuò)充訓(xùn)練數(shù)據(jù)。一定程度上模擬了監(jiān)控視頻中行人圖片中模糊的背景環(huán)境，尤其是行人目標(biāo)較小時(shí)，背景圖像放大后模糊不清的狀態(tài)。在數(shù)據(jù)集中添加前景不變背景更換的圖像旨在讓特征提取網(wǎng)絡(luò)在訓(xùn)練時(shí)更多地關(guān)注行人前景信息，在不同背景下仍能高效地提取行人前景信息。保持圖片中行人身份清晰不變的前提下，對(duì)每一個(gè)行人進(jìn)行合理有效的數(shù)據(jù)擴(kuò)充能夠增大訓(xùn)練樣本的數(shù)量，從而使訓(xùn)練出來(lái)的模型判別性更強(qiáng)。

圖1 行人圖像背景分割與背景加噪

真實(shí)環(huán)境中行人圖片除了不斷變換身后的背景信息外，偶爾還會(huì)出現(xiàn)人體前景區(qū)域部分遮擋的情況，如圖2所示。文獻(xiàn)[19]提出了一種模擬行人前景區(qū)域被遮擋的方法，在數(shù)據(jù)集中以概率p隨機(jī)選擇圖片作為模擬遮擋圖片，隨機(jī)擦除圖片中一塊矩形區(qū)域。為了讓擦除區(qū)域擁有合理的面積比例，控制擦除矩形區(qū)域的寬和高。確保擦除矩形框位置約束在原圖片內(nèi)部，擦除矩形框內(nèi)部用隨機(jī)噪音進(jìn)行填充。

圖2 行人圖像自然遮擋與模擬遮擋

1.2 改進(jìn)的高分辨率特征提取模型

特征提取網(wǎng)絡(luò)在行人重識(shí)別算法中起到舉足輕重的作用，一個(gè)良好的特征提取網(wǎng)絡(luò)能夠表達(dá)圖像中重要的外觀信息和空間信息，對(duì)于行人之間的相似度比較有著直接影響。深度學(xué)習(xí)中常用的特征提取網(wǎng)絡(luò)大多數(shù)隨著網(wǎng)絡(luò)深度的增加，特征圖像素不斷下降，網(wǎng)絡(luò)在提取出了高級(jí)語(yǔ)義信息的同時(shí)，會(huì)損失圖像中大量的細(xì)節(jié)特征信息和空間信息，本實(shí)驗(yàn)提出一種以ResNet50為主分支的高分辨率特征提取網(wǎng)絡(luò)，在殘差網(wǎng)絡(luò)不斷降低特征分辨率的同時(shí)，并行生成出高分辨率的特征分支。

多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法是將圖像不斷地進(jìn)行卷積和下采樣操作，這些操作在提取出高級(jí)語(yǔ)義信息的同時(shí)會(huì)伴隨著特征圖分辨率的下降和空間信息的缺失，與這些方法不同，提出的特征提取網(wǎng)絡(luò)在整個(gè)網(wǎng)絡(luò)向前傳播的過(guò)程中會(huì)保持圖像的高分辨率特征。特征提取網(wǎng)絡(luò)中的主干部分借鑒ResNet50結(jié)構(gòu)，將ResNet50按照層次節(jié)點(diǎn)分為四個(gè)階段，如圖3所示。分別在四個(gè)階段中向ResNet50主干網(wǎng)絡(luò)添加高分辨率特征分支網(wǎng)絡(luò)，新增的高分辨率特征圖由前一階段的高分辨特征圖經(jīng)過(guò)兩個(gè)卷積步長(zhǎng)都為1的Bottleneck后得到。網(wǎng)絡(luò)向前傳播過(guò)程中，先由高分辨率特征圖產(chǎn)生新的高分辨率分支，再?gòu)囊延械姆种蚯皞鞑ギa(chǎn)生較低分辨率的特征圖，同一階段產(chǎn)生出來(lái)的多種分辨率特征圖中，較高分辨率特征圖經(jīng)過(guò)一個(gè)卷積步長(zhǎng)都為1的Bottleneck來(lái)擴(kuò)展通道數(shù)量或是經(jīng)過(guò)一個(gè)含卷積步長(zhǎng)為2的Bottleneck來(lái)下采樣特征圖并擴(kuò)展通道數(shù)量，得到的結(jié)果依次與較低分辨率特征進(jìn)行加和操作形成新的低分辨率特征圖。高分辨率特征圖中的采樣信息不斷融入低分辨率特征圖中，是對(duì)低分辨率特征圖不斷進(jìn)行空間特征補(bǔ)充。這種跨越多種分辨率結(jié)合的方式靈感來(lái)源于DenseNet[20]中的shortcut結(jié)構(gòu)，DenseNet直接將主干網(wǎng)絡(luò)中較淺的特征與其后的較深特征相結(jié)合，達(dá)到特征重用的效果。而本文與DenseNet不同的是將不同分支網(wǎng)絡(luò)中的淺層特征與主干網(wǎng)絡(luò)中的深層特征相結(jié)合，旨在讓網(wǎng)絡(luò)學(xué)習(xí)到不同的低級(jí)語(yǔ)義特征，豐富特征多樣性的同時(shí)也達(dá)到了不斷重用淺層特征的效果。在網(wǎng)絡(luò)向前傳播過(guò)程中前一階段的高分辨率特征會(huì)產(chǎn)生出新的分支來(lái)維持網(wǎng)絡(luò)中高分辨率特征圖的存在。與此同時(shí)，高分辨率特征分支會(huì)繼續(xù)在自己的分支上產(chǎn)生低分辨率特征用來(lái)提取更加豐富的深層語(yǔ)義信息。

圖3 高分辨率特征提取網(wǎng)絡(luò)

經(jīng)歷過(guò)網(wǎng)絡(luò)四個(gè)階段會(huì)得到多種分辨率的特征圖，為了有效利用不同分辨率特征中的信息，對(duì)特征進(jìn)行最終的融合。傳統(tǒng)的下采樣操作或是步長(zhǎng)為2的卷積操作雖然能高效地保留特征圖中重要的語(yǔ)義信息，但是仍會(huì)對(duì)高分辨率特征造成一定的損失，為此本文將較高分辨率特征圖中的像素有序分散到各個(gè)通道中，增加通道數(shù)量，高分辨率信息分散在各個(gè)通道中，如圖4所示。之后再通過(guò)1×1卷積調(diào)整通道數(shù)量，精煉重要特征。

圖4 高分辨率特征有序采樣

為了得到最終的特征表示，高分辨率特征通過(guò)有序地采樣和卷積操作后與較低分辨率特征相加融合，如圖5所示。重復(fù)對(duì)不同分辨率特征圖進(jìn)行如此操作，得到特征圖后通過(guò)一個(gè)1×1卷積，獲得最終的網(wǎng)絡(luò)特征表示。

圖5 最終特征融合

與廣泛使用的ResNet50特征提取網(wǎng)絡(luò)相比，本文提出的高分辨率特征提取網(wǎng)絡(luò)有明顯優(yōu)勢(shì)，同時(shí)擁有高分辨率特征分支網(wǎng)絡(luò)和低分辨率主干網(wǎng)絡(luò)，高分辨率特征作為對(duì)低分辨率特征的信息補(bǔ)充，使得提取的特征信息更加豐富。在網(wǎng)絡(luò)向前傳播時(shí)不同分辨率特征，及時(shí)補(bǔ)充細(xì)節(jié)特征實(shí)現(xiàn)低級(jí)語(yǔ)義特征重用目的。網(wǎng)絡(luò)中參數(shù)數(shù)量有所增加，但每一個(gè)階段并非單純地增加特征圖的數(shù)量，而是不同深度語(yǔ)義信息并行存在，每個(gè)階段中低級(jí)語(yǔ)義信息不斷對(duì)高級(jí)語(yǔ)義特征補(bǔ)充空間特征，獲得的特征兼顧高級(jí)語(yǔ)義信息和空間細(xì)節(jié)信息，網(wǎng)絡(luò)在最終特征圖容量不增加的條件下對(duì)行人特征的表達(dá)更加精準(zhǔn)。

1.3 損失函數(shù)設(shè)計(jì)

在實(shí)際應(yīng)用場(chǎng)景中，行人重識(shí)別算法的目的在于判斷兩幅圖像是否屬于同一個(gè)行人，在算法實(shí)現(xiàn)上表現(xiàn)為計(jì)算圖片之間的相似度。本實(shí)驗(yàn)中采用三種損失函數(shù)對(duì)網(wǎng)絡(luò)輸出的特征同時(shí)進(jìn)行約束，分別是改進(jìn)的交叉熵?fù)p失函數(shù)、三元組損失函數(shù)和中心損失函數(shù)。

重識(shí)別網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取目的是將原圖像映射到特征空間中，使不同行人身份的圖像在特征空間中相互遠(yuǎn)離。交叉熵?fù)p失函數(shù)的作用是在特征空間中將行人特征按照身份進(jìn)行分類(lèi)，使得不同身份的行人特征間有明確的分類(lèi)界限。所以在神經(jīng)網(wǎng)絡(luò)輸出行人特征之后需要連接一個(gè)分類(lèi)器進(jìn)行分類(lèi)，并且用經(jīng)過(guò)Softmax函數(shù)的輸出作為每一個(gè)分類(lèi)的概率。傳統(tǒng)的交叉熵?fù)p失函數(shù)如式(1)所示。

(1)

傳統(tǒng)的交叉熵?fù)p失函數(shù)雖然能快速地在特征空間中將不同身份標(biāo)簽的特征有效地區(qū)分開(kāi)，但是卻不能保證兩幅不同行人身份的圖像之間相似度更低，兩幅相同行人身份的圖像相似度更高。例如圖6所示，用特征空間中向量夾角的余弦值表示特征間相似度，分類(lèi)器雖然能很好地將不同類(lèi)別區(qū)分開(kāi)來(lái)，但是不同行人身份的兩個(gè)特征向量之間的夾角α可能比相同行人身份的兩個(gè)特征向量間夾角β更小，這意味著不同身份行人的圖片被認(rèn)為相似度更高，此情況下行人重識(shí)別算法會(huì)產(chǎn)生誤判。因此本實(shí)驗(yàn)將文獻(xiàn)[21]中提出的改進(jìn)的Addictive Angular Margin Loss(AAML)結(jié)合交叉熵?fù)p失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行約束，如式(2)所示。

圖6 特征分類(lèi)結(jié)果

(2)

式中：N為訓(xùn)練樣本中行人類(lèi)別數(shù)；j為分類(lèi)權(quán)重向量序號(hào)數(shù)；yi為正樣本對(duì)應(yīng)的分類(lèi)權(quán)重向量序號(hào)數(shù)；θ為樣本與分類(lèi)權(quán)重向量之間的夾角；m為角度間隔。

上面公式是對(duì)Softmax損失的一種有效改進(jìn)，公式中將特征向量和權(quán)重向量都除以模長(zhǎng)得到單位模長(zhǎng)向量，并且把偏移權(quán)重置為0，目的是將特征向量投影到半徑統(tǒng)一的超球面上，以此來(lái)消除向量模長(zhǎng)對(duì)分類(lèi)概率的影響，使得分類(lèi)的判斷依據(jù)完全取決于向量之間的夾角。為了擴(kuò)大不同行人身份特征之間的距離，在正樣本的特征向量與分類(lèi)權(quán)重向量間夾角的基礎(chǔ)上再加上角度間隔m，加大了對(duì)正樣本的懲罰，從而增強(qiáng)了同一身份特征之間的緊湊程度。

三元組損失函數(shù)是度量學(xué)習(xí)中常用的損失函數(shù)，能夠直接作用于行人重識(shí)別網(wǎng)絡(luò)輸出的特征向量上。為了與交叉熵?fù)p失函數(shù)保持計(jì)算上的統(tǒng)一，三元組損失函數(shù)采用余弦距離作為距離計(jì)算值，如式(3)所示。

(3)

式中：B為小批次樣本數(shù)量；da,p為正樣本對(duì)之間的余弦距離；da,n為負(fù)樣本對(duì)之間的余弦距離；α為邊界閾值；右下角“+”表示括號(hào)內(nèi)的值大于0，取該值為損失，小于或等于0時(shí)，損失為0。

在多分類(lèi)任務(wù)中，中心損失函數(shù)能夠?qū)⑼活?lèi)的特征壓縮得更加緊湊，在行人重識(shí)別任務(wù)中會(huì)把行人特征在特征空間中變得更加聚攏，同一行人身份特征間的相似度進(jìn)一步提高。中心損失函數(shù)如式(4)所示。

(4)

式中：B為小批次樣本數(shù)量；fi為特征向量；yi為第i個(gè)樣本對(duì)應(yīng)的類(lèi)別標(biāo)簽；C為同一類(lèi)別樣本特征向量簇的中心。

2 實(shí) 驗(yàn)

本實(shí)驗(yàn)在Ubuntu18.04系統(tǒng)下進(jìn)行，硬件環(huán)境為Inter Core i7-6500k CPU 3.4 GHz，并搭配兩個(gè)TITAN RTX 24 GB顯存的GPU，軟件環(huán)境為Python 3.6和Pytorch 1.1.0。實(shí)驗(yàn)中訓(xùn)練和測(cè)試的數(shù)據(jù)集為Market1501數(shù)據(jù)集和DukeMTMC-reID數(shù)據(jù)集。

2.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

行人重識(shí)別數(shù)據(jù)集Market501圖像收集于夏季的清華大學(xué)校園內(nèi)，總共包含1 501個(gè)不同的行人身份，這些圖片由6個(gè)攝像頭拍攝的視頻中剪切而來(lái)。訓(xùn)練集包含751個(gè)行人身份、12 936幅圖像，測(cè)試集中包含750個(gè)行人身份、19 732幅被查詢(xún)圖像和3 368幅查詢(xún)圖像。

DukeMTMC-reID數(shù)據(jù)集中的行人圖像收集于秋冬季節(jié)的杜克大學(xué)校園內(nèi)，圖像來(lái)自8個(gè)攝像頭中，總共包含1 812個(gè)不同的行人身份，其中408個(gè)行人只出現(xiàn)在了一個(gè)攝像頭下，所以這些行人的圖像不用來(lái)作為訓(xùn)練圖像。在剩余1 404個(gè)行人身份的圖像里隨機(jī)采用702個(gè)行人身份作為訓(xùn)練集，共包含16 522幅圖像。另外702個(gè)行人身份的圖像集合作為測(cè)試集，共包含17 661幅被查詢(xún)圖像和2 228幅查詢(xún)圖像。

行人重識(shí)別算法的常用評(píng)價(jià)指標(biāo)有兩種，mAP(mean Average Precision)是其中之一。行人重識(shí)別可以看作是圖像檢索的子問(wèn)題，mAP可以作為檢索問(wèn)題的評(píng)價(jià)指標(biāo)。mAP是AP(Average Precision)的均值，AP計(jì)算公式如式(5)所示，mAP的計(jì)算公式如式(6)所示。

(5)

(6)

式中：k表示在檢索結(jié)果列表中的排序位置；P(k)為前k個(gè)結(jié)果的準(zhǔn)確率；rel(k)表示位置k上的結(jié)果是否與查詢(xún)圖片相關(guān)，相關(guān)值為1，不相關(guān)值為0；m為總相關(guān)圖片數(shù)量；Q為總查詢(xún)圖片的數(shù)量;AP(q)表示第q幅圖片查詢(xún)的AP值。

行人重識(shí)別的另一個(gè)評(píng)價(jià)指標(biāo)是Rank-k，這一指標(biāo)代表著在相似度排序結(jié)果中前k個(gè)圖像中存在正確結(jié)果的概率。經(jīng)常使用Rank-1、Rank-5和Rank-10作為評(píng)價(jià)指標(biāo)，其中Rank-1最為常用，它表示相似度排序結(jié)果中第一幅圖像正確的概率。

2.2 損失函數(shù)超參數(shù)分析

本實(shí)驗(yàn)中采用Addictive Angular Margin Loss，損失函數(shù)的超參數(shù)m為手動(dòng)設(shè)置。在本實(shí)驗(yàn)中為超參數(shù)m設(shè)置了不同的數(shù)值，以此來(lái)對(duì)比相應(yīng)的行人重識(shí)別準(zhǔn)確率結(jié)果。神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)每一個(gè)批次設(shè)置128幅圖像，數(shù)據(jù)集迭代次數(shù)設(shè)置為100。圖7為在Market1501數(shù)據(jù)集和DukeMTMC-reID數(shù)據(jù)集上不同超參數(shù)m值對(duì)Rank-1精度的影響曲線(xiàn)。圖8為在Market1501數(shù)據(jù)集和DukeMTMC-reID數(shù)據(jù)集上不同超參數(shù)m值對(duì)mAP精度的影響曲線(xiàn)。從圖中可以觀察出當(dāng)m值為5π/32時(shí)，重識(shí)別算法有較好的表現(xiàn)。

圖7 不同角度間隔對(duì)應(yīng)Rank-1精度

圖8 不同角度間隔對(duì)應(yīng)mAP精度

2.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用控制變量的方法，在不同特征提取網(wǎng)絡(luò)和損失函數(shù)下進(jìn)行了實(shí)驗(yàn)結(jié)果比較，表1為在Market1501數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果，表2為在DukeMTMC-reID數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。其中：HRN表示采用高分辨率特征提取網(wǎng)絡(luò)；S表示應(yīng)用Softmax損失函數(shù);T表示應(yīng)用三元組損失函數(shù);C表示應(yīng)用中心損失函數(shù);AAML表示應(yīng)用Addictive Angular Margin Loss;D表示對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)和數(shù)據(jù)預(yù)處理操作。高分辨率特征提取網(wǎng)絡(luò)較baseline有著較為明顯的性能提高，在Market1501數(shù)據(jù)集上Rank-1有4.3百分點(diǎn)的提升，mAP有超過(guò)10百分點(diǎn)的提升，在DukeMTMC-reID數(shù)據(jù)集上Rank-1有6.2百分點(diǎn)的提升，mAP有8百分點(diǎn)以上的提升。從表1和表2中也可以看出高分辨特征提取網(wǎng)絡(luò)訓(xùn)練時(shí)采用數(shù)據(jù)增強(qiáng)和預(yù)處理操作對(duì)重識(shí)別性能提高有效果。高分辨率網(wǎng)絡(luò)結(jié)合改進(jìn)的AAML損失函數(shù)也會(huì)使重識(shí)別精度有所提升。

表1 Market數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)結(jié)果(%)

表2 DukeMTMC-reID數(shù)據(jù)集下對(duì)比實(shí)驗(yàn)結(jié)果(%)

表3和表4展示了本實(shí)驗(yàn)的方法和其他深度學(xué)習(xí)方法在Market1501數(shù)據(jù)集和DukeMTMC-reID數(shù)據(jù)集上的結(jié)果比較。在Market1501數(shù)據(jù)集上，本實(shí)驗(yàn)獲得了94.6%的Rank-1精度和86.0%的mAP精度，與同樣使用全局特征作為比較依據(jù)的深度學(xué)習(xí)方法AWTL[22]相比，在Rank-1精度上高出了5.1個(gè)百分點(diǎn)，在mAP精度上高出了10.3個(gè)百分點(diǎn)。在DukeMTMC-reID數(shù)據(jù)集上，本實(shí)驗(yàn)取得了90.3%的Rank-1精度和78.2%的mAP精度，與AWTL方法相比，在Rank-1精度上高出了10.5個(gè)百分點(diǎn)，在mAP精度上高出了14.8百分點(diǎn)。與現(xiàn)有的多數(shù)公開(kāi)實(shí)驗(yàn)相比，本實(shí)驗(yàn)取得了較好的實(shí)驗(yàn)結(jié)果，提取出顯著性較高的行人特征，提高基于圖片的行人重識(shí)別精度。

表3 Market數(shù)據(jù)集下不同方法實(shí)驗(yàn)結(jié)果比較(%)

表4 DukeMTMC-reID數(shù)據(jù)集下不同方法實(shí)驗(yàn)結(jié)果比較(%)

3 結(jié) 語(yǔ)

本文提出一種高分辨率特征提取網(wǎng)絡(luò)，在ResNet50主干網(wǎng)絡(luò)的基礎(chǔ)上添加了多條分支網(wǎng)絡(luò)來(lái)維持網(wǎng)絡(luò)中圖像的高分辨率信息，豐富網(wǎng)絡(luò)的空間特征信息和細(xì)節(jié)特征信息，有利于網(wǎng)絡(luò)提取更加具有判別性的特征。高分辨率特征提取網(wǎng)絡(luò)結(jié)合Addictive Angular Margin Loss會(huì)使同一行人身份的多幅圖像相似度更高，從而進(jìn)一步加強(qiáng)網(wǎng)絡(luò)的判別性。采用更換背景的方法來(lái)擴(kuò)充數(shù)據(jù)集對(duì)網(wǎng)絡(luò)的訓(xùn)練有一定的幫助。最后在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比評(píng)價(jià)結(jié)果表示本文方法在準(zhǔn)確率指標(biāo)上相比其他許多方法取得了較優(yōu)的實(shí)驗(yàn)結(jié)果。接下來(lái)的工作重點(diǎn)是探尋更高效的特征提取網(wǎng)絡(luò)來(lái)提取更加具有判別性的特征并結(jié)合更多合理有效的損失函數(shù)進(jìn)行實(shí)驗(yàn)，進(jìn)一步提升行人重識(shí)別的精度。