基于HPLF的行人再識別①

楊 戈,葉杰強

1(北京師范大學珠海分校 智能多媒體技術重點實驗室,珠海 519087)

2(北京大學深圳研究生院 深圳物聯網智能感知技術工程實驗室,深圳 518055)

1 引言

行人再識別(person Re-IDentification,ReID)是指在不同背景的非重疊攝像頭視域下,確認在不同場景和不同時間出現的行人是否為同一個人,在視頻監控中,當出現一個目標行人時,行人再識別會判斷這個人是否在另一個地方(時間)被另一個攝像機觀察過.作為一個新興的方向,也是計算機視覺領域近年來研究熱點之一,近幾年越來受到的關注越來越高.這一方向的出現可以歸結為:(1)公眾安全需求的增加;(2)遍布于公園、大學校園和街道等地區的攝像機網絡.這兩種原因都使得僅僅依靠蠻力的人為標注來準確和有效地識別或者追蹤目標行人是非常昂貴的.從計算機視覺的角度來看,行人再識別中最具挑戰性的問題是如何在密集的外觀變化下,如照明、姿態和視點等,正確匹配同一人的兩幅圖像,其具有重要的科學價值和應用前景.

近幾年,深度學習(Deep Learning,DL)的急速發展,卷積神經網絡(Convolutional Neural Networks,CNN)成功進入人們的生產生活中,使用深度學習與卷積神經網絡的解決行人再識別的問題是最有效的一種方式之一[1].按照訓練損失將卷積神經網絡分為度量學習與表征學習,按照是否具有局部特征分為局部特征與全局特征,根據數據集的不同可以分為基于單幀和基于序列.一種生成對抗網絡(Generative Adversarial Nets,GAN)的方法利用生成新數據來解決行人再識別的難點問題.

1.1 基于度量學習的ReID 方法

ReID 作為一個圖像檢索(Text-Based Image Retrieval,TBIR)的子問題,目的是找出兩張照片的相似度.度量學習(metric learning)是普遍用來解決TBIR的方法之一.也就是說:如果兩張照片的是同一行人ID,那么它們的相似度就大于別的照片.于是提出映射概念,由原始域映射圖片至特征域,定義距離度量函數對兩個特征向量間距離計算,再根據網絡最小化度量損失獲取最優映射f(x),讓ID 相同的行人正樣本通過損失函數使其具有較短的余弦距離或者歐式距離,不同ID的行人負樣本通過損失函數使其具有更長的余弦距離或者歐式距離,該f(x)映射為經過訓練獲得的深度卷積網絡.

(1)對比損失(contrastive loss)

通常對比損失用來訓練孿生網絡(Siamese Network)[2-4],該網絡的輸入一般為一對(兩張)照片,例如a和b,這對照片可以是正樣本對(同一行人),也可以為負樣本對(不同行人).

(2)三元組損失(triplet loss)

三元組損失是近幾年被大量運用于度量學習中[5-8],很多度量學習的損失函數都是基于三元組損失的形式,該損失的特點是:需要每次輸入3 張圖片做為訓練.包括:錨點圖片,正樣品圖片和負樣本圖片.

錨點圖片a和正樣本圖片p是來自同一行人ID,錨點圖片A和圖片N來自不同行人ID.

(3)四元組損失 (quadruplet loss)

四元組損失在三元組損失的基礎上的一個改進[9].四元組損失需要4 張照片,包括:錨點圖片,正樣品圖片及兩張負樣本圖片.

文獻[9]作者認為三元組損失考慮了正樣本和負樣本之間的相對距離,但沒有考慮正負樣本之間的絕對距離.為此提出了四元組損失.在神經網絡中采用四元組損失可以學習到更明確的特征息.

1.2 基于特征學習的ReID 方法

行人再識別另一個基于損失函數的方法就是表征學習(representation learning),表征學習極其常見于卷積神經網絡.行人再識別的目的是獲取兩張不同圖間的相似程度,然而表征學習方法并未在訓練網絡直接應用時將圖片間的相似度考慮在內,而是看作分類問題或者驗證問題來看待.其中分類問題是指將相同的行人ID 聚集為一類[10],使用ID 或者屬性分類,而驗證問題是在行人重識別中是一個二分問題,直接讓網絡判斷輸入的兩張行人照片是否為一個ID.

分類方法的特點:CNN 網絡中提取特征,提取到的特征經過池化層,經過一個FC 層.該FC的維度就是網絡中的ID 數,將提取到的特征運用分類損失(identification loss)函數進行網絡訓練.因為訓練時候的FC 層是訓練集的維度,測試時,訓練集和測試集的ID 一般不相同,也就是說訓練集的全部FC 層在訓練完后全部要丟棄.分類網絡中經常采用一個屬性損失(attribute loss)[11],用一些行人屬性來輔助行人特征,能增強網絡的性能.分類損失在ReID 問題中也被稱為ID 損失,所以該網絡也被稱作IDE 網絡.行人再識別中最主要的一項基準(baseline)為IDE 網絡.

這類方法就是將ReID 問題看為是一類二分問題,旨在讓網絡直接判別輸入網絡的行人ID 兩者是否是同一行人[11].每次輸入一對照片,進入孿生網絡進行特征提取.融合孿生網絡中每個網絡的特征信息計算一個二分類損失(驗證損失),訓練時可以和ID 損失一起使用.測試時輸入兩張圖片,網絡直接判斷兩張照片是否屬于同一行人.

1.3 基于局部特征與全局特征的ReID 方法

全局特征是指每一張行人圖片的全局信息進行一個特征抽取,這個全局特征沒有任何的空間信息.一般的卷積網絡提取的都是全局特征,然而行人數據集復雜性逐步上升,采用全局特征難以達到當前需求.目前研究的熱點問題為提取復雜度較高的特征,局部特征為確定某個網絡或者網絡自動對設計者注重的局部區域關注.常用的方法有切塊,關鍵點定位等方法.

圖片切塊是的提取局部特征方法主要為水平切塊.文獻[12]是這方面的內容.每一塊圖像經過CNN 網絡得到特征,局部特征按順序輸入到LSTM (Long Short-Term Memory)網絡,自動表達為圖像最終的特征.利用對比損失訓練網絡水平切塊是比較早期的工作,目前已經很少使用.改進的水平切塊算法PCB[12]和Aligned ReID[13]是現在的主流方法.將圖像進行水平方向的等分,每一個水平切塊通過水平池化提取一個特征,Gate Siamese和Aligned ReID 通過設計規則融合所有的局部特征計算距離就,PCB、ICNN、SCPNet對每一個局部特征計算一個ReID 損失,直接將局部特征拼接起來,聯合局部特征和全局特征往往能夠得到更好的結果.

圖像語義分割是一種極精細的像素級別part 信息,圖像分割分為粗粒度的行人前景分割和細粒度的肢體語義分割,分割結果通常作為圖像預處理的Mask 或者feature map 中的attention 相乘,目前基于分割的方法沒有取得特別廣泛的應用.行人的局部特征被越來越多的論文來驗證是極其有效的,一定程度上解決了行人姿勢不同的問題.融合全局特征和局部特征的方法在Person-ReID 領域越來越流行.如何很高效率和低消耗的提取局部特征是現在的研究熱點方向之一.

序列重識別也常被稱為視頻重識別(Video ReID),是指利用一段連續的行人圖片序列進行行人再識別任務,或者說是個序列搜索序列的問題.

有以下特點:(1)姿態變化豐富.(2)遮擋現象普遍.(3)總有幾幀質量好,也有幾幀質量差.(4)需要考慮如何融合各幀的信息.

1.4 基于GAN的ReID 方法

生成對抗網絡(Generative Adversarial Nets,GAN)在最近幾年呈現快速發展狀態[14],最主要的應用為生成圖片.深度學習方法在實際應用的前提條件為訓練數據量龐大,然而當前行人再識別數據集數量、規模上相對較少,采用GAN 進行識別行人任務發展成為熱門,傳統GAN 網絡是以隨機方式生成圖片,再后期推出的DualGAN、CycleGAN 及DiscoGAN 等可以轉換圖片風格[15],推動在行人再識別領域廣泛運用GAN.網絡中有生成器(Generator,G)和鑒別器(Discriminator,D).有兩個數據域分別為X,Y.

生成器G 用來生成數據,生成的數據被鑒別器D識別是否為真實數據,兩者存在一種矛盾關系.生成器G使用X 域中的數據生成的圖片越來越接近真實數據.鑒別器D的鑒別能力越來越強,越來越能夠把真實與偽造圖片分開來.最后生成器G 生成的照片已經接近真實圖片,鑒別器D 分不清真實圖片與偽造圖片.到這時,生成器G和鑒別器D 達到了動態平衡的狀態,我們就可以使用改GAN 來生成圖片,用來擴充數據集.

訓練完成后,一般不使用鑒別器,而只使用生成器來生成我們想要的數據圖片,CycleGAN 一個非常實用的地方就是輸入的兩張圖片可以是任意的兩張圖片,也就是非成對,而且CycleGAN 可以使兩個域的圖像風格進行轉換.

目前傳統行人再識別方法缺少綜合考慮多幀信息以及多特征融合思想,因此本文綜合考慮全局特征和局部特征,提出了一種利用水平池化提取局部特征的HPLF(Horizontal Pooling for Local Feature)算法,在ResNet-50 網絡中對輸入的聯合數據集進行預處理,提取特征,對特征圖進行水平切割,計算兩兩特征之間的距離,再用難樣本三元組損失來作為局部特征損失函數訓練,通過特征圖計算全局距離,提高了行人再識別精度.

2 行人再識別網絡的設計

2.1 網絡結構

本文的方法是:將數據集的數據輸入到ResNet-50網絡中進行預處理,將提取到的特征進入一個池化層進行池化操作,得到特征圖.得到的特征圖分別進入一個局部網絡分支,改網絡將特征圖進行水平池化操作,將得到的特征圖進行切割,將每個特征圖劃分為高為1的特征圖,之后用距離函數計算它們之間的距離.在另一個分支中,進行一個傳統的度量學習操作,計算完距離后,兩個分支分別進行一個難樣本三元組的構造工作,然后用三元組損失進行網絡訓練,流程圖如圖1所示.

2.2 HPLF 方法

HPLF (Horizontal Pooling for Local Feature)方法主要涵蓋一個水平池化跟難樣本挖掘的方法.

水平池化層:在經過一個ResNet-50的輸出后會得到一個(N×C×H×W)的向量,其中N是batchsize的大小,C是照片的像素大小,H為照片的高度,W為照片的寬度.HPLF 方法用一個1×W的窗口去剪裁該特征圖,最后會得到H個N×C×1×W的局部特征圖.用這個局部特征圖去訓練網絡,如圖2.

圖1 流程圖

圖2 網絡結構設計

難樣本挖掘:傳統的度量學習方法是隨機采樣組成元祖樣本,但是這樣采集的樣本通常是一些非常容易識別的樣本,不利于訓練表達能力強的ReID 網絡.為了使網絡更好的識別行人,利用難樣本訓練網絡,讓網絡注意到更多的細節特征,利用難樣本來訓練網絡的方法是很有效的方法.本文訓練時,會在一個batchsize(size)中找到一個最難的正樣本與一個最難的負樣本來作為一個三元組來訓練網絡.

2.3 損失函數

本文構建的網絡中應用了2 種損失:Softmax 交叉熵損失(Softmax Cross Entropy Loss)函數和難樣本三元組損失(TriHard loss)函數.

(1)Softmax 交叉熵損失:在神經網絡中,最后一個輸出層的個數與分類任務的標注數相等.假設最后的輸出層個數為N,那么對于神經網絡可以有一個N維度的數組作為他的輸出結果.在理想的狀態下,假設某一個樣本屬于M,那么這個該樣本對于M的輸出值應該為1,對于其他的輸出結果應該為0.例如這種情況[0,1,0,0,…,0,0],這是最期望的結果,但一般實際輸出與這不相符.例如[0.02,0.01,0.7,0.05,…,0.01],這就是Softmax 所做的,將樣本的輸出值,做了加權和非線性處理之后,使其變成了一個概率值,概率和為1.

假設y1,y2,y3,…,yn是某神經網絡的輸出,那么經過Softmax 處理之后,如式(1)所示:

其中,yi網絡的第i個輸出,e是輸出的期望值.n是代表網絡有n個輸出.

交叉熵 (Cross Entropy,CE)所表達的是輸出與期望輸出的距離,如果輸出與期望輸出之間越接近,如式(2)所示:

其中,q為輸出,而p為期望輸出.

(2)難樣本三元組損失函數

在三元組損失的基礎上經過改進后形成難樣本三元組損失,TriHard loss的核心思想是:每一次訓練批量挑選P個行人,將他們的ID 作為屬性.每個ID 行人,隨機挑選他們訓練集中的照片,所以每一個批量一共有P×K張圖片.在P×K張照片中,選取對于網絡最困難分辨的照片,組成三元組,三元組需要每次輸入3 張圖片做為訓練,3 張照片分別被命名為:

① 錨點圖片(anchor,a);

② 正樣品圖片(positive,p);

③ 負樣本圖片(negetive,n).

圖片集A是錨點圖片(anchor)ID 相同的行人圖片集合,B為與錨點圖片(anchor)ID 不同的圖片集合.如式(3)所示:

其中,batch為輸入批量,max為最難的正樣本對,min為最難的負樣本對.P為輸入的ID 數,A,B是輸入的兩個不同ID.K為輸入的每個ID 數有幾張照片,a為錨點照片,p為正樣本照片,n為負樣本照片,d代表距離.α是人為設置的參數.相對于傳統的三元組損失,TriHard loss 考慮了極端樣本的信息,而且一般有自適應權重計算,即對于正樣本對來說,越接近的樣本,權重越大.對于負樣本拉說,距離越大,權重越小.

3 實驗結果與分析

3.1 實驗環境

本文所使用的的參數如表1所示.

表1 實驗環境表

3.2 訓練過程

訓練過程以數據集Market1501[16],本數據集來自清華大學校園中6 個不同區域由攝像頭拍攝采集的圖像信息,該訓練集中有751 個有標記(ID)的行人圖像,包含12 936 張圖像,訓練時將圖片像素轉為256×128,設置margin(損失函數的閾值)=0.3,設置batch-size(批量)=32,置num-instance(輸入行人ID的個數)=4,每次輸入32 張照片,分別來自4 個ID 行人,每個行人8 張照片.設置迭代次數(epoch)=150,stepsize (步長)設置為50,其他參數默認.在HPLF 網絡中圖片經過ResNet網絡,對輸出結果最后用Triplet loss和Softmax的聯合損失函數來約束網絡進行學習.設定CNN的學習率為0.0002,并且150 個epoch 進行一次學習率遞減為之前的1/10,進行訓練.采用梯度下降算法來逆向修正網絡的參數,最后繪制訓練和校驗曲線圖.測試時,在最后的卷積層提取圖像的特征,對歐式距離求解后排列測試集中的圖像或者指定圖像,并且在測試文件中,進行mAP,Rank-1,Rank-5,Rank-10,Rank-20的測試.當epoch=150 次以后loss 函數基本達到最小值.

3.3 實驗結果

本文測試所使用的指標為mAP 以及Rank-1、Rank-5、Rank-10.表2和表3是Market1501 在本文算法下獲得測評結果,與文獻[17] 中描述的方法對比,精準性大大提高.本文算法在單人檢索有著90.6%的Rank-1 指標和77.7的mAP 指標.但是在某些方面數據集的提升不太明顯,主要考慮是圖片中目標人體被遮擋.

表2 本文方法獲得性能(%)

本文實驗結果與其他方法對比如表3所示.

表3 Market1501 數據集結果對比(%)

本文還做了自身對比實驗,在不使用本文的HFML算法的情況下得到的訓練結果如表4所示.

表4 不使用HFML 算法獲得性能(%)

與表2比較,可以看出使用本文的HFML 算法的情況下mAP 指標高了6.9%,Rank-1 指標提升4.4%,Rank-5 指標提升1.4%,Rank-10 指標提升0.6%,Rank-20 指標提升0.6%.可以看出本文的HFML 算法可以有效的提取特征,可以提升精度.

4 總結

本文提出了一種利用水平池化提取局部特征的HPLF 算法,在特征圖進行水平切割,將分割的特征圖通過難樣本三元組損失來作為局部特征損失函數,同時原先特征圖也將通過難樣本三元組損失和Softmax損失函數來作為全局特征損失函數,將3 個損失函數作為聯合損失函數進行參數修正.未來考慮復雜場景下的行人再識別.