基于自監(jiān)督部位感知的行人重識別模型及其在鐵路客運(yùn)站的應(yīng)用

李 倩

（中國鐵路蘭州局集團(tuán)有限公司 客運(yùn)部，蘭州 730030）

鐵路客運(yùn)站是連接鐵路與旅客的重要樞紐。由于其面積大、結(jié)構(gòu)復(fù)雜，旅客在站內(nèi)候車涉及區(qū)域較多，若能自動鎖定站內(nèi)重點人群的行動軌跡，從而為其提供精準(zhǔn)幫助，可顯著提升鐵路客運(yùn)站內(nèi)的服務(wù)水平和客運(yùn)管控效率。目前，大多數(shù)鐵路客運(yùn)站采用人工監(jiān)控視頻的模式實時跟蹤重點旅客，然而，站內(nèi)旅客數(shù)量眾多、辨識度低，這種模式不僅費(fèi)時費(fèi)力，且易錯失處置事件的最佳時機(jī)，很難及時阻斷相關(guān)事件的發(fā)生及惡化，亟需研發(fā)一種適用于鐵路客運(yùn)站的人員跟蹤技術(shù)，實現(xiàn)對重點旅客的高效追蹤。

依據(jù)視覺特征進(jìn)行行人軌跡跟蹤一直是學(xué)術(shù)界的重點研究方向。該領(lǐng)域早期的算法屬于生成式方法[1]，即在初始幀中生成目標(biāo)區(qū)域，在后續(xù)幀中對目標(biāo)區(qū)域進(jìn)行搜尋匹配；隨后提出的判別式跟蹤方式[1]，通過區(qū)分背景和目標(biāo)區(qū)域，在后續(xù)幀中利用算法判定檢測框內(nèi)區(qū)域為目標(biāo)或背景，從而進(jìn)行跟蹤。

在實際應(yīng)用場景中，行人軌跡跟蹤面臨的主要問題在于，難以實現(xiàn)跨監(jiān)控設(shè)備的行人軌跡跟蹤與匹配。行人重識別算法主要關(guān)注同一個體在不同視角下的特征關(guān)聯(lián)性，是實現(xiàn)行人跨場景跟蹤的核心技術(shù)。近些年來，深度學(xué)習(xí)迅速發(fā)展，越來越多的基于深度學(xué)習(xí)的行人重識別算法被提出[2-4]。雖然這些算法在計算機(jī)視覺領(lǐng)域的公共數(shù)據(jù)集上均取得了較為不錯的成績，但將其引入鐵路客運(yùn)站后，因人流密集，視頻數(shù)據(jù)中行人被嚴(yán)重遮擋、辨識度低，難以從鐵路場景中獲取良好的訓(xùn)練數(shù)據(jù)，導(dǎo)致其跟蹤與匹配性能均出現(xiàn)了較大程度的下降。

為此，本文提出了一種基于自監(jiān)督部位感知的行人重識別模型，有效提升了復(fù)雜場景下軌跡跟蹤及匹配的性能，實現(xiàn)高性能的鐵路客運(yùn)站重點旅客追蹤，將傳統(tǒng)的人工檢索模式改為智能化模式，顯著降低工作人員勞動強(qiáng)度，提升重點事件處置效率和客運(yùn)服務(wù)水平。

1 基于自監(jiān)督部位感知的行人重識別模型構(gòu)建

鐵路客運(yùn)站重點人員跟蹤的核心是解決不同監(jiān)控設(shè)備中的跨域特征匹配問題，即要求所用的網(wǎng)絡(luò)模型針對不同場景下的同一個目標(biāo)，提取出盡可能相似的特征，計算機(jī)視覺中將這類問題統(tǒng)稱為行人重識別。本文提出的基于自監(jiān)督部位感知的行人重識別模型架構(gòu)分為自監(jiān)督部位感知預(yù)訓(xùn)練和行人重識別遷移學(xué)習(xí)兩個部分，如圖1 所示。

1.1 自監(jiān)督部位感知預(yù)訓(xùn)練

從人類的通常視角來看，行人外觀特征由體型、穿著、隨身物品等明顯特征，以及發(fā)型、人臉、配飾等精細(xì)特征構(gòu)成。這些特征的基本單元是人體的各個部位（頭、軀干和四肢等）。

自監(jiān)督部位感知預(yù)訓(xùn)練旨在通過大量無標(biāo)簽的行人數(shù)據(jù)集對模型進(jìn)行預(yù)訓(xùn)練，通過設(shè)置對比任務(wù)，利用樣本自身信息差作為監(jiān)督信號，訓(xùn)練得到具有良好視覺理解能力的模型。

本節(jié)先介紹自監(jiān)督部位感知預(yù)訓(xùn)練的網(wǎng)絡(luò)架構(gòu)，再介紹其網(wǎng)絡(luò)的優(yōu)化過程，即損失函數(shù)設(shè)計。

1.1.1 自監(jiān)督部位感知預(yù)訓(xùn)練網(wǎng)絡(luò)架構(gòu)

自監(jiān)督部位感知預(yù)訓(xùn)練部分的網(wǎng)絡(luò)架構(gòu)如圖1（a）所示。

（1）對輸入樣本x進(jìn)行不同方向上的特征增強(qiáng)，形成增強(qiáng)樣本對 (m,n)；對樣本對進(jìn)行隨機(jī)掩碼和背景掩碼，形成隨機(jī)掩碼樣本對 (mR,nR) 和背景掩碼樣本對 (mA,nA)，以此構(gòu)建樣本自身的信息差。

（2）采用知識蒸餾的思路，從樣本的信息差中訓(xùn)練獲得泛化性的行人視覺特征；采用ViT（Vision Transformer）[5]架構(gòu)構(gòu)建學(xué)生網(wǎng)絡(luò)S和教師網(wǎng)絡(luò)T，學(xué)生網(wǎng)絡(luò)S只接收隨機(jī)掩碼樣本對 (mR,nR)，教師網(wǎng)絡(luò)只接收背景掩碼樣本對 (mA,nA)。

（4）通過構(gòu)建損失函數(shù)，形成教師網(wǎng)絡(luò)T到學(xué)生網(wǎng)絡(luò)S的知識蒸餾，使得預(yù)訓(xùn)練獲得較好的視覺特征提取能力

（5）最終，在教師網(wǎng)絡(luò)T的指導(dǎo)下，學(xué)生網(wǎng)絡(luò)S在特征域上對隨機(jī)掩碼的樣本進(jìn)行特征補(bǔ)全，并獲得對行人身體部位的感知能力。

1.1.2 網(wǎng)絡(luò)優(yōu)化

自監(jiān)督部位感知預(yù)訓(xùn)練網(wǎng)絡(luò)優(yōu)化的目標(biāo)是最小化總體損失函數(shù)Lpre，可將其分為身體部位位置特征的損失函數(shù)Lpatch和身體部位語義特征損失函數(shù)L[PART]兩個部分。

學(xué)生網(wǎng)絡(luò)S對隨機(jī)掩碼的樣本在特征域上進(jìn)行重建，身體部位位置特征的損失函數(shù)Lpatch公式為

教師網(wǎng)絡(luò)T和學(xué)生網(wǎng)絡(luò)S均先將輸入樣本切分為N個圖像塊，Lpatch計算了N個圖像塊的損失值之和，用于反向傳播更新網(wǎng)絡(luò)的權(quán)重，(mA,nR)為增強(qiáng)樣 本對 (m,n) 經(jīng)過不同方式掩碼的結(jié)果；T(·)、S(·)分別代表教師網(wǎng)絡(luò)T和學(xué)生網(wǎng)絡(luò)S的特征提取過程；為教師網(wǎng)絡(luò)T中身體部位位置的投射過程。是將mA圖像拆分為N個圖像塊之后的第i個子圖像塊；θi為每個子圖像塊的位置編碼。

身體部位語義特征損失函數(shù)L[PART]公式為

本文所構(gòu)建的自監(jiān)督部位感知預(yù)訓(xùn)練網(wǎng)絡(luò)可視為對兩個損失函數(shù)的優(yōu)化過程，則總體損失函數(shù)Lpre為

綜上，本文借鑒掩碼學(xué)習(xí)的思路，從遮蔽的圖像塊中恢復(fù)連續(xù)的行人特征，使網(wǎng)絡(luò)對場景中存在遮擋、不完整的行人特征有一定的聯(lián)想重建能力；通過指定目標(biāo)行人特征的構(gòu)成，學(xué)生網(wǎng)絡(luò)S可主動忽略行人身處不同背景的干擾；通過區(qū)分不同區(qū)域?qū)?yīng)的身體部位語義特征，可實現(xiàn)行人身體區(qū)域的劃分，從而學(xué)習(xí)到不同部位的區(qū)別性語義，豐富行人特征匹配的信息維度。

1.2 行人重識別遷移學(xué)習(xí)

由自監(jiān)督部位感知預(yù)訓(xùn)練學(xué)習(xí)到行人的精細(xì)化特征后，進(jìn)一步進(jìn)行行人重識別遷移學(xué)習(xí)，從而實現(xiàn)復(fù)雜場景下的行人軌跡匹配功能。將預(yù)訓(xùn)練好的學(xué)生網(wǎng)絡(luò)S作為視覺特征提取模塊，經(jīng)過相應(yīng)的投射層，提取樣本的行人重識別特征，如圖1（b）所示。確定學(xué)生網(wǎng)絡(luò)S的參數(shù)，在行人重識別數(shù)據(jù)集上對patch和[PART] 特征投射層的參數(shù)進(jìn)行微調(diào)，輸入樣本x的行人重識別特征ReID(x) 可表示為

式（4）中，“?”為特征拼接操作，即通過對[PART]特征和patch特征進(jìn)行拼接，構(gòu)建行人重識別特征的表達(dá)。

使用三元組損失函數(shù)作為行人重識別遷移學(xué)習(xí)的損失函數(shù)，目的是在最小化輸入樣本x到正樣本xP間的特征距離的同時，使得輸入樣本x到負(fù)樣本xN之間的距離最大。三元組損失函數(shù)Ltri的公式為

式（5）中，ρ 為設(shè)定閾值；d(·) 為ReID 特征間的歐氏距離。

2 模型性能分析

2.1 實驗數(shù)據(jù)

（1）選擇LUPerson 大規(guī)模行人數(shù)據(jù)集作為自監(jiān)督部位感知預(yù)訓(xùn)練數(shù)據(jù)集。LUPerson 數(shù)據(jù)集包含4.18 兆張行人圖片，排除遮擋過于嚴(yán)重的圖片，并統(tǒng)一將輸入圖像縮放至256×128 像素。

（2）使用行人數(shù)據(jù)集Market-1501[5]、MSMT17[6]和Occluded-Duke[7]，進(jìn)行行人重識別模型的遷移學(xué)習(xí)和驗證，并基于Occluded-Duke 行人數(shù)據(jù)集驗證算法對部分遮擋的行人特征的重建能力。其中，Market-1501 行人數(shù)據(jù)集包含32 668 個圖像樣本，共1501 個行人；MSMT17 行人數(shù)據(jù)集包含126 441 個圖像樣本，共4101 個行人；Occluded-Duke 行人數(shù)據(jù)集包含15 618 張行人圖像樣本，是專門為研究遮擋行人重識別而搜集的數(shù)據(jù)集，最為符合鐵路客運(yùn)站的重點人員追蹤場景。

2.2 實驗配置

本文使用了不同規(guī)模下的ViT 和Swin Transformer（Swin-T）架構(gòu)[8]，將其作為本文模型的主干網(wǎng)絡(luò)。其中，ViT 架構(gòu)采用了ViTSmall/16（ViT-S）、ViT-Base/16（ViT-B）兩種不同規(guī)模；Swin-T 模型的滑窗大小為7×7；patch及[PART]投射層由3 層多層感知機(jī)（MLP，Multi-Layer Perception）與L2-正則化共同組成；行人重識別遷移學(xué)習(xí)的三元組損失函數(shù)的超參數(shù) ρ 設(shè)置為0.25。

2.3 性能比較

將本文設(shè)計的基于自監(jiān)督部位感知的行人重識別模型與MGN（Multiple Granularity Network）、TransReID、TransReID-SSL 等3 種通用行人重識別模型模型在不同主干網(wǎng)絡(luò)和數(shù)據(jù)集下的方法性能進(jìn)行比較。采用平均精度mAP 和準(zhǔn)確率R1 對模型的性能進(jìn)行評價，具體的實驗結(jié)果如表1 所示。

表1 不同模型的試驗性能結(jié)果

由表1 可知，本文模型在3 個數(shù)據(jù)集上的性能均高于對比的通用行人重識別模型。為驗證本文模型在鐵路客運(yùn)站旅客密集、行人被頻繁遮擋場景中的應(yīng)用效果，使用了行人重識別數(shù)據(jù)集中針對遮擋問題而構(gòu)建的Occluded-Duke 數(shù)據(jù)集。從表1 中的結(jié)果可看出，MGN 模型的平均精度不足40，其他模型均表現(xiàn)欠佳，本文模型仍在一定程度上受行人被遮擋的影響，但其基于部位感知的自注意力機(jī)制，學(xué)習(xí)到了行人不同部位的區(qū)別性語義，并通過特征重構(gòu)，獲得了一定的特征聯(lián)想能力，在Occluded-Duke行人重識別數(shù)據(jù)集上的mAP 性能指標(biāo)超過60，在基于Swin-T 主干網(wǎng)絡(luò)的情況下，本文方法的R1 值接近70%。

3 現(xiàn)場試用

將本文研究的行人重識別模型應(yīng)用于鐵路客運(yùn)站重點人員跟蹤，并在中國鐵路蘭州局集團(tuán)有限公司白銀南站試用。白銀南站位于甘肅省白銀市內(nèi)，建筑面積9999.73 m2，最高聚集人數(shù)為1500 人，站臺規(guī)模為3 臺7 線。

在白銀南站進(jìn)站安檢區(qū)域人工圈定需要關(guān)注的重點人員，如65 歲以上的旅客，并對其進(jìn)入候車廳到檢票口離站期間的行動軌跡進(jìn)行實時跟蹤，同時展示跟蹤軌跡流線圖，如圖2 所示。

圖2 重點人員跟蹤界面

圖2 中，通過3 個部分展示了重點旅客在鐵路客運(yùn)站內(nèi)的全流線軌跡，右側(cè)部分為白銀南站候車大廳布局圖，在該圖中實時展示重點旅客的行進(jìn)軌跡；左側(cè)上部為該重點旅客的實時視頻；左側(cè)下部為在安檢區(qū)域圈定的重點旅客肖像圖及相關(guān)特征屬性。本文模型在白銀南站的試用效果良好。

4 結(jié)束語

本文提出了一種基于自監(jiān)督部位感知的行人重識別模型，并根據(jù)該模型對鐵路客運(yùn)站的重點人員進(jìn)行實時跟蹤，經(jīng)試驗驗證，該模型可在遮擋較為嚴(yán)重的鐵路客運(yùn)站場景下實現(xiàn)精確率較高的行人跟蹤。下一步，將研究如何結(jié)合空間信息，更好地提升跨域跟蹤的精準(zhǔn)度。