融合頭肩部位特征的行人重識別*

沈宇慧 王 琪

（南京信息工程大學 南京 210000）

1 引言

行人重識別（ReID）是計算機視覺的一個主流任務，在實際場景中有眾多應用，例如智能安防、防疫工作等。行人重識別旨在給定一個監(jiān)控行人圖像，跨設備檢索多個攝像頭下該行人的所有圖像。近幾年，由于深度學習的發(fā)展，行人重識別取得了巨大進步，在眾多公開數(shù)據(jù)集上都取得較好效果。但是大部分ReID方法主要都是針對光線充足、行人衣著亮麗區(qū)分度大的環(huán)境，依靠行人衣著來提取特征。在實際場景中，冬天ReID性能會大大下降。而通過監(jiān)控數(shù)據(jù)發(fā)現(xiàn)，很多人（尤其是男士）冬天都換上了黑衣服，使得衣著的特征屬性嚴重缺失。

最近，深度學習的方法通過學習魯棒的行人特征在行人重識別方面取得了巨大成就。基于深度學習的方法通常用于提取行人圖像的穩(wěn)健全局特征［1］，但忽略了類內(nèi)變化（例如遮擋、姿勢、背景）。為解決這個問題，用學習局部特征的方式獲得更具辨別力的信息表達。基于局部特征的方法可分為三類：第一種是基于姿態(tài)的ReID［2］，從手臂、腿和軀干等身體部位提取局部特征。使用姿態(tài)估計器來提取姿態(tài)信息，以對齊身體部位［3］或生成行人圖像。但在整個訓練和測試過程中都使用姿態(tài)估計器，網(wǎng)絡耗時耗力。第二種是基于部位的ReID［4］將圖像或全局特征分割成幾個水平網(wǎng)格，分別進行訓練并整合，以獲取辨別性的行人表征。因為具有不同語義的對應部分，該方法對姿勢變化和遮擋較為敏感。第三種是采用注意力機制的局部信息［5］，可在弱監(jiān)督下進行訓練。關注感興趣的區(qū)域，減少背景噪聲的影響，但關注區(qū)域可能不夠準確。然而，這些方法提取特征主要依賴于服裝的屬性（例如顏色、紋理、風格）。身穿深色衣服的行人或因場景光照不足而丟失特征信息會影響這些方法的性能。如圖1所示，僅根據(jù)衣著很難區(qū)分。

圖1 身著深色衣服行人

文獻［6］是致力于頭肩部位的ReID方法。頭肩部位是重要的可判別信息，實際場景中身體部位可能會被遮擋，但頭部肩部會更多被拍攝。同時頭肩特征具有豐富的鑒別屬性，例如發(fā)型、膚色或人臉。作者提出一種基于多姿態(tài)學習的模型，該模型以頭肩部位為輸入，旨在解決擁擠條件下ReID問題［7］。通過學習多個姿勢間關系的集合，以驗證條件概率分布來處理頭肩姿態(tài)的變化。主要集中在姿態(tài)變化上，對頭肩定位、特征提取以及與全局特征融合的研究不足。

針對上述問題本文提出一種融合頭肩部位特征的行人重識別網(wǎng)絡（Fusion Head and Shoulders Features Network，HSN）。在 注 意 力 模 塊（Squeeze-and-Excitation Networks，SE）［8］和AlignedReID等多條帶局部特征方法的啟發(fā)下，設計雙分支網(wǎng)絡：全局分支從輸入行人圖像中提取全局特征；借鑒空間變換網(wǎng)絡（STN）［9］，通過定位頭肩部位，表征出多條帶的頭肩部信息。將注意力模塊嵌入到殘差網(wǎng)絡，加強對頭肩部關鍵特征的提取，構(gòu)成局部分支。再結(jié)合自適應權(quán)重分配機制，共同構(gòu)成更全面、泛化能力更強的行人重識別網(wǎng)絡。

2 本文方法

在本節(jié)介紹融合頭肩部位特征的行人重識別網(wǎng)絡（HSN）。首先介紹網(wǎng)絡的整體架構(gòu)；其次介紹網(wǎng)絡的全局分支、頭肩部位注意力分支和自適應權(quán)重分配機制；最后介紹網(wǎng)絡中使用的損失函數(shù)。

2.1 網(wǎng)絡整體結(jié)構(gòu)

網(wǎng)絡由兩分支組成，如圖2所示：采用ImageNet［10］預訓練的ResNet18和ResNet50［11］殘差網(wǎng)絡分別作為分支網(wǎng)絡的主干。ResNet50全局分支提取行人圖像全局特征。輕量級ResNet18網(wǎng)絡用于定位頭肩區(qū)域，類似圖像分割任務學習一個邊界框表示頭肩區(qū)域。通過一個全連接層（FC），生成空間變換的參數(shù)θ，仿射變換函數(shù)Tθ進行縮放和移動，裁剪輸入圖像。⊙是采樣器，根據(jù)輸入圖像和Tθ，輸出最終裁剪的頭肩圖像。裁剪出頭肩區(qū)域表示為三個水平條帶，輸出到頭肩特征提取網(wǎng)絡。采用注意力機制表征頭肩信息，構(gòu)成頭肩局部分支網(wǎng)絡。在模型結(jié)束時，通過自適應權(quán)重分配機制聚合全局和頭肩特征分支。使用交叉熵和三元組損失函數(shù)對網(wǎng)絡進行端到端訓練。在測試時提取行人特征，并計算行人間的歐式距離以匹配具有相同ID的人。

圖2 本文整體網(wǎng)絡結(jié)構(gòu)

2.2 全局分支

輸入的圖像經(jīng)過ResNet50網(wǎng)絡，將最后一層conv的last stride改為1，擴大特征圖尺寸［4］。行人圖像中提取大小為C×H×W的特征圖，其中C、H、W分別表示通道數(shù)、高度和寬度。然后，通過全局平均池化（GAP）、1×1卷積和批量歸一化層（BN）對特征圖進行處理，生成c×1×1的全局特征，用fg表示。BN層能平滑嵌入特征分布，增強嵌入特征類內(nèi)緊湊性［12］。

2.3 頭肩部位分支

圖3是頭肩部位分支詳細結(jié)構(gòu)。由于特征映射的不同通道代表不同含義，即辨別性特征權(quán)重因通道而異，且特征不同空間位置也具有不同語義。因此，引入通道和空間注意力模塊，來增強網(wǎng)絡表征能力。

圖3 提取頭肩特征的分支結(jié)構(gòu)

對于第i個（i＝1，2，3）條帶特征，輸入特征圖經(jīng)過通道注意力機制：一個用于降維的加權(quán)的全連通層，ReLU函數(shù)，另一個加權(quán)的全連接層和Sigmoid激活函數(shù)，r為還原率。然后，通過短路連接和對應元素相加對通道進行重新加權(quán)，表示為

其中|·|是元素乘法，Ai是通道注意力后的輸出。是Ai每個通道特征。空間注意力是通過強化峰值反應實現(xiàn)的，具體表示為

最后通過1×1卷積和GeM池化聚合條帶的完整特征fh。

2.4 自適應權(quán)重分配機制

對于穿著鮮艷或深色服裝、暴露或被遮擋的人，大多數(shù)方法對全局特征的關注度與對局部特征的關注度相同。為解決這個問題，本文提出自適應權(quán)重分配機制，通過區(qū)分行人類型來確定全局和局部特征權(quán)重。對于被區(qū)分穿深色衣服或被遮擋的人賦予更多的關注在頭肩部位上。

如圖2中結(jié)構(gòu)所示，首先將全局特征fg輸入到一個全連接層中，整合N×2大小的特征，其中N是批量大小，用fb表示輸入行人是否衣著深色或被遮擋。然后，將fb饋入另一個全連接層，給出N×2的特征映射fw。fw=[w1w2]是全局特征和頭肩特征的權(quán)重。即行人著深色衣服或被遮擋時，對頭肩特征分配更大的權(quán)重。最后聚合全局特征和頭肩特征，如下所示：

其中|·|是元素相乘，fg和fh分別是全局特征和頭肩特征，?表示連接方法，f是最終特征表示。

2.5 損失函數(shù)

為訓練本文網(wǎng)絡模型，使用三元組和交叉熵損失，如下式：

分別用?triplet和?ce表示三元組和交叉熵損失，參數(shù)α和β是平衡權(quán)重，交叉熵損失定義為

N是批量大小，yi是特征的標簽，C是類別數(shù)。由錨樣本、正和負樣本特征（即、和）組成的三元組，批量難例三元組損失［13］公式如下：

其中δ是三元組損失度量邊距，一般設置為0.35。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與細節(jié)設置

實驗采用的操作系統(tǒng)為Windows 10，顯卡為NVIDIA GeForce GTX3080TI，顯存為16GB。環(huán)境采用Python 3.8和Pytorch1.7的深度學習框架。訓練圖像大小調(diào)整為384×128。將特征通道數(shù)C設置為1536，批量大小N為64。采用水平翻轉(zhuǎn)和隨機擦除［14］來增強數(shù)據(jù)。根據(jù)文獻［4］，將GAP和全連接層從原始ResNet-50體系結(jié)構(gòu)中移除。先分別對全局分支和頭肩局部分支進行50個階段的訓練，然后將它們與自適應權(quán)重機制模塊一起訓練40個階段，共90個階段。使用Adam作為優(yōu)化器，初始學習率設置為3e-4，并在40和70個階段衰減10%。損失權(quán)重參 數(shù)α和β均設置為1，以便與ResNet50集成。

3.2 數(shù)據(jù)集與評估方式

在Market1501［15］和DukeMTMC-reID［16］兩個公開數(shù)據(jù)集上評估本文網(wǎng)絡。Market1501包含6個相機視角，1501個被標記人的32668幅圖像。訓練集為自751個行人的12936幅圖像，測試集為750個行人的19732幅圖像。DukeMTMC-reID是另一個大規(guī)模行人ReID數(shù)據(jù)集，從8個相機視角的1404個行人收集36411幅圖像。訓練集為702個行人的16522幅圖像，測試集為其他702個身份的19889幅圖像。實驗采用單一查詢評估，利用常見的平均精度（mAP）和首位命中率（Rank-1）來評估模型性能。

3.3 消融實驗

本文基于HSN（ResNet50）對兩大數(shù)據(jù)集進行了廣泛的消融研究，具體實驗如下。

1）全局特征與頭肩部位特征

由表1可知不同分支對行人重識別性能的影響。在數(shù)據(jù)集中使用全局特征、頭肩部位特征以及兩特征融合，分別用HSN（ResNet50-全局，即BoT網(wǎng)絡）、HSN（ResNet50-頭肩）和HSN（ResNet50全局+頭肩）表示。HSN（ResNet50全局+頭肩）在Market1501數(shù)據(jù)集上，mAP和Rank-1值上分別比HSN（ResNet50-全局）和HSN（ResNet50-頭肩）高出2.4%、1.1%和29.5%、25.6%。HSN（ResNet50全局+頭 肩）在DukeMTMC-reID數(shù) 據(jù) 集 上，mAP和Rank-1值上分別比HSN（ResNet50-全局）和HSN（ResNet50-頭 肩）高 出2.7%、2.3%和31.6%、33.5%。實驗結(jié)果表明，全局和頭肩特征的整合取得了最好效果。提取頭肩特征能克服全局特征的對衣著屬性的局限性，提升網(wǎng)絡的泛化能力。

表1 數(shù)據(jù)集不同特征分支比較/%

2）頭肩部位嵌入注意力

本文在頭肩部位特征提取中嵌入注意力模塊。為驗證注意力模塊有效性，將嵌入注意力模塊和非嵌入網(wǎng)絡進行對比。由表2可知，嵌入注意力網(wǎng)絡在Market1501數(shù)據(jù)集上，mAP和Rank-1值分別提升了0.8%和0.7%；在DukeMTMC-reID數(shù)據(jù)集上，提升了1.1%和0.6%。實驗結(jié)果表明，頭肩注意力模塊能有效提取關鍵性的行人頭肩部位特征，提升網(wǎng)絡性能。并且驗證了頭肩部位信息的可靠性。

表2 頭肩部位注意力模塊的影響/%

3）自適應權(quán)重分配機制

本文通過自適應權(quán)重分配連接全局和頭肩特征。為驗證其有效性，在整個訓練和測試過程中，全局和頭肩特征直接連接在一起，然后與采用自適應權(quán)重分配機制的網(wǎng)絡進行對比。直接連接全局、頭肩特征（no自適應權(quán)重分配）與通過自適應權(quán)重分配連接（自適應權(quán)重分配）結(jié)果如表3所示，加入自適應權(quán)重分配在Market1501上的mAP和Rank-1值分別提高了0.4%和0.5%，在DukeMTMC-reID上的mAP和Rank-1值分別提高了1.1%和0.8%。實驗結(jié)果表明，自適應權(quán)重分配能有效性連接全局和頭肩特征，改善網(wǎng)絡模型整體性能。

表3 自適應權(quán)重分配模塊有效性驗證/%

3.4 與其他方法比較分析

將本文提出的方法與Market1501和DukeMTMC-reID數(shù)據(jù)集上的其他方法進行比較。由表4可知，HSN（本文方法）在兩個數(shù)據(jù)集上均獲得最好結(jié)果，mAP值顯著提升。HSN在Market1501上達到了88.3%的mAP值和95.6%的Rank-1值；Duke-MTMC-reID達到了79.1%的mAP值和88.7%的Rank-1值，均超越了基于局部特征的三種類別方法以及基線方法。

表4 Market1501和DukeMTMC-reID上方法的性能比較/%

圖4將數(shù)據(jù)集上的訓練結(jié)果進行可視化，輸出Rank1到10的檢索結(jié)果。在一些衣著屬性缺失的深色衣著行人圖像上，驗證本文網(wǎng)絡的有效性。

圖4 檢索結(jié)果可視化

4 結(jié)語

本文為解決行人衣著屬性缺失或被遮擋問題，提出一種融合頭肩部位特征的行人重識別網(wǎng)絡。網(wǎng)絡通過自適應權(quán)重分配機制高效地結(jié)合全局分支和頭肩部位分支，提升網(wǎng)絡模型的泛化能力；頭肩部位分支將通道和空間注意力模塊加入到網(wǎng)絡中，在衣著屬性缺失的情況下，以輸出具有代表性的頭肩特征。在Market1501和DukeMTMC-ReID數(shù)據(jù)集上取得的最好性能證明，本文網(wǎng)絡能夠有效解決行人衣著屬性缺失或者被遮擋問題，未來將進一步探究將頭肩部位分支與不同主干網(wǎng)絡集成融合的效果。