基于聯合條紋關系的車輛重識別

張廷萍，帥聰*，楊建喜，鄒俊志，郁超順，杜利芳

基于聯合條紋關系的車輛重識別

張廷萍1，帥聰1*，楊建喜1，鄒俊志2，郁超順3，杜利芳3

（1.重慶交通大學 信息科學與工程學院，重慶 400074； 2.重慶交通大學 土木工程學院，重慶 400074； 3.重慶交通大學 交通運輸學院，重慶 400074）（*通信作者電子郵箱308156154@qq.com）

為了解決車輛重識別過程中因車輛特征圖分塊所導致的空間信息丟失問題，提出一種聯合條紋特征之間關系的模塊以彌補丟失的空間信息。首先，針對車輛特殊的物理結構，構建了一種雙分支神經網絡模型，對輸出的特征圖進行水平和垂直均等分割并在不同的神經網絡分支上進行訓練；然后，設計多激活值模塊以減少噪聲并豐富特征圖信息；接著，使用三元組和交叉熵損失函數對不同的特征進行監督訓練以約束類內距離并擴大類間距離；最后，設計批量歸一化（BN）模塊消除不同損失函數在優化方向上存在的差異，從而加速模型的收斂。使用所提方法在VeRi-776和VehicleID兩個公共數據集上進行實驗，結果表明該方法的Rank1值優于現有最好的方法VehicleNet，驗證了其有效性。

車輛重識別；條紋關系；特征圖分塊；多激活值；批量歸一化

0 引言

車輛重識別任務是計算機視覺中的重要任務，它的目的是在不重疊的攝像頭中尋找感興趣的車輛，可以應用于智能交通運輸系統中的實際情況，例如車輛跨攝像頭跟蹤和監控。車輛重識別受益于行人重識別［1-2］，其網絡體系結構、損失函數設計、數據增強、特征提取的方法都可由此借鑒；然而，與已經發展較為成熟的行人重識別技術相比，車輛的類間差異性更小、受視角引起的偏差更大等特點使車輛重識別任務更具有挑戰性［3-4］。如圖1所示，不同身份的車輛具有高度相似性，肉眼難以區分不同車輛。

在車輛重識別研究早期，基于外觀建模的方法是一種有效的方法，車輛具有車標、車牌、顏色等信息，研究學者從車輛的不同角度對車輛特征進行人工提取［5-6］，或根據車輛自身屬性進行手工特征提取以獲得圖像的屬性達到對車輛身份識別的目的［7］；但是由于車輛在不同視角下的圖像會存在完全不一樣的情況以及光線的巨大差異，基于手工方法提取的特征通常不具有魯棒性。在最近的研究工作中，車牌信息被抹除，基于手工特征的方法逐漸被遺棄，大量基于深度學習的車輛重識別方法［8-11］迅速發展，且已被證明比傳統的手工方法具有更好的性能。

圖1 帶有身份的相似車輛示例

在基于深度學習的方法中，對特征圖分割［12］后融合全局信息與局部信息的方法在行人數據集上表現出了出色的效果，但是對特征圖進行分割也帶來了相鄰塊之間信息丟失的問題；在車輛重識別領域，許多方法借助此思想，在特征圖上進行水平和垂直均等劃分。Wang等［12］利用多重粒度網絡（Multiple Granularity Network， MGN）將特征圖均等劃分為3部分，利用局部的特征圖信息大幅提高了重識別的準確率，成了當時流行的方法。Qian等［13］在此基礎之上，將特征圖分割得更為細致，沿豎直方向上將特征圖分割為8部分，強迫網絡去關注更細微的局部信息以達到提高準確率的目的。這種基于塊的操作能簡單有效地利用局部特征進行分類，但如圖2所示，也面臨著以下問題：由于車輛姿態變化和尺寸差異，會出現車輛結構無法對齊的現象；單一地對幾個區域進行預測，未使用相鄰塊之間存在的關聯特征，可能導致具有判別性的信息丟失；由于車輛的特殊物理結構，不同塊之間存在固定的聯系（如車的頂部和車標具有一定聯系），但基于塊的操作卻忽略了塊與塊之間特征的關系。

圖2 圖像分塊引起的無法對齊問題

針對上述問題，本文提出一種聯合條紋特征關系的車輛重識別算法。該算法以使用最廣泛的ResNet-50［14］作為骨干網絡，并將骨干網絡輸出的特征圖進行水平和豎直均等分割，使用關系描述模塊對特征塊之間的關系建模以彌補特征分塊后的空間信息丟失；其次，設計多激活值模塊以最大限度地去除噪聲保留有效信息；接著，組合三元組損失（Triplet loss）函數與交叉熵損失（Cross-entropy loss）函數對網絡進行監督訓練；最后，設計組歸一化模塊以消除損失函數在優化方向上的差異。

1 聯合條紋關系的車輛重識別

1.1 網絡結構

考慮到MGN在行人重識別領域中結合全局與局部特征信息表現出了非常好的效果，在車輛重識別中同樣考慮結合全局與局部特征信息去描述每一輛車。將ResNet-50作為骨干網絡，最后一個卷積層的步幅設置為1，以獲得更大分辨率的特征圖，并且將最后的分類層和平均池化層刪除。根據車輛獨有的物理結構，將特征圖沿垂直和水平方向上均等分割都具有一定意義，所以在骨干網絡之后設置一個并行的雙分支神經網絡，使得沿不同方向上切割的局部特征能在不同的分支網絡結構中學習。由于Fu等［11］在一系列的實驗中發現，在車輛重識別領域中使用全局最大池化（Global Max Pooling， GMP）技術對特征圖進行操作要優于全局平均池化（Global Average Pooling， GAP），因此，在對特征圖分塊后使用GMP對每一分割塊進行操作。

本文提出了一種聯合條紋特征關系的雙分支深度卷積神經網絡來學習車輛的有效特征嵌入，其總體框架如圖3所示。圖3中除骨干網絡外還包含三個模塊：關系描述模塊、多激活值模塊和批量歸一化（Batch Normalization， BN）模塊。將車輛圖像作為模型的輸入，來自骨干網絡的堆疊卷積層將自動形成特征圖，此時特征圖將沿垂直和水平方向均等分割為塊，沿不同方向上切割的特征塊將會沿不同的網絡分支繼續向下傳播。圖3中：GMP是對特征圖常見的操作；“Split”代表對特征圖均等分割，以迫使網絡利用局部信息進行車輛重識別；“⊕”代表特征圖張量相加；“C”代表特征圖以通道維度連接；“S”代表通道注意力機制［15］，由于通道注意力機制可以顯式地建模通道之間的關系，利用此方法可將特征塊按通道維度連接，并使用通道注意力機制建模特征塊之間的關系，以彌補特征分塊后的空間信息丟失；“DR”代表降維，降維操作既能減小特征的維度從而節約計算資源，又能減小車輛的表示特征維度以獲得更快的推理速度；“B”代表BN模塊，可以加快模型的收斂。模型中具體的小模塊結構將在下面的小節進行詳細說明。

1.2 關系描述模塊

由于車輛數據集中存在大量難以區分的樣本，相比使用單一的全局特征，采用更加精細的局部特征可以減少車輛數據集復雜化的影響，而且這些關鍵的局部特征更具有代表性，判別力更強，是區分不同車輛的重要依據。目前常用的提取局部特征的方法有圖像切塊、基于關鍵點位置［16］以及注意力機制等。

為了得到車輛的有效特征嵌入，本文算法根據車輛的結構特征將特征圖進行垂直和水平分割。由于分割后會出現相鄰塊與不相鄰塊之間的重要信息丟失，因此提出聯合關系模塊。如圖4所示，為了描述各個分區之間的關系，首先將特征圖均等分割成6份，依次按順序選擇其中一塊條紋特征圖，其余5塊條紋特征圖附上權重且相加后與被選擇的特征圖以通道維度相連后使用關系描述模塊，其中權重的大小與被選擇的條紋特征圖與當前特征圖的距離相關，距離越近則權重越大。將特征圖依次編號1～6，如選擇第3塊特征圖時，則其余5塊相加如下所示：

圖3 本文方法總體框架

圖4 關系描述模塊

1.3 多激活值模塊

近年來，車輛重識別工作普遍使用全局最大池化；然而，全局最大池化只考慮特征圖上最大的激活值，雖然盡可能地減少了噪聲，但也會造成特征圖的空間信息丟失。對于全局平均池化，將特征圖上所有數值平均后得到的值作為最終值，雖然考慮到了全圖的信息，特征圖包含的信息更廣，但是由此帶來的噪聲也更多。Zheng等［17］綜合全局最大池化和全局平均池化豐富了信息，減少了噪聲，但隨之而來的是模型的復雜度增加。

為了使特征圖盡可能地減少噪聲并極大地豐富特征圖信息，構建了多激活值模塊來解決此問題，其網絡結構如圖3虛線框中所示。首先，為了盡可能地減少噪聲，加入了全局最大池化層；其次，為了同時考慮特征圖上的多個區域的信息，將特征圖分塊進行最大池化后相加可豐富特征圖信息；接著為了彌補分塊后信息的丟失，考慮在特征圖上取1個激活值、2個激活值和3個激活值；最后為了降低特征圖的維度以節約計算資源，在模塊內部將進行兩次降維操作。由此設計的多激活值模塊既豐富了特征圖信息又極大地抑制了噪聲。

1.4 多損失聯合學習

三元組損失在度量學習中應用廣泛，其定義如下：

1.5 批量歸一化模塊

在深度學習領域中，混用具有不同量綱或量綱單位的評價指標容易使得數據中出現奇異樣本數據，從而造成訓練時間過長以及損失無法收斂的問題。因此，為了消除指標之間量綱的影響，需要對數據進行歸一化。

在車輛重識別中普遍采用三元組損失和交叉熵損失函數對模型進行監督優化，當交叉熵損失函數和三元組損失函數共同優化一個特征時，損失函數的優化方向可能出現差異，如圖5在做三分類時，交叉熵損失函數經改進后使用余弦距離進行度量，通過構造超球面的方式將嵌入空間分成3個不同的子空間，3種類別中的每個特征都被映射為超球面上的點，這樣每個類別的特征會被分配到不同的子空間；三元組損失函數則采用歐氏距離進行度量。當這兩種損失函數對網絡中的同一個特征向量進行監督時，二者優化方向的差異可能會使得訓練過程中一個損失減小，而另一個損失振蕩發散，最終導致整個訓練過程中損失的收斂難度變大。

圖5 不同損失函數下樣本分布二維可視化

圖6 批量歸一化模塊

2 實驗及結果分析

2.1 評價指標

車輛重識別是一個圖像檢索子問題，在衡量重識別方法的性能時，采用的評價指標主要包括平均精度均值（Mean Average Precision， mAP）、累計匹配性能曲線（Cumulative Matching Characteristics curve， CMC）。

2.2 數據集

為了對模型的有效性進行驗證，選取公共數據集VeRi-776和VehicleID分別進行實驗驗證。

2.2.1 VeRi-776

VeRi-776是由Liu等［19］提出的，包含由20個攝像頭拍攝的超過50 000張關于776輛汽車的圖像，標注信息豐富，包括邊界框、車輛類型、顏色、廠商、車牌、時間戳和地理位置。在測試階段，由于重識別（Re- identification， Re-id）任務面對的是跨攝像頭搜索任務，因此在測試階段會將同一攝像頭下的同一身份的車輛圖像忽略。

2.2.2 VehicleID

VehicleID是由Liu等［18］提出的大規模車輛再識別數據集，其中包括221 763張關于26 267輛汽車的圖像，主要包含前后兩種視角。為了使車輛再識別方法的性能評測更加全面，VehicleID將測試集按照車輛圖像的規模劃分為大、中、小共3個子集。在測試時遵循一般原則并為了計算累計匹配性能，將每個測試子集中的每輛車的一張圖片隨機拿出來合成為圖庫集，其余全為查詢圖片。在測試時為了保證模型不因為圖片的隨機選擇產生較大的偏差，在測試時隨機選取10次圖片進行反復測試后求平均值作為最終的結果。

2.3 實驗環境及訓練細節

2.3.1 實驗環境介紹

實驗采用開源的 Pytorch1.6.0 深度學習框架，CPU配置為 Intel Core i9-9900KF，顯卡為GeForce RTX 2080Ti，內存大小為64 GB，系統為ubuntu18.04 LTS，Python3.7.7，CUDA 10.2，cuDNN 7.6.5，OpenCV 4.4.0環境。

2.3.2 訓練細節

在實驗中采用ResNet-50作為骨干網絡，具體來說在ResNet-50中的layer3以前為骨干網絡，其后的網絡結構被設置為一模一樣的上下雙分支網絡結構以供豎直和水平條紋的局部特征學習。在訓練過程中將每張圖像的大小調整為384像素×384像素，然后采用在線數據增強的方式對每張圖片進行矩形區域像素隨機擦除和隨機翻轉的操作。

在損失計算階段采用三元組和交叉熵作為損失函數，每一個經過三元組優化的特征都會經過批量歸一化模塊后在分類中使用交叉熵損失進行優化。

在推理階段，采用三元組損失函數優化的全部特征串聯起來作為車輛圖像的特征。由于在訓練階段每張圖片以0.5的概率隨機水平翻轉，所以在推理階段原圖和水平翻轉后的圖像的特征會連接起來作為車輛的最終表示特征。

訓練完成后對網絡中各層的卷積進行了可視化，如圖7所示，其中圖（a）為車輛原圖，圖（b）從上到下為網絡結構逐漸加深的部分卷積可視化圖。由圖易見，淺層網絡習得的是線條、顏色、紋理等特征，而位于中間層的網絡，背景噪聲逐漸被忽略并學習到了更抽象的特征。在較深層的網絡中，注意力會集中在更有辨識性的一些局部特征，例如車頂、車尾等地方，這也表明該方法能夠提取出圖像中具有區分度的局部特征以供模型分類。

圖7 卷積特征可視化

2.4 實驗結果可視化展示

在模型訓練完成后，從8個不同的視角中選擇8個查詢圖像，結果根據相似度評分從左到右排序。其中，錯誤匹配使用方框標出，如圖8所示。不難發現被框標注出的錯誤識別主要集中在相同車型及相同顏色的車輛之間，并且肉眼也無法簡單地區分這兩類車。因此，受限于光線、分辨率、視角等問題，精準的車輛重識別仍是一項具有挑戰性的任務。

2.5 實驗結果分析

2.5.1 模型最優實驗驗證

在模型訓練過程中，為了達到模型最好的實驗效果，除了調參等技術會影響實驗結果外，所設計的關系描述模塊和多激活值模塊中存在的參數也需要討論。因此有以下三個問題需要考慮：一是對特征圖沿單一方向進行均等分割和沿兩個方向同時進行分割，哪種效果更好；二是將特征圖均等分割為多少塊才能達到最佳效果；三是在多激活值模塊中最高選取多少個激活值可以達到模型最優。以上三個問題在VeRi-776數據集上展開實驗驗證。

針對問題一，在模型中分別對沿垂直方向分割、沿豎直方向分割和同時沿兩個方向分割做對比實驗，結果如表1所示。可以看出，沿兩個方向同時分割時，各類評價指標均要高于沿其中任何一個方向對特征圖進行分割，且沿豎直方向進行分割的結果要明顯好于沿水平方向進行分割的結果，可能的原因是車輛存在大量不同的視角，沿垂直方向分割比沿水平方向分割的物理結構更易對齊。

針對問題二，為進一步探究最佳分割數目，分別取均等分割數目為2、4、6、8進行實驗，結果如表2所示。可以看出：當分支數為6時，mAP達到了84.1%；在分支數為4時，mAP達到了83.1%，略低于6分支結構，在要求模型復雜度低的情況下可優先選擇4分支網絡結構。

針對問題三，設定最高激活值數目分別為1、2、3、4進行實驗，結果如表3所示。可以看出：取3個激活值時效果達到了最優；取4個激活值時，模型復雜度更高，且效果較取3個激活值時略差。

圖8 查詢可視化Rank-10結果

表1 特征圖分割方向對模型性能的影響 單位： %

表2 特征圖分割數目對模型性能的影響 單位： %

表3 激活值數目對模型性能的影響 單位： %

2.5.2 消融實驗結果分析

為進一步分析所加入的每種網絡結構對模型整體的影響，將本文提出的重識別算法劃分成4組不同的網絡模型在VeRi-776數據集上進行消融實驗。第一組代表Baseline算法，之后依次添加多激活值模塊、關系描述模塊和批量歸一化模塊，即第四組為本文所提出的聯合條紋關系的車輛重識別算法，實驗結果如表4所示。由表4可以看出，在加入激活值模塊后，豐富了圖像信息并抑制了噪聲，提高了模型的泛化能力，相比Baseline，mAP值整體提高了3.2個百分點，Rank1提高了0.6個百分點；增加了關系描述模塊后，彌補了圖片分塊后的空間信息丟失，相比Baseline+激活值模塊，mAP值提高了3.3個百分點，Rank1值提高了0.6個百分點；第四組的本文算法在加入了批量歸一化模塊后，相比Baseline+激活值模塊+關系描述模塊，mAP值提高了0.6個百分點，Rank1值提高了0.4個百分點。

表4 消融實驗 單位： %

實驗中還發現，加入批量歸一化模塊的網絡能更快收斂到最優值。為了更直觀地表現出本文模型的效果，引入loss收斂曲線圖和每50輪測試的mAP、Rank1、Rank5的折線圖，如圖9、10。從圖9、10中可以看出，模型loss不斷下降，mAP、Rank1、Rank5值不斷上升，說明模型在訓練過程中逐步收斂且效果較好。

綜上所述，本文提出的每一種網絡模塊均具有一定效果，在對車輛的重識別中，最終的模型相較于Baseline，mAP值、Rank1值和Rank5值分別提升了7.1、1.6和0.5個百分點。

圖9 損失收斂曲線

圖10 測試結果

2.5.3 本文算法與其他重識別算法結果對比

為了驗證本文算法的有效性與優勢，分別在VeRi-776和VehicleID數據集上與其他車輛重識別算法進行對比，對比算法包括PRN（Partition and Reunion Network）［20］、PNVR （Part-regularized Near-duplicate Vehicle Re-identification）［21］、VANet （Viewpoint-aware Attentive Network）［22］、MRL （Multi-View Ranking Loss）［9］、GS-TRE （Group Sensitive Triplet Embedding）［23］、EVER （Excited Vehicle Re-identification）［24］、SAN （Stripe-based and Attribute-aware deep convolutional neural Network）［12］、VehicleNet［25］，結果如表5、6所示。

從表5中可以看出，在VeRi-776數據集上，本文算法取得了最佳的mAP值、Rank1值以及Rank5值。此外，在VeRi-776數據集中，由于數據的特性，還可以進一步利用重排序算法（Re-ranking）［26］來提升算法的性能。重排序是一種后處理算法，能提高最終結果的精度。當不使用重排序技術時，相比目前效果較優的VehicleNet，本文算法的mAP增加了0.7個百分點，Rank1相差不大，僅降低了0.1個百分點；而重排序后，本文算法要比VehicleNet算法的mAP值高2.6個百分點，Rank1要高0.7個百分點，驗證了本文算法的有效性。

從表6中可以看出，在VehicleID數據集中，本文算法在小型、中型、大型這三個規模測試集中均取得了最佳的識別效果，在大型測試集上Rank1值比VehicleNet算法高出了0.7個百分點，Rank5值高出2.4個百分點。

表5 不同算法在VeRi-776數據集上的對比 單位： %

表6 不同算法在VehicleID數據集上的對比 單位： %

3 結語

本文提出一種基于聯合條紋關系的特征融合的車輛重識別算法，使用條紋關系模塊彌補了在特征圖分割時丟失的空間信息；并提出了多激活值模塊，豐富了特征圖信息，減少了噪聲；還設計了批量歸一化模塊，減弱了不同損失函數在優化監督時的沖突影響。通過在VeRi-776和VehicleID兩個公共數據集上進行實驗，驗證了本文算法的有效性與優勢，它能夠有效提高車輛重識別的準確度。

[1] SUN Y F， ZHENG L， YANG Y， et al. Beyond part models： person retrieval with refined part pooling （and a strong convolutional baseline）［C］// Proceedings of the 2018 European Conference on Computer Vision， LNIP 11208. Cham： Springer， 2018： 501-518.

[2] ZHENG L， ZHANG H H， SUN S Y， et al. Person re-identification in the wild［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3346-3355.

[3] 劉凱，李浥東，林偉鵬. 車輛再識別技術綜述［J］. 智能科學與技術學報， 2020， 2（1）：10-25.（LIU K， LI Y D， LIN W P. A survey on vehicle re-identification［J］. Chinese Journal of Intelligent Science and Technology， 2020， 2（1）：10-25.）

[4] 邱銘凱，李熙瑩. 用于車輛重識別的基于細節感知的判別特征學習模型［J］. 中山大學學報（自然科學版）， 2021， 60（4）：111-120.（QIU M K， LI X Y. Detail-aware discriminative feature learning model for vehicle re-identification［J］. Acta Scientiarum Naturalium Universitatis Sunyatseni， 2021， 60（4）：111-120.）

[5] ZAPLETAL D， HEROUT A. Vehicle re-identification for automatic video traffic surveillance［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2016： 1568-1574.

[6] FERENCZ A， LEARNED-MILLER E G， MALIK J. Building a classification cascade for visual identification from one example［C］// Proceedings of the 10th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2005： 286-293.

[7] LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[8] 陳莉，王洪元，張云鵬，等. 聯合均等采樣隨機擦除和全局時間特征池化的視頻行人重識別方法［J］. 計算機應用， 2021， 41（1）：164-169.（CHEN L， WANG H Y， ZHANG Y P， et al. Video-based person re-identification method by jointing evenly sampling-random erasing and global temporal feature pooling［J］. Journal of Computer Applications， 2021， 41（1）：164-169.）

[9] LIN W P， LI Y D， YANG X L， et al. Multi-view learning for vehicle re-identification［C］// Proceedings of the 2019 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2019： 832-837.

[10] LIU K， XU Z， HOU Z H， et al. Further non-local and channel attention networks for vehicle re-identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 2494-2500.

[11] FU Y， WEI Y C， ZHOU Y Q， et al. Horizontal pyramid matching for person re-identification［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 8295-8302.

[12] WANG G S， YUAN Y F， CHEN X， et al. Learning discriminative features with multiple granularities for person re-identification［C］// Proceedings of the 26th ACM International Conference on Multimedia. New York： ACM， 2018： 274-282.

[13] QIAN J J， JIANG W， LUO H， et al. Stripe-based and attribute-aware network： a two-branch deep model for vehicle re-identification［J］. Measurement Science and Technology， 2020， 31（9）： No.095401.

[14] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[15] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[16] WANG Z D， TANG L M， LIU X H， et al. Orientation invariant feature embedding and spatial temporal regularization for vehicle re-identification［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 379-387.

[17] ZHENG Z D， JIANG M Y， WANG Z G， et al. Going beyond real data： a robust visual representation for vehicle re-identification［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 2550-2558.

[18] LIU H Y， TIAN Y H， YANG Y W， et al. Deep relative distance learning： tell the difference between similar vehicles［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2167-2175.

[19] LIU X C， LIU W， MA H D， et al. Large-scale vehicle re-identification in urban surveillance videos［C］// Proceedings of the 2016 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2016： 1-6.

[20] CHEN H， LAGADEC B， BREMOND F. Partition and reunion： a two-branch neural network for vehicle re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 184-192.

[21] HE B， LI J， ZHAO Y F， et al. Part-regularized near-duplicate vehicle re-identification［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3992-4000.

[22] CHU R H， SUN Y F， LI Y D， et al. Vehicle re-identification with viewpoint-aware metric learning［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8281-8290.

[23] BAI Y， LOU Y H， GAO F， et al. Group-sensitive triplet embedding for vehicle reidentification［J］. IEEE Transactions on Multimedia， 2018， 20（9）： 2385-2399.

[24] PERI N， KHORRAMSHAHI P， RAMBHATLA S S， et al. Towards real-time systems for vehicle re-identification， multi-camera tracking， and anomaly detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 622-623.

[25] ZHENG Z D， RUAN T， WEI Y C， et al. VehicleNet： learning robust visual representation for vehicle re-identification［J］. IEEE Transactions on Multimedia， 2021， 23： 2683-2693.

[26] ZHONG Z， ZHENG L， CAO D L， et al. Re-ranking person re-identification with-reciprocal encoding［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3652-3661.

Re-identification of vehicles based on joint stripe relations

ZHANG Tingping1， SHUAI Cong1*， YANG Jianxi1， ZOU Junzhi2， YU Chaoshun3， DU Lifang3

（1，，400074，；2，，400074，；3，，400074，）

In order to solve the problem of spatial information loss caused by the splitting of vehicle feature maps in the process of vehicle re-identification， a module combining the relationship between stripe features was proposed to compensate for the lost spatial information. First， a two-branch neural network model was constructed for the special physical structure of the vehicle， and the output feature maps were divided horizontally and vertically equally and trained on different branches of the neural network. Then， a multi-activation value module was designed to reduce noise and enrich the feature map information. After that， triplet and cross-entropy loss functions were used to supervise the training of different features to restrict the intra-class distance and enlarge the inter-class distance. Finally， the Batch Normalization （BN） module was designed to eliminate the differences of different loss functions in the optimization direction， thereby accelerating the convergence of the model. Experimental results on two public datasets VeRi-776 and VehicleID show that the Rank1 value of the proposed method is better than that of the existing best method VehicleNet， which verifies the effectiveness of the proposed method.

vehicle re-identification; stripe relation; feature map splitting; multi-activation value; Batch Normalization (BN)

This work is partially supported by Humanities and Social Science Project of Ministry of Education （20YJAZH132）， Science and Technology Research Program of Chongqing Municipal Education Commission （KJZD-M202000702）.

ZHANG Tingping， born in 1978， Ph. D.， professor. Her research interests include evaluation of node importance in complex networks.

SHUAI Cong， born in 1996， M. S. candidate. His research interests include vehicle tracking.

YANG Jianxi born in 1977， Ph. D.， professor. His research interests include bridge health structure monitoring.

ZOU Junzhi born in 1994， M. S. candidate. His research interests include bridge health structure monitoring.

YU Chaoshun born in 1997， M. S. candidate. His research interests include vehicle tracking.

DU Lifang born in 1997， M. S. candidate. Her research interests include vehicle re-identification.

TP391.1

A

1001-9081（2022）06-1884-08

10.11772/j.issn.1001-9081.2021040544

2021?04?12；

2021?08?10；

2021?08?11。

教育部人文社會科學研究一般項目（20YJAZH132）；重慶市教委科學技術研究計劃項目（KJZD?M202000702）。

張廷萍（1978—），女，貴州遵義人，教授，博士，主要研究方向：復雜網絡節點重要度評估；帥聰（1996—），男，重慶人，碩士研究生，主要研究方向：車輛跟蹤；楊建喜（1977—），男，寧夏青銅峽人，教授，博士，主要研究方向：橋梁健康結構監測；鄒俊志（1994—），男，四川自貢人，碩士研究生，主要研究方向：橋梁健康結構監測；郁超順（1997—），男，上海人，碩士研究生，主要研究方向：車輛跟蹤；杜利芳（1997—），女，四川廣元人，碩士研究生，主要研究方向：車輛重識別。