基于YOLOv3的圖像特征融合的車輛再識別算法研究

摘" 要：為提高車輛再識別的準(zhǔn)確率，提出了一種全局特征與局部特征相結(jié)合的方法，解決了車輛再識別時因車牌模糊，車輛輪廓不清晰，遮擋等因素而導(dǎo)致車牌識別精度低的問題。首先，使用孿生網(wǎng)絡(luò)對待檢測的車輛圖像進(jìn)行車尾形狀、車頭外觀、車輛整體形狀匹配，然后，使用基于YOLOv3的車牌識別網(wǎng)絡(luò)，進(jìn)行車輛局部形狀、整體形狀和車牌識別結(jié)合進(jìn)行車輛再識別。結(jié)果表明，提出的方法在道路環(huán)境多變的情況下能很好地實現(xiàn)車輛再識別，再識別的綜合準(zhǔn)確率達(dá)到了93.63%，比DRDL、OIFE、RAM算法的再識別模型的準(zhǔn)確率分別高7.28%、3.08%、0.75%。

關(guān)鍵詞：人工智能；深度學(xué)習(xí)；車輛再識別

中圖分類號：TP391.4；TP183 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2024）24-0040-04

Research on Vehicle Re-recognition Algorithm of Image Feature Fusion Based on YOLOv3

LIU Yanyang1， YAN Hao2

（1.Zhangjiakou University， Zhangjiakou" 075000， China;

2.Artificial Intelligent Interconnection Technology Co.， Ltd.， Zhangjiakou" 075000， China）

Abstract： In order to improve the accuracy of vehicle re-recognition， a method combining global and local features is proposed， which solves the problem of low license plate recognition accuracy caused by factors such as blurred license plates， unclear vehicle contours， and occlusion during vehicle re-recognition. Firstly， this paper uses Siamese Network to match the rear shape， front appearance， and overall vehicle shape of the vehicle images to be detected. Then， it uses the LPRNet based on YOLOv3 to combine the vehicle local shape， overall shape， and license plate recognition for vehicle re-recognition. The results show that the proposed method can achieve vehicle re-recognition under the changeable road environment， and the comprehensive accuracy of re-recognition reaches 93.63%， which is 7.28%， 3.08% and 0.75% higher than the re-recognition model of DRDL， OIFE and RAM， respectively.

Keywords： Artificial Intelligence; Deep Learning; vehicle re-recognition

0" 引" 言

車輛作為城市監(jiān)控中的重要對象，涉及檢測、跟蹤與識別等任務(wù)。車輛再識別技術(shù)即實現(xiàn)跨鏡頭下車輛的自動跟蹤與識別，在智慧城市與智慧交通規(guī)劃、管理以及調(diào)度上，發(fā)揮著重要的作用。

圖像融合是將在同一場景下拍攝的多幀圖像進(jìn)行冗余互補，信息整合后形成的一幀具有完整信息的圖像。早期的車輛再識別算法主要基于車牌識別算法實現(xiàn)的，并得到廣泛的應(yīng)用，但在實際道路交通場景中，車牌經(jīng)常受到不同程度的遮擋和偽造。因此，結(jié)合車牌特征以及車輛外觀特征開展再識別研究是非常必要的。

Bai[1]等人為提高車輛再識別的準(zhǔn)確性，提出了一種新的三元組損失函數(shù)，該函數(shù)同時利用了車輛再識別過程中的類內(nèi)誤差和類間誤差，但是該方法只利用了車輛的外觀特征，在復(fù)雜環(huán)境下的識別準(zhǔn)確率仍不高。Zhou[2]等人為解決復(fù)雜場景下的車輛再識別，提出了一種雙向長短時間網(wǎng)絡(luò)（Long Short-Term Memory， LSTM），實現(xiàn)了在各種復(fù)雜場景下的車輛再識別。李熙瑩[3]等人針對同一車型不同車輛的車輛再識別問題，采用局部代替整體的辦法，提取并融合被檢測車輛窗口和車輛人臉區(qū)域的車輛特征，該算法的Rank1匹配率達(dá)到66.67%，驗證了算法的可行性和有效性。De[4]等人提出一種雙層級聯(lián)的車輛再識別網(wǎng)絡(luò)，將輸入圖像壓縮成兩個不同尺寸的圖像，通過兩個級聯(lián)的孿生網(wǎng)絡(luò)分別檢測不同尺寸的車輛圖像外觀特征[5]，提升了車輛再識別的準(zhǔn)確率。

上述算法大都僅考慮了單方面因素，車輛再識別的準(zhǔn)確率存在一定的局限性。基于圖像特征融合的車輛再識別方法能夠提取到車輛的局部特征和全局特征，在特征提取上具有很大的優(yōu)勢。綜上所述，本文提出了一種全局特征與局部特征相結(jié)合的方法，該算法在實際道路環(huán)境下能很好地實現(xiàn)車輛再識別。

1" 車輛再識別網(wǎng)絡(luò)

本研究將車輛外觀區(qū)域和車牌字符區(qū)域作為兩個獨立的局部特征，選擇兩種網(wǎng)絡(luò)模型對兩塊區(qū)域分別進(jìn)行處理。采用孿生神經(jīng)網(wǎng)絡(luò)來判別車輛外觀的形狀相似性，該網(wǎng)絡(luò)通過共享權(quán)重將同時輸入的兩幅圖像進(jìn)行對比，獲取車輛外觀相似度。采用YOLOv3網(wǎng)絡(luò)作為車牌字符的識別網(wǎng)絡(luò)，識別同時輸入的兩張車輛圖像中的車牌號碼信息，車牌識別的準(zhǔn)確度由車牌號碼的字符相似度判別。采用一個全連接層來組合形狀識別的相似度和車牌號碼識別的相似度。圖1為車輛再識別的整體流程圖。

由圖1可以看出，本文設(shè)計了一個多分支檢測模塊，檢測模塊包含車輛全局外觀檢測模塊、車頭外觀檢測模塊、車尾外觀檢測模塊、車牌字符檢測模塊，對這些特征進(jìn)行聯(lián)合學(xué)習(xí)。通過對不同攝像頭拍攝的車輛圖片進(jìn)行匹配，本研究提出的再識別方法，一方面提高了再識別模型的精度，另一方面也提高了再識別算法的可解釋性，簡單易實現(xiàn)。

1.1" 孿生網(wǎng)絡(luò)

Siamese孿生網(wǎng)絡(luò)在2005年由Chopra[6-7]進(jìn)行了改進(jìn)，自此以后，原始的孿生網(wǎng)絡(luò)分為兩部分，分別用于特征提取和距離度量，將兩幀圖像輸入網(wǎng)絡(luò)，得到兩個特征向量，即可計算輸入圖像的相似度以判別兩張圖片的相似性[8]。

本文所采用孿生網(wǎng)絡(luò)，左右兩邊的兩個部分在結(jié)構(gòu)上是完全一致的，共享相同的權(quán)重和偏置。該孿生網(wǎng)絡(luò)是由兩個卷積層，兩個池化層，一個殘差塊以及一個全連接層組成。卷積層和池化層的通道數(shù)都是16，其卷積核大小為3×3，池化窗口的大小為2×2，卷積方式為零填充，激活函數(shù)采用ReLU。該孿生網(wǎng)絡(luò)所采用的損失函數(shù)為對比損失函數(shù)，對比損失函數(shù)為式（1）：

（1）

其中，d為兩個樣本特征之間的歐氏距離，y為兩個樣本相似或相匹配，margin為設(shè)定的閾值。圖2為孿生網(wǎng)絡(luò)結(jié)構(gòu)圖。

1.2" YOLOv3網(wǎng)絡(luò)

YOLOv3[9]是一個端到端的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其損失函數(shù)主要包括邊界框坐標(biāo)回歸損失、分類損失和置信度損失。

假設(shè)由YOLOv3預(yù)測所得的車牌字符目標(biāo)框位置信息為（X1，Y1，W1，H1），而真實的車牌字符位置信息為（X2，Y2，W2，H2），那么車牌字符位置回歸損失為式（2）：

（2）

用于判斷決策圖網(wǎng)格內(nèi)是否存在車牌字符目標(biāo)，采用的置信度損失為式（3）：

（3）

分別表示車牌字符預(yù)測的置信度和真實置信度。分類損失可以表示為典型的交叉熵形式損失函數(shù)為式（4）：

（4）

式中，表示第i個網(wǎng)格點歸屬于車牌字符類的預(yù)測概率和真實概率，其中真實概率通過網(wǎng)格點與車牌字符實際位置的重疊率計算得到的。總體損失函數(shù)為：

（5）

式中，表示正數(shù)的權(quán)值參數(shù)，并通過誤差反向傳遞的方式進(jìn)行網(wǎng)絡(luò)參數(shù)的更新。

YOLOv3網(wǎng)絡(luò)模型對于圖片中的目標(biāo)檢測和識別更加快速和準(zhǔn)確。檢測過程如下：

1）首先要對輸入的車輛圖像進(jìn)行處理，圖像尺寸全部轉(zhuǎn)換為480×480，即32的整數(shù)倍。

2）采用Darknet-53網(wǎng)絡(luò)提取特征后，提取出3個不同尺度的特征圖，特征圖的尺寸分別為15，30，60。

3）將提取出的特征圖縮小到原輸入圖像的1/32，并對車牌字符做出預(yù)測。

4）YOLOv3網(wǎng)絡(luò)產(chǎn)生多種尺度的特征圖，即得到不同尺度的預(yù)測錨點。

對于最終車牌字符的檢測和分類，YOLOv3網(wǎng)絡(luò)基于二值交叉熵以及邏輯回歸的方法，實現(xiàn)車牌字符的識別。

2" 試驗結(jié)果分析

2.1" 數(shù)據(jù)集

為了驗證本文所提出的車輛再識別網(wǎng)絡(luò)的有效性，在實際應(yīng)用場景下分別采集白天和夜晚車輛數(shù)據(jù)構(gòu)建數(shù)據(jù)集。該數(shù)據(jù)集包括兩個攝像頭拍攝的不同車輛的圖像：不同攝像頭拍攝的同一ID的車輛圖像、同一攝像頭拍攝的不同ID的車輛圖像。使用了來自2個不同攝像機拍攝的10個視頻，每個視頻長度約20分鐘，分辨率為1 920×1 080，每秒30幀。表1顯示了不同攝像頭拍攝的車輛圖片數(shù)量和車牌數(shù)量統(tǒng)計。

攝像機1和攝像機2拍攝到了不同時間段的車輛圖像，創(chuàng)建圖像對，這些獲取的圖像大都來自拍攝到的車輛視頻的連續(xù)幀，因為連續(xù)幀序列中的車輛圖像的外觀通常具有較小的變化，采集的連續(xù)幀圖片可避免車輛運動造成的模糊、視野亮度、背景影響等。

在兩個攝像頭生成了3組時間段內(nèi)拍攝的的車輛ID匹配/不匹配對，如表2所示，出現(xiàn)ID相同地同一輛車的配對數(shù)為52 892，剩余的拍攝到的214 134輛車，均無法配對。

2.2" 數(shù)據(jù)特征

數(shù)據(jù)集包含的車輛圖中，包含車頭外觀、車尾外觀、車輛整體外觀、車牌區(qū)域外觀和車牌字符等不同的識別標(biāo)志特征。在車頭、車尾區(qū)域中，不同車輛可能會存在不同的裝飾物，車輛年檢標(biāo)志等，這些顯著的特征可用于區(qū)分不同車輛，有效地減小車輛再識別過程中類間誤差和類內(nèi)誤差。同時車牌是車輛地唯一地身份標(biāo)志，將其融入車輛再識別網(wǎng)絡(luò)中，可有效提升再識別模型地準(zhǔn)確性。表3對車輛外觀和車牌區(qū)域進(jìn)行了特征描述。

2.3" 評價指標(biāo)

通常用準(zhǔn)確率（precision），和召回率（recall）來評價車輛再識別模型的性能效果，準(zhǔn)確率（P）和召回率（R）函數(shù)如式（5）：

（5）

其中|TP|表示攝像頭1和攝像頭2之間的車輛ID真實匹配數(shù)，|TP|是錯誤匹配的數(shù)量，|TP|是漏匹配數(shù)。為更準(zhǔn)確的評估再識別網(wǎng)絡(luò)的性能，采用準(zhǔn)確度和召回率的調(diào)和平均值F，如式（6）所示：

（6）

2.4" 車輛再識別效果

為了驗證所提出的車牌識別網(wǎng)絡(luò)的有效性，用于形狀特征匹配的孿生網(wǎng)絡(luò)，其特征提取網(wǎng)絡(luò)采用了VGG16網(wǎng)絡(luò)，并基于不同車輛特征進(jìn)行了大量的對比實驗，如表4所示。可以看出，在原來僅有形狀外觀的基礎(chǔ)上添加車牌區(qū)域內(nèi)容，增加了輸入?yún)?shù)的多樣性，相較于其他僅形狀特征輸入的神經(jīng)網(wǎng)絡(luò)模型，識別準(zhǔn)確率上均有所提升。

2.5" 算法性能對比

為驗證本文提出方法的有效性，評測車輛再識別模型的性能，在輸入特征參數(shù)完全相同，將本方法分別與DRDL[10]、OIFE[11]、RAM的車輛再識別方法相對比，從表5中可以看出，而本文提出的方法車輛再識別的準(zhǔn)確率優(yōu)于其他兩種方法，再識別的綜合準(zhǔn)確率達(dá)到了93.63%，比DRDL、OIFE、RAM這三個經(jīng)典的再識別模型的準(zhǔn)確率分別高7.28%、3.08%、0.75%。

3" 結(jié)" 論

本文針對車輛再識別中因圖片質(zhì)量不高存在的車牌模糊，車輛輪廓不清晰，或因行人、機動車以及綠植遮擋等遮擋導(dǎo)致車牌識別精度低的問題，提出了一種全局特征與局部特征相結(jié)合的方法。本文提出的方法在道路環(huán)境多變的情況下能很好地實現(xiàn)車輛再識別，再識別的綜合準(zhǔn)確率達(dá)到了93.63%，比DRDL、OIFE、RAM這三個經(jīng)典的再識別模型的準(zhǔn)確率分別高7.28%、3.08%、0.75%。

目前大多數(shù)車輛再識別方法都是基于深度學(xué)習(xí)算法利用單幀圖像進(jìn)行測試和研究的，由于單幀車輛圖像容易出現(xiàn)不同程度的遮擋或模糊，影響車輛再識別的準(zhǔn)確性和魯棒性。因此，在實際交通場景中，基于視頻序列進(jìn)行車輛再識別算法的研究將是未來研究的熱點之一。

參考文獻(xiàn)：

[1] BAI Y，LOU Y H，GAO F，et al. Group-Sensitive Triplet Embedding for Vehicle Reidentification [J]//IEEE Transactions on Multimedia，2018，20（9）：2385-2399.

[2] ZHOU Y，SHAO L. Vehicle Re-Identification by Adversarial Bi-Directional LSTM Network [C]//2018 IEEE Winter Conference on Applications of Computer Vision （WACV）.Lake Tahoe：IEEE，2018：653-662.

[3] 李熙瑩，周智豪，邱銘凱.基于部件融合特征的車輛重識別算法 [J].計算機工程，2019，45（6）：12-20.

[4] DE OLIVEIRA I O，F(xiàn)ONSECA K V O，MINETTO R. A Two-Stream Siamese Neural Network for Vehicle Re-Identification by Using Non-Overlapping Cameras [C]//2019 IEEE International Conference on Image Processing （ICIP）.Taipei：IEEE，2019：669-673.

[5] 李熙瑩，周智豪，邱銘凱.基于部件融合特征的車輛重識別算法 [J].計算機工程，2019，45（6）：12-20.

[6] 劉艷洋，張沛綱.基于深度學(xué)習(xí)的車道線與綠植分割算法 [J].電子技術(shù)與軟件工程，2020（6）：132-135.

[7] CHOPRA S，HADSELL R，LECUN Y. Learning a Similarity Metric Discriminatively， with Application to Face Verification [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego：IEEE，2005：539-546.

[8] 楊雪，鄭婷婷，戴陽.基于孿生卷積神經(jīng)網(wǎng)絡(luò)的圖像融合 [J].計算機系統(tǒng)應(yīng)用，2020，29（5）：196-201.

[9] REDMON J，F(xiàn)ARHADI A. Yolov3： An Incremental Improvement [J/OL].arXiv：1804.02767 [cs.CV].（2018-04-08）.https：//doi.org/10.48550/arXiv.1804.02767.

[10] LIU H，TIAN Y，YANG Y，et al. Deep Relative Distance Learning： Tell the Difference between Similar Vehicles [C]//IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：2167-2175.

[11] WANG Z，TANG L，LIU X，et al. Orientation Invariant Feature Embedding and Spatial Temporal Regularization for Vehicle Re-identification [C]//IEEE International Conference on Computer Vision.Venice：IEEE，2017：379-387.

作者簡介：劉艷洋（1989—），女，漢族，吉林長春人，教師，碩士，研究方向：人工智能、大數(shù)據(jù)處理；閆昊（1997—），男，漢族，河北石家莊人，算法工程師，本科，研究方向：人工智能、大數(shù)據(jù)處理、多模態(tài)感知。