面向公共安全監控的多攝像機車輛重識別

王艷芬，朱緒冉，云 霄，孫彥景，石韞開，王賽楠

(中國礦業大學 信息與控制工程學院，江蘇 徐州 221116)

車輛重識別(Re-IDentification, Re-ID)旨在跨越不同的監控攝像機場景識別出目標車輛,對社會公共安全的維護起到至關重要的作用,如尋找可疑車輛、跨攝像頭車輛跟蹤以及駕駛軌跡分析等。 由于交通場景復雜、攝像機視點有限、光照變化等約束的影響,車輛重識別仍是個極具挑戰的問題。

現有的車輛重識別方法[1-5]僅在已裁剪好的車輛圖像之間實現識別,而在真實監控場景中,車輛重識別任務要先從視頻中檢測并獲取車輛邊界框。 傳統的車輛識別方法主要采用顏色[6]、紋理[7]和灰度梯度直方圖[8]等人工特征,但此類特征在環境變化時魯棒性較差。 隨著卷積神經網絡(Convolutional Neural Network, CNN)在計算機視覺領域的快速發展,眾多基于卷積神經網絡的車輛識別方法被提出。 文獻[3]中提出一種基于深度學習的漸進式車輛重識別方法,但此方法從圖像中獲取車牌區域時計算復雜度較高,因此實時性較差。 文獻[4-5]在車輛細粒度識別中采用先進的三元損失模型,但該模型收斂緩慢,較softmax分類損失模型更易過擬合。

為解決以上問題,筆者針對公共安全視頻監控領域提出一種結合車輛檢測與識別的多攝像機無標注車輛重識別方法。 首先,在檢測階段設計出基于二值-單點多盒檢測(Binary-Single Shot multibox Detector, B-SSD)的車輛檢測網絡,先從視頻中檢測出所有車輛區域并在線生成候選車輛數據庫,以解決原始視頻中無標注問題;在車輛識別階段提出一種多任務孿生(Multi-Task Siamese, MT-S)車輛識別網絡,該網絡結合分類和驗證兩種模型,充分利用監督信息學習更具判別性的車輛特征,從而提高重識別精度；最后組建“VeRi-1501”數據集,該數據集在現有數據集[1,4]上擴充車輛標識數量,并均衡每個標識在不同攝像機下的圖像數量。 在VeRi-1501數據集和實際交通場景中對所提方法進行了驗證。

1 面向公共安全監控的多攝像機車輛重識別

1.1 方法概述

筆者提出面向公共安全監控的多攝像機車輛重識別方法，流程圖如圖1所示。 對于給定的無標注原始視頻流,先用二值-單點多盒檢測車輛檢測網絡從視頻中獲取車輛區域，并在線生成候選車輛數據庫；然后利用多任務孿生車輛識別網絡提取目標車輛與候選數據庫中車輛的特征，并計算相似度；最終匹配到目標車輛。

圖1 面向公共安全監控的多攝像機車輛重識別流程圖

1.2 二值-單點多盒檢測車輛檢測網絡

單點多盒檢測(SSD)[9]較其他檢測框架[10-11]具有更快的運行速度和更高的精度。 在車輛重識別問題中,區分車輛和背景是檢測階段的核心任務。 因此,筆者設計了一種二值-單點多盒檢測車輛檢測網絡,將單點多盒檢測算法用于二值車輛檢測問題。 如圖2所示，二值-單點多盒檢測的架構主要由兩部分組成：一部分是位于前端的深度卷積神經網絡,采用的是VGG-16[12]圖像分類網絡,用于初步提取目標特征;另一部分是位于后端的多尺度特征檢測網絡,其作用是對前端產生的特征層進行不同尺度條件下的特征提取。

圖2 二值-單點多盒檢測車輛檢測網絡結構圖

在網絡訓練期間,其目標損失函數為置信損失和位置損失的加權和：

(1)

(2)

(3)

1.3 多任務孿生車輛識別網絡

多任務孿生(MT-S)車輛識別網絡由兩個分類模型和一個驗證模型組成,如圖3所示,分類模型和驗證模型相互關聯。分類模型得到的車輛判別表達特征作為驗證模型的輸入,驗證模型預測的結果在下一批中對分類模型的參數進行修正。 上下兩個分類模型通過兩個相同的ResNet-50網絡共享權值。 網絡參數在優化中受到這兩類模型損失函數的共同約束,充分利用監督信息,從而使網絡學習到的特征具有更強的判別性。

該網絡受分類標簽t和驗證標簽s的共同監督。 輸入尺寸為224×224的圖像對(正樣本對或負樣本對),用兩個完全相同的ResNet-50[14]網絡提取車輛特征，并輸出1×1×2 048維的特征向量f1和f2。f1和f2分別用于預測兩輸入圖像的車輛身份t。 同時計算f1和f2的歐氏距離，進行相似度判斷,f1和f2共同預測驗證類別s。

圖3 多任務孿生車輛識別網絡結構圖

分類模型包含2個ImageNet[15]預訓練的ResNet-50網絡、兩個卷積層和兩個分類損失函數。其中，ResNet-50去掉最后一層全連接層,平均池化層輸出1×1×2 048維的特征向量f1、f2作為車輛判別表達。 由于數據集中有751個訓練標識,因此用751個1×1×2 048的卷積核對其進行卷積,得到1×1×751維的車輛身份表達f。 最后使用softmax函數和交叉熵損失進行身份預測,即

(4)

(5)

驗證模型包含一個無參的歐幾里得層、一個卷積層和一個驗證損失函數。 其中歐幾里得層定義為El=(f1-f2)2,El是歐幾里得層的輸出張量。 驗證模型通過歐幾里得層將相同標識的車輛特征映射到歐幾里得空間中相近的點,將不同標識的車輛特征映射到歐幾里得空間中相隔較遠的點。筆者沒有采用對比損失函數[16],而是將車輛驗證視為二元分類問題,這是因為直接使用對比損失函數容易造成網絡參數過擬合。 因此，用2個1×1×2 048的卷積核對El進行卷積,得到1×1×2維的相似度表達E。 最終驗證損失函數的表達式為

(6)

(7)

這里s是驗證類別(不同/相同),

是預測概率,Ej是目標概率。 如果輸入的一對圖像屬于同一標識,則Ej= 0;否則,Ej=1。

在網絡訓練期間,整體損失函數為分類損失和驗證損失的加權和:

(8)

權重系數α通過交叉驗證設置為0.5。在識別標簽t和驗證標簽s的共同監督下，網絡學習到的特征具有更強的判別性。

1.4 VeRi-1501數據集

在車輛重識別任務中,經常使用的兩個數據集是VehicleID[4]和VeRI-776[1]。 其中,VehicleID數據集僅考慮了車輛的前后兩種視角,無法滿足復雜環境下的需求。每種車輛僅包含8.4張圖像,無法滿足查詢要求。VeRI-776數據集只包含776個標識,樣本標識數量不充分,嚴重影響模型的準確率。

圖4 VeRi-1501數據集中的樣本

針對以上不足,在VehicleID和VeRi-776數據集的基礎上構建一個新的數據集——VeRi-1501。其具有以下3個特性:①圖像均在真實復雜的交通場景中捕獲,具有車牌信息和時空關系信息;②包含由6個分辨率為1 280×1 080高清圖像的監控攝像頭捕獲的1 501輛車的37 491張圖像,其中訓練集包含751輛車的17 190張圖像,測試集包含750輛車以及干擾物，共計17 178張圖像,查詢集包含750輛車的2 915張圖像;③每個標識最多可被6個攝像機以不同角度、不同光照以及在遮擋情況下捕獲,確保每個標識車輛至少在兩個攝像機中出現過,以便可以執行跨攝像機搜索。

圖4給出了VeRi-1501數據集中的樣本,以“0001_c1s1_102004103.jpg”為例,圖像命名遵循以下規則:①“0001”表示車輛的標識編碼;②“c1”表示1號攝像機;③“s1”表示攝像機中的第一時間序列,“c1s1”和“c2s1”處于同一時期;④“102004103”表示用視頻軟件截取視頻幀生成的默認名。

2 實驗結果與分析

2.1 實驗設置

(1)圖像預處理。將所有訓練圖像的大小調整為256×256,并采用去均值操作進行數據歸一化處理。 在訓練期間,所有圖像被隨機裁剪為224×224大小,亂序排列并按隨機順序抽取圖像組成正負樣本對。 由于正樣本對的數量有限,為防止過擬合,將正樣本對和負樣本對之間的初始比率設置為1∶1。每個歷元之后正樣本對以1.01倍的比率增加,直到正負樣本對的比率達到1∶4。

(2)訓練。在Caffe深度學習框架中實現多任務孿生車輛識別網絡。 實驗環境為配有NVIDIA Quadro M2000和2.2 GHz Intel Xeon E5-2650 CPU的設備。 歷元設置為155，批次設置為4。 學習率初始化為0.001,然后在最后5個歷元后設置為0.000 1。采用小批量隨機梯度下降(SGD)來更新網絡參數。

2.2 與現有方法的比較

在實驗中采用兩個評估指標:平均精度和Rank系列精度[17]。 平均精度用來度量重識別方法的整體性能， rank-1精度表示識別結果中排名第1的圖像是正確的概率。 rank-5精度表示識別結果排名前5的圖像中包含正確圖像的概率。 表1給出了筆者所提的多任務孿生車輛識別網絡與其他先進網絡在VeRi-1501上的性能對比。 從表1數據可以看出，多任務孿生車輛識別網絡在平均精度、rank-1、rank-5中均性能最優,說明該網絡可以準確地進行車輛重識別。

表1 多任務孿生與其他先進算法的對比

2.3 多攝像機識別結果分析

為了進一步評估多任務孿生車輛識別網絡的性能,提供了圖5中所有相機對之間的重識別結果。共放置了6個攝像機,相機分辨率為1 920×1 080。 圖5的水平軸和垂直軸分別代表目標車輛所在的初始相機位置和待檢索的相機位置。 從表1中可以看出,交叉相機的平均精度和平均rank-1精度分別為81.16%和83.56%。 筆者提出的方法在很大程度上改善了重識別性能,并且觀察到相機之間的標準偏差較小。 這表明多任務孿生車輛識別網絡能夠在不同視角下進行高效的車輛重識別。

圖5 多任務孿生車輛識別網絡在攝像機對之間的識別性能

2.4 公共安全監控場景下的應用

為進一步驗證筆者提出的面向公共安全監控的車輛重識別方法在實際場景中的有效性,在校園內拍攝若干組監控視頻用于驗證,如圖6所示。 目標車輛從校園北門(攝像機1)進入,沿北京路—天津路順時針繞行,途經圖中所示的6個攝像頭,攝像頭的分辨率為1 920×1 080。 算法實時性可達25幀/秒。 具體步驟如下:

(1)獲取無標注視頻流v0,v1,…,vi;

(2)在給定無標注視頻序列v0的當前幀中標定目標車輛;

(3)利用B-SSD車輛檢測網絡讀取此后的每一幀圖像,提取圖像中所有的車輛邊界框ID0,ID1,…,IDi,并在線生成候選車輛數據庫;

(4)利用多任務孿生車輛識別網絡提取ID0與ID0,ID1,…,IDi的車輛判別特征,并依次計算ID0與ID0,ID1,…,IDi之間的相似度得分;

(5)相似度得分最高的即為目標車輛;

(6)在視頻序列v1,…,vi中重復步驟(3)到步驟(5)。

實驗結果如圖6所示,實線框代表目標車輛, 灰色框代表檢測出的候選車輛,黑色框代表在不同攝像機下用筆者所提出的方法定位到的目標車輛。

圖6 面向公共安全監控的多攝像機車輛重識別在公共安全監控場景下的應用

3 總 結

針對公共安全視頻監控領域中無標注的原始監控視頻,提出一種結合車輛檢測與識別的多攝像機無標注車輛重識別方法。 首先提出二值-單點多盒檢測車輛檢測網絡,獲取車輛邊界框并在線生成候選數據庫;其次設計一個多任務孿生車輛識別網絡以提高重識別精度;最后組建“VeRi-1501”車輛數據集,其在現有數據集上擴充車輛標識數量,并均衡每個標識在不同攝像機下的圖像數量。 筆者在VeRi-1501數據集和實際交通場景中對該方法進行驗證,結果表明該方法識別準確且精度高。

致謝

感謝中國礦業大學保衛處對此課題研究的無償支持;感謝滕躍同學對此次課題研究的幫助。