基于孿生網絡的車牌檢測與跟蹤算法

鄒承明，縱耘博

(1.武漢理工大學 計算機科學與技術學院，湖北 武漢 430070；2.武漢理工大學 交通物聯網技術湖北省重點實驗室，湖北 武漢 430070)

0 引 言

車牌自動檢測(ALPD)技術是智能交通系統(ITS)的一個重要組成部分[1]。現有車牌檢測與識別的研究主要集中在不同條件下的靜態圖像上[2]，如文獻[3]提出WPOD-NET模型，專注于解決非限制場景下的車牌檢測問題，文獻[4]提出將顏色邊緣特征提取和深度學習相結合的車牌定位算法，文獻[5]提出檢測和識別于一體的RPnet模型。但是，上面的方法忽略了視頻幀的上下文信息。換句話說，車牌檢測并不能隨著視頻幀的推進而鎖定該目標的運動，會出現目標車牌“漏檢”的問題。為了實現車牌跟蹤，文獻[6]提出基于梯度的圖像分割方法，利用圖像中強度等級的變化跟蹤車牌的位置，文獻[7]提出軌跡聚類算法將車牌檢測與跟蹤結合起來。以上方法雖然從視頻序列中跟蹤出新的車牌，但是并沒有為同個視頻幀內多個車牌跟蹤提出完善的解決方案。同時，也不適用于圖像分辨率更低、車牌目標更小更多的交通監控場景。

基于以上討論，我們提出一種車牌檢測與跟蹤框架。通過對車輛進行跟蹤，為視頻序列中每一個車牌分配唯一的ID，從而實現同時對多個車牌進行跟蹤。并且，本文基于孿生網絡中的SiamRPN模型[8]，提出一種具有深度特征的目標跟蹤算法對車牌進行穩健跟蹤，使用性能更加優秀的改進的DenseNet網絡[9]提取特征，提升跟蹤器識別能力，用密集連接的方式實現特征復用。最后為了驗證本文算法的有效性，我們創建了一個具有挑戰性的交通監控車牌數據集進行詳細的實驗，并與其它車牌檢測算法和目標跟蹤算法進行比較，取得了很有競爭力的實驗結果。

1 車牌檢測與跟蹤框架

為了提升面向監控視頻的車牌檢測性能，我們提出了一種車牌檢測與跟蹤框架。本文提出的框架通過車輛跟蹤、車牌檢測、車牌跟蹤3個模塊實現了車牌的檢測與跟蹤。因為在視頻圖像的每一幀中，往往有多個車牌目標。為了在連續的幀序列中唯一地識別與跟蹤車牌目標，通過車輛跟蹤，間接地為視頻序列中的每個車牌分配一個唯一的ID。作為本文工作的重點，我們基于孿生網絡中的SiamRPN模型，提出了一種具有深度特征的目標跟蹤算法，實現有力的跟蹤車牌，提供更加準確的定位結果。

1.1 車輛跟蹤

正如文獻[3]所提到的，車輛是許多經典的檢測和識別數據集中的底層對象之一。我們決定不從零開始訓練車輛跟蹤器，而是選擇一個已知的模型來進行車輛跟蹤。

車輛跟蹤器實現主要包含兩個部分：目標檢測和目標跟蹤。目標檢測對象為交通監控視頻中捕捉到的汽車、卡車等機動車輛。然后對這些目標進行多幀跟蹤，將后續車輛檢測結果與跟蹤結果進行關聯，優化最終檢測結果。

基于車輛目標的召回率和準確率考慮，本文使用YOLOv3[10]作為車輛檢測算法。同樣，基于Deep-SORT[11]的目標跟蹤算法在多目標實時跟蹤方面取得了很好的效果，而且可以很好滿足本文對于跟蹤器設計的要求，所以本文以Deep-SORT 為算法基礎實現車輛跟蹤，算法如圖1所示。具體來說，首先使用YOLOv3檢測模型獲取T幀和T-1幀的車輛位置信息；然后根據T-1的車輛位置信息，利用卡爾曼濾波器預測T幀的車輛軌跡；最后使用傳統的匈牙利算法，關聯T幀的車輛位置檢測信息和預測信息，實現車輛連續跟蹤。

圖1 基于YOLOv3與Deep-SORT的車輛跟蹤

1.2 車牌檢測

基于上一步獲得的車輛空間信息，我們使用文獻[3]中的WPOD-NET對視頻中的車牌進行檢測。因為我們已經跟蹤了每一輛目標車輛，所以視頻中出現的每一個車牌都可以分配到對應的車輛。與原算法相比，車牌檢測的輸出不僅有車牌信息，還包括對應車輛的位置數據。本文首先將每個視頻內車輛的空間信息格式轉換為Dt，然后調整車輛的空間大小

Dt=(f,id,x,y,w,h)

(1)

其中，(x,y)分別為車輛中心相對于圖像寬度和高度的坐標，f代表視頻幀序號，id是車輛id。

因為在正視圖和背視圖中，車牌大小和車輛矩形邊界框的比例較大，而在傾斜圖和側視圖中兩者的比例較小。因此需要將傾斜視圖調整到正面視圖上，增大車牌面積，從而增加車牌的檢測率。調整的縮放因子的計算方式[3]如下

(2)

其中，Wv和Hv是車輛識別矩形邊界框的寬度和高度。由于Dmin≤fscmin(Wv,Hv)≤Dmax，所以Dmin和Dmax為調整車輛圖片的維度大小劃定了范圍。

最后將上一步調整后的信息送入WPOD-NET進行檢測和反扭曲，獲得檢測后的車牌信息，輸出的信息格式如下所示

Pt=(f,id,x,y,w,h,c)

(3)

其中，(x,y)分別為車牌邊界中心相對于圖像寬度和高度的坐標，c代表置信度。和原算法相比，我們每一幀都增加了該車牌對應的車輛id，以便下一步對車牌的跟蹤補全。

1.3 車牌跟蹤模型

雖然基于WPOD-NET的車牌檢測通過實驗驗證是可行的，但是在實驗進行中也發現了一些問題。比如WPOD-NET對于車牌的檢測主要是基于單幀視頻圖像進行的，忽略了視頻前后幀的上下文信息。換句話說，車牌檢測無法有效跟蹤目標車輛在視頻幀前進時的運動，有可能導致目標“丟失”。為了解決這一問題，我們提出一種具有深度特征的目標跟蹤算法作為車牌跟蹤器，對檢測到的目標進行一段時間的跟蹤，恢復視頻序列車牌漏檢部分，算法框架如圖2所示。此外，對于跟蹤結果中的誤檢部分，我們使用基于ResNet-50的車牌二分類器，去除結果中與車牌無關的候選區域，實現再次精確定位以提高精度。

圖2 網絡結構

1.3.1 SiamRPN

近年來，基于孿生網絡的目標跟蹤算法可以充分利用卷積特性，在保證實時性的同時提高精確度。SiamRPN在SiamFC[12]的基礎上，拋棄了多尺度測試，加入了區域推薦網絡(RPN)。該算法采用RPN子網絡代替了SiamFC網絡的互相關操作，通過回歸得到更加精確的目標位置。RPN子網絡由分類分支和回歸分支兩部分組成，這里采用類似目標檢測的方式生成候選跟蹤目標。模板圖像提取的特征φ(z)通過兩個卷積層，分別增加到通道數為2K和4K的兩個分支[φ(z)]cls和[φ(z)]reg，其中K表示錨點個數。同理，搜索圖像提取的特征通過兩個卷積層，分成[φ(x)]cls和[φ(x)]reg兩個分支，但是通道數不變。RPN子網絡有如下兩個輸出

(4)

loss=Lcls+λLreg

(5)

其中，Lcls表示交叉熵損失函數，Lreg表示帶正則化的平滑L1損失函數，λ是超參數。

1.3.2 深度特征提取網絡

我們觀察到，SiamRPN仍然采用較淺的AlexNet[13]作為特征提取網絡。淺層網絡提取的特征只是目標的一般表示。這些一般特征在一些簡單場景中表現良好，但在復雜場景中卻無法區分干擾物或背景。研究結果表明在基于孿生網絡的跟蹤器，用更深的網絡代替AlexNet作為主干網絡是有效的[14]，我們可以使用ResNet[15]和DenseNet用于特征提取。

與傳統神經網絡模型不同的是，DenseNet通過構建少量卷積核，密集連接生成大量可重用的feature map。這使得DenseNet的網絡更加深入，但并沒有顯著增加參數的數量。綜合以上討論，為了提升SiamRPN的特征提取能力，我們使用改進后的DenseNet作為特征提取網絡。

傳統的CNN通過對上一層的輸出xl-1進行非線性變換H來計算第l層的輸出

xl=Hl(xl-1)

(6)

通過連續卷積和池化，網絡實現了空間不變性，得到頂層的粗語義特征。然而，精細的圖像細節往往會在網絡的最頂端消失。

為解決梯度彌散和實現更深層的卷積神經網絡，ResNet通過加入short-cut構造恒等映射條件，由傳統的擬合恒等映射轉化為優化殘差，計算由傳統的乘法實現了加法的轉變，即輸出xl+1=Hl+1(xl)。short-cut的引入使得計算更加穩定，緩解了深度與退化的矛盾，實現了深度與精確度的雙飛躍。但是恒等映射與輸出特征Hl是通過加和計算進行組合，這會對網絡的信息流造成一定程度的破壞。

為了提升卷積神經網絡的信息流，我們采用密集連接(DenseNet)的方式作為特征提取的骨干網絡，密集連接網絡如圖3所示。卷積層(Conv)、密集連接模塊(DenseBlock)和過渡層(Transition)是近年來DenseNet研究的重要子模塊。網絡第一層為一個卷積核大小為7×7，步長為2，填充為0的卷積層，用于提取一般特征。然后通過密集連接模塊——過渡層的堆疊搭建整個網絡。密集連接模塊中，第l層接收前面所有層的特征映射作為輸入

圖3 密集連接模塊

xl=Hl([x0,x1,…,xl-1])

(7)

其中，[x0,x1, …，xl-1]是由第0，1，l-1個卷積層輸出特征圖連接而成。這樣，即使是最后一層也可以訪問第一層的輸入信息。Hl(*)是3個連續操作的復合函數，包括批處理歸一化(BN)、線性整流函數(ReLU)和3*3卷積。我們將這樣的復合函數表示為一層。在這種情況下，所有層都可以訪問前一層的特征圖，提升了特征圖的重用率，使得模型更加緊湊，更不容易過擬合。假設k0表示密集連接模塊的輸入層通道數，每個復合函數均輸出數目為k的特征圖，則整個模塊共有k0+k×(l-1)個特征圖，其中k也被稱之為特征通道增長率。本文中超參數k設置為12。為了降低特征圖的尺寸大小，網絡中使用了密集連接模塊加過渡層的結構。過渡層模塊包括1*1的卷積層與2*2的平均池化層，兩個相鄰的密集連接模塊之間由過渡層連接，通過池化操作來降低特征圖尺寸并壓縮模型。

文獻[14]指出，直接將 AlexNet 替換為更深層網絡時，同時引入的padding使網絡失去平移等價性，特征圖不等價。這也是利用特征提取網絡加深，跟蹤性能不升反降的重要原因。相關性計算方式如圖4所示，E表示模板區域，A表示搜索區域，B是搜索區域A向左移動一定距離得到的區域。沒有padding的網絡，當跟蹤目標移動一定距離時，比如向左上角移動，對應特征圖的響應點也會對應移動一定的距離。即區域A和B分別經過相同的特征提取網絡提取的特征φ(A)=φ(B)，所以此時特征圖R1=R2，即

R1=φ(A)*φ(E)

R2=φ(B)*φ(E)

(8)

有padding的網絡，此時圖中E’表示原模板區域E加上padding后影響的區域，A’和B’均為搜索區域A和B加上padding后影響的區域。如圖4中所示，被padding影響的B’的邊界已經超過了原圖像的邊界，所以經過特征提取網絡提取的特征φ(A)≠φ(B)，同理特征圖R1≠R2。由此可見，padding的影響會使得孿生網絡的相似性算法產生錯誤。并且當網絡加深的時候，感受野會急劇的增大，會很容易超出圖像邊界。通過特征圖裁剪(Crop)，可以解決這個問題。針對padding帶來的干擾，我們將Conv層的特征圖最外圍兩層裁剪(Crop1)掉，將Dense Block1、Dense Block2和Dense Block3的特征圖最外圍一層裁剪(Crop2)掉，消除padding給特征圖(feature map)邊緣帶來的影響。綜上所述，網絡參數見表1。

圖4 相關性計算

表1 特征提取模塊網絡參數

2 實驗結果及分析

2.1 實驗環境及參數設置

本實驗使用的 Linux系統版本為64位CentOS 7.5。服務器的配置信息如下：處理器為Intel?Xeon?CPU E5-2678 v3 @2.50 GHz，顯卡為NVIDIA 1080Ti，內存為220 GB。我們使用的深度學習框架為Pytorch 0.4.1。為了提高GPU的運行效率，使用了CUDA 10.0以及cuDNN 7.0。編程語言及版本為Python3.6.5。

本文車牌跟蹤算法采用大型數據集ILSVRC[16]和YoutubeBB[17]進行訓練，模型的迭代次數為100輪,學習率從10-2衰減至10-5。

2.2 數據集

我們創建了一個交通監控車牌數據集，用以測試本實驗中所有的車牌檢測與跟蹤模型。該數據集是從中國某省會城市收集到的包含87個交通監控視頻，在不同的環境下錄制得到。我們事先將選定好的監控視頻每隔30幀截取一張圖片，并手動標注圖片中車牌的位置。最后我們將模型在監控視頻上的運行結果與圖像標注的結果進行對比，得到最終的檢測性能。

交通監控車牌數據集包括從不同條件下的各種交通場景中采集的11 635張圖像，用于測試車牌檢測模型。該數據集與WPOD-NET中采用的數據集相比，分辨率低，圖像模糊，車牌目標更小，同時每張圖像中包含的車牌目標也可能更多。以上因素都可能會降低車牌檢測模型的性能。該數據集根據拍攝場景和復雜度分成了3個子數據集(G1到G3)。該數據集的部分樣本圖片如圖5所示。3個子數據集描述如下：

圖5 數據集部分樣本圖片

(1)居民小區監控子數據集(G1)。該數據集包含1159張圖像。該場景下的車輛大多低于正常車速行駛，通過居民小區入口。就監控視頻的復雜度而言，該場景的復雜度是3個場景中最簡單的一個。在該場景中，很多車牌區域亮度非常的不均勻，有很強的光線干擾；

(2)交通道路監控子數據集(G2)。該數據集包含5613張圖像。該場景下車輛一般以正常車速行駛，且一張圖像中不僅包含多個車牌，還可能包含路人、路邊等，場景最為復雜。該場景下的監控視頻質量也參差不齊，部分車牌的字符清晰可見，部分車牌有不同程度的傾斜，比較模糊，用肉眼難以識別；

(3)商城入口和停車場監控子數據集(G3)。該數據集包含4863張圖像。該場景下多是停車時拍攝，車輛非常密集，每幀圖像包含不定數量的車輛。圖像中有的車輛重疊，部分車牌不是完整的，導致檢測的難度較大。

2.3 評價指標

目前還沒有完全統一的評價標準來對各種車牌檢測系統的性能進行評估。本節為了更好的與其它基準車牌檢測模型進行比較，故采用文獻[18]所使用的召回率(recall)和準確率(precision)。這兩個評估標準都用于衡量模型的檢測性能。模型的recall和precision越高，該模型的車牌檢測和跟蹤的性能越好。precision和recall計算公式如下

(9)

其中，P代表測試樣本中的正樣本的數量，TP代表檢測和跟蹤出的樣本中的正樣本的數量，FP代表檢測和跟蹤出樣本的負樣本數量。準確率和召回率是根據模型檢測和跟蹤的結果來進行計算的。模型的檢測和跟蹤結果，即模型檢測和跟蹤到的區域與人工標注區域二者的重合度，稱之為Intersection-over-Union(IoU)。在本實驗中，設置IoU的閾值為0.3。

2.4 實驗結果及分析

表2展示了不同模型在交通監控車牌數據集上的召回率和準確率，其中WPOD-NET、WPOD-NET+VT和RPnet為車牌檢測模型，VT表示車輛跟蹤。從表2可以看出，在車輛跟蹤的基礎上進行車牌檢測，車牌檢測的召回率得到大幅度的提升。一方面，將車輛跟蹤信息送入WPOD-NET進行車牌檢測，降低了復雜環境中非車輛圖像的干擾；另一方面，與原算法相比，有更多含有車牌目標的車輛送入車牌檢測模型，間接提升了車牌檢測性能。

表2 幾種模型在數據集上的性能對比

SiamRPN和本文算法是在車輛跟蹤和車牌檢測的基礎上，融合了車牌跟蹤。從實驗結果我們可以看到，無論是模型檢測準確率還是召回率，使用車牌跟蹤的模型均優于只使用車牌檢測的算法，其中本文提出的方法最為出色。具體來說，在交通監控車牌數據集的3個子數據集的實驗結果表明，相比WPOD-NET，我們的模型平均檢測準確率提高了10.19%，平均召回率提高了24.91%；相比RPnet，我們的模型平均檢測準確率提高了29.33%，平均召回率提高了30.55%；相比SiamRPN作為車牌跟蹤器，我們的模型平均檢測準確率提高了3.37%，平均召回率提高了2.05%。特別是在G2數據集上，與其它模型相比，我們的模型檢測結果比另外兩個數據集提升更為明顯。

在一些識別任務中，如果只包含IoU為0.3的車牌區域，可能無法完整識別車牌信息。我們將IoU的閾值區間設置為0.3≤IoU≤0.9，用IoU分段統計召回率和準確率，用以衡量各算法的實用性，如圖6和圖7所示。從圖中可以看出，使用車牌跟蹤器的模型比僅使用車牌檢測算法的模型有明顯的優勢。在IoU為0.75的閾值時，召回率超過70%，比第二名高出6.89個百分點，具有合理的實用性。

圖6 不同IoU下的綜合召回率

圖7 不同IoU下的綜合準確率

3 結束語

本文提出一種車牌檢測與跟蹤框架。我們通過擴展當前最先進的車牌檢測模型，在SiamRPN的基礎上，提出一種具有深度特征的目標跟蹤算法實現車牌跟蹤，解決了具有挑戰性的交通監控視頻中車牌檢測性能較低的問題。我們創建了一個基于真實場景的交通監控車牌數據集，對提出方法進行評估。實驗結果表明在實際的交通監控場景中，車牌檢測與跟蹤框架確實提高了檢測率，具有良好的有效性和可行性。在未來工作中，我們會開發出一種更加魯棒的車牌檢測型。面對具有挑戰性的交通監控場景，提升遠距離、目標模糊的車牌檢測率。