動態車牌跟蹤識別系統
——基于OpenCV 和卷積神經網絡

何智芳，李英華，李奇梼，黃欣華，任藝昊，黎運宇

（廣西民族師范學院 數理與電子信息工程學院，廣西崇左，532200）

1 研究意義

隨著世界經濟的飛速發展，世界各國的大城市都面臨著交通擁堵、交通事故、交通環境日益惡化等問題，“智慧城市”的概念應運而生，為了使城市的各種管理變得更加智能化，牌照識別技術也逐步成為人們關注的焦點。早在1990 年美國智慧運輸協會提出了“智慧運輸”的概念，國外學者開始零零散散的運用圖像處理的方法進行車牌號碼的識別，英國阿爾法科技公司 ARGUS 公司開發了一套車牌自動識別系統 RAUS，該系統的識別速度大約為0.1s，但是在這個階段，車牌識別系統還是沒有形成完整的系統體系，當采用圖像處理方法解決一部分問題后，還需通過人工進行干預。識別算法的技術也開始向統計模型過渡，隱馬爾科夫模型(HMM)已成為當時的主流技術。現階段國外對于汽車牌照識別系統的研發已經相對成熟，對于汽車牌照的識別以幾乎達到智能化，但對于汽車牌照識別系統的應用與市場發展場景仍十分具有潛力。

在90 年代初期，我國開始對汽車牌照識別技術的自主研發。我國的車牌格式與國外有很大差異，但在字母和數字識別方面，我們可以從國外的一些技術上學習，對于車牌含有漢字這一獨特特征，將由我國科研人員攻克。近年來，隨著國內對汽車牌照識別的需求量越來越大與隨著科技水平的不斷提高，車牌識別系統在市場中的應用推廣普及下，在2015 年后呈現爆發式的增長。目前我國的汽車牌照系統正處于高速發展的時期，僅2020 年我國的車牌識別系統市場達到近乎10 億美金，而在市場份額占比上，國產車牌識別系統占據了大約一半的市場份額，再加上國家和地方的大力扶持，智能車牌識別系統市場的年均增長率將超過20%，到2025 年，智能停車產業的產值將會接近400 億。車牌識別系統在我國未來具有十分廣闊的發展前景。目前國內的車牌識別系統主要由車牌識別攝像機，車牌顯示屏，控制主板，車牌識別電源，車牌識別補光燈等組成，目前在國內應用較多的車牌識別系統產品有捷順、啟功、科拓、ETCP、百勝智能以及海康威視。車牌識別系統在小區門禁、停車場出入口、高速收費站等場所得到廣泛地應用。現階段我國應用的車牌識別系統在全天候的運行中識別成功率可以達到95%以上，并且能夠存儲汽車牌照的圖片和識別結果。但是這些車牌識別都是在受限的場景下取得的，現階段應用的車牌識別系統還是容易受到如光照、油漆脫落、車牌傾斜度、字符舊損等復雜的背景環境影響，這些因素對汽車牌照識別的準確率有一定影響。因此，車牌識別系統在未來仍需要繼續研究。

2 動態車牌的跟蹤識別系統的基本功能分析

以下將針對圖像的獲取、處理、跟蹤定位、識別等部分功能進行闡述。

圖1 車牌識別系統構成

2.1 動態車牌圖像的獲取

以前，人們對車牌的識別主要是識別車牌圖片，車牌的位置比較近，速度也比較慢，一般都是將車輛停在附近，通過拍攝下當時場景下的車牌靜態圖，后期再對靜態圖像處理并分析，最后識別出車牌字符。而一張照片的信息量很小，圖像的質量也會受到天氣、光線、傳播等因素的影響，最終導致圖像的識別精度下降，所以以往車牌圖像識別系統在實際應用時局限性很大。

本文采用的是動態車牌提取，將通過動態方式獲取車牌信息，目前通過計算機視覺獲取動態車牌圖像有兩種方法，第一種是將含有動態車牌的圖像輸入計算機，是通過提前保存好已錄制好的動態車牌圖像在計算機中，使用時可以直接調用，但是會占據較大的內存空間。第二種是通過調用攝像頭來實現實時輸入動態車牌圖像，短時間內可以獲取到動態車牌圖像，實現實時工作，從而提高工作效率，相對的減少了內存空間。隨著網絡時代的發展，攝像頭的作用愈來愈明顯，目前最為廣泛的就是用攝像頭來實時記錄當下情況，利用它來獲取動態圖像更加簡單和方便。

2.2 動態車牌圖像預處理

此部分功能主要為了能讀取所需要的信息將車牌準確的跟蹤與識別，在此部分通常分為：車牌圖像預處理、牌照掃描、圖像灰度化處理、增強對比度、車牌背景色統一以及圖像校正等。由于數字圖像在傳輸過程中會受到成像設備與外部環境噪聲的干擾，在采集到的車輛牌照時，存在著光照、傾斜角度、陰影、噪聲等多種干擾[1]。這極大地降低了牌照識別的準確率。為了減少噪聲干擾，在圖像預處理時需對動態車牌圖像去噪，即可以通過濾波處理將外來干擾濾除，保持原像素拍攝下的車牌圖像的主要特征。在車輛牌照準確定位后，下面對車輛牌照識別中的字符切分算法進行研究，依次研究了二值化、圖像腐蝕與膨脹操作和字符歸一化處理，如圖2 所示。

圖2

2.3 基于YOLOV5 的車牌跟蹤定位

在所述牌照檢測和識別系統中輸入所述圖像，首先需要對該圖像進行跟蹤定位，為下一步的牌照分割和識別打下了堅實的基礎。牌照跟蹤定位是指通過一種特殊的方法來對所獲取的車牌進行跟蹤定位，并對其進行圖像處理。目前的牌照定位技術主要是基于顏色特征、邊緣特征、混合特征和神經網絡四種不同的車牌定位方法[2]。顏色特征不會因為圖像的平移、旋轉、大小、方向等變化而影響到車牌的跟蹤定位，但會因為圖像顏色變化不明顯，而導致跟蹤定位的區域過大或者錯誤跟蹤。邊緣特征比較常用的算子有Sobel 算子，Canny 算子，Laplacian 算子。但定位不是特別準確、易受噪聲干擾。混合特征中比較有代表性的是分割連通域和面積特征的車牌定位方法[3]在復雜的背景環境下也能準確定位。該混合特征相比于顏色特征和邊緣特征這個方法跟蹤定位更加準確，但是如果出現形狀面積類似車牌的圖像物體時就容易出現定位錯誤。

通過對車牌特征的訓練，計算機跟蹤定位更加準確，車牌跟蹤是指從車輛信息圖像中找到圖像中含有車牌的區域并繪制矩形輪廓來跟蹤車牌，當車牌圖像運動時，輪廓也會跟著車牌區域運動。車牌跟蹤可以通過檢測圖像中的車牌矩形框，便可以找到車牌輪廓，繪制矩形框來跟蹤車牌。本系統通過用OPENCV 加載YOLOV5 算法，經數據準備、模型訓練、實現效果三個步驟來實現車牌跟蹤定位識別。數據準備主要是準備數據集，即根據車牌的特征來完成車牌采集。圖像采集時需注意圖像的像素值，當圖像的像素值較低時，則會影響到車牌定位的準確性。目前也有公開的車牌數據集，如CCPD 數據集。

2.3.1 數據集準備

本次采集有10 萬多張照片，80000 張樣本，可以很好的做到動態車牌的跟蹤定位，訓練模型才能使得計算機用最快的時間跟蹤定位到車牌區域和識別出車牌字符，照片數量越多，訓練出來的模型效果越好，訓練的時間也就越長。

圖3

圖4

2.3.2 模型訓練結果

本次模型訓練多次，這是其中的6 次，每次訓練都會迭代，訓練的次數越多，訓練結果就會越接近1。

2.3.3 車牌定位測試

我們使用30 張圖片和一個手機拍的視頻進行推斷測試,這些數據都沒有在訓練集和驗證集中出現過,以此來測試識別準確性，部分效果圖如圖5 所示。

圖5

2.4 卷積神經網絡車牌識別

神經網絡最廣為人知的定義是人腦存在的神經網絡，人們以此來完成思考、處理信息和傳遞信息等。神經元具有傳遞信息、處理信息和整合信息的能力，每兩個神經元的連接都代表了通過該連接信號的加權值，即記憶。從信息處理角度對人腦神經網絡進行抽象和建立模型，由大量的神經元節點相互聯接，按不同的連接方式組成不同的網絡，具有很強的特征提取能力。然而，目前已發展成為多學科交叉的學科領域，為各領域各專業的研究提供了新的思路和方法。網絡的輸出則根據網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近[4]，也可能是對一種邏輯策略的表達。深度神經網絡在計算機視覺、語言識別和文本處理等領域取得了重大突破，成為計算機視覺領域的研究熱點，其在模式識別、智能機器人、自動控制、預測估計、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。

利用卷積神經網絡對牌照進行訓練，并利用卷積神經網絡對牌照進行特征提取。由于卷積神經網絡的平移不變性，可以通過對候選區域的輔助，實現對候選區域的分類。該區域被正確地劃分為被測對象所處的位置。神經網絡主要可以分為特征提取和特征訓練部分，特征提取主要是將車牌的主要特征如大小、形狀、顏色等提取出來，然而特征訓練則是根據車牌特征加以訓練，使得計算機能辨別出車牌，并在在動態車牌圖像中跟蹤定位到車牌。利用神經網絡技術可以將所抽取的車牌字符與已有的車牌字符相對比，從而得到牌照的字符。利用 OpenCV 的計算機視覺知識庫，使系統的實現復雜性大為減少，能夠快速、精確地進行車牌號的識別[5]。模型訓練根據車牌的字符特征來訓練，將車牌的主要特征匯總，訓練計算機能從眾多車牌字符特征中找出相對應的字符。實現效果是將車牌字符以車牌漢字、字母、數字依次識別出來，并完成識別工作。

我國汽車牌照一般由7 個字符組成，包含1 個漢字、1 個英文和5 個數字和英文。想要對車牌字符進行有效的識別，首先要對車牌進行字符分割。目前在我國應用較多的字符分割方法主要有：基于固定間隔的長度法、基于直方圖的垂直投影法、基于輪廓線的牌照特征提取方法等。在分割車牌時，首先要對車牌進行二值化，然后再將車牌圖像投影到車牌上，從而得到車牌對應的數字；通過數值對比確定單個字符位置邊界，以此方法可類推直至完成整個牌照的字符分割。

圖6

3 實驗結果

通過車牌圖像的預處理以及車牌定位和字符分割，最后搭建卷積神經網絡對車牌進行模型訓練,最終得出以下效果，如圖7 所示。

圖7

4 總結

對于道路車牌的識別，如果車牌定位和識別達到實用程度，車牌模型訓練還要再進一步的加量。該模型在數據集不大的情況下仍能取得不錯的性能，即使對于復雜路況條件下的車牌識別，也能獲得良好的檢測結果。然而現有模型的局限性可以通過增大調整數據集和使用性能更好的計算機得到解決。