基于雙波段成像的車牌識別系統設計研究

長春理工大學 張振鐸

1 前言

近年來我國智能交通行業快速發展，車牌識別系統作為智能交通的重要組成部門，廣泛應于城市的非現場執法中，但是目前車牌識別系統還存在很多問題，例如：杭州市交警支隊2015年提出，目前現有系統頻射燈補光會造成城市光污染，且容易對讓司機短暫視覺障礙造成交通隱患；霧天低照度情況下成像質量不佳等暫存問題。

本文利用近紅外成像探測具有目標細節表達清晰、目標識別能力強、可實現隱秘主動成像、可微光夜視探測、對霧霾氣候條件和塵煙應用環境適應性強等優點，研究可見光與近紅外成像結合的雙波段成像技術在車牌識別系統中的應用，探索智能交通技術進步的新方向。

2 系統設計

車牌識別系統在智能交通中有很多的應用，如交通卡口違法、車輛違停、重點區域進出車輛統計等。一般情況下與路面上的各類傳感器、智能檢測算法等相互配合，構成整體系統，為后續業務提供車牌數據。如圖1所示，通過圖像識別算法，該車輛在禁停區域違法停車，通過違章停車攝像頭所采集數據，識別出車牌號碼，與違章時間、違章地點、違章圖片等共同構成違法數據上傳到交通管理平臺。由于該數據為真實數據，根據規定隱去具體信息。

圖1 違章停車數據采集

太陽光透過大氣遇到氣體分子、塵埃、水分子團等都要發生散射。光散射并不耗散光的傳播能量，而是改變光的空間分布，使沿指定方向傳輸的光能逐漸衰減。在大氣的散射粒子＜光波波長時，散射系數表達示為：

圖2 系統設計框圖

圖3 算法流程圖

式中，A為散射微粒的橫截面積，N為每單位體積中的粒子數，λ為光波長。近紅外波段較可見光波段波長要長所以在霧霾等惡劣狀況下衰減少，且近紅外為不可見光，在夜間補光不會對司機視覺造成影響，可以避免安全隱患。

近紅外成像設備相對于其他專業紅外設備有足夠價格優勢，適合大面積應用，根據以上思路，所以選擇近紅外/可見光這兩個波段。

本文所研究的的雙波段車牌識別系統主要包含圖像采集系統、車牌識別算法系統兩部分。

2.1 圖像采集系統

由圖2所示，該系統采用近紅外/可見光雙波段成像模式，有一個近紅外攝像頭和一個可見光攝像頭，補光系統采用近紅外/可見光雙波段補光模式，控制器內置pm2.5、pm10、照度計等檢測儀器及傳感器，根據不同業務場景需要，控制不同的成像、補光模式，采集后的圖像數據存入儲存器，再傳輸到服務器上進行車牌的識別。

2.2 車牌識別算法

車牌識別算法對傳輸的圖像數據進行處理，識別出圖像數據中車牌信息，為后續智能交通系統中后續業務提供數據。

3 圖像預處理

3.1 圖像灰度處理，生成灰度直方圖

在車牌識別實際場景應用中，因受到各種噪聲、照度等工作環境影響和不同成像系統本身因素，得到的原始圖像數據圖像質量不佳，并且所要識別的特征不明顯。一般情況下對于這些圖像質量不佳原始圖像數據，需要對其進行圖像的預處理，消除其干擾噪聲，使圖像特征更清晰，為后續識別算法穩定準確工作做保證。在預處理工程中，輸出的圖像數據特征表達較為清晰，噪音較少，有利于車牌識別算法對圖像數據的特征分析、車牌定位和分割等后續處理。文中所使用的圖像預處理方試主要有彩色圖像灰度化、邊緣算子檢測、直方圖均衡化處理等。

3.2 邊緣算子檢測

用于邊緣算子檢測的算子有很多，例如：Sobel、canny算子等。其中Sobel算子的工作特點是把重心放在接近于卷積模板中心的像素點，利用了像素點橫向、縱向相鄰點的灰度加權算法，根據在邊緣點處達到極值這一現象進行邊緣檢測。Sobel算子優勢在于對噪聲有一定的抑制作用，在車牌識別業務場景中比較適用，因而本文利用Sobel算子做邊緣算子檢測處理。由于近紅外圖像和可見光圖像的差異，此處應做參數自適應調整。

Sobel算子核心公式為：

3.3 圖像邊緣輪廓圓滑處理

因為車牌識別圖像數據源信息比較復雜，通過邊緣輪廓圓滑處理，移出圖像中最小對象來完成車牌的初步定位。

3.4 對車牌進行定位并切割

根據圖像預處理結果確定車牌合理區域，對車牌進行定位切割。車牌切割有很多輔助精確定位，主要是通過車牌位置特征、幾何特征、顏色特征、紋理特征等。

本系統因為雙波段成像的特殊性，采取位置特征定位。

4 識別前處理

通過如圖3所示，通過灰度、二值化、均值濾波、腐蝕等處理，對圖像濾除噪聲等干擾，為后續識別做準備。

5 車牌字符分割與識別

5.1 去邊框處理

因為我國現未對車牌邊框實行統一的標準，不同廠商的車牌邊框存在一定差異，所以在去邊框處理中不能用單獨的范圍值來判斷邊框大小，否則會出現車牌邊框殘留或者車牌字符不完整等問題，車牌去邊框處理是字符切割前序處理中的很重要一步。

本文將采用水平投影法對水平邊框做去除處理。首先對圖像預處理中得到的車牌二值化圖像做水平投影。根據邊框的尺寸等特征與做水平投影處理后波峰、波谷形態設定一個閾值做水平方向邊框的去除處理。根據車牌邊框在車牌圖像數據的寬度比例關系，選定車牌寬度的1/10作為閾值。然后以水平投影的縱坐標軸中心為起點，分別向上、下兩個方向的邊緣各自找出小于閾值的投影線，根據投影線調整上、下邊界的大小，并對原始圖像進行分割處理，時限水平去邊框處理。

通過對車牌特征的分析可得出，車牌圖像在垂直方向投影時，字符內部或字符間會有一個局部最小值。字符切割的正確位置就應在最小值附近；在車牌第二個字符和第三個字符中間，會有較大的間隔，結合這個特征，利用字符統計信息，就能實現字符切割，不再需要去除垂直方向的邊框。

5.2 字符分割

（1）通過水平投影處理，計算得出字符的高度，再通過計算水平投影圖像數據的前S列中所包含平均像素數，計算得出字符字符高度nHeight。

（2）通過垂直投影處理計算得出字符的間距和字符的寬度，并且得到間距的最大值。掃描垂直投影圖像的最上兩行，計算連續黑色像素點個數和連續白色像素點個數并且求出平均值，分別記做字符間距nSpace、字符寬度nWidth，并得出nSpacemaX，根據以上得出的閾值，進行確定向左、右掃描的起始點。從兩個掃描起始點各自向左、右掃描車牌的垂直投影圖像，通過上述閾值的大小和某一列上黑色像素的總和來判斷字符的邊界。右掃描確定五個字符，左掃描確定兩個字符。

5.3 歸一化處理

經過切割的字符圖像一定幾率出現大小不一現象，未不影響后續字符識別處理，需要對其進行字符歸一化處理。

歸一化公式可以表示為：

gnew表示歸一化后的字符圖像，gold表示歸一化前的字符圖像。

Hold.Wold分別表示歸一化前的字符的高和寬。

Hnew.Wnew分別表示經過歸一化后的字符圖像的高和寬。

i, j 分別表示歸一化前的字符圖像的坐標。

得到切割后歸一化字符。

5.4 BP神經網絡識別

首先要先分析我國車牌信息的具體特征，一般情況下為漢字+字母.字母或數字形式，所以需要構建2個包含1個隱含層的2層BP神經網絡，分別進行識別.

用來識別漢字的BP神經網絡，應有一百二十個節點輸入，四十個個節點輸出：用來識別英文字母的BP神經網絡，應有六十五個節點輸入，二十五個節點輸出；用來識別數字的BP神經網絡，應有六十五個節點輸入，十個節點輸出。

搭建好訓練環境和訓練數據庫后進行識別訓練，最終實現成排的識別。

6 結語

目前雙波段成像應用在智能交通車牌識別系統中還存在很多問題與不足需要時間去研究改進。比如近紅外/可見光攝像機復雜環境互補性問題、夜間近紅外成像車牌特殊物質熒光效應改進、可見光與近紅外場景圖像融合等。但是相對目前解決方案，擁有很多傳統成像所不具備的優勢，是車牌識別系統改進的一個新的方向。

[1]彭文藝.基于神經網絡的車牌自動識別系統研究[D].華中科技大學,2006.

[2]趙成龍.復雜自然環境下車牌識別算法研究[D].山東大學,2017.

[3]陳泓佑.智能視頻監控中的目標檢測及分類技術研究[D].西南科技大學,2015.

[4]彭健敏.車牌識別中的車牌定位與字符識別技術研究及實現[D].湖南大學,2006.