基于OPENCV的車牌識(shí)別系統(tǒng)

摘 要：本設(shè)計(jì)基于HSV的顏色空間進(jìn)行車牌區(qū)間定位，采用垂直投影法進(jìn)行字符分割，并調(diào)用opencv的ml模塊實(shí)現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)（ANN），采用了最典型的多層感知器（multi-layer perceptrons，MLP）模型來進(jìn)行三層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和字符的識(shí)別，提出了一種基于opencv的車牌識(shí)別系統(tǒng)。

關(guān)鍵詞：HSV的顏色空間;垂直投影法;ANN MLP opencv

一、緒論

1.1 問題現(xiàn)狀

（1）車牌區(qū)間的準(zhǔn)確定位

傳統(tǒng)算法諸如TLD、HCF速度較快，實(shí)時(shí)性較高，對(duì)于車牌區(qū)間的跟蹤，魯棒性顯得非常不足;而深度學(xué)習(xí)算法如DLT、FCNT、MDNet往往運(yùn)算量較大，速度較慢。

（2）車牌字符分割方法

車牌字符的形狀、位置和色彩分布具有很強(qiáng)的不確定性，同時(shí)，字符有左右結(jié)構(gòu)，常用的外接矩形法很難獲得準(zhǔn)確的文字位置信息[1]。

（3）車牌字符識(shí)別方法

傳統(tǒng)的模板匹配、支撐向量機(jī)等方法識(shí)別準(zhǔn)確度很難達(dá)到令人滿意的程度[2]。

1.2 解決方案

1.2.1 基于HSV顏色空間的車牌區(qū)間定位

常見的顏色空間有RGB空間和HSV空間，而RGB空間受光照影響大，而HSV空間的H分量和S分量受光照影響小，且HSV空間符合常人的認(rèn)知。在本項(xiàng)目中采用HSV空間來進(jìn)行車牌區(qū)間的大致定位，再通過車牌面積區(qū)域的閾值篩選出目標(biāo)區(qū)域，采用邊緣檢測(cè)算法檢測(cè)車牌的有效邊界及四角頂點(diǎn)，然后通過透視變換方法實(shí)現(xiàn)車牌區(qū)域的畸變矯正和分割。

1.2.2 基于垂直投影法的字符分割

常見的最小外接矩形法對(duì)矩形區(qū)域的面積的閾值有很大的要求，且不適用于左右結(jié)構(gòu)的字符，容易將一個(gè)字符分割成兩個(gè)字符，而垂直投影法則是基于對(duì)車牌區(qū)域的特有的面積比例進(jìn)行字符分割，設(shè)定投影特征值，基于空間分布的最大類間方差方法使車牌圖像二值化，并進(jìn)行二值圖投影，根據(jù)投影值與0和特征值的大小關(guān)系分割出相對(duì)于的字符區(qū)域，再將每個(gè)分割出的字符區(qū)域與所有字符區(qū)域的平均值進(jìn)行比較，淘汰不合格的車牌字符區(qū)域。

1.2.3基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別

傳統(tǒng)的模板匹配和支持向量機(jī)等方法識(shí)別準(zhǔn)確度很難達(dá)到令人的滿意程度，在本項(xiàng)目中采用基于opencv的ml模塊中的mlp模型，通過輸入樣本數(shù)據(jù)來進(jìn)行神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，通過學(xué)習(xí)取得字符樣本的特征。將預(yù)處理后需要識(shí)別的字符特征輸入神經(jīng)網(wǎng)絡(luò)開始訓(xùn)練，這時(shí) 神經(jīng)網(wǎng)絡(luò)就會(huì)對(duì)需要識(shí)別的字符與樣本字符進(jìn)行特征匹配，完成字符的識(shí)別過程。

二、系統(tǒng)總體方案分析與設(shè)計(jì)

2.1系統(tǒng)總體實(shí)現(xiàn)方案

系統(tǒng)的整體設(shè)計(jì)流程包括： ①系統(tǒng)輸入數(shù)據(jù)采集;②車牌預(yù)處理和車牌區(qū)間定位;③車牌字符分割;④基于神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別。

三、系統(tǒng)軟件設(shè)計(jì)

本系統(tǒng)的數(shù)據(jù)采集是基于小區(qū)過往車輛的車牌照片拍攝和車輛進(jìn)出視頻，本系統(tǒng)的結(jié)果輸出為車牌字符識(shí)別結(jié)果及語音播報(bào)結(jié)果。

3.1系統(tǒng)功能實(shí)現(xiàn)流程

本系統(tǒng)首先采集車牌照片和車輛進(jìn)出視頻，對(duì)于視頻的處理則是在視頻區(qū)域中定義一個(gè)車牌區(qū)域，當(dāng)車牌到達(dá)目標(biāo)區(qū)域，則以照片的形式提取出目標(biāo)車牌，然后進(jìn)行車牌預(yù)處理和車牌區(qū)間定位，通過垂直投影法進(jìn)行字符分割，調(diào)用opencv的ml模塊實(shí)現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)（ANN），采用了最典型的多層感知器模型來進(jìn)行三層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，然后將分割后的字符提取1*560的圖像特征作為輸入調(diào)用opencv接口函數(shù)predict識(shí)別出相應(yīng)的結(jié)果，最后將得到的識(shí)別結(jié)果字符串作為輸入調(diào)用一個(gè)語音接口轉(zhuǎn)換函數(shù)以語音結(jié)果進(jìn)行播報(bào)。

3.2 基于HSV顏色空間的車牌區(qū)間定位

通過opencv定義的接口函數(shù)進(jìn)行RGB—>HSV顏色空間的轉(zhuǎn)變，通過顏色區(qū)域檢測(cè)出藍(lán)色區(qū)域，進(jìn)行直方圖均衡化，進(jìn)行膨脹和開運(yùn)算，再進(jìn)行中值濾波，進(jìn)行邊緣檢測(cè)，再進(jìn)行開閉運(yùn)算，將顏色空間檢測(cè)結(jié)果與邊緣檢測(cè)結(jié)果做與運(yùn)算，再將尋找到的最大聯(lián)通區(qū)域進(jìn)行處理切割得到粗定位車牌，將粗定位車牌同樣采用顏色空間和邊緣檢測(cè)，并將處理后的結(jié)果做與運(yùn)算，通過Hough變換和透視變換進(jìn)行校正，并通過二值圖的黑白跳變次數(shù)刪除上下邊界非目標(biāo)區(qū)域并進(jìn)行分割得到精確定位圖像。

3.3 基于垂直投影法的字符分割

對(duì)車牌進(jìn)行垂直投影，并求垂直方向投影的平均值，設(shè)定投影特征值tz，采用基于空間分布的最大類間方差法來二值化車牌圖像，然后對(duì)二值圖進(jìn)行投影，選擇車牌寬度的0.3處作為起始點(diǎn)，向右尋找大于tz的點(diǎn)作為上升點(diǎn)，從上升點(diǎn)向左搜索投影值等于0的點(diǎn)作為字符起點(diǎn)，尋找上升點(diǎn)右邊下一個(gè)等于0的點(diǎn)作為終點(diǎn)，進(jìn)行切割，并進(jìn)行尺寸歸一化為32*16的大小并進(jìn)行二值化得到字符。

3.4 基于神經(jīng)網(wǎng)絡(luò)的車牌字符識(shí)別

在本項(xiàng)目中采用基于opencv的ml模塊中的mlp模型，定義三層神經(jīng)網(wǎng)絡(luò)并設(shè)置相關(guān)參數(shù)，使用BACKPROP算法并設(shè)置相關(guān)參數(shù)，將輸入樣本數(shù)據(jù)的圖像歸一化為32*16的大小，提取32*16個(gè)像素點(diǎn)+32個(gè)垂直投影值+16個(gè)水平投影值作為1*560的一維向量作為輸入數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集輸入?yún)?shù)，對(duì)于字符識(shí)別的網(wǎng)絡(luò)輸出層設(shè)置為31，隱含層設(shè)置為132;讀于字母和數(shù)字識(shí)別的網(wǎng)絡(luò)輸出層為34層，隱含層為139層，最后直接調(diào)用opencv的ml模塊的接口函數(shù)predict（）就可以預(yù)測(cè)新的節(jié)點(diǎn)，將進(jìn)行字符分割后的二值化圖像需要識(shí)別對(duì)的字符特征輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練，神經(jīng)網(wǎng)絡(luò)就會(huì)對(duì)需要識(shí)別的字符與樣本字符進(jìn)行特征匹配，完成字符的識(shí)別過程。

四、總結(jié)

4.1關(guān)于對(duì)車輛進(jìn)出視頻的車牌識(shí)別

本系統(tǒng)通過選擇需要識(shí)別的視頻，提取設(shè)定目標(biāo)區(qū)域的車牌區(qū)域并進(jìn)行識(shí)別，測(cè)試數(shù)據(jù)中字母和數(shù)字識(shí)別誤差很小，基本不超過1%，漢字識(shí)別準(zhǔn)確率達(dá)到95%以上，相信通過神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)的增加識(shí)別誤差將會(huì)更小。

參考文獻(xiàn) ：

[1]朱利娟，云中華，邊巴旺堆.基于極坐標(biāo)變換的脫機(jī)手寫藏文字符特征提取方法[J].計(jì)算機(jī)應(yīng)用與軟件，2018（35），3：162-165.

[2]卜令正，王洪棟，朱美強(qiáng)，等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多源數(shù)字識(shí)別算法[J].計(jì)算機(jī)應(yīng)用，2018，38（12）：3403-3408.

作者簡(jiǎn)介：

劉嘯松（1997-10-10），男，漢族，籍貫：安徽安慶，本科，計(jì)算機(jī)科學(xué)與技術(shù).