基于機(jī)器視覺的車牌定位與識(shí)別算法研究

廣東工業(yè)大學(xué) 周家振 杜玉曉

車牌識(shí)別是目前交通管理業(yè)務(wù)中備受關(guān)注的問題，隨著人們對(duì)該領(lǐng)域的研究，車牌識(shí)別技術(shù)不斷完善。其中，車牌識(shí)別是通過攝像頭自動(dòng)抓拍圖片上的車牌并識(shí)別車牌號(hào)碼，在交通管理方面得到了廣泛的應(yīng)用。本文對(duì)車牌定位識(shí)別算法展開了研究，并通過實(shí)驗(yàn)驗(yàn)證算法的合理性與準(zhǔn)確性。

車牌識(shí)別系統(tǒng)的主要步驟有以下幾方面，分別為圖像預(yù)處理、車牌檢測(cè)、車牌圖像分割和字符識(shí)別。傳統(tǒng)的車牌定位方法，如基于邊緣檢測(cè)與基于顏色特征檢測(cè)的方法很難處理復(fù)雜的場(chǎng)景，以及字符識(shí)別采用傳統(tǒng)的BP網(wǎng)絡(luò)方法訓(xùn)練時(shí)間較慢。因此，本文提出采用傳統(tǒng)方法與深度學(xué)習(xí)的方法進(jìn)行車牌定位，訓(xùn)練CNN模型進(jìn)行車牌字符識(shí)別，以解決復(fù)雜場(chǎng)景下的車牌能夠精確定位與識(shí)別車牌字符的問題。

1 車牌定位

車牌定位方面，本文研究了一種結(jié)合了基于邊緣檢測(cè)與基于顏色特征檢測(cè)的方式，選取出候選車牌區(qū)域，然后采用CNN模型對(duì)這些候選車牌區(qū)域進(jìn)行識(shí)別，判斷是否是車牌，并截圖保存；這種方式對(duì)車牌做了兩次定位，并利用模型進(jìn)行了一次判斷，能夠在復(fù)雜背景下檢測(cè)出車牌，大大提高了車牌定位的精確度。

1.1 圖像預(yù)處理

本文采用Sobel算子邊緣檢測(cè)，過濾掉大量的背景圖，留下少部分邊緣，這些邊緣主要是由車輛與車牌的邊緣構(gòu)成，通過后面的閾值分割能夠把部分邊緣去掉，從而達(dá)到過濾掉大部分區(qū)域的效果，得到基于邊緣檢測(cè)的區(qū)域。

其中Sobel算子的計(jì)算公式如下：

基于顏色特征的圖像預(yù)處理是將圖片轉(zhuǎn)為hsv圖片后，選取出黃色色調(diào)區(qū)間[26，34]或藍(lán)色色調(diào)區(qū)間:[100,124]的區(qū)域。

得到兩種預(yù)處理后的區(qū)域，對(duì)它們進(jìn)行混合操作，得到效果如圖1所示。

圖1 結(jié)合兩種方式的車牌定位

1.2 車牌識(shí)別

采用OTSU算法的閾值分割進(jìn)行最優(yōu)分割，定義一個(gè)21×5卷積核，進(jìn)行形態(tài)學(xué)的閉操作，圖像處理完后，查找輪廓通過漫水填充算法進(jìn)行輪廓修正后，通過車牌判斷條件挑選出候選車牌區(qū)域。本文判斷車牌的條件主要有兩種，第一種是根據(jù)候選車牌區(qū)域的長(zhǎng)寬比，第二種是根據(jù)通過CNN模型進(jìn)行車牌模型訓(xùn)練，用該模型進(jìn)行識(shí)別車牌。其中CNN模型結(jié)構(gòu)是采用了3層卷積層、3層池化層與3層全連接層，并加入了dropout函數(shù)進(jìn)行去擬合化，避免模型過擬合。其中，模型的訓(xùn)練過程如圖2所示。

圖2 車牌識(shí)別模型訓(xùn)練過程

其中，模型訓(xùn)練數(shù)據(jù)僅采用了1906張車牌圖片與3968張非車牌圖片，從圖2中可以看出訓(xùn)練次數(shù)達(dá)到200次時(shí)就開始趨于穩(wěn)定，精度達(dá)到99%，模型性能較優(yōu)。

2 字符識(shí)別

車牌字符識(shí)別模型訓(xùn)練跟車牌識(shí)別采用的模型一樣，訓(xùn)練的數(shù)據(jù)集主要有數(shù)字、字母與漢字。與之前模型不同的是，在輸出預(yù)測(cè)結(jié)果方面，車牌識(shí)別模型預(yù)測(cè)結(jié)果僅有兩個(gè)，而車牌字符識(shí)別模型輸出的識(shí)別結(jié)果主要有10個(gè)數(shù)字、26個(gè)字母、31個(gè)漢字，訓(xùn)練次數(shù)為700次以上并且精度99%以上即可停止。其中，字符訓(xùn)練的過程如圖3所示。

圖3 車牌字符識(shí)別模型訓(xùn)練過程

3 實(shí)驗(yàn)仿真

有了前面的算法，下面開始進(jìn)行實(shí)驗(yàn)，測(cè)試前面的算法，最終識(shí)別的字符正確個(gè)數(shù)越多，說明該模型越好。

通過圖4、圖5比對(duì)可以看出，實(shí)驗(yàn)結(jié)果表明，該車牌定位識(shí)別算法識(shí)別車牌的效果還是不錯(cuò)的，基本能夠識(shí)別車牌的字符，具有較高的識(shí)別率。

圖4 識(shí)別的車牌圖片

圖5 識(shí)別車牌圖片的結(jié)果

結(jié)論：本文采用了基于邊緣檢測(cè)與顏色特征對(duì)車牌圖像進(jìn)行了預(yù)處理操作，采用了形態(tài)學(xué)處理對(duì)圖像進(jìn)行了膨脹腐蝕操作，去除了一些空隙，接著通過輪廓查找的方式找到車牌候選區(qū)域，利用訓(xùn)練好的車牌識(shí)別模型識(shí)別是否是車牌，得到車牌區(qū)域圖像后，對(duì)車牌進(jìn)行字符切割與字符識(shí)別，最終通過實(shí)驗(yàn)測(cè)試該算法能夠有效的識(shí)別出車牌的字符并顯示出來。