基于手機(jī)APP 的車(chē)牌識(shí)別系統(tǒng)設(shè)計(jì)

孟令權(quán)，熊威，喻亞云，程宇昊，胡安正，陳傳亮

（湖北文理學(xué)院 物理與電子工程學(xué)院，湖北襄陽(yáng)，441053）

0 引言

隨著經(jīng)濟(jì)的飛速發(fā)展，汽車(chē)的數(shù)量在不斷增加，它的增加會(huì)造成亂停車(chē)的現(xiàn)象，而在日常的智能交通管理系統(tǒng)中，大多數(shù)采用固定式的智能監(jiān)控設(shè)備，就是在停車(chē)場(chǎng)入口或高速公路入口處設(shè)立長(zhǎng)期的車(chē)牌識(shí)別裝置，如高速公路入口處的ETC 通道，優(yōu)點(diǎn)在于無(wú)需人工值守，并且可針對(duì)任意網(wǎng)絡(luò)覆蓋路段實(shí)行全天監(jiān)控。但仍然有許多缺點(diǎn)，其制造成本較高，且靈活性不足，不能對(duì)路邊違停車(chē)輛及商場(chǎng)周邊的臨時(shí)停車(chē)車(chē)輛進(jìn)行及時(shí)有效地管理，所以針對(duì)這些固定式識(shí)別設(shè)備的缺點(diǎn)，移動(dòng)便攜式車(chē)輛牌照識(shí)別裝置將有很大的發(fā)展空間。

1 基于手機(jī)APP 的車(chē)牌識(shí)別系統(tǒng)總體設(shè)計(jì)思路

該車(chē)牌識(shí)別系統(tǒng)核心主要分為兩大部分，前臺(tái)手機(jī)APP 的設(shè)計(jì)和后臺(tái)裝置的車(chē)輛監(jiān)管系統(tǒng)。前端手機(jī)app 實(shí)現(xiàn)車(chē)牌照片的拍攝、與后臺(tái)裝置的數(shù)據(jù)交換以及人機(jī)交互等功能；后臺(tái)裝置實(shí)現(xiàn)車(chē)牌號(hào)識(shí)別、數(shù)據(jù)管理和數(shù)據(jù)收發(fā)操作。前臺(tái)手機(jī)APP 的設(shè)計(jì)是采用Qt 開(kāi)發(fā)平臺(tái)設(shè)計(jì)，采用C++和QML 混合編程制作Android 和IOS 多平臺(tái)通用的移動(dòng)客戶(hù)端。通過(guò)客戶(hù)端拍攝并上傳目標(biāo)車(chē)輛的車(chē)牌照片至網(wǎng)絡(luò)服務(wù)器端，然后后臺(tái)裝置對(duì)傳輸來(lái)的圖片進(jìn)行預(yù)處理，利用邊緣特征和顏色特征算法結(jié)合定位車(chē)牌，使用優(yōu)化后卷積神經(jīng)網(wǎng)絡(luò)中的LeNet-5 模型，應(yīng)用于字符識(shí)別，具有很高的正確率。接著輸出車(chē)牌數(shù)據(jù)給警務(wù)平臺(tái)，警務(wù)平臺(tái)查詢(xún)?cè)撥?chē)牌號(hào)，獲取車(chē)主信息和車(chē)輛數(shù)據(jù)，將其發(fā)送到前端手機(jī)APP，進(jìn)而可以判斷目標(biāo)車(chē)輛是否是為正常車(chē)輛。系統(tǒng)總體流程圖如圖1 所示。此外，針對(duì)車(chē)輛管理系統(tǒng)，建立了基于MySQL 的車(chē)輛數(shù)據(jù)庫(kù)，在接收到信息之后會(huì)將數(shù)據(jù)上傳到MySQL 數(shù)據(jù)庫(kù)中，封裝查詢(xún)、修改、添加等操作API，方便車(chē)輛管理系統(tǒng)調(diào)用。基于MySQL 的車(chē)輛數(shù)據(jù)庫(kù)在時(shí)代趨勢(shì)下具有可靠性、可擴(kuò)展性、性能優(yōu)化、開(kāi)源性和兼容性等優(yōu)點(diǎn)，能夠滿足車(chē)輛數(shù)據(jù)管理的需求，并適應(yīng)不斷變化的時(shí)代趨勢(shì)。

圖1 系統(tǒng)總體框圖

2 后臺(tái)裝置的車(chē)輛監(jiān)管系統(tǒng)的設(shè)計(jì)介紹

■2.1 基于邊緣檢測(cè)與顏色特征識(shí)別的車(chē)牌區(qū)域檢測(cè)

2.1.1 基于邊緣檢測(cè)的車(chē)牌區(qū)域檢測(cè)算法介紹

首先對(duì)圖像進(jìn)行預(yù)處理，通過(guò)高斯濾波去除圖像中的噪聲，獲取目標(biāo)特征，然后對(duì)圖像進(jìn)行灰度化處理，然灰度圖只有一個(gè)顏色等級(jí)，但是灰度圖像的描述與彩色圖像一樣仍然反映了整幅圖像的整體和局部的色度和亮度等級(jí)的分布和特征。然后通過(guò)搜索圖像中灰度值變化波動(dòng)較大的點(diǎn)，從而檢測(cè)出圖像中事物的邊界。由于Canny 算子具有圖像降噪、增強(qiáng)、檢測(cè)等多環(huán)節(jié)作用，并且其圖像結(jié)構(gòu)清晰，因此選用Canny 算子進(jìn)行邊緣檢測(cè)。

然后，對(duì)圖像進(jìn)行開(kāi)閉運(yùn)算。開(kāi)運(yùn)算是先腐蝕再膨脹，閉運(yùn)算則與開(kāi)運(yùn)算相反。通過(guò)應(yīng)用開(kāi)閉運(yùn)算，可以使圖像的輪廓更加光滑，并去除小的孔洞。在這里，可以20×20 的全1 結(jié)構(gòu)對(duì)圖像進(jìn)行開(kāi)運(yùn)算，再選用4×19 的全1 結(jié)構(gòu)對(duì)圖像進(jìn)行一次閉運(yùn)算和開(kāi)運(yùn)算。

完成開(kāi)閉運(yùn)算后，圖像上會(huì)形成一些連通區(qū)域。可以通過(guò)輪廓檢測(cè)獲取所有邊界連續(xù)的像素序列，并生成最小外接矩形。計(jì)算矩形的面積，并排除面積最小的矩形。根據(jù)車(chē)牌的形狀特征，可以計(jì)算矩形的寬高比，進(jìn)一步排除非車(chē)牌區(qū)域的矩形。通過(guò)這些步驟，可以粗略地定位車(chē)牌區(qū)域，如圖2 所示。

圖2 粗略定位車(chē)牌

2.1.2 基于顏色特征的車(chē)牌區(qū)域檢測(cè)算法介紹

本算法使用了兩種空間模型進(jìn)行了對(duì)車(chē)牌進(jìn)行粗定位，一種是RGB 顏色空間模型，該顏色空間屬于基色顏色空間，其顏色顯示原理同彩色顯示器顯示色彩相同，由R、G、B相加混色而成。在RGB 顏色空間中，任意顏色都可以通過(guò)R、G、B 三個(gè)不同的分量表示。另一種是HSV 顏色空間模型，它是一種基于感知的顏色模型，該顏色空間可用圖3 來(lái)描述。

圖3 HSV 顏色空間模型

RGB 顏色空間根據(jù)物理原理表示，采用R、G、B 三色混合，適合彩色顯像管工作。然而這種表示不利于人的視覺(jué)感知特點(diǎn)，與RGB 顏色空間相比，HSV 顏色空間更類(lèi)似人類(lèi)感覺(jué)顏色的方式，便于顏色的對(duì)比。因此將RGB 轉(zhuǎn)化為適合進(jìn)行顏色對(duì)比的HSV 空間，其轉(zhuǎn)換公式為：

針對(duì)不同顏色的車(chē)牌設(shè)定不同的閾值，根據(jù)閾值設(shè)定掩膜的參數(shù)，利用掩膜與圖像進(jìn)行操作，保留需要的像素，剔除非需要像素。經(jīng)過(guò)HSV 閾值處理后的車(chē)牌圖像還包含許多細(xì)小的孔洞，為了填充這些細(xì)小的孔洞、聯(lián)通車(chē)牌區(qū)域、使車(chē)牌區(qū)域更加平滑，本文采用圖像開(kāi)閉運(yùn)算來(lái)解決上述問(wèn)題，采用20×20的全1結(jié)構(gòu)對(duì)圖像進(jìn)行一次閉運(yùn)算和開(kāi)運(yùn)算。

最后通過(guò)輪廓檢測(cè)獲取所有邊界連續(xù)的像素序列，將獲取的所有邊界輪廓生成最小外接矩形，計(jì)算矩形面積并排出最小面積的矩形；根據(jù)車(chē)牌的形狀特征，計(jì)算矩形的寬高比，進(jìn)一步排除非車(chē)牌區(qū)域的矩形。最終粗略定位結(jié)果如圖4 所示。

圖4 粗略定位結(jié)果

■2.1.3 精確定位車(chē)牌區(qū)域

基于邊緣檢測(cè)的車(chē)牌區(qū)域檢測(cè)算法具有噪聲抑制、適應(yīng)暗環(huán)境和快速處理的優(yōu)勢(shì)，能檢測(cè)多個(gè)候選區(qū)域。但邊緣檢測(cè)定位的車(chē)牌區(qū)域通常不止一個(gè)，需要進(jìn)一步篩選。基于顏色特征的車(chē)牌區(qū)域檢測(cè)算法在光線好的情況下準(zhǔn)確，但在光線暗、車(chē)牌褪色等情況下不準(zhǔn)確。可通過(guò)結(jié)合邊緣和顏色特征實(shí)現(xiàn)初步定位。

拍攝不同車(chē)輛時(shí)，由于條件不同，距離和角度差異，導(dǎo)致車(chē)牌圖片傾斜、不利于定位和字符分割。采用仿射變換解決車(chē)牌圖像的垂直傾斜問(wèn)題。通過(guò)粗定位獲取車(chē)牌區(qū)域的四個(gè)角點(diǎn)，確定車(chē)牌的傾斜極性。根據(jù)傾斜方向選擇矯正后車(chē)牌的參考點(diǎn)，并計(jì)算其他角點(diǎn)的坐標(biāo)。通過(guò)仿射變換將原始車(chē)牌圖像的角點(diǎn)映射到矯正后的角點(diǎn)，實(shí)現(xiàn)車(chē)牌圖像的矯正。

本文將經(jīng)過(guò)矯正的車(chē)牌區(qū)域圖像轉(zhuǎn)換為HSV顏色空間，并設(shè)定黃牌、藍(lán)牌、綠牌的顏色閾值。通過(guò)統(tǒng)計(jì)符合各顏色閾值的像素?cái)?shù)量來(lái)確定車(chē)牌的顏色。然后，根據(jù)識(shí)別的車(chē)牌顏色設(shè)定分割閾值，逐行和逐列掃描車(chē)牌區(qū)域圖像，統(tǒng)計(jì)符合閾值的像素?cái)?shù)量，保留達(dá)標(biāo)的行列，剔除不達(dá)標(biāo)的區(qū)域。最終得到精確定位的結(jié)果如圖5 所示。

圖5 精確定位結(jié)果

■2.2 基于投影法的車(chē)牌字符分割

本文提出了基于投影法的動(dòng)態(tài)閾值字符切割方法。首先將車(chē)牌區(qū)域的做水平投影，根據(jù)像素分布自動(dòng)設(shè)定閾值，去除車(chē)牌上下邊框；然后進(jìn)行垂直投影，自動(dòng)設(shè)定閾值并分割邊框及字符。該方法解決了字符過(guò)分分割的問(wèn)題。字符歸一化部分通過(guò)計(jì)算寬高比，并采用圖像邊界擴(kuò)展和雙線性插值法，將字符歸一化為32×40 像素大小的圖片。最終實(shí)現(xiàn)字符分割和歸一化。

■2.3 基于改進(jìn)LENET-5 網(wǎng)絡(luò)的車(chē)牌號(hào)碼識(shí)別

本文字符的識(shí)別采用了LeNet-5，這是一個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型。經(jīng)過(guò)激活函數(shù)和損失函數(shù)的選擇和優(yōu)化后，對(duì)字符的大小進(jìn)行了調(diào)整，將輸入層的尺寸修改為40×32 像素的灰度圖像。為適應(yīng)字符檢測(cè)的圖片，進(jìn)行左右填充和縮放等操作，從而優(yōu)化了輸入層。此外，還添加了dropout 層，以有效防止過(guò)擬合問(wèn)題，尤其是在訓(xùn)練樣本較少的情況下。最后，在自行創(chuàng)建的字符數(shù)據(jù)集上，經(jīng)過(guò)改進(jìn)的LeNet-5 算法進(jìn)行實(shí)驗(yàn)。

第一步歸一化數(shù)據(jù)集的顏色深度及大小，第二步建立模型結(jié)構(gòu)，第三步創(chuàng)建Session，第四步輸入數(shù)據(jù)集訓(xùn)練和測(cè)試模型，第五步保存模型參數(shù)，具體模型訓(xùn)練流程圖如圖6 所示。

圖6 模型訓(xùn)練流程圖

實(shí)驗(yàn)結(jié)果顯示，漢字的平均識(shí)別率達(dá)到了97.8%，而字符和數(shù)字的平均識(shí)別率則為98.9%。這表明該方法在字符識(shí)別方面取得了良好的效果。

■2.4 基于MySQL 的車(chē)輛數(shù)據(jù)庫(kù)

MySQL，這是一種關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)。MySQL 支持多種開(kāi)發(fā)語(yǔ)言，包括C、C++、Java、Python 等，而且可以在多種平臺(tái)上運(yùn)行。它具有許多優(yōu)點(diǎn)，包括簡(jiǎn)單易用、對(duì)個(gè)人用戶(hù)基本免費(fèi)、體積小、支持查詢(xún)語(yǔ)言、性能強(qiáng)、安全性高和速度快等。

車(chē)輛管理數(shù)據(jù)庫(kù)是使用Python 語(yǔ)言隨機(jī)生成的。該數(shù)據(jù)庫(kù)包含了各種信息，如姓名、電話、性別、民族、準(zhǔn)駕車(chē)型、出生日期、領(lǐng)證日期、駕駛證有效日期等等。這些信息將有助于車(chē)輛管理系統(tǒng)有效地跟蹤和管理車(chē)輛和相關(guān)的駕駛?cè)藛T信息。

3 前端手機(jī)APP 的設(shè)計(jì)

■3.1 軟件設(shè)計(jì)總體方案

在手機(jī)APP 的前端設(shè)計(jì)方面，主要采用了Qt 開(kāi)發(fā)平臺(tái)，Qt 是一個(gè)強(qiáng)大的跨平臺(tái)應(yīng)用程序開(kāi)發(fā)框架，支持多種操作系統(tǒng)，包括Windows、Mac OS X、Linux、Android、iOS以及WP 等。Qt Quick 則是一項(xiàng)新技術(shù)，特別適用于移動(dòng)終端應(yīng)用的設(shè)計(jì)，具備支持動(dòng)態(tài)觸摸式界面的能力。

UI 界面的設(shè)計(jì)采用了QML 語(yǔ)言，這種語(yǔ)言提供了高度的自由度，使得輕松進(jìn)行布局和控件繪制成為可能。同時(shí)，它也支持與Qt 的無(wú)縫集成，讓界面設(shè)計(jì)變得更加靈活。

為了實(shí)現(xiàn)與服務(wù)器的通信，采用了Qt 中的QTcpSocket類(lèi)作為客戶(hù)端，用于連接服務(wù)器并建立通信套接字。這確保了APP 能夠有效地與后端進(jìn)行數(shù)據(jù)傳輸，從而實(shí)現(xiàn)車(chē)牌圖片的傳輸、識(shí)別以及車(chē)主和車(chē)輛信息的匹配功能。

在進(jìn)行APP 測(cè)試時(shí)，采用了iOS 操作系統(tǒng)，并運(yùn)行于iPhone 6S 設(shè)備上，連接了WiFi 網(wǎng)絡(luò)以保證順暢地通信。用戶(hù)通過(guò)APP 可以輕松地拍攝車(chē)牌圖片，系統(tǒng)將自動(dòng)識(shí)別車(chē)牌并與相應(yīng)的車(chē)主和車(chē)輛信息進(jìn)行匹配。此外，APP 提供了多個(gè)功能界面，包括登錄、主界面、拍攝和信息展示界面，以便用戶(hù)可以方便地使用各項(xiàng)功能。

■3.2 手機(jī)APP

本文采用的是QML 設(shè)計(jì)的UI 界面，QML 可以使用代碼輕松布局繪制控件，自由度極高，也可以直接使用Qt 進(jìn)行布局，自動(dòng)生成代碼。通過(guò)C++實(shí)現(xiàn)的TCP/IP 通信，然后QML 與C++進(jìn)行交互QML 與C++交互有多種方式，本文將C++中的類(lèi)注冊(cè)一個(gè)QML 類(lèi)型，通過(guò)qmlRegisterType()注冊(cè)一個(gè)非單例類(lèi)型，下面是注冊(cè)QML 類(lèi)型的相應(yīng)代碼：

qmlRegisterType("an.qt.LPR", 1, 0,"LPR");

上面代碼將C++中LPR 類(lèi)注冊(cè)為QML 類(lèi)LPR，主版本為1，次版本為0，包名為an.qt.LPR。在QML 代碼中引入包名，即可使用LPR 類(lèi)。手機(jī)APP 的程序流程圖如圖7所示，APP 的信息界面如圖8 所示。

圖7 手機(jī)APP 的程序流程圖

圖8 信息界面圖

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了基于前端手機(jī)app 和后臺(tái)裝置的車(chē)輛監(jiān)管系統(tǒng)。執(zhí)法人員使用手機(jī)作為拍攝裝置，將拍攝的車(chē)輛圖片通過(guò)互聯(lián)網(wǎng)發(fā)送至后臺(tái)裝置進(jìn)行處理和識(shí)別，然后將識(shí)別結(jié)果與數(shù)據(jù)庫(kù)對(duì)比，并將車(chē)輛信息發(fā)送給手機(jī)端。該系統(tǒng)具有制作成本低、靈活性高、識(shí)別率高和便于管理的特點(diǎn)，能夠支持執(zhí)法人員隨時(shí)隨地處理違規(guī)車(chē)輛，并記錄相關(guān)信息，提高工作效率。

該系統(tǒng)具有廣闊的應(yīng)用前景，特別是在交警處理違停車(chē)輛方面。因此，設(shè)計(jì)、研究并制作基于前端手機(jī)APP 和后臺(tái)裝置的車(chē)輛監(jiān)管系統(tǒng)實(shí)物模型對(duì)于實(shí)現(xiàn)這一目標(biāo)非常必要。