基于OpenCV 智能車牌及顏色識別

盧 嫚，謝磊鑫

（西安工程大學 電子信息學院，西安 710048）

近年來，隨著國家經濟和科技的飛速發展，人們的生活也隨之發生了巨大變化。據有關部門統計，截至2022 年3 月底，國內汽車保有量4.02 億輛，如此龐大的數字給交通管理部門的運行管理帶來了很大的壓力。車牌作為車輛身份信息的主要標志，自動車牌識別是一種利用檢測和識別方法來自動獲得車牌信息的技術，能夠有效地提高交通管理效率和道路安全[1]，利用人工智能領域的數字圖像處理技術和圖像處理算法對汽車車牌進行自動識別，不斷提升智能交通系統運行效率，具有非常重要的意義。車牌識別系統在人們的周圍有著廣泛的應用場景，例如：公共設施停車場管理、校區門禁系統、公司學校單位門禁等[2]。

本文基于樹莓派為主控平臺，采用高清攝像頭模塊采集圖像，設計出一種智能車牌識別系統，能夠精準提取車牌信息，并將車牌信息存入數據庫中，最后將識別到的車牌號顯示在屏幕的GUI 界面上。本系統選用Linux 操作系統，采用sqlite3 來設計數據庫，車牌識別使用OpenCV 庫函數，使用PyQt5 庫和Qt Designer 來設計GUI 界面。

1 系統總體設計

系統使用樹莓派3B+作為主控平臺，連接SD 卡、攝像頭、顯示屏等外設，利用PC 端作上位機，進行數據的傳輸，系統總體結構如圖1 所示。主控制器樹莓派為核心部分，采用攝像頭采集車牌信息，樹莓派通過圖像識別精準采集到車牌號，并將檢測到的車牌號存入數據庫中，數據庫信息可以在用PyQt5設計的GUI 界面顯示，可以隨時查看車輛信息。

圖1 系統總體結構圖Fig.1 Structure diagram of overall system

2 車牌識別

車牌識別利用了數字圖像處理、模式識別、電腦視覺等現代信息技術，對攝像頭捕獲的汽車圖像進行信息處理，獲取每輛車的車牌信息[3]。車牌識別系統的工作機理：當車輛行駛在攝像頭所監測區域內，攝像頭監測到車牌號時將車輛拍攝下來并傳輸到樹莓派，樹莓派對汽車照片進行圖像預處理、定位車牌位置、提取車牌、車牌字符分割、傾斜校正、字符模板識別等一系列操作，最后識別出車牌號。

2.1 車牌預處理

車牌預處理進行彩色圖像灰度化、高斯濾波、Sobel 邊緣檢測、顏色定位、圖像二值化、形態學處理，最后得到車牌預處理后的圖片。

2.1.1 彩色圖像灰度化

視頻輸入設備用于獲取包含車輛信息的號牌圖像，該圖片通常是RGB 彩色圖像，將被轉化為單通道圖片。彩色畫面中的各個圖像色彩都由R、G、B 三種分量來選擇，而各個分量的取值范圍都在0～255 之間[4]，這樣對計算機來說，彩色圖像的一個像素點就會有256×256×256 種顏色的變化范圍[5]。而灰度圖像是R、G、B 分量相同的一種特殊彩色圖像，對計算機來說，一個像素點的變化范圍只有0～255 共256 種。所以將圖片從RGB 彩色圖片轉換成灰度圖，其中灰度值在0～255 范圍，0 表示黑色，255 表示白色[6]，其它值根據灰度的不同來選取。形成灰度化圖像如圖2 所示。RGB 轉換為灰度圖公式為

圖2 車輛灰度化圖像Fig.2 Grayscale image of vehicle

2.1.2 高斯濾波

因為工藝和環境方面的問題，圖像上的文字顯示時往往受噪聲的干擾[7]。常用的去除噪聲的方法[8]有空域濾波法和頻域濾波法。在本文中，應用了空域濾波中的線性濾波，并包含了高斯濾波、均值濾波、維納濾波[9]以及一些典型濾波。

高斯濾波是一種線性抗混疊濾波，可以用來減少高斯噪聲，一般用于圖像處理中的降噪。更簡單地說，高斯濾波就是平衡稱量特征和均衡整個像素的過程，每個像素點的數值都是經過權衡和平衡特征值和其他像素的差值來得到的。而高斯濾波系統則包括用圖案掃描圖像中的所有圖像，以及利用對在圖像中定義的周圍所有其他元素的灰度值的加權平均值，來替換在畫面中的所有像素點值。高斯抗鋸齒濾波器對控制具有正常范圍的噪聲領域也十分有用。該系統可以通過OpenCV 的函數cv2.GaussianBlur（）對圖像范圍實施高斯平滑，從而使得所要求的車牌區域范圍更加明顯。執行高斯濾波的示意圖如圖3 所示，方格中數字代表像素值。

圖3 高斯濾波示意圖Fig.3 Schematic diagram of Gaussian filtering

2.1.3 Sobel 邊緣檢測

本設計采用Sobel 算子的邊緣檢測方法，采用Sobel算子進行x 和y 方向上邊緣化處理，使用OpenCV上cv2.Sobel（）函數進行邊緣檢測。使用Sobel 算子后，干擾信息減少，車牌字符邊緣信息明顯，為車牌定位后續工作提供高質量的前期圖像[10]。Sobel 邊緣檢測效果圖如圖4 所示。

圖4 Sobel 邊緣檢測效果圖Fig.4 Effect picture of Sobel edge detection

2.1.4 顏色定位

目前車牌識別系統圖像采集設備獲取圖片通常情況下具有較高的分辨率，為了降低算法計算模塊，加快處理速度，算法在顏色定位之前對圖片進行抽稀運算，以降低圖像分辨率，對圖像進行預處理。本文采用邊緣信息與顏色特征結合的車牌定位方法，流程如圖5 所示。將圖像進行由RGB 顏色空間到HSV 顏色空間轉換?；陬伾畔⒌亩ㄎ环椒ㄊ窍葯z測出藍色像素，再進行后續操作。

圖5 邊緣信息與顏色信息結合的車牌定位流程Fig.5 License plate location process combining edge information and color information

2.1.5 圖像二值化

灰度圖像通常含有256 個灰度值，能良好地表現圖像的明暗程度，以便于更好地顯示車牌處理中所要求的目標信號，因此一般把圖像分成2 個部分：目標與背景，把目標和背景分離，盡量避免背景圖像的影響，并保存好目標信號。該圖像被轉換為只包含兩級灰色的黑白圖像，即0 和255，即二值圖像。

二值化也是最重要的圖像處理技術之一，常常被用作預處理。在車牌識別系統中，二值化后的像素集通常僅指像素值為0～255 之間的區域，而不需考慮多個像素值，從而簡化了處理，但同時二值化圖像還具有計算機內存容量小、處理速度快的優勢，因此能夠明顯提升處理效果。

二值化核心是選取合適的閾值T 來拆分目標和背景，選擇合適的閾值T，將灰度圖像與之做比較，然后劃為兩部分[11]。二值化公式為

本設計應用OpenCV 中cv2.threshold（）函數對車牌灰度圖像進行二值化處理。二值化效果圖如圖6 所示。

圖6 二值化效果圖Fig.6 Rendering of binarization

2.1.6 形態學處理

腐蝕和膨脹是形態學處理中最基本的過程。對于腐蝕操作，假定每個站點的矩形鄰域的最小值是該位置的灰色輸出值。鄰近區域可以是矩形結構、橢圓結構、十字形結構等。這個結構被定義為一個元素的結構，它實際上是一個01 二進制矩陣，“與”和“或”的邏輯操作結果。使用腐蝕操作后，邊緣界限會變小，像素帶也會變窄，從而將極小的像素塊抹除，全部腐蝕掉。使用膨脹操作后，圖片當中物體的界限會向外擴張，即使該物體的邊緣界限存在缺損，這些缺損的邊界部分也會被像素補充。本文用OpenCV 中cv2.getStructuringElement（）函數獲取結構化元素、cv2.morphologyEx（）函數進行各類形態學的變化、cv2.dilate（）函數對圖像進行膨脹、cv2.erode（）函數對圖像進行腐蝕，最后獲得車牌區域。經過形態學處理效果圖如圖7 所示。

圖7 形態學處理效果圖Fig.7 Effect picture of morphology processing

2.2 車牌定位

圖片在經車牌圖像預處理后已達到了矩形檢查的條件，即可通過OpenCV 庫中cv2.findContours（）函數對圖像進行矩形檢測[12]。在圖片中還可以包含幾個矩形區域，為提升車牌號檢測效果，在本文中首先設定好適合于車牌號尺寸的候選區域，根據國家規定的車牌尺寸將候選區域的寬高比設置在3.0～3.5 之間，能夠保證框選區域有車牌信息，還能去除無效區域。識別到車牌區域時將其提取出來，如圖8 所示。

圖8 車牌定位圖Fig.8 Location map of license plate

2.3 傾斜校正

把車牌定位出來后，然后對車牌水平矯正。在OpenCV 中，可以使用函數HoughLines 來調用標準的HougLine 轉換和多尺度的HoughLine 轉換。HoughL-inesP 函數用于調用累積概率HoughLine 轉換[13]。二維坐標軸上表示一條直線的方程公式為

因此想求出一條直線就需求出a 和b 的參數值。

極坐標公式為

這2 個參數同時也是表示一個直線的關鍵參數，確定了這2 個參數就能夠判斷一條直線。OpenCV中調用霍夫線性變換，就可獲得這2 個參數值。

通過Hough 變換提取邊框，可以確定所拍到的車牌傾斜角，接著再利用空間轉換技術，對圖片進行翻轉，算出號牌上所有字符在連通區域的中心點，然后通過將之擬合，從而得出號牌的最大傾斜角，然后通過計算車牌字符的局部極小和極大特征點，之后投影確認號牌傾斜角，然后通過旋轉得到經過校正后圖形[14]。

2.4 車牌字符分割

對提取到的車牌號圖像再進行灰度值處理、閾值化處理獲得二值圖，如圖9 所示。然后查找二值化車牌號的輪廓，將所有輪廓逐一使用cv2.boundingRect（）函數獲得圖像的最小矩形邊框里的信息，把車牌號信息進行排序，最后顯示出車牌字符分割圖，如圖10 所示。

圖9 車牌二值圖Fig.9 Binary diagram of license plate

圖10 車牌字符分割圖像Fig.10 Character segmentation image of license plate

2.5 車牌字符識別

由于車牌的第一字符是以中文顯示省份，第二字符是英文字符，而其他字符是以英文和數字混合匹配的，于是第一字符選擇獲得車牌字符模板中的中文模板列表進行匹配，第二字符選擇獲得車牌字符模板中的英文模板進行匹配，而其余字符選擇獲得車牌字符模板中的英文和數字模板列表進行匹配[15]，讀取模板的地址與圖片進行匹配，將模板進行格式化轉換、模板圖像閾值化處理、獲得待檢測圖片的尺寸、將模板調整為與圖像一樣大小最后進行模板匹配，讀取車牌號。

3 車牌識別結果

3.1 選圖識別

樹莓派運行程序后，出現GUI 界面，按下選圖識別按鈕，可以在樹莓派文件夾里選擇車輛圖片進行識別車牌號，該程序能夠識別jpg，gif，png 類型的圖片，識別到車牌號時按鈕文字變成“再來一張唄”，并在車牌號信息欄顯示，識別到的車牌號如圖11 所示。

圖11 選圖識別結果Fig.11 Recognition results of map selection

3.2 攝像頭識別

樹莓派運行程序后，出現GUI 界面，按下攝像頭識別按鈕后，會檢查樹莓派是否連接到攝像頭，如果沒有連接到攝像頭，就會顯示請檢查是否連接到攝像頭，打開攝像頭后定時器啟動，然后定時器開始計時30 ms，結果是每過30 ms 從攝像頭讀取一幀顯示，當攝像頭捕捉到車輛時會對車牌進行識別，并顯示車牌信息，如圖12 所示。最后并將識別到的車牌號存入數據庫。

圖12 攝像頭識別結果Fig.12 Results of camera identification

本設計對90 張車牌圖片進行測試，測試效果比較精準，出現2 張車牌號無法識別，準確率可達98%，原因是該車牌號不是很清晰，由于攝像頭像素不高導致，今后可以通過更換高清攝像頭來解決該問題。

4 結語

現如今，車牌識別在生活中的應用已經十分廣泛，隨著城市汽車數量的增長，高速路收費口、小區停車場對車牌識別需求越來越高。本文成功開發了一套基于樹莓派的智能車牌識別系統，樹莓派對汽車照片進行圖像預處理、定位車牌位置、提取車牌、車牌字符分割、傾斜校正、字符模板識別等一系列操作，最后將識別到的車牌號顯示在屏幕的GUI 界面上。通過運行測試，車牌識別準確率高達98%，識別時間較短，成本低，具有很好的發展前景。