基于FPGA的車牌識別系統的設計

岳楓力，馬 靜

（四川工商學院電子信息工程學院，四川 成都 611745）

隨著電子信息技術的不斷發展，車牌識別系統不斷被運用與交通管理系統中。但由于傳統的車牌識別系統存在成本高、難以推廣等問題，導致其運用困難，為了解決這些問題，迫切需要依靠FPGA 優秀的并行處理能力和豐富的硬件資源，有效提高系統的執行效率，降低系統成本以便于廣泛運用。

1 硬件環境

傳統由于FPGA 可編程性和并行執行效率，以往通常被用于特定功能電路的實現。但隨著新的技術要求出現，FPGA 已不再局限于傳統的接口、信號處理等方面。

1.1 ZYNQ 及其配置

本次設計采用的核心處理芯片為ZYNQ-7000 系列的xc7z020clg400-2，該ZYNQ 芯片內部由PS+PL 構成；PS 部分由ARM 的A9 雙核構成，PL 部分為FPGA邏輯電路。通過芯片內部架構可知：PL 與PS 通過EMIO、DMA、32b GP AXI Port、HP AXI Port 等接口實現數據交互，PS 部分與外圍電路交互則通過GPIO或EMIO；需要注意的是，EMIO 不僅可以將PS 連接到PL 的硬件資源也可以將其直接連接到PL 的輸出管腳。ZYNQ 系列的接口分為MIO 與EMIO，Xilinx 在Vivado中定義了每個MIO 管腳可以通過復用實現多種功能，但是具體實現什么功能則由外圍硬件電路決定。本設計使用1Gb DDR3 內存空間，芯片為NT5CB256M16EPDI。

1.2 OV7725

采用OV7725 攝像頭進行車牌圖像的拍攝，OV7725 是一種低電壓的CMOS 器件，其提供一個單片VGA 攝像機和部分圖像處理功能。OV7725 的感光陣列為640*480，最快能夠實現60fps 采集，輸出為RGB565 格式。OV7725 的功能和配置均由其內部的寄存器實現，相關寄存器由主機通過SCCB 對作為從機的OV7725 進行配置。OV7725 內部集成了部分圖像處理的功能，包括自動曝光控制、自動增益控制和自動白平衡等。

SCCB 即串行攝像機控制總線協議通道。SCCB 有兩線模式和三線模式，本設計中只對一個從機進行配置，故選擇兩線模式，該模式由一根串行時鐘線和一根雙向數據線構成。

2 圖像捕獲

在圖像捕獲階段，本設計要求能夠實現對車牌圖像的拍攝、保存；同時為了方便圖像的捕獲，攝像頭所捕獲的實時畫面應當顯示在屏幕上，起到攝像頭監視器的作用。

2.1 VDMA

由于攝像頭和屏幕之間數據傳輸存在速率差，因此采用VDMA IP 核進行數據緩沖防止出現畫面撕裂。VDMA 可以方便的提供雙緩沖和多緩沖機制。

本次設計采用Dynamic Genlock 模式，在此模式下VDMA 有多個緩存幀，主機和從機按順序寫或讀緩存幀，當從機操作某一緩存幀時，主機會跳過該幀而寫操作其他幀，從而實現讓圖像數據緩沖的IP 核。DMA 數據接口可以分為讀、寫通道，用戶可以通過寫通道將AXI-Stream 類型的數據流寫入DDR3，通過讀通道可以從DDR3 讀取數據，并以AXI-Stream 類型輸出。

由OV7725 攝像頭采集得到的圖像數據通過AXIStream to video in IP 核轉化成為AXI-Stream 格式數據，并傳輸給VDMA IP 核，同時rgb2lcd ip 核通過AXI-Stream to Video Out IP 核通過AXI-Stream通道從VDMA 讀取圖像并轉換為RGB 格式數據輸出并顯示。

視頻流數據經過 Video in to AXI4-Stream IP 核轉換成 AXI4-Stream IP 格式數據流， 然后通過 VDMA 的寫通道轉成 AXI4 Memory Map 格式，并最終寫入 DDR 內存中。VDMA 從 DDR3 中讀取的視頻或圖像數據傳輸給 AXI4-Stream to Video Out IP 核。AXI4-Stream to Video Out IP 核在 VTC IP 核的控制下，把 AXI4-Stream 格式的數據轉換成視頻輸出的數據格式（如 RGB888），并將輸出的視頻數據流連接至 rgb2lcd IP 核的輸入端（rgb2lcd）。rgb2lcd IP 核實現了獲取 LCD 屏的 ID 功能和以及將 LCD 屏的引腳封裝到總線接口上，以方便將LCD引腳引出至頂層模塊端口上。

2.2 圖像緩存

本設計采用PS 控制VDMA IP 核以實現圖像的拍攝，當按鍵按下后，作為從機的PS 端暫停VDMA 從機讀操作，并從當前讀操作執行的緩存幀中拷貝當前的圖像數據以實現拍照功能。當拷貝完成后，恢復讀操作。本次設計中，所有存儲空間均在DDR3 空間內劃分。其中，DDR 地址0x1100000 為捕獲圖片的緩存地址， 0x01000000 以下的地址用作PS、PL 程序執行所占用地址。

3 圖像處理

3.1 預處理

由于本設計采用OV7725 攝像頭，其拍攝輸出圖像為上下鏡像的圖片，在進行下一步處理前需要對其進行鏡像處理使圖像回正。

（1）灰度處理

灰度是指黑白圖像中的顏色深度，范圍一般0-255，白色為255，黑色為0。使用灰度對彩色圖像進行處理，可以得到高質量黑白圖，與彩色圖像相對比，灰度圖像由于其不含有色相其細節度往往高于RGB 圖片。在本次設計中采用移位法得到Gray 值，將原來的RGB 中的三個通道的值統一用Gray 替換，將RGB 888 圖像轉換為灰度圖像。

（2）OTSU 算法

OTSU 算法又稱“大津法”，這是一種用于確定二值化圖像分割閾值的算法，利用此算法可以實現對二值化最佳閾值的自適應計算，經此算法計算得到的二值化閾值可以在一定程度上排除環境、鏡頭畸變帶來的影響[1]。

其實現步驟為：首先對完成灰度處理的圖像的每個像素進行遍歷，統計每個灰度級的素數數量，并計算其所占總像素的比例。再進行灰度級的遍歷，計算其中前景和背景部分的灰度均值，將其帶入類間方差公式得到類間方差最大值并得到對應的灰度級，這里得到的灰度級即為閾值。

依照此閾值對灰度處理后的圖像進行遍歷操作，當RGB 通道中任意值大于閾值乘0.9，則對其進行填充0xffffff,否則對其填充0x000000。這里乘0.9 是為了進一步調整圖像的閾值，從而排除由于OV7725是魚眼鏡頭而產生畸變導致亮度變化而出現的誤差。

（3）腐蝕膨脹

本設計中，對二值化后的圖像去除周圍邊框后進行掃描，本設計中每一個像素的DDR 地址組成為：基底地址+長*寬*3，對每一個像素周圍八個像素進行掃描即對（長-1）*寬*3、（長+1）*寬*3、（長-1）* （寬-1）*3、（長-1）* （寬+1）*3、（長+1）* （寬-1）*3、（長+1）* （寬+1）*3、長*（寬-1）*3、長*（寬+1）*3 八個像素進行掃描，每當任意一個像素值為0x000000，則對中心像素賦值為0x000000；同理膨脹算法對同樣八個像素點進行掃描出現0xffffff 則為中心像素復制為0xffffff。需要注意的是，賦值和掃描應該在兩個圖像相同，不同基底地址的圖片上分別進行。

（4）開運算和閉運算

開運算可以在保證基本形狀和位置不變的前提下，除去孤立的點、毛刺、小橋，而膨脹腐蝕算法中的掃描的結構體大小將影響開運算的效果。閉運算可以在保證基本形狀和位置不變的前提下除去圖像中的小孔、彌合裂縫，同開運算一樣，膨脹腐蝕算法中的掃描的結構體大小[2]將會影響閉運算效果。

本設計中采用開閉運算相結合的方式對圖像進行處理，利用這種方式可以實現在保證圖像形態不發生改變的前提下濾除尖刺、孤點等干擾。

（5）投影

對于完成定位的圖像，在定位區間內，對其進行水平和垂直投影。由于本設計在二值化時將車牌的背景處理為黑色，字符處理為白色，且需要對字符進行定位處理，故在這里統計白色數量并生成直方圖。在定位得到的區間內對圖像進行行遍歷和列遍歷，當出現白色像素時計數器加1，最終得到每行白色像素數量的數組和每列白色像素數量的數組，這兩個數組分別為二值化圖像在水平方向和垂直方向上的投影。

（6）分割

對于完成投影后的圖像，根據一定閾值可以對每個字符所在的位置進行大致定位。通過對水平投影的分割和垂直投影的分割的疊加，可以得到每個字符所處的區間，即得到每個字符的上下左右四個邊框位置。

3.2 轉存

將每個字符圖像復制轉存到單獨的DDR 空間，由于車牌的字符固定呈現矩形，為了方便縮放操作和識別處理，在這里對字符圖像的寬度進行擴展，使之與字符長度一致，并填充黑色像素，使縮放前字符圖像成正方形。

4 圖像識別

本設計中采用神經網絡進行車牌字符的識別，其主要由：訓練模型、識別、softmax 幾個步驟組成。

4.1 全連接神經網絡

本設計中采用全連接神經網絡，該網絡是使用矩陣乘法的三層神經網絡，其輸入層為28*28*1，即784*1 的矩陣，權重矩陣一為784*100 的矩陣，權重矩陣二為100*64 的矩陣。本設計中需要將該模型的權重參數即相關計算在FPGA 上實現。訓練模型時，更新權重參數采用反向傳播算法，反向傳播算法又稱為BP 算法[3]，運算如式4.1-1：

ΔWj,k = α·Ek·Ok（1-Ok）·O djT（式4.1-1）

其中α 是學習效率，ΔWj,k 是權重的改變量，j 和k 是權重矩陣的行和列，Ek 是每一行的識別誤差，Ok 為S 函數。

（1）模型建立

利用jupyter 平臺及python 語言搭建訓練模型，兩個權重矩陣，分別為784*100 和100*64。

該模型是一個可以自由調節各層大小的簡單三層神經網絡訓練模型，在該模型中，可以設定輸入層、隱藏層、輸出層的大小；可以設定學習率；該模型的學習機制為：模型對某一圖案與第一層權重參數進行矩陣乘法運算、完成后再與第二層權重矩陣進行矩陣乘法運算，然后輸出到輸出層，即各種情況的可能性，由模型讀取訓練集中的結論判斷正確與否，并將相應的權重改變依據反向傳播算法傳導到每個權重矩陣。至此完成了一次訓練。

（2）訓練模型

當進行訓練的時候，函數會將訓練集里存放的圖像列表轉置為矩陣數組，再將目標矩陣的列表也轉置為矩陣數組。將圖像矩陣與權重矩陣一進行矩陣乘法得到隱藏層。將隱藏層執行S 函數進行歸一化，再將隱藏層與權重矩陣二進行矩陣乘法得到輸出層。將輸出層再次執行S 函數進行歸一化，此時，函數會將輸出層的結論與目標矩陣數組中的數據進行對比，得到誤差值。利用BP 反向傳到公式將誤差傳導回去以改變兩層權重矩陣。

（3）測試模型

當進行識別操作時，模型會將輸入的圖像數據與兩層權重矩陣進行矩陣乘法，同時分別利用S 函數進行歸一化處理，最終得到每種情況的概率。通過對比即可得到輸入圖像數據所對應的索引值。

4.2 FPGA 實現

將訓練的權重參數經過量化生成為coe 文件，創建ROM IP 核并導入。FPGA 每次從DDR 內讀取一個像素的數據，參與運算。每個像素數據與第一權重矩陣的對應行相乘加，循環784 次得到一張圖像與第一隱藏層的運算結果[4]，將第一次的運算結果在與第二隱藏層進行類似的乘加運算得到最終輸出權重，運算得到圖像對應的概率。

4.3 Softmax

圖像識別部分在完成全連接計算的操作后，將圖像數據存放于固定的寄存器，并拉高完成信號。識別系統在檢測到完成信號拉高后，對全連接計算后得到的概率進行softmax 處理。所謂softmax，即對輸出層輸出的各種結果的概率進行對比，其中概率最大所對應的索引，即為本次識別的字符所對應的索引。將對應的結果保存，再將索引與分類類別進行映射，當系統完成所有字符處理后通過屏幕,利用PL 部分對識別結果進行顯示。

5 測試

5.1 環境測試

通過拍攝車牌，可以看見成像出現模糊現象，這是由于攝像頭焦距不對導致的，如圖1 所示：

圖1 屏幕顯示畫面

將OV7725 的鏡頭固定螺絲扭松，旋轉調節OV7725 鏡頭到合適的焦距，使得畫面清晰不模糊。

5.2 拍攝測試

硬件環境測試通過后對拍攝功能進行測試，測試流程如下：程序上電，等待硬件初始化完成屏幕顯示畫面，按下圖像捕獲按鍵，等待串口打印完成拍攝信息，查看寫入內存卡的圖像信息，如圖2 所示：

圖2 寫入內存卡信息打印

將存放于SD 卡中的BMP 格式圖片去除查看，由于OV7725 攝像頭CMOS 與電路結構所導致OV7725 成像為鏡像，如圖3 所示，對其進行鏡像處理，使其變為正向。

圖3 內存卡保存的BMP 圖片

5.3 二值化測試

完成打印后需要對圖像進行灰度及二值化處理，由于OV7725 為魚眼鏡頭，會導致成像出現畸變，對灰度處理后的圖像直接進行二值化處會導致圖像的背景噪聲干擾二值化，而影響圖像定位，如圖4 所示：

圖4 灰度處理圖片

可以看見直接進行二值化處理，即使通過腐蝕膨脹也會很容易干擾定位，如圖5 所示，可以看見在車牌以外的地方即箭頭指向處存在黑色區塊：

圖5 直接二值化后存在黑色像素塊干擾

通過OTSU 算法，尋找合適的二值化處理閾值,利用OTSU 得到的閾值進行二值化處理可以看到干擾基本沒有了，如圖6 所示：

圖6 利用OTSU 算法后二值化

5.4 車牌定位測試

通過對黑色像素的定位可以實現車牌的基本定位，如圖7 所示：

圖7 車牌定位

5.5 字符定位測試

利用水平投影和垂直投影對字符進行分割，其投影圖如圖8 所示：

圖8 水平投影

字符分割結果如下，可以看見基本實現字符的分割處理，如圖9 所示：

圖9 水平分割

6 結語

FPGA 由于其本身的并行運算機制和其豐富的硬件資源，配合新興技術往往可以在很多傳統領域發揮出全新的作用。在本次設計的車牌識別領域，利用新興技術及算法可以實現車牌識別系統的小型化，易于迭代、成本低、易于推廣、算法便于更新。