基于重建的車牌漢字識別研究

劉龍鳳，周欣

（四川大學計算機學院，成都 610065）

0 引言

智能交通系統是衡量一個國家現代化程度的重要指標，而車牌的自動識別是智能交通系統的關鍵技術之一[1]。車輛牌照識別技術[2]作為智能交通系統的基礎，在城市監控系統、車輛違章檢查、停車場以及收費站等需要認證車牌的相關場合，都廣泛地應用了該技術。我國的車牌字符[3]中包含了英文字母、阿拉伯數字以及筆畫繁雜的漢字，其中，漢字字符的識別難度要遠大于對字母和數字的識別難度。國內部分道路條件差，以至車牌的污染相較嚴重；而行駛的車輛號牌也會受泥、油、漆等因素的影響，會給車牌字符在視覺上會造成斷裂以及遮擋等現象；同時號牌在其制作工藝上的不規范也會使字符出現變淺以及變模糊的現象；對車輛拍攝的位置不固定，也導致了獲取的字符圖像產生各種形變。以上因素的存在，導致了車牌漢字識別的過程比一般漢字的識別難度更大。而這也是國內現有的車牌識別系統識別率不夠高的主要原因。因此準確識別車牌中的漢字字符，是目前國內車牌識別系統的難點[4]。

1 相關研究

現有的車牌漢字識別技術主要分為三大類：模板匹配識別方法、特征識別方法以及神經網絡識別方法。

模板匹配識別方法的基本原理是根據采樣得到的漢字樣本生成標準的漢字灰度模板圖像。在識別時把切分得到的待識別對象大小歸一化，灰度歸一化之后與標準漢字模板進行一定的匹配計算，匹配度最高的結果即為識別結果。不同的模板生成方式，不同的匹配度計算方法，可以得到對應的各種改進的模板匹配方法。谷秋頔等人[5]在2011 年的文獻中已在其基礎上提出了一種改進的模板匹配算法。

特征識別方法的基本原理是提取待識別字符的某些固有特征形成特征向量，再根據一定的分類規則對提取的特征向量進行分類判決，從而確定漢字識別結果。根據不同的特征，例如結構特征、SIFT 特征、PCA特征等；或者不同的分類規則，例如貝葉斯分類器、KNN 分類器、支持向量機等，可以得到對應的各種不同的特征識別方法。已有相關文獻[6-8]運用以上特征識別方法實現了車牌漢字識別技術。

神經網絡識別方法的基本原理是收集大量的字符樣本或者樣本特征，把樣本（或特征）送入構造好的神經網絡進行訓練，直到網絡達到設定的穩定標準。識別時，把待識別樣本（或特征）送入訓練好的神經網絡即可得到識別結果。根據不同的神經網絡的輸入，以及選擇不同的神經網絡結構，可以得到不同的神經網絡識別方法。楊大力等人[9]在2009 年的文獻中即使用該方法進行了車牌漢字識別研究。

上述三種算法各自有其缺陷。模板匹配方法的主要缺陷：模板匹配對于車牌字符定位的準確性要求較高，如果在一定范圍進行滑動匹配，又會帶來較大的時間復雜度；模板匹配方法對于字符形變敏感，雖然可以通過一些技術來對傾斜以及透視投影造成的畸變進行校正，但是形變對識別的影響還是較大。特征識別方法的主要缺陷：特征提取的效果受車牌質量的影響較為嚴重。車牌容易受到污損、遮擋等，使其質量退化。這種情況下漢字字符特征提取容易出現較大的偏差，從而影響識別。神經網絡識別方法的主要缺陷：神經網絡的結構復雜，不易確定；在訓練中受噪聲的干擾較大，容易陷入局部極值，影響識別效果。

2 算法內容

為了克服以上現有車牌漢字字符識別技術中存在的缺陷，本文提出了一種基于重建的車牌漢字識別方法。算法主要步驟如下：

步驟（1）：對每一車牌漢字，獲取M 張不同的車牌漢字圖像（M 為正整數）；對這些車牌漢字圖像進行縮放至同一像素大小為Z 的灰度圖像，求取縮放至統一像素大小的每張圖片的圖像向量，得到各個漢字對應的參照樣本向量集。

步驟（2）：對各個車牌漢字的參照樣本向量集求取特征值及特征值對應的圖像特征系數向量，利用圖像特征系數向量構造特征系數向量矩陣U，每個不同的漢字對應一個不同的特征系數向量矩陣U。

步驟（3）：將待識別漢字圖像縮放至與步驟(1)中車牌漢字圖像縮放的統一像素大小Z 相同的像素大小，求取其圖像向量f，利用F=U*UT*f 得出重建圖像向量F，其中UT為U 的轉置矩陣。

步驟（4）：比較 F 和 f 相關性 I，相關性 I 最大時使用的特征系數向量矩陣Ui對應的漢字即為待識別漢字圖像所對應的識別結果。

3 具體實現

下面結合圖1，對本文算法的具體實施方式作進一步的詳細說明。

圖1 部分標準圖像樣本

本節對算法具體步驟不再贅述，算法步驟參考本文第二節算法內容。

步驟（1）中根據前述的拍攝角度，拍攝環境及拍攝車牌表面清潔度可能存在的差異，對每個漢字獲取M張不同的車牌漢字圖像，例如在拍攝角度不同，拍攝時的光照程度不同，拍攝時鏡頭前方是否有雨，車牌表面是否有泥水斑點等不同情況下拍攝M 張漢字“京”，M值的選取根據需要，M 越大，后續的比對效果越好，可以選擇M=500、1000 或1500 等三檔，以適應不同的對比效果和硬件條件，本文中M 值為1000。

對每個漢字得到的M 張圖像，統一縮放至相同的像素大小Z 的灰度圖像，求取相同像素大小的同一漢字的每張圖片的圖像向量，這些圖像向量構成該漢字的參照樣本向量集。每個漢字的參照樣本向量集包含M 個向量構造每個車牌漢字的樣本向量集作為參照樣本向量集。

所謂像素大小Z，即灰度圖像由若干個像素點排列而成，像素點多，則圖像信息更具體豐富，像素點少，則圖像信息少，處理速度快，本文算法應用于車牌漢字識別，車牌漢字本身信息量有限，無須太多像素點即可保證圖像信息足夠后續處理，因此實現過程中采用Z=30×60 的像素大小，即每張灰度圖像為長60 個像素點，寬30 個像素點，共1800 個像素點的像素大小。基于車牌漢字圖像色彩度有限，無須更高階灰階度即可保證圖像信息足夠后續處理，所以對這些灰度圖像的灰階度優選為256 階，以適當控制圖像處理的計算量。

現有的圖像縮放技術已有多種公開算法，例如最近領域插值法、雙線性插值法、雙三次插值法等傳統插值法及對傳統插值法進行改良后的偏微分方程插值法、分形法、小波逆向插值法等，本文采用雙線性插值法，雙線性插值法是有兩個變量的插值函數的線性插值擴展，其核心思想是在兩個方向分別進行一次線性插值。

假設在關注區域內的所有點的像素值分布都符合連續函數f，且已知函數f 在四個整數像素點Q11=(x1，y1)、Q12=(x1，y2)、Q21=(x2，y1)以及 Q22=(x2，y2)的像素值。對未知點(x，y)首先在x 方向進行線性插值，然后在y 方向進行線性插值。

x 方向的線性插值：

y 方向的線性插值：

即可得出該點的函數值，即為該點的像素值。利用雙線性插值法對圖像的每個像素點進行增減和灰度變換，可以得到統一像素大小的灰度圖像。

步驟（1）中得到各個漢字的參照樣本向量集之后，步驟（2）利用參照樣本向量集得到各個漢字的特征系數向量矩陣，從參照樣本向量集得到特征系數向量矩陣在現有技術中有多種實現方式，本文提供一種從參照樣本向量集得到特征向量集的具體實現方式，利用KL 變換獲取各漢字的樣本均值，并且選取各自產生矩陣中最大的前N 個特征值對應的特征向量，這些特征向量為各個漢字的特征系數向量，并構成特征系數向量矩陣，具體包括如下步驟：

（2）求取各個漢字產生矩陣B 的特征值與特征向量，并且按特征值從大到小排序；

（3）對于步驟Ⅱ得到的特征值與特征向量，選取前N 個特征值對應的特征向量作為特征系數向量；N 滿足；其中：λi為產生矩陣B 所選出的前N 個特征值，下標表示不同的特征值；NN 為產生矩陣B 的特征值總個數，α為預先設定的選擇系數；

（4）利用步驟（3）中選出的N 個特征向量，構造特征系數向量矩陣；其中 uij為第 i 個漢字的特征系數向量；Ni為第i 個漢字的特征系數向量的個數，Ui為第i 個漢字的特征系數向量矩陣。

KL 變換是一種常用的特征提取方法，在消除模式特征之間的相關性、突出差異性方面有最優的效果。對產生矩陣B 的各個特征值，特征值越大，越能代表表征漢字的主要構造特征，選擇前N 個最大的特征值對應的特征向量來構造該漢字的特征系數向量矩陣，可以更好的表現該漢字的圖像特征。上述步驟（3）中，α為預先設定的選擇系數，α越大代表選擇的特征向量在總的特征向量個數中占比越大，選出的特征向量構造的特征系數向量矩陣包含的產生矩陣B 的信息越多，本文選擇α=90%，可以較好地滿足信息度要求，同時適當的控制后續處理計算量。

步驟（3）中對待識別漢字圖像縮放同樣采用雙線性插值法，縮放圖像后圖像灰階度同樣為256 個灰階。步驟（4）比較步驟（3）中得到的 F 和 f 相關性 I，比較兩個圖像向量相關性的方法現有技術中有多種，例如最簡單的逐點相減法。本文中對F 和f 相關性的計算使用下式：

4 結語

本文算法采集各種條件和拍攝角度下的車牌漢字字符作為參考樣本，在一定程度上克服了現有模板匹配和特征提取技術難以克服的車牌質量退化和形變問題；特征提取簡單易行，參數少（僅僅一個參數α），并且容易理解與調整，克服了現有特征技術中選取特征困難，提取特征復雜的缺陷；在分類識別技術上采用重建圖像與原始圖像的相關性分析技術，分類器結構簡單，計算復雜度低，克服了傳統分類器計算復雜，以及神經網絡方法結構復雜、不容易收斂到全局極值的缺陷；通過主成分特征重建樣本的方法來進行漢字字符識別，是一種簡單、快速、魯棒性高、識別率高的新型車牌漢字字符識別方法。

顯然，本文所述的基于重建的車牌漢字識別方法不僅適用于識別車牌漢字，也適用于識別其他漢字、字母、數字、交通標志等簡單的符號和線條構成的圖像，應用領域也不止適用于交通領域的車牌、路牌識別，也適用于其他類似應用環境下的圖像識別，例如野外觀測、停車場、港口、機場、倉庫等的車流物流管理等。