車牌傾斜校正研究綜述

摘 要：作為智能交通系統的核心技術之一，基于機器視覺的車牌識別一直受到廣泛的關注。對車牌圖像進行傾斜校正是車牌識別的重要步驟，其目的是解決拍攝角度隨機性對識別過程的影響。該文將現有傾斜校正方法劃分為直線檢測、投影最值、角點檢測、主方向分析四類，首先介紹了它們的研究成果，然后剖析了它們在魯棒性方面存在不足的原因，展望了下一步的研究方向。

關鍵詞：智能交通 車牌識別 傾斜校正

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1674-098X（2013）01（a）-0-02

基于機器視覺的車牌識別是智能交通系統的核心技術之一，可廣泛應用于高速公路自助繳費、城市交通監控、違章或犯罪監控以及智能停車場管理等方面，它主要包括圖像獲取、車牌定位、傾斜校正、字符分隔、字符識別五個部分。由于車牌的懸掛位置、車輛的位置以及攝像機的安裝位置存在相對的不確定性，對車牌的拍攝角度具有一定的隨機性，導致定位后提取的車牌圖像中字符不可避免地存在某種程度的傾斜，不利于下一步的字符分割，進而影響后續的字符識別率，因此需要在車牌定位和字符分割之間進行車牌的傾斜校正。該文首先分類介紹了現有傾斜校正方法的研究成果，然后剖析了這些研究的不足之處及其原因，展

望了傾斜校正的下一步研究方向。

1 直線檢測法

車牌具有兩組平行邊框，尤其是上下邊框較長，水平邊緣呈兩條平行的直線，當車牌傾斜時，兩平行線與水平方向的夾角即可看作車牌的傾斜角度。Hough[1-4]和Radom[5-7]變換經常被用來檢測車牌區域的兩條最長的平行線，從而根據它們與水平方向的夾角實現傾斜校正。這兩條平行線所在的方向使得Hough或Radom變換累加器取得最大值，直接在車牌區域的邊緣圖像中檢測該最大值對應的直線即是Hough、Radom直線檢測法的常用形式。然而，這兩種變換計算量大，導致執行時間急劇上升。芮挺等針對傳統Hough直線檢測法實時性差的特點，提出一種改進算法。他們首先通過數學形態學處理和輪廓跟蹤去除與校正無關的冗余信息，僅保留邊框的輪廓；然后，采用一種Hough變換傾斜角分級檢測的策略，將角檢測精度到從1 °過度到0.1 °，大幅降低檢測次數。實驗證明：改進方法的校正時間約為傳統Hough直線檢測法的十分之一左右，在23～27 ms之間（AMD Athlon-800 CPU，128 M RAM，VC++6.0）。同樣地，這種改進也適用于Radom直線檢測法。事實上，車牌的邊框特征很不穩定，很多情況下邊框并不明顯，或是殘缺不全，因此Hough、Radom直線檢測法的魯棒性較差。

2 投影最值法

車牌在傾斜方向上的投影具有特殊的最值現象，通過查找該最值對應的旋轉角度即可確定車牌的傾斜角，這種方法叫做投影最值法[8-13]。吳成東等按一定的角度旋轉車牌圖像，并得到相應的水平差分投影；然后，利用Fisher判別準則獲得最優水平切割。當切割后的水平差分投影均值最大時，對應的旋轉角度即為車牌的傾斜角度。采用類似的坐標軸投影方法，王枚等通過字符投影的最小距離以及J.B.Jiao等通過有效投影線段的最小數目獲得車牌的傾斜角度。區別于上述向坐標軸投影的方法，陳振學指出：在傾斜方向上投影像素值的累積平方合是最大的，可以將傾斜車牌向各個方向投影，同時計算投影區域的像素值累積平方和，其中最大值對應的方向就是車牌傾斜的方向。利用230個傾斜車牌進了測試，該方法取得了96.1%的校正準確率。此外，為了克服傳統投影最值法不斷變換角度引起計算量顯著增大的缺點，吳一全等[9]將旋轉后車牌圖像的垂直邊緣向水平方向投影，然后導出邊緣點投影方差最小時旋轉角度的閉合表達式，由此直接確定車牌的傾斜角度。利用50幅圖像在MATLAB6.5平臺上進行了多種校正方法的比較實驗，結果表明：該方法在校正精度和實時性方面具有較大的優勢，尤其是執行時間較Hough直線檢測法和傳統的投影最值法分別低了1和2個數量級，平均校正誤差約為0.338 °，平均執行時間約為4.5 ms（P4 2.8 G CPU，512 M）。而且，他們還進一步利用粒子群優化算法討論了投影p次方差對校正精度和執行時間的影響，實驗結果表明：p=2時運算速度最快，p→∞時校正精度最高[13]。

3 角點檢測法

車牌區域的角點與其傾斜角度存在著一定聯系，通過定量描述這種聯系可以確定傾斜角度，這種方法稱為角點檢測法[14-15]。張美多等試圖通過檢測車牌邊框的四個角點來實現傾斜校正。為了降低運算量和分析難度，他們將檢測區域限定在車牌四個頂點處的矩形區域內，并設定該區域的長和寬分別為整個車牌區域長度的1/10和寬度的1/4。然后，利用Harris算法檢測出符合要求的角點，并進一步根據內角點的特征進行濾噪，最終獲取車牌邊框的四個角點。該方法不僅可以同時實現水平和垂直方向的傾斜校正，還為字符分割提供了較好的依據，然而依賴于清晰的邊框特征也是其最大的缺點。吳一全等提出一種角點慣性主軸的校正方法，避免了這個缺點。他們利用改進的Harris算法檢測車牌字符的角點，然后將這些角點慣性主軸的方向定為車牌的傾斜方向。角點的慣性主軸是指過這些角點的質心且慣性矩最小的那條直線，而在所有過角點質心的直線中，只有其傾斜角度與車牌傾斜方向一致時，對應的慣性矩才最小，所以角點的慣性主軸方向即是車牌的傾斜方向。利用50幅圖像在MATLAB7.0進行了多種校正方法的對比實驗，結果表明：該方法在校正精度、準確率、實時性方面明顯好于Hough直線檢測法和傳統的投影最值法，平均校正誤差約為0.335 °，校正準確率達到了92%，平均執行時間為50.8 ms（P4 2.66 G CPU，512 M）。

4 主方向分析法

主方向分析法的基本思想是通過分析邊緣點的分布在車牌傾斜方向的特征，然后利用諸如主成分分析、Karhunen-Loeve展開式或圖像矩等工具來確定滿足該特征的主方向，從而實現傾斜校

正[16-18]。黃驥等提出一種基于顏色對特征點主成分分析（PCA）的車牌水平校正方法。該方法根據車牌背景與字符交界處的顏色具有固定搭配的特點，首先在原始車牌圖像中提取顏色對特征點，并將其視為待分析的樣本構建樣本特征點的2維散布矩陣；然后，通過主成分分析求出其主成分方向，該方向就是車牌的水平傾斜方向。利用100幅圖像進行了測試，校正準確率達到了97%。吳一全等將平行于傾斜方向且過某邊緣點的直線定義為特征直線。該直線使得所有邊緣點到自己的距離（即邊緣點到直線的偏差）的均方和

最小。

求取車牌特征直線的這種方法是基于最小均方誤差準則，因此他們采用Karhunen-Loeve展開式來求解。利用30幅圖像在MATLAB6.5平臺上進行了對比實驗，結果表明：相比Hough直線檢測法和傳統的投影最值法，該方法校正精度高，實時性好，平均校正誤差約為0.338 °，平均執行時間僅為4.5 ms（P4 2.8 G CPU，512 M）。潘梅森等利用中心矩定義車牌的主軸方向，并以此作為車牌的傾斜方向。他們以質心為原點求出使得二階中心矩最小的旋轉角度，該角度在原坐標系中的方向即為車牌的主軸方向。利用矩的旋轉不變性，把圖像繞質心再反向旋轉相應的角度，即可實現水平傾斜校正。在MATLAB6.5平臺上進行了對比實驗，結果表明：與Hough、Radom直線檢測法相比，該方法檢測精度高，實時性有所提高，平均執行時間約為430 ms。

5 結語

綜上所述，現有傾斜校正的方法在校正精度和實時性方面都取得了較大的提高，然而，它們的魯棒性與實際應用的要求還有較大的差距，嚴重影響了車牌識別的整體效果。究其原因主要表現在兩個

方面。

（1）對車牌的完整性和獨立性非常敏感。事實上，定位過程輸出的車牌圖像在完整性和獨立性方面差別很大，其中少數圖像的邊框、字符都十分清晰完整，且非車牌噪聲區域的比例較??；大多數圖像要么邊框或字符殘缺，要么非車牌噪聲區域的比例較大，甚至兼而有之。因此，對邊框或字符的完整性非常敏感的方法很難運用于實踐，如Hough、Radom直線檢測法等。其次，一旦噪聲較多，必然干擾角點特征和投影特征，導致角點檢測法和投影最值法的準確率和校正精度急劇下降；同時，這些噪聲也必將改變車牌字符邊緣在傾斜方向上的分布特征，進而影響主方向分析法的校正效果。

（2）幾乎不能兼顧水平和垂直方向的傾斜校正。很多情況下，車牌同時存在水平和垂直方向的傾斜，若僅進行水平傾斜校正必將干擾分割和識別效果。然而，僅有一些投影最值法和角點檢測法可以分別進行兩個方向的傾斜校正。由于垂直邊框較短，Hough、Radom直線檢測法很難有效地工作。在垂直方向車牌寬度約為長度的1/5，主方向分析法也很難利用邊緣點的分布特征獲得主方向。

通過以上分析，下一步的研究方向主要集中在降低傾斜校正過程對車牌完整性和獨立性的依賴程度，同時兼顧水平和垂直方向的傾斜校正。

參考文獻

[1]周開軍，陳三寶，徐江陵.復雜背景下的車牌定位和字符分割研究[J].計算機工程，2007，33（4）：198-200.

[2]J.M.Guo，Y.F.Liu.License Plate Localization and Character Segmentation With Feedback Self-Learning and Hybrid Binarization Techniques [J].IEEE Transactions on Vehicular Technology，2008，57（3）：1417-1424.

[3]曾麗華，李超，熊璋.基于邊緣與顏色信息的車牌精確定位算法[J].北京航空航天大學學報，2007，33（9）：1113-1119.

[4]芮挺，沈春林，張金林.車牌識別中傾斜牌照的快速矯正算法[J].計算機工程，2004，30（13）：122-124.

[5]C.Muhammed，U.Aybars， T.Turhan.Automatic number plate information extraction and recognition for intelligent transportation system [J].The Imaging Science Journal，2007，55（2）：102-113.

[6]Vladimir Shapiro，Georgi Gluhchev，Dimo Dimov.Towards a multinational car license plate recognition system [J].Machine Vision and Applications，2006，17（3）：173-183.

[7]X.C.Zhang，X.Y.Liu，H.Jiang.A Hybrid Approach to License Plate Segmentation under Complex Conditions [C]//Proceedings of the Third ICNC，2007：68-73.

[8]陳振學.基于特征顯著性的目標識別方法及其應用研究[D].華中科技大學，2007.

[9]吳一全，丁堅.基于邊緣點投影方差最小的車牌傾斜校正方法[J].系統仿真學報，2008，20（21）：5829-5832.

[10]吳成東，樊玉泉，張云洲，等.基于差分投影與優割字符的車牌字符分割[J].東北大學學報（自然科學版），2008，29（7）：920-923.

[11]王枚，王國宏.基于字符投影最小距離的車牌校正方法[J].計算機工程，2008，34（6）：216-218.

[12]J.B.Jiao，Q.X.Ye，Q.M.Huang.A configurable method for multi-style license plate recognition [J].Pattern Recognition，2009，42（3）：358-369.

[13]吳一全，張金礦.基于投影坐標p次方差及粒子群的車牌傾斜檢測[J].計算機輔助設計與圖形學學報，2010，22（1）：114-120.

[14]張美多，郭寶龍.車牌識別系統關鍵技術研究[J].計算機工程，2007，33（16）：186-188.

[15]吳一全，付曉莉.采用角點信息和慣性主軸的車牌傾斜檢測與校正方法[J].工程圖學學報，2009，30（6）：127-131.

[16]潘梅森，郭國強.基于圖像矩的車牌號碼傾斜校正[J].計算機輔助設計與圖形學學報，2007，19（8）：1041-1045.

[17]吳一全，丁堅.基于K-L展開式的車牌傾斜校正方法[J].儀器儀表學報，2008，29（8）：1690-1694.

[18]黃驥，吳一全.基于顏色對特征點主成分分析的車牌校正方法[J].中國圖象圖形學報，2008，13（4）：642-646.