實時魯棒的矩形交通標識牌傾斜校正方法

付賽紅，常漢杰

(浙江廣播電視大學海寧學院，浙江海寧，314400)

引言

交通標識牌識別是無人駕駛智能汽車視覺環境感知的重要組成，也是先進駕駛輔助系統（ADAS）關鍵技術[1]，而無人駕駛技術和ADSA技術是智能交通系統的主要技術。交通標識牌可以為智能車無人駕駛系

統提供了重要的視覺信息，如行車路線、車速限制、避障、行人專用道、目的地、道路入口、交通狀況等[2]。然而，實時魯棒的交通標識牌識別是一項具有挑戰性的研究，因為受天氣、位置、運動等實際道路環境影響，采集的交通標示牌圖像存在光照變化、傾斜、模糊、遮擋等問題[2]。

目前，交通標識牌識別方法大體可以分為基于統計分類的方法[3]、基于模板匹配的方法[4]和基于機器學習的方法[5-8]。其中基于統計分類的方法主要有KNN算法、相關系數法、聚類分析方和決策樹分類方法等，基于模塊匹配的方法主要有像素級的匹配方法、特征層的匹配方法和投影匹配法等，基于機器學習的方法有支持矢量機（SVM）和神經網絡等。但由于車輛行駛過程中，無人駕駛智能汽車中的攝像機與交通標識牌存在一定傾斜角度，導致所采集的交通標識牌圖像存在一定程度的傾斜。這給現有的交通標識牌識別算法帶了一定的難度，因此需要對這些傾斜的圖像進行矯正處理。

劉紅等人[9]針對三角形交通牌圖像提出了一種基于仿射變換的三角形交通標志矯正方法，利用仿射變換原理解決圖像矯正問題。現有的很多關于圖像傾斜矯正的研究，從研究對象來分有車牌傾斜校正[10]、圖像文本校正[11]、條碼校正[12]等，從研究方法來分有基于Cartesian矩的方法[13]、基于Radon變換的方法[14]、基于Hough變換的方法[15]等。采用Cartesian矩進行圖像矯正的優點是計算速度快，復雜度低，對平移、尺度矯正效果較好，但對旋轉、傾斜的矯正效果較差；通過Radon變換校正圖像，Radon變換的優點是不依賴圖像的邊框，但是計算量較大；利用Hough變換圖像進行矯正，優點是可靠性高、適應性強。

為了解決交通牌傾斜造成的識別率下降的問題，本文提出了一種實時魯棒的矩形交通標識牌傾斜校正方法。首先，對圖像進行灰度化、Canny邊緣檢測等預處理，再通過Hough直線變換檢測交通標識牌的邊緣線段，根據這些邊緣線段計算矩形的四個角點坐標，然后再根據逆透視變換（IPM）原理得到矯正矩陣，最后利用IPM將傾斜的交通標識牌圖像校正。實驗表明該算法可以有效地矯正不同程度傾斜的矩形交通標識牌圖像，具有很好的實時性、魯棒性，適用于無人駕駛系統中的交通標識牌識別預處理技術。

1 算法整體流程

本文提出了一種基于Hough-IPM變換的圖像傾斜校正算法，以下是該算法的大致流程，流程圖如1所示：

（1）對圖像進行預處理，如灰度化、Canny邊緣檢測，得到邊緣的二值化圖像；

（2）對二值化圖像進行Hough直線變換，提取滿足一定條件的邊緣線段，對這些線段進行延長。

（3）根據線段相交計算所有的交點，并且通過這些交點估計出矩形的四個頂點。

（4）根據矩形的四個頂點圖像坐標和對應假設矯正模型的真實坐標，可以計算得到IPM的單應性矩陣H。根據單應性矩陣H對傾斜圖像進行IPM變換，即可得到校正后的圖像。

2 Hough-IPM矯正算法

2.1 圖像預處理

在進行Canny邊緣檢測之前需要將彩色圖像進行灰度處理，得到灰度圖像。RGB圖像轉灰度圖像的一般公式如下：

其中，R、G、B分別是紅色、藍色和綠色通道的值，其范圍為[0~255]。

為了提取交通標識牌的邊緣，我們采用Canny算子對灰度圖像進行邊緣提取。Canny算子在邊緣檢測方面要明顯優于Laplacian、Sobel等算子，在進行處理前，Canny算子先利用高斯平滑濾波器來平滑圖像以除去噪聲，Canny分割算法采用一階偏導的有限差分來計算梯度幅值和方向，在處理過程中，Canny算子還將經過一個非極大值抑制的過程，最后Canny算子還采用兩個閾值來連接邊緣。

先將彩色圖像變成灰度圖像，然后進行Canny算子邊緣檢測，得到交通標識牌的邊緣信息。

2.2 Hough直線變換

Hough直線變換是一種用來尋找直線的方法.在使用Hough直線變換之前， 首先要對圖像進行邊緣檢測的處理，也即Hough直線變換的直接輸入只能是邊緣二值圖像。

直線在直角坐標系下可以用y=kx+b表示， 霍夫變換的主要思想是將該方程的參數和變量交換，即用x和y作為已知量，而k和b作為變量坐標，所以直角坐標系下的直線y=kx+b在參數空間表示為點(k，b)，而一個點(x1，y1)在直角坐標系下表示為一條直線y1=x1k+b，其中(k，b)是該直線上的任意點。為了計算方便，通常將參數空間的坐標表示為極坐標下的γ和θ。在極坐標系下，直線可以表示為如下方程：

因為同一條直線上的點對應的),(qg是相同的， 可以先將圖像進行邊緣檢測，再將圖像上每一個非零像素點在參數坐標系下變換為一條直線，那么在直角坐標下屬于同一條直線的點將在參數空間形成多條直線并內交于一點。

2.3 矩形頂點坐標估計

通過邊緣線段檢測以及線段延長后，可以得到很多線段的交點，然而矯正只需要交通標識牌的四個頂點信息。

通過對這些交點的分析，發現四個頂點分布在圖像的四個方向，且點的密度要比其他交點都高。利用這一特性，可以采用以下方法進行矩形定點坐標估計。

（1）孤立點濾波。本文設計一個5×5的卷積模板，模板如下所示：

對交點的二值化圖像進行卷積，卷積過程可以用以下公式表示：

其中，g表示卷積后的圖像，即孤立點濾除了的圖像，f表示需要濾波的圖像。統計所有剩余的交點，計算這些點的平均中心點，假設中心點的圖像坐標是，交點的數據集為：

，則計算公式如下：

其中，是圖像的尺寸大小。根據中心點，將圖像分成四個區域，分別對每個區域的交點進行聚類，根據密度和距離估計出每個區域的頂點。

交點聚類。對所在區域的所有交點進行局部性聚類，采用種子鄰域聚類方法，可以得到多個聚類區。

密度計算和距離計算。對每個聚類區進行密度計算得到密度集。計算每個聚類區核心點與中心點的歐式像素距離，得到距離集。頂點估計。密度和距離是判斷頂點兩個重要因素，我們設可信度為，則計算公式如下：

其中，為的最大值，為的最大值，即該區域內最長的距離。如果該區域中的某個聚類核心點距離最遠并且所在聚類區密度最大，則該點的可信度。該區域可信度最大的核心點即為該區域的頂點。

2.4 逆透視變換與單應性矩陣求解

逆透視變換是指將透視圖像坐標系轉化為世界坐標系。假設世界坐標系（WCS）中的三維點用表示，如果只考慮二維平面的話，可以將。在這種有共面的特殊情況下，三維世界坐標可以轉化成二維坐標來表示。那么，將一個圖像坐標系中的點映射到世界坐標系中的點過程可以用以下公式表示：

其中，H是一個3×3的矩陣，稱作為單應性矩陣。H矩陣的表達形式如下：

根據公式（8），可得：

根據公式（9）可知H矩陣中有8個未知數，求解H時至少需要8個已知數，每個點對分別有x和y，所以只需要4個點對即可求解H矩陣。點對是指圖像中的點與其對應的世界坐標系中的點組成的一對點，圖像中的坐標點可以通過上述步驟的頂點估計得到，而其對應的世界坐標點，也就是矯正后的坐標點，可以由矩形交通牌的邊長決定。

假設長和寬分別是a和b，則對應的四個世界坐標點為，，分別代表左上、右上、左下和右下四個頂點。

當求解得到H矩陣之后，可對原圖進行逆透視變換得到矯正后的圖像。

3 實驗結果與分析

為了驗證算法的性能，本文進行實驗，實驗環境是：Intel i7-363QM，GPU 2.20GHz，8G RAM，通過MATLAB語言編程實驗實現。為了檢驗算法的有效性，選取了多幅真實道路交通場景下的矩形標識牌圖像。

3.1 實驗結果

為了更好評價分析實驗結果，本文選擇 4個具有有代表性的真實場景圖像，并對實驗的實驗結果和關鍵步驟進行了展示，如圖2所示，(a)是傾斜的矩形交通牌圖像，(b)是二值化處理結果，(c)是邊緣檢測得到四個頂點結果，(d)是傾斜矯正后的結果。

圖2 實驗結果和部分關鍵步驟結果

3.2 結果評價與分析

為了正確有效的評價本文算法的性能，采用主觀和客觀兼顧的方法對實驗結果進行綜合評價。

主觀方法主要是通過人眼主觀觀察，對結果進行等級評分：很好、好、一般、差、很差。

客觀評價主要是通過傾斜角度、矯正速度和矯正精確度三個指標來評價算法的矯正效果。其中傾斜角度為交通標識牌平面與鏡頭平面所成的角度，反映的是傾斜程度，評價算法的魯棒性；矯正速度是矯正一張圖像的使用時間，評價算法的實時性；矯正精確度是指為校正后圖像中交通牌水平邊與垂直邊夾角除以90度，評價算法的準確性。

將上述實驗結果的評價指標數據進行了統計，如表1所示，其中場景1-4分別對應圖2中的第1行到第4行的交通場景。

表1 實驗結果評價指標數據統計

分析：主觀地從圖2中的實驗結果上來看，矯正效果很好，可以讓不同傾斜程度的矩形交通牌圖像得到矯正。客觀地從表1的數據來分析，本算法具有實時性好、魯棒性強的優點。

4 結束語

為了解決交通牌傾斜造成的識別率下降的問題，本文提出了一種實時魯棒的矩形交通標識牌傾斜校正方法。首先，對圖像進行灰度化、Canny邊緣檢測等預處理，再通過Hough直線變換檢測交通標識牌的邊緣線段，根據這些邊緣線段計算矩形的四個角點坐標，然后再根據逆透視變換原理得到矯正矩陣，最后利用IPM將傾斜的交通標識牌圖像校正。實驗表明該算法可以有效地矯正不同程度傾斜的矩形交通標識牌圖像，具有很好的實時性、魯棒性，適用于無人駕駛系統中的交通標識牌識別預處理技術。

[1]ZHONG L, YU Y, Z Z.A Survey of Traffic Sign Recognition[C]//International Conference on Logistics Engineering, Management and Computer Science (LEMCS 2015)2015.

[2]GUDIGAR A, CHOKKADI S, RAGHAVENDRA U.A review on automatic detection and recognition of traffic sign[J].Multimedia Tools and Applications, 2016, 75(1):333-364.

[3]YUAN X, HAO X, CHEN H, ET AL.Robust Traffic Sign Recognition Based on Color Global and Local Oriented Edge Magnitude Patterns[J].Intelligent Transportation Systems IEEE Transactions on, 2014,15(4):1466-1477.

[4]LIU C, CHANG F, CHEN Z, ET AL.Fast Traffic Sign Recognition via High-Contrast Region Extraction and Extended Sparse Representation[J].IEEE Transactions on Intelligent Transportation Systems, 2016, 17(1):79-92.

[5]PEREIRA D R, SILVA F A D, ARTERO A O, ET AL.Traffic Sign Detection and Recognition using the AdaBoost and transition between pixels[C]//WVC.2015: 139-149.

[6]SUN Z L, WANG H, LAU W S, ET AL.Application of BW-ELM model on traffic sign recognition[J].International Journal of Computer Science &Network Security, 2014, 12(8): 153-159.

[7]JIN J, FU K, ZHANG C.Traffic Sign Recognition With Hinge Loss Trained Convolutional Neural Networks[J].IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 1991-2000.

[8]QIAN R, YUE Y, COENEN F, ET AL.Traffic sign recognition with convolutional neural network based on max pooling positions[C]//International Conference on Natural Computation and, Fuzzy Systems and Knowledge Discovery.2016: 578-582.

[9]JANG C, KIM H, PARK E, ET AL.Data debiased traffic sign recognition using MSERs and CNN[C]// International Conference on Electronics,Information, and Communications.2016:1-4.

[10]劉紅, 高向東, 楊大鵬.一種基于仿射變換的三角形交通標志矯正方法[J].汽車零部件, 2010, (06): 56-57+60.

[11]LIANG Z Y, ZHANG S Y.A Configurable Tilt License Plate Correction Method Based on Parallel Lines[J].Applied Mechanics & Materials, 2013,385-386: 1429-1433.

[12]TONG L, PENG Q, LI Y, ET AL.Document Image Skew Correction Method Based on Characteristic Sample Point Detection and Hough Transform[J].Lecture Notes in Electrical Engineering, 2014.

[13]JIA G.Research on A Rapid Correction Algorithm Based on the Third-order The Cartesian Moment the Image Tilt[J].Bulletin of Science & Technology,2013.

[14]李志明.一種基于Radon變換的文檔圖像傾斜校正改進算法[J].物聯網技術, 2016, 6(7): 62-65.

[15]SINGH C, BHATIA N, KAUR A.Hough transform based fast skew detection and accurate skew correction methods[J].Pattern Recognition,2008, 41(12): 3528-3546.