惡劣天氣下的車牌信息識別

袁意映，劉進鋒

（寧夏大學信息工程學院，銀川750021）

0 引言

隨著社會的發展，汽車數量激增，出現大量場合需要利用智能、高效的技術識別車輛牌照信息。對車輛牌照信息進行自動追蹤檢測是交通管理系統的關鍵一環。然而，天氣狀況對車牌信息識別系統影響較大，特別在霧霾等惡劣天氣下，大氣中存有懸浮顆粒和細小水滴等雜質，使得大氣光散射，能見度降低，嚴重影響了監控攝像機拍攝的車輛圖像質量。如圖1所示，車牌信息難以被有效地檢測或識別，因此識別前對圖像的預處理非常重要。本文使用Se Eun Kim提出的飽和度和白平衡的方法對有霧、粉塵圖像進行預處理，并將處理后的清晰圖像進行車牌定位、字符分割、字符識別等步驟。

圖1 采集到的車輛信息

1 去霧模塊

1.1 早期去霧方法

早期的去霧方法是基于多幅圖像或附加的信息。如基于極化的算法［1－3］可以提高模糊圖像的可見性，應用于多個相似場景不同極化程度圖像的去霧處理。但在快速的場景變化中，很難找到同一場景下的最大和最小偏振度，因此，這些方法不適合進行實時圖像恢復。基于圖像增強的去霧方法使用各種圖像處理技術來改善圖像的對比度和細節，例如基于直方圖的算法［4－5］和基于Retinex的算法［6－7］。然而利用圖像增強的去霧方法沒有考慮圖像退化情況，故這類算法不能達到令人滿意的結果。

1.2 基于大氣散射模型的去霧方法

目前，暗通道先驗方法［8］在圖像去霧領域取得了一定成果，但該算法在圖像的亮度和飽和度方面處理效果不理想。針對暗通道先驗方法的不足，L.Y.He等人［10］提出了一種利用飽和度和亮度進行圖像去霧的透射估計方法。在該方法中，作者假設所有的大氣光都是相同的，并且局部圖像塊共享相同的傳輸圖，根據這些假設來計算初始傳輸圖。該算法需要進一步細化處理才能更精確地估計傳輸圖像。本文采用Se Eun Kim提出的基于圖像飽和度的去霧估計方法［9］，介質傳輸是在沒有任何先驗的情況下逐像素得出的。在已知大氣光的假設下，本方法的傳輸僅通過飽和度函數計算得到，此外運用一種基于白平衡的有效方法來去除由黃色或細塵埃產生的圖像中的彩色面紗。該方法速度快，不需要訓練、先驗和細化過程就能在圖像上產生明顯的去霧效果。

1.2.1 大氣散射模型

McCarney的大氣散射模型［12］如下：

等價變形為：

通過有霧圖H（x）得到目標的無霧圖J（x），其中J（x），t（x）和A均未知。根據估算的透射圖和大氣光強，可以通過以下方式恢復場景輻射：D（·）為去霧函數。假設大氣光強和透射圖均已知，即可通過該函數得到J（x）。

1.2.2 暗通道算法

假設大氣光強A已知，用A歸一化式（2）得：

假設本地斑塊透射率不變，變形公式（4）得：

根據暗通道先驗，J的暗通道近似于0，即：

假設每個像素的透射率不同，對公式（4）取最小值可得到：

1.3 本文方法

1.3.1 傳輸圖估計

本文使用一種新的去霧框架，用于估計沒有暗通道先驗的逐像素傳輸圖，即基于飽和度的傳輸圖估計方法。令Sk（x）是給定圖像K（x）在位置x處的飽和度分量，其定義為：透射圖可通過歸一化場景輻射的強度和飽和度來確定。兩個未知數IJn（x）和SJn（x）用于估計t（x）。

1.3.2 估計場景輻射的飽和度

目的：估計SJn（x）

采用的方法：

步驟一：需要得到約束條件，即SJn（x）≥SHn（x）

步驟二：使用對比度拉伸的方法估計SJn（x）。有霧圖的飽和度小于清晰圖像的飽和度，本文通過將有霧圖的飽和度進行拉伸得到清晰圖像的飽和度。其中涉及滿足約束條件的簡單拉伸函數如下：

1.3.3 去除色彩偏差

有霧圖像是無霧圖像受到大氣光影響形成的。通常，假設三個通道大氣光照值近似相等，所以霧基本沒有色彩成分。但是，黃色的粉塵或某些光照條件下可能會讓圖像原本的顏色出現偏差。本文通過使用白平衡方法消除惡劣天氣條件中圖像彩色偏差的問題。采集大量霧霾揚沙等天氣下的車輛圖像，使用灰度世界算法（Gray World Algorithm）得到白平衡處理的模糊圖像，并估計白平衡圖像的大氣光照值，然后比較這兩種圖像大氣光照值的差值。最后，可以采取對比度受限的自適應直方圖均衡化來增強亮度分量。去黃效果如圖2所示。

圖2 去黃對比

1.4 去霧效果比較

暗通道先驗方法通過假設透射率t（x）為常數，借助暗通道先驗從有霧圖像中獲取大氣光照A的值，利用公式（1）進行傳輸圖的估計。本文通過歸一化場景輻射的強度和飽和度來確定傳輸圖。與暗通道先驗算法相比，本文的方法運行速度快，對圖像去霧去黃處理后能夠得到清晰圖像，較好地還原車輛的顏色特征。如對比圖3、圖4所示，在去霧方面，本文基于圖像飽和度的傳輸圖估計法相比較于暗通道先驗法去霧效果顯著，得到的圖像更清晰，圖像亮度和飽和度都有明顯的提升。在去黃方面，本文基于白平衡的方法在去黃效果上遠好于暗通道先驗方法。綜合車牌識別在惡劣天氣下的實際情況，本文運用的方法在去霧去黃結果上都明顯優于暗通道先驗方法。

圖3 兩種方法去霧效果對比

圖4 兩種方法去黃效果對比

2 車牌定位

目前車牌定位的方法有很多，常見的車牌定位技術主要有基于邊緣檢測的方法、基于顏色分割的方法、基于小波變換的方法、基于遺傳算法的方法等。由于本文是在惡劣天氣條件下進行的車牌定位的，因此對于車牌定位的方法與常見方法不同，本文引入根據車牌長寬比的幾何特征和車牌顏色等先驗知識輔助定位。

現今國內車牌的長寬大小具有統一性和標準化的特點，且車牌顏色普遍都是有黃、藍、綠三種顏色。故本文根據車牌底色及其長寬比等先驗知識這一幾何特征來提取車牌區域。

2.1 基于圖像幾何特征法

圖像邊緣整體形成的矩形區域，盡管可能有很多候選范圍，但車牌會在其中一個矩形區域中，故需要逐一排除不是車牌的矩形區域。由于長寬比是統一的，具體要求矩形區域長寬比在2到5.5之間，其余不在這一范圍內的矩形即可排除。在實際查找圖像矩陣區域時，車輛照片中車牌位置的傾斜會影響矩陣區域的截取，同時截取后的車牌圖片存在傾斜為后續字符分割造成困難。本文用Radon算法［14］對截取的傾斜車牌進行矯正。結果如圖5所示。

圖5 矯正前后對比

2.2 基于顏色信息法

使用顏色定位，對候選區域進一步進行排除，排除不是車牌的矩形。目前本系統只識別藍、綠、黃三種顏色的車牌。具體把目標圖片先轉換到HSV顏色通道，黃綠藍三種顏色在HSV通道中所在的范圍都不同，黃色圖像H的范圍在（11，34）并且S＞34，綠色的圖像H的范圍在（35，99），S＞34，藍色圖像H的范圍在（99，124），S＞34。使用顏色再定位，縮小車牌非邊緣的邊界。為了進一步減小噪聲對車牌檢測的影響，去除跟車牌不一致的背景區域同時輸出識別車牌的顏色，結果如圖6所示。

圖6 車牌顏色識別結果

3 字符分割及識別

3.1 車牌圖像預處理

邊緣指灰度逐步變化的一組像素。邊緣的兩側分別屬于兩個區域，每個區域的灰度是均勻的，但存在一定的差異。邊緣檢測的任務是準確定位邊緣，抑制噪聲。檢測方法很多，如Roberts邊緣算子、Prewitt算子、Sobel算子等。這些方法都是利用目標邊緣灰度變化較大的特點來檢測圖像的邊緣區域。Canny算子在圖像處理中，盡量保存圖像的實際邊緣。同時，Canny算子只對圖像的邊緣進行一次標記，大大降低了噪聲被標記的幾率，使標記的邊緣更接近對應的邊緣，故本文采用Canny邊緣對截取的車牌區域進行前期的預處理。處理后的車牌圖像能夠準確、快速地識別車牌所含的有效信息。圖像預處理結果如圖7、圖8所示。

圖7 轉化為灰度圖像

圖8 Canny邊緣法處理結果

3.2 字符分割

車牌字符分割是對車牌定位的區域進行分割，標記篩選后得到的單個漢字、字母和數字等字符，分割結果如圖9。在字符分割階段，首先要查找目標圖像的水平直方圖波峰，用來確定當前圖片中車牌的主區域，主區域位于兩個波峰之間。然后查找垂直直方圖波峰，分割字符，每個字符都有對應的波峰。根據查找的波峰，分割圖片，從而提取到單個字符的圖像，結果如圖10所示。

圖9 標記篩選結果

圖10 提取得到單個字符

3.3 字符識別

目前，常用三種方法來提高字符識別的準確率［15］：第一種是追求更好的分類識別算法；第二種是綜合多種分類方法，相互補充，并根據不同方面的特點進行分類［16－17］；第三種是提取更具代表性的特征，并結合附加的輔助特征［18－19］。

本文采用支持向量機（SVM）模型來解決車牌字符識別的困難，屬于第一種方法。SVM能夠自行找到識別能力較強的支持向量，由SVM組成的分類器能夠最大化類間的空間，達到模式識別中正確識別類的目的，不僅發揮了其獨特的優越性能，同時也體現了效率高、適應性強的特點。

支持向量機屬于二分類的分類方法，但車牌的字符識別是針對多類別的分類問題，本文用逐一區分的方法［20］來解決這個問題。具體步驟是本文需要構造三個SVM子分類器，對漢字集、字母集、數字集分別進行訓練和識別。數據集為開源數據集。識別結果如圖11所示。

圖11 字符識別

4 結語

本文對惡劣天氣下車牌信息的識別進行了深入研究，特別針對霧霾、揚沙天氣下車牌信息因圖像模糊、飽和度低而難以識別這一問題。本文利用圖像飽和度的估計介質傳輸的方法實現有效的去霧，同時采用白平衡的方法消除黃色或細粉塵對圖像色彩造成的偏差來改進圖像去霧去黃處理的效果，清晰還原了圖像，并進行了后續車牌定位、字符識別和字符分割的過程。實驗證明，本文采用的算法得到的圖像清晰，飽和度高，提高了在惡劣天氣下車牌識別的效率和準確率。