霧霾天氣條件下車牌信息的識(shí)別

唐紅梅，申 瑾，周亞同，韓力英，王 霞

(河北工業(yè)大學(xué)信息工程學(xué)院，天津300401)

汽車牌照識(shí)別系統(tǒng)(License Plate Recognition，LPR)［1］是智能交通系統(tǒng)(Intelligent Transportation System，ITS)的重要組成部分，是能夠自動(dòng)實(shí)時(shí)檢測(cè)車輛經(jīng)過和識(shí)別汽車牌照字符的智能系統(tǒng)，涉及機(jī)器視覺和模式識(shí)別等技術(shù)。由于霧霾等天氣狀況和曝光不足造成的圖片失真，因此車牌識(shí)別系統(tǒng)中的去霧階段顯得尤為重要，能否很好地對(duì)采集的信息進(jìn)行去霧并使圖像復(fù)原［2］，對(duì)后期的定位及分割、識(shí)別具有很大的影響。

1 改進(jìn)的車牌圖像去霧方法

在霧霾天氣下，大氣中往往有懸浮顆粒等雜質(zhì)，使得戶外能見度低、對(duì)比度差，由于大氣的散射使得采集的車輛信息模糊不清，圖片質(zhì)量不高，例如圖1，對(duì)這樣的圖片直接進(jìn)行識(shí)別將大大降低車輛識(shí)別系統(tǒng)的性能［3］。因此，對(duì)于霧霾等惡劣天氣條件下車輛信息采集的圖像進(jìn)行去霧等相關(guān)的圖像復(fù)原處理是一項(xiàng)有重要意義的研究課題。

1.1 暗原色先驗(yàn)去霧算法

暗原色先驗(yàn)是根據(jù)戶外大量無霧圖像的統(tǒng)計(jì)規(guī)律得出的，之前的去霧方法都是將去霧的核心放在提高圖像的對(duì)比度上，而Kaiming He提出的暗原色去霧是通過對(duì)大量的無霧的圖像進(jìn)行對(duì)比試驗(yàn)，發(fā)現(xiàn)了一個(gè)事實(shí)規(guī)律:在絕大多數(shù)的戶外無霧圖像中，在任意局部區(qū)域內(nèi)，總有一些像素，它們的某個(gè)或幾個(gè)顏色通道內(nèi)的強(qiáng)度值很低，或接近于零［4］，稱之為暗原色(dark－channel pixel)。利用得到的這一先驗(yàn)去建立去霧的模型，可以直接估算出霧的濃度，并對(duì)圖像進(jìn)行復(fù)原，得到清晰的、高質(zhì)量的去霧圖像。

McCarney大氣散射模型廣泛應(yīng)用于計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域中［5］

圖1 采集到的車輛信息圖

式中:I(x)是霧化后的圖像;t(x)是大氣中霧的透射率;A是天空的亮度值;J(x)是去霧后的圖像。因此，去霧的過程就是從上述公式中還原J(x)。而A和t(x)都可以由暗原色圖像得到。

1.2 暗原色算法的改進(jìn)

雖然暗原色方法在去霧方面取得了一定的成就，但是此算法對(duì)車牌信息圖像的去霧過程中仍然會(huì)遇到一些問題。車輛信息的圖像中常會(huì)出現(xiàn)天空、路面、白色車輛等明亮或灰白的區(qū)域，而暗原色算法對(duì)這些物體進(jìn)行處理時(shí)透射率的估計(jì)將會(huì)出現(xiàn)明顯的偏差［6］。因?yàn)樵谶@些區(qū)域內(nèi)，即使無霧的情況下，三個(gè)通道的像素值仍然偏高［7］，不存在一個(gè)通道的像素值趨于零的情況，這些區(qū)域不符合暗原色先驗(yàn)去霧的前提。

通過大量的觀察，發(fā)現(xiàn)在這些淺色明亮區(qū)域的周圍，雖然有濃霧的干擾，但是總存在一些區(qū)域有較大的飽和度［8］，其場(chǎng)景的深度和淺色明亮區(qū)域的深度一致，這些區(qū)域的透射率和淺色明亮區(qū)域的透射率是相似的。根據(jù)先驗(yàn)知識(shí)，在同一幅圖像中，場(chǎng)景較深的區(qū)域，由于霧氣的疊加，其像素的對(duì)比度往往較前景的對(duì)比度有很大的下降［9］，因此，其透射率也有很大的下降。

基于這種事實(shí)的情況下，在研究中對(duì)暗原色的方法提出了一些改進(jìn)。首先定義每一個(gè)像素的暗點(diǎn)，即每一個(gè)像素點(diǎn)R，G，B的最小值，而暗原色即是每一個(gè)小區(qū)域內(nèi)暗色的最小值，通過每一個(gè)暗原色的點(diǎn)的透射率來進(jìn)行比較分析，設(shè)定一個(gè)閾值H，當(dāng)暗點(diǎn)的透射率與鄰域的透射率相差大于H時(shí)，說明兩者景深有所差異，應(yīng)放棄此鄰域暗點(diǎn)的透射率信息，當(dāng)暗點(diǎn)的透射率與鄰域的透射率相差小于H時(shí)，說明兩者處于同一景深，可用來估計(jì)目標(biāo)區(qū)域的透射率。

在這種思想的前提下，構(gòu)建了一個(gè)由鄰域每一點(diǎn)暗色的透射率組成的3×3的掩膜T:t(xi)，i=1，2，…，9，對(duì)每一個(gè)暗色的透射率進(jìn)行分析，從而用獲得的信息來估計(jì)淺色明亮區(qū)域的透射率

在計(jì)算時(shí)，將中心點(diǎn)的透射率和周圍8個(gè)點(diǎn)的透射率作比較，得到t(xj)，當(dāng)t(xj)＞H時(shí)，舍棄t(xj)，當(dāng)t(xj)＜H時(shí)，統(tǒng)計(jì)t(xj)＜H的個(gè)數(shù)為m，即t(xk)，k=1，2，…

接下來，在得到新的圖像的透射率后，將掩膜T依序移動(dòng)，修正每一點(diǎn)的透射率。經(jīng)過這樣的處理后，當(dāng)小區(qū)域都成為同一物體中的點(diǎn)時(shí)，透射率基本保持不變，而當(dāng)小區(qū)域內(nèi)含有物體的邊界時(shí)，則可以判斷其是否在物體的邊緣，并將其合并到所屬的物體中，取得正確的透射率。

對(duì)改進(jìn)的算法得到的透射率圖用拉普拉斯矩陣進(jìn)行摳圖處理，得到平滑的透射率圖，整幅圖像的透射率幾乎沒有塊效應(yīng)，邊緣清晰，且明亮區(qū)域的透射率比較均勻，與周圍的物體能夠很好地吻合，符合真實(shí)的透射率，如圖2所示。

圖2 兩種方法透射率圖對(duì)比

1.3 去霧的結(jié)果與比較

用式(1)分別對(duì)暗原色方法得到的透射率圖和改進(jìn)后的方法得到的透射率圖中3個(gè)通道進(jìn)行圖像還原，得到圖像去霧后的結(jié)果，可以看出由暗原色方法得到的透射率圖去霧后的圖像在白色明亮區(qū)域由于顏色的過度增強(qiáng)造成了結(jié)果的失真，車牌區(qū)域白色字符與周圍區(qū)域的藍(lán)色車牌沒有得到很好的恢復(fù)，而由改進(jìn)后的方法得到的透射率圖進(jìn)行去霧處理后，白色明亮區(qū)域色彩柔和，保持了車輛原本的顏色特征，車牌區(qū)域的字符得到很好的復(fù)原，結(jié)果對(duì)比圖如圖3所示。

圖3 暗原色和改進(jìn)后方法去霧圖對(duì)比

2 車牌圖像的處理

汽車牌照的識(shí)別系統(tǒng)主要包括圖像去霧、預(yù)處理、車牌定位、字符分割、字符識(shí)別4個(gè)部分，流程圖如圖4所示。

圖4 車牌識(shí)別系統(tǒng)流程圖

2.1 去霧模塊

在車牌識(shí)別系統(tǒng)中，對(duì)于采集的圖像是否需要進(jìn)入圖像去霧模塊，需要對(duì)圖像進(jìn)行判斷，判斷圖像是否為帶霧圖。若是帶霧圖，進(jìn)入去霧模塊對(duì)圖像進(jìn)行去霧;若不是帶霧圖，直接跳過去霧模塊的相關(guān)處理，進(jìn)入預(yù)處理階段，對(duì)圖像進(jìn)行的灰度處理和二值化處理。

帶霧圖與非帶霧圖的區(qū)別表現(xiàn)在圖像上為圖像呈現(xiàn)灰暗或泛白，對(duì)比度通常較低，霧霾嚴(yán)重時(shí)表現(xiàn)為顏色的偏移與失真，色彩保真度下降，圖像在時(shí)域上的表現(xiàn)比較明顯，圖像的直方圖灰度級(jí)分布較集中，灰度級(jí)趨于均值，導(dǎo)致直方圖的動(dòng)態(tài)范圍縮小，對(duì)應(yīng)圖像的細(xì)節(jié)信息減少。因此，對(duì)圖像是否為帶霧圖可以通過其灰度直方圖的動(dòng)態(tài)范圍來進(jìn)行判斷。圖5為同一圖像在晴朗天氣下拍攝和霧天拍攝的圖像灰度直方圖。

圖5 帶霧圖與非帶霧圖的灰度直方圖對(duì)比

在預(yù)處理階段對(duì)圖像進(jìn)行灰度化、灰度拉伸、小波去噪［10］、二值化和邊緣檢測(cè)［11］等相關(guān)處理，通過灰度處理和基于數(shù)學(xué)形態(tài)學(xué)的相關(guān)邊緣檢測(cè)等來達(dá)到減少信息存儲(chǔ)容量的問題，并盡可能地去除用戶不感興趣的區(qū)域，即與車牌無關(guān)的其他信息，突出車牌區(qū)域的紋理特點(diǎn)，提高視覺效果，為后續(xù)的定位、分割及識(shí)別工作做好基礎(chǔ)工作。

2.2 車牌定位

車牌定位是根據(jù)車牌區(qū)域的顏色和紋理特征進(jìn)行定位［12］，在研究系統(tǒng)的定位階段，首先通過二值化方法消除圖像中的噪聲，并先對(duì)車牌區(qū)域用搜索算法進(jìn)行粗定位，然后根據(jù)字符的邊緣特征進(jìn)行車牌的精確定位，并對(duì)車牌圖像進(jìn)行灰度變換，最終得到無邊框、灰度對(duì)比強(qiáng)的車牌圖像，如圖6所示。

圖6 車牌圖像定位圖

2.3 字符分割

車牌字符分割是把車牌定位階段提取的車牌區(qū)域進(jìn)行分割，得到單個(gè)的漢字、字母和數(shù)字等字符。本研究的字符分割階段首先采用ostu法對(duì)車牌區(qū)域的圖像進(jìn)行二值化分割［13］，然后對(duì)分割后的字符進(jìn)行連通域標(biāo)記，本研究采用快速連通域標(biāo)記的方法，標(biāo)記后并對(duì)各個(gè)連通域進(jìn)行后續(xù)的相關(guān)處理，最后提出字符的連通域，這種方法可以有效地克服字符的傾斜問題，并提高了連通域提取的速度，獲得較好的分割字符，具有很好的實(shí)用性和魯棒性，分割后的車牌字符如圖7所示。

圖7 車輛圖像字符分割圖

2.4 特征提取

特征提取是找到某種變換，將N維的模式識(shí)別空間轉(zhuǎn)換到維數(shù)小得多的M維特征空間［14］，并同時(shí)保留模式識(shí)別所需要的大部分關(guān)鍵信息。在系統(tǒng)的特征提取階段，對(duì)車牌上的漢字、數(shù)字和字母做分類處理，利用粗網(wǎng)格、邊框和筆畫密度等方法分別進(jìn)行特征提取。

2.5 基于BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別

BP神經(jīng)網(wǎng)絡(luò)具有非線性映射能力、泛化能力、容錯(cuò)能力等優(yōu)點(diǎn)［15－16］，所以本文選取BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行字符的識(shí)別。

設(shè)計(jì)了4個(gè)單一的分類器，分別是漢字網(wǎng)絡(luò)、字母網(wǎng)絡(luò)、數(shù)字和字母網(wǎng)絡(luò)、數(shù)字網(wǎng)絡(luò)，如圖8所示。

圖8 BP神經(jīng)網(wǎng)絡(luò)的分類器設(shè)計(jì)

在研究中，提供了99個(gè)數(shù)字樣本、339個(gè)字母樣本和20個(gè)漢字樣本供神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，測(cè)試了60組車牌樣本共420個(gè)字符，其中包括60個(gè)漢字、130個(gè)字母、230個(gè)數(shù)字，用MATLAB對(duì)識(shí)別系統(tǒng)進(jìn)行了仿真，圖A和圖B的識(shí)別結(jié)果如圖9所示。

圖9 車輛圖像的車牌字符識(shí)別

3 結(jié)束語

本文對(duì)暗原色去霧的方法進(jìn)行了深入研究，并發(fā)現(xiàn)了其對(duì)車輛信息識(shí)別系統(tǒng)中白色車輛及天空區(qū)域的圖像進(jìn)行去霧的效果不理想，并提出了改進(jìn)的算法，所提出的算法能夠比較精確地獲取明亮物體和白色物體的透射率，經(jīng)過試驗(yàn)表明，改進(jìn)的算法能夠很好地消除霧霾天氣情況對(duì)攝像機(jī)造成的影響，通過去霧處理解決了由于霧霾天氣所致使的車輛信息圖像的對(duì)比度及清晰度降低的問題。將還原后的圖像經(jīng)過車牌定位、字符分割，最后送入設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)。

［1］程愛玲.自然環(huán)境下的車牌識(shí)別關(guān)鍵方法研究［D］.沈陽:東北大學(xué)，2008.

［2］趙曉霞，王汝琳，張莉莉.惡劣天氣下降質(zhì)圖像增強(qiáng)算法研究［J］.微計(jì)算機(jī)信息，2010(8):3－4.

［3］ TAN R T.Visibility in bad weather from a single image［C］//Proc.26th IEEE Conference on Computer Vision and Pattern Recognition.Anchorage.AK，USA:IEEE Press，2008:1956－1963.

［4］ HE Kaiming，SUN Jian，TANG Xiaoou.Single image haze removal using dark channel prior［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Miami，F(xiàn)L，USA:IEEE Press，2009:1956－1963.

［5］嵇曉強(qiáng)，戴明，孫麗娜，等.暗原色先驗(yàn)圖像去霧算法研究［J］.光電子·激光，2011(6):926－930.

［6］芮義斌，李鵬，孫錦濤.一種圖像去薄霧方法［J］.計(jì)算機(jī)應(yīng)用，2006，26(l):154－156.

［7］ CHAVEZ P.An improved dark－object subtraction technique for atmospheric scattering correction ofmultispectral data［J］.Remote Sensing of Environment，1988，24(3):450－479.

［8］郭珈，王孝通，胡程鵬，等.基于鄰域相似性的暗原色先驗(yàn)圖像去霧方法［J］.計(jì)算機(jī)應(yīng)用，2011，31(5):1225－1226.

［9］馮驄，達(dá)飛鵬，陳璋雯.一種改進(jìn)的基于暗原色理論的去霧方法［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2012，42(S1):70－73.

［10］胡欣，張利軍.自適應(yīng)非線性小波在灰度級(jí)圖像去噪中的應(yīng)用［J］.電視技術(shù)，2010，34(9):25－28.

［11］呂金坤，王明泉，蔡文濤.結(jié)合數(shù)學(xué)形態(tài)學(xué)和圖像融合的邊緣檢測(cè)算法［J］.電視技術(shù)，2013，37(3):26－28.

［12］李波，曾致遠(yuǎn)，付祥勝.基于數(shù)學(xué)形態(tài)學(xué)和邊緣特征的車牌定位算法［J］.電視技術(shù)，2005，29(7):94－96.

［13］王冠，敖志剛，劉永躍，等.基于快速連通域標(biāo)記的車牌字符分割［J］.計(jì)算機(jī)與現(xiàn)代化，2007(6):55－57.

［14］譚勇，朱斌.基于改進(jìn)特征提取的BP神經(jīng)網(wǎng)絡(luò)車牌識(shí)別［J］.重慶理工學(xué)院學(xué)報(bào)，2009(6):42－45.

［15］孫夢(mèng).基于神經(jīng)網(wǎng)絡(luò)的車牌牌照識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)［D］.北京:北京工商大學(xué)，2010.

［16］韓力群.人工神經(jīng)網(wǎng)絡(luò)教程［M］.北京:北京郵電大學(xué)出版社，2006:58－75.