基于圖像分解和多重校正融合的車牌圖像去霧算法

王巧月 陳樹越 趙 雙

(常州大學(xué)信息科學(xué)與工程學(xué)院 江蘇 常州 213164)

0 引 言

懸浮在大氣中的小顆粒造成光的散射，使獲得的圖像或視頻的對(duì)比度和顏色質(zhì)量下降[1]，限制場(chǎng)景中遠(yuǎn)區(qū)域的可見性，降低了計(jì)算機(jī)視覺系統(tǒng)的性能。大霧天氣下交通監(jiān)控獲取的模糊圖像無法獲取有用的車牌信息，導(dǎo)致智能交通系統(tǒng)中的車牌識(shí)別環(huán)節(jié)效率大大降低，甚至無法正常工作。

霧隨著成像場(chǎng)景深度的增加而增加，由于二維圖像中缺乏深度信息，所以早期的去霧方法依賴于外部信息[2]，但是通常情況下外部信息不可用，降低了方法的實(shí)用性。單圖像去霧方法應(yīng)運(yùn)而生，其一般不需要依賴外部信息。根據(jù)圖像霧度與深度有關(guān)，可知霧圖的清晰度是空間變化的[3]，因此可得出霧圖形成的物理模型，但大多數(shù)現(xiàn)有的單圖像去霧方法還需要施加額外的先驗(yàn)信息，如He等[4]提出的暗通道先驗(yàn)(DCP)，Tan[5]提出的對(duì)比度先驗(yàn)以及Zhu等[6]提出的顏色衰減先驗(yàn)[6]。利用圖像增強(qiáng)技術(shù)的圖像去霧方法不依賴于物理模型。比較常用的圖像增強(qiáng)去霧方法包括直方圖均衡化法、同態(tài)濾波法、小波變換法、曲波變換法和Retinex算法[7]。為解決大霧天氣下車牌識(shí)別困難的問題，很多研究將圖像去霧算法加入車牌識(shí)別中，但其中多數(shù)為單純改進(jìn)去霧算法或者改進(jìn)車牌識(shí)別算法。如將改進(jìn)的Retinex算法應(yīng)用于車牌識(shí)別中[8]，或者應(yīng)用于車牌檢測(cè)的改進(jìn)暗通道去霧方法[9]，但目前并沒有針對(duì)霧天車牌特點(diǎn)的特定去霧算法。

根據(jù)霧天車牌圖像特征，本文提出了一種基于圖像分解和多重校正融合的車牌圖像去霧算法，更好地恢復(fù)車牌圖像清晰度及增強(qiáng)紋理信息，有效提高車牌定位的準(zhǔn)確率和識(shí)別率，解決霧天車牌識(shí)別困難的問題，恢復(fù)智能交通系統(tǒng)正常高效工作。

1 算法設(shè)計(jì)

本文算法將霧圖分解為紋理層和結(jié)構(gòu)層單獨(dú)處理；優(yōu)化紋理層，強(qiáng)化圖像輪廓及車牌邊緣紋理信息；結(jié)構(gòu)層采用多重校正融合的方法實(shí)現(xiàn)去霧，恢復(fù)車牌顏色和清晰度；融合處理后的紋理層和結(jié)構(gòu)層，得到擁有良好紋理信息和清晰度的無霧車牌圖像。算法示意圖如圖1所示。

圖1 車牌圖像去霧示意圖

1.1 圖像分解

圖像可以理解為由包含大部分信息的結(jié)構(gòu)層和包含細(xì)節(jié)信息的紋理層組成[10]，所以將輸入圖像I(x)分解為結(jié)構(gòu)層S(x)和紋理層T(x)：

I(x)=S(x)+T(x)

(1)

利用全變差圖像重建模型[11]，構(gòu)建目標(biāo)函數(shù)，計(jì)算出結(jié)構(gòu)層S(x)：

(2)

式中：x表示像素點(diǎn)；I(x)是輸入圖像；▽S(x)是梯度算子；λ是控制結(jié)構(gòu)層細(xì)節(jié)信息的重要調(diào)節(jié)參數(shù)。獲得結(jié)構(gòu)層之后利用式(1)便可計(jì)算出紋理層T(x)。

從圖1中霧天車牌圖像及其對(duì)應(yīng)分解后的紋理層和結(jié)構(gòu)層可以發(fā)現(xiàn)：霧天圖像的結(jié)構(gòu)層包含大部分圖像信息，包括輸入圖像的霧、亮度等信息，所以后期只需對(duì)結(jié)構(gòu)層進(jìn)行去霧處理；紋理層包含輸入圖像的紋理、細(xì)節(jié)和噪聲，后期需對(duì)紋理層進(jìn)行細(xì)節(jié)增強(qiáng)和去噪來優(yōu)化紋理。

1.2 圖像多重校正及融合去霧

根據(jù)霧圖空間變換的特征，利用空間變換的圖像增強(qiáng)技術(shù)實(shí)現(xiàn)結(jié)構(gòu)層的去霧，無須依賴霧圖退化公式和場(chǎng)景深度信息，只需進(jìn)行圖像多重校正和融合。通過圖像校正實(shí)現(xiàn)圖像空間化的增強(qiáng)，選取最優(yōu)增強(qiáng)效果進(jìn)行圖像融合恢復(fù)圖像清晰度。本文根據(jù)實(shí)際情況利用最優(yōu)融合來代替單一的公式推導(dǎo)，適應(yīng)性強(qiáng)，能夠避免圖像失真。

1.2.1 圖像多重校正

霧使得拍攝的圖像偏白、整體亮度較高，類似圖像過度曝光的效果，故本文利用相機(jī)曝光原理，調(diào)整曝光恢復(fù)亮區(qū)圖像細(xì)節(jié)。拍攝同一車牌圖像時(shí)無法控制場(chǎng)景的照明，也無法同時(shí)改變相機(jī)曝光程度，為了實(shí)現(xiàn)一幅圖的不同曝光，采用Gamma校正變換實(shí)現(xiàn)對(duì)霧圖不同程度的曝光，其公式為：

f(I)=Iγ

(3)

霧會(huì)使得拍攝的圖像整體變亮，導(dǎo)致亮部區(qū)域細(xì)節(jié)丟失，需要提升高灰度值區(qū)域的對(duì)比度，便于觀察細(xì)節(jié)，所以僅對(duì)圖像進(jìn)行γ>1的變換處理。

隨著γ值增加，圖像高灰度值區(qū)域?qū)Ρ榷鹊玫教嵘?，但整體圖像亮度降低，造成所關(guān)注的車牌區(qū)域變暗。采用同態(tài)濾波既能增強(qiáng)暗區(qū)的細(xì)節(jié)，又不損失亮區(qū)的圖像細(xì)節(jié)。對(duì)有霧的圖像結(jié)構(gòu)層S(x)進(jìn)行Gamma多重校正變換，得到多個(gè)不同程度曝光圖像S(x)1，S(x)2，…，S(x)n，再進(jìn)行濾波得到車輛細(xì)節(jié)增強(qiáng)的圖像S(x)1′，S(x)2′，…，S(x)n′。濾波后的圖像細(xì)節(jié)更加豐富，為后期融合提供了更好的圖像信息。

1.2.2 圖像融合

(1) 融合方法。多圖像融合過程可以表示為：

(4)

式中：E={S(x)1′，S(x)2′，…，S(x)n′}為不同程度校正濾波后的圖像序列；Wk為融合權(quán)重；K為可用圖像序列E(x)的圖像數(shù)量；S(x)′為E中圖像組合產(chǎn)生的清晰圖像。遵循拉普拉斯金字塔圖像融合方法進(jìn)行圖像融合[12]，計(jì)算過程如下：

③ 將K個(gè)金字塔中的每個(gè)圖像組合在一起并將上采樣結(jié)果匯總在一起來實(shí)現(xiàn)所有Ek(x)的多尺度融合。如果源圖像Ek(x)的維數(shù)為m×n，則融合計(jì)算如下，其中us[·]表示上采樣。

(5)

(6)

(7)

設(shè)置權(quán)重圖Wk(x)為對(duì)比度與飽和度的乘積，將該權(quán)重代入式(4)進(jìn)行融合，將每個(gè)參與融合的圖像中高飽和度、高對(duì)比度的區(qū)域進(jìn)行整合得到最終無霧的車牌圖像。

Wk(x)=Ck(x)Sk(x)

(8)

根據(jù)公式歸納整體融合示意圖如圖2所示。

圖2 多重校正圖像融合示意圖

1.2.3 紋理去噪增強(qiáng)

(9)

式中：k表示平滑系數(shù)。

紋理層中包含了大量的紋理細(xì)節(jié)信息，表征了圖像的高頻部分，所以設(shè)計(jì)高頻增強(qiáng)濾波器來增強(qiáng)紋理層中重要的高頻細(xì)節(jié)信息。高頻增強(qiáng)濾波器的傳遞函數(shù)為：

Hhfe(u,v)=a+bHhp(u,v)

(10)

(11)

將處理后的紋理層和結(jié)構(gòu)層融合得到最后的去霧車牌圖像C(x)，其中ω是用于控制紋理級(jí)別的增強(qiáng)參數(shù)。

C(x)=S′(x)+ωT′(x)

(12)

2 實(shí)驗(yàn)和結(jié)果分析

為了驗(yàn)證本文算法的有效性，從主觀和客觀兩個(gè)方面進(jìn)行分析評(píng)價(jià)，并與多種主流去霧算法的處理結(jié)果進(jìn)行比較。由于實(shí)驗(yàn)圖像要求特殊，需要霧天的車牌圖像，本文通過自主拍攝的車牌圖像進(jìn)行一定的大小轉(zhuǎn)換來模擬交通監(jiān)控拍攝的圖像進(jìn)行處理。圖像共450幅，被分成3組：第一組圖像霧度較輕，霧濃度為10%～40%，共50幅；第二組圖像霧度中等為40%～70%，共150幅；第三組圖像霧度較大，霧濃度大于70%，共250幅。

2.1 主觀分析評(píng)價(jià)

為了恢復(fù)車牌區(qū)域清晰度，本文重點(diǎn)觀察車牌區(qū)域恢復(fù)效果。利用幾種主流的圖像去霧算法，對(duì)同樣的霧天車輛圖像進(jìn)行去霧處理，比較其車牌區(qū)域的去霧效果。對(duì)比算法包括流行的暗通道先驗(yàn)(Dark Channel Prior，DCP)算法[4]、顏色衰減先驗(yàn)(Color Attenuation Prior，CAP)算法[6]、基于多尺度Retinex(MSR)的圖像去霧方法[8]、基于邊界約束和上下文正則化去霧(Boundary Constraint and Contextual Regularization，BCCR)算法[14]和一種基于深度學(xué)習(xí)的端到端去霧(DehazeNet，DNet)算法[15]。針對(duì)薄霧、中等霧、濃霧三組不同霧度的車牌圖像，各方法去霧結(jié)果如圖3所示。

圖3 車牌處理結(jié)果圖

可以看出：對(duì)于第一組霧密度較小的霧圖，CAP算法處理后的車牌圖像變模糊，MSR算法及DNet算法處理后的車牌圖像泛白，反而有霧化的視覺效果；對(duì)于霧密度中等的霧圖和濃霧圖像，其他算法去霧效果不佳，且部分算法處理后對(duì)比度及清晰度反而下降；本文算法對(duì)于不同霧度的車牌圖像去霧效果顯著，車牌字跡清晰，背景恢復(fù)較好。實(shí)驗(yàn)結(jié)果表明：本文算法主觀上有較好的處理效果，處理后的圖像有更好清晰度，圖像紋理信息更全，視覺效果良好。

2.2 客觀分析評(píng)價(jià)

為了檢測(cè)算法的有效性，將本文算法去霧后的車輛圖像進(jìn)行車牌的定位和識(shí)別，觀察其對(duì)定位效果和識(shí)別率的影響。采用較為常用的車牌識(shí)別系統(tǒng)EasyPR進(jìn)行車牌的定位與識(shí)別，比較本文算法與其他去霧算法處理后圖像的定位識(shí)別效率。

2.2.1 定位效果分析

將車牌檢出率，相同模型下車牌定位準(zhǔn)確率(Precision)、召回率(Recall)、F值(F-Measure)作為車牌定位評(píng)價(jià)指標(biāo)，對(duì)三組霧圖及其去霧后圖像進(jìn)行車牌定位檢測(cè)，第三組濃霧車牌圖像定位結(jié)果如表1所示。

表1 濃霧車牌定位結(jié)果 %

可以看出,原圖的定位效果較差，各算法處理后的車牌定位效果也有所提升，BCCR和DCP算法提升效果較好，本文算法提升效果最明顯，且整體效果較好。為了更加清晰地觀察各算法對(duì)定位結(jié)果的影響，繪制對(duì)于不同霧度圖像各算法處理后的定位結(jié)果圖，選取車牌檢出率作為定位的評(píng)價(jià)標(biāo)準(zhǔn)，各算法處理后的車牌檢出率曲線圖如圖4所示。

圖4 車牌檢出率曲線圖

可以看出，本文算法對(duì)于不同霧度圖像都有較高的檢出率，且對(duì)于霧度較大的圖像提升幅度最大，提高效果最好。

2.2.2 識(shí)別效果分析

對(duì)于車牌識(shí)別效果的評(píng)價(jià)，將0字符錯(cuò)誤率(0-error)，1字符錯(cuò)誤率(1-error)和中文字符準(zhǔn)確率(chinese-precision)作為評(píng)價(jià)指標(biāo)，指標(biāo)值越大表明識(shí)別效果越好。對(duì)不同算法處理后的各組圖像進(jìn)行車牌識(shí)別實(shí)驗(yàn)，第三組濃霧車牌圖像處理后的識(shí)別結(jié)果如表2所示。

表2 濃霧車牌識(shí)別結(jié)果 %

可以看出，對(duì)于濃霧圖像，其他算法對(duì)其識(shí)別結(jié)果影響較小且有的算法處理后的識(shí)別率反而降低，本文算法提升效果較為明顯。以0字符錯(cuò)誤率作為主要評(píng)價(jià)標(biāo)準(zhǔn)計(jì)算三組實(shí)驗(yàn)中各算法提升效果，0字符錯(cuò)誤率提升結(jié)果如表3所示。

表3 各算法對(duì)0字符錯(cuò)誤率提升結(jié)果 %

可以看出，本文算法對(duì)不同霧度車牌圖像的車牌識(shí)別效果都有明顯的提升且穩(wěn)定。結(jié)合圖4，能充分表明本文算法無論在車牌定位還是車牌識(shí)別方面都有良好的提升結(jié)果。

3 結(jié) 語

本文提出了一種基于圖像分解和多重校正融合的車牌圖像去霧算法。為了在去霧的同時(shí)不影響有用的車輛邊緣等紋理信息，將霧圖分解為紋理層和結(jié)構(gòu)層，對(duì)兩層分開單獨(dú)處理：對(duì)于紋理層，去除噪聲，增強(qiáng)有用的紋理信息，優(yōu)化紋理層；對(duì)于結(jié)構(gòu)層，采用多重伽馬校正，并選取最優(yōu)對(duì)比度和飽和度進(jìn)行多重校正圖像融合，實(shí)現(xiàn)去霧，恢復(fù)車牌顏色和清晰度。最后融合處理后的紋理層和結(jié)構(gòu)層，得到擁有良好紋理信息和清晰度的無霧車牌圖像。主客觀比較分析表明，本文算法去霧效果明顯且自然，較其他算法可以更加有效地提高車牌定位和識(shí)別效果。