一種霧霾天氣下的端到端車牌檢測與識別系統

田智源，李志偉，王修文，孟 珊

（上海工程技術大學 電子電子工程學院，上海 201600）

0 引言

智能交通廣泛的應用在交通管理系統中[1]，其中起著關鍵作用的是車牌檢測與識別技術，這為違章檢測，車輛追蹤和停車管理提供了便捷，但由于霧霾天氣的增加，會影響計算機視覺對圖像的檢測和識別能力，所以有必要對圖像進行圖像去霧的預處理。

傳統的圖像去霧算法，如暗通道先驗[2]，顏色衰減先驗[3]等，能實現圖像去霧，展現圖像的細節信息，但這類去霧算法普遍會導致圖像對比度會衰減。針對此問題，本文提出一個自適應的對比度調節去霧模型，對霧霾天氣下的車牌圖像進行預處理。

近年來，隨著深度學習的高速發展，卷積神經網絡被有效地運用到車牌識別系統中。相比傳統的方法，基于深度學習的神經網絡算法提高了車牌檢測和識別系統的魯棒性，能在晴朗的天氣環境下高效運行。先前的方法將所有車牌統一處理，而不同尺度和類型的車牌擁有不同的特征，級聯神經網絡[4]能對不同的車牌所需特征進行融合，相互補充，減少非必要的特征，有效的提升學習速度。文獻[5]提出的殘差網絡，有效地解決了深層網絡退化問題，同等層數的前提下，收斂速度更快，同時還能防止過擬合。在目標檢測，一階全卷積網絡[6](FCOS)能對目標輪廓進行分類和回歸，該網絡在分類中提出中心度量（centerness），有效地降低遠離對象中心的邊界框的權重，能提高檢測準確率。基于上述的研究，本文提出一種霧霾天氣的車牌檢測與識別模型，驗證了該模型在不同程度的霧霾天氣下的可行性和準確性。

1 圖像自適應去霧算法

1.1 大氣散射模型

基于大氣散射模型下的去霧算法是目前傳統去霧算法的主流，該模型由McCartney提出，廣泛應用于模糊圖像的建模，如式(1)、式(2)所示：

其中，x是圖像像素點的位置；I輸入模糊圖像；J為去模糊后的圖像；A為全局大氣光照強度；t是透射圖，表示未被散射和吸收掉的大氣光照強度值與相機獲得到的場景光照強度的比值；β稱為衰減系數；d(x)為深度圖，與霧霾的濃度密切相關。其中影響圖像對比度的主要參數為A和β的值。

1.2 深度圖的估算

為了恢復出無霧的輸出圖像，由(1)可知，需要計算出A和t的值。首先，在計算透射圖t，由顏色衰減先驗知識(CAP)可知，在HSV色彩空間中，圖像中霧霾的濃度與輸入圖像的v和s之差近似呈現線性關系，進而能動態的計算出圖像的深度圖d(x)：

其中，v(x)圖像的亮度值；s(x)是圖像的飽和度；ε(x)是隨機誤差補償項，且ε(x)～N(0,σ2)，σ=0.041337。

1.3 自適應參數

假設空氣介質是相同且均勻的，此時取初始值衰減系數β=1，在[0,2]之間變化時，會影響圖像的對比度，且存在一個最佳值。由于霧霾天氣下拍攝時，采集到圖像可能會產生色彩偏差，導致對比度降低，根據是否產生色偏特性，提出一個自適應參數ρc來修正β值：

1.4 雙層引導濾波

若根據式(3)、式(6)，直接計算出的透射圖，則會有邊緣信息的缺失和模糊現象，因此還需要平滑處理。本文在引導濾波[8]的基礎上，提出雙層引導濾波。

經過單次的濾波，輸出圖像還是會殘留不同頻段的噪聲。如圖1，雙層引導濾波采用兩次引導濾波，第一次濾波將引導圖像I和輸入圖像p作為輸入，第二次濾波將第一次濾波的輸出圖像q和輸入圖像p作為輸入。不同的是，第一次的引導濾波內核半徑大，在消除高頻噪聲的基礎上，初步保留圖像的基本輪廓信息，第二次的引導濾波內核半徑小，能進一步消除低頻噪聲，使圖像更加平滑，清晰。

圖1 雙層引導濾波

圖2(a)表示原始理論估算圖，圖2(b)表示經過二次引導濾波后的深度圖，圖中的噪聲基本被平滑去掉了，得到具有清晰輪廓和細節的透射圖，圖2(c)表示最終恢復出的透射圖。

圖2 深度圖的平滑處理和恢復

1.5 大氣光照值的估算

為了進一步提升圖像的對比度，本文還修正了大氣光照值。根據圖像的亮度直方圖，提取圖像中亮度最高的2%的像素點：

其中idx(·)是提取出的像素點；N表示圖像像素點的總數；r表示挑選出來的像素點經過正則化后的比例，值域是[0,1]。經過上述的處理，最終的大氣光照強度的計算公式：

1.6 去霧圖像恢復模型

綜合以上的分析計算，結合式(1)，得到最終的去霧圖像：

為了避免透射系數可能趨于0，導致去霧圖像容易產生噪聲信號，本文對t設置一個下限值，一般取0.1，在能保留模糊圖像里少量的噪聲信號的同時，使圖像顯得更加自然，所以最終的去霧數學模型為：

2 車牌檢測和識別系統設計

2.1 模型設計

端到端的車牌檢測和識別模型設計如圖3所示。

圖3 車牌檢測和識別模型

輸入圖像首先需要進行圖像預處理，該過程包含霧霾天氣下圖像去霧，Harris角點檢測。圖像去霧為了獲取清晰無霧圖像，展現車牌細節信息，再進行角點檢測，獲取到車牌的輪廓粗坐標，然后經過檢測網絡后，最終輸入到車牌識別網絡，整個網絡訓練完成后，將原始圖像輸入后，能直接輸出車牌識別后的結果圖，實現了端到端的霧霾天氣下的車牌檢測和識別。

2.2 車牌檢測網絡

車牌檢測網絡如圖4所示。在該網絡中，主要包含主干卷積網路，每個小塊是殘差網絡（ResNet），上下分支由級聯神經網絡（CBNet）相連，最后分類和回歸是一階全卷積網絡（FCOS）。

圖4 車牌檢測網絡

車牌檢測過程中，主要通過卷積網絡進行特征提取操作。但對于不同的尺度的車牌，如果使用同一網絡，顯然會加重訓練成本，為此，在原有卷積網絡的基礎上，加入了級聯神經網絡，將不同尺度的車牌進行特征融合，以降低訓練成本。同時，在特征提取的五個卷積層中，每個塊都是殘差網絡塊，該結構的目的是在提升訓練速度的同時，能有效的防止過擬合和梯度爆炸問題。結構如圖5所示。

圖5 殘差網絡塊

為了得到最終準確的車牌輪廓信息，在Head塊中，采用全卷積層，對學習到的車牌輪廓信息進行分類和回歸。分類分支中，在中心度的限制下，降低遠離對象中心的邊界框的權重，提高檢測性能。回歸分支中，預測出原始輸入的車牌輪廓信息。其網絡結構如圖6所示。

圖6 分類、回歸網絡

車牌檢測網絡的分類采用焦點損失（focal loss），回歸分支采用交并比損失（IOU loss)，該檢測網絡總的損失函數為：

2.3 車牌識別網絡

傳統的OCR文字識別采用卷積神經網絡提取特征能力較弱，部分網絡采用多個全連接層（Fully Connected layer）會導致參數的聚集，加重了訓練成本。因此，本文采用更易訓練的GRU（Gate Recurrent Unit）循環神經網絡，提出一個新的車牌識別模型，對車牌進行特征提取，完成識別過程。

中國的車牌是由7個字符組成，第一個字符是31個省份的簡稱之一（不包括港澳臺），緊接著的是一個英文字母字符，最后的五位由26個英文字母和0到9的數字組成。車牌識別模型如圖7。將前面檢測網絡輸出的車牌輪廓框以及內部信息作為輸入，通過多次卷積、池化操作后，輸入到全連接層，再傳遞到GRU塊中，經過cancat融合特性，經過再一次的全連接層后，通過softMax層，就能輸出識別的車牌號，完成車牌識別操作。

圖7 車牌識別網絡

3 實現

3.1 數據準備

本文采用的數據集是通過張清晰的包含車牌的原圖，經過數據增強，主要包含隨機剪裁、翻轉、添加噪聲操作后，得到張無重復、不同角度、不同背景、不同環境的真實含車牌圖像，其中也包含復雜環境下的圖像，如霧霾、下雨、下雪的車牌圖像。每張圖像是RGB三通道的，分辨率為300(寬)×300(高)。本次實驗將數據集按8:2比例分為訓練集和測試集。

3.2 網絡訓練

本次實驗環境為Ubuntu16.04操作系統，python3.6編程語言，Tensor-flow1.13框架，顯卡型號Nvidia GTX 2080Ti。Batch_size設置為16，前90個epoch的學習率為，衰減率為10，一共迭代300個epochs。訓練完成后，保存每個網絡參數。

3.3 實驗結果

圖8中，輸入的是清晰的包含車牌圖像，輸出結果包含車牌文字和識別精度。實驗結果顯示，該端到端的車牌檢測最高精度能達99.2%左右，平均識別速率為68fps。

圖8 車牌檢測與識別結果

圖9表示能見度大概為4m左右霧霾天氣的實驗結果，輸入是含有霧的車牌圖像，輸出結果證明該模型在霧天的有效性。

圖9 霧霾天氣下的實驗結果

相比目前主流的目標識別方法，在本文的數據集下，將各方法的網路參數調至最優。表1顯示，本文模型的準確率和識別率具有一定的優勢。

表1 實驗結果對比

4 結語

本文提出了的一種新型的霧霾天氣下端到端的車牌檢測與識別模型，該模型將級聯神經網絡、殘差網絡、GRU循環神經網絡有效的結合起來，充分的應用每個網絡的優點，并結合去霧算法對含霧霾的車牌圖像進行去霧處理。實驗結果顯示，本文模型能有效的提高車牌檢測與識別系統的魯棒性，適用于能見度較低的應用場景。未來有望改進圖像預處理過程，使車牌識別系統適用于更多復雜的環境中。