圖像復原技術在車牌定位中的應用研究

張奧祥，楊超宇

(安徽理工大學 1.計算機科學與工程學院；2.經濟與管理學院，安徽 淮南 232001)

車牌識別技術已經廣泛應用于多個領域，車牌識別技術的使用對交通管制、車輛管理等方面的效率都有很大的提高，車牌的正確定位是車牌能否最終準確識別的重要基礎和保障，只有車牌區域準確的定位出來才能順利進行車牌識別的后續步驟。在一些特殊的復雜環境下，車牌定位的準確性往往會受到一定的影響，很難直接精準地定位出車牌區域。其中，由于車輛在高速形勢下抓拍的圖像模糊，由于攝像設備時間久導致圖像質量不佳等；都直接影響著車牌的準確定位。論文主要對運動模糊以及噪聲疊加運動模糊情境下的車牌定位進行算法和實驗研究。

1 圖像退化

圖像模糊是圖像退化的一種也是最為常見的一種。模糊圖像的處理過程是現代數字圖像處理過程中的研究重點和難題，沒有任何一種通用的算法可以處理所有情境下的圖像模糊，需要根據不同的情境和狀態建立適合此圖像處理的退化模型，根據實驗的效果選擇合理的算法進行處理圖像。

1.1 圖像退化模型

圖像退化[1]指由設備得到的場景圖像因產生失真等情況未能真實地反映出場景的真實內容，為了能夠很好地恢復失真模糊的圖像，需要根據圖像的失真模糊的根本原因建立相應的退化模型進而選擇合適的復原技術進行處理。常見的圖像退化模型：一種由于非線性變換響應而導致的退化，一種成像模糊造成的退化，一種場景中目標快速運動造成的重疊退化以及隨機噪聲的疊加退化等。

圖像退化的因素實際的圖像中一般為噪聲和模糊，既受噪聲影響又受模糊影像的退化圖像最為常見，對此可以給出一個簡單的通用退化模型[2](如圖1所示)。

圖1 簡單的通用圖像退化模型

模型中的輸入和輸出關系為：

g(x,y)=H[f(x,y)]+n(x,y)

(1.1)

其中，H為模糊系統，n(x,y)為噪聲，f(x,y)為原始圖像，g(x,y)為噪聲和模糊疊加的退化圖像。在n(x,y)為0時，模糊系統H可以有線性、相加性、一致性以及空間不變性4個性質。

1.2 噪聲影響

噪聲[3]是最常見的退化因素之一，由于傳輸介質和記錄設備等的不完善，數字圖像在其傳輸記錄過程中往往會受到多種噪聲的污染。噪聲在圖像上常表現為一引起較強視覺效果的孤立像素點或像素塊。一般，噪聲信號與要研究的對象不相關，它以無用的信息形式出現，擾亂圖像的可觀測信息。圖像常見噪聲基本上有四種，高斯噪聲，泊松噪聲，乘性噪聲以及椒鹽噪聲，其中高斯噪聲和椒鹽噪聲是影響車牌圖像質量的最為常見噪聲。高斯噪聲[4]是指它的概率密度函數服從高斯分布(即正態分布)的一類噪聲。如果一個噪聲，它的幅度分布服從高斯分布，而它的功率譜密度又是均勻分布的，則稱它為高斯白噪聲。高斯白噪聲的二階矩不相關，一階矩為常數，是指先后信號在時間上的相關性。椒鹽噪聲[4]，椒鹽噪聲又稱脈沖噪聲，它隨機改變一些像素值，是由圖像傳感器，傳輸信道，解碼處理等產生的黑白相間的亮暗點噪聲。如圖2所示，通過MATLAB仿真軟件通過調用軟件中的函數庫對圖像進行高斯噪聲和椒鹽噪聲的實驗仿真，其核心代碼為：

i=imread('image'); j1=imnoise(i,'gaussian');j2=imnoise(i,’salt & pepper’)。

a 高斯噪聲

b 椒鹽噪聲

1.3 模糊影響

實際生活應用中造成圖像模糊的原因有很多，一般來說可以大致分為三類：不聚焦造成的光學模糊、設備和物體因相對位移引起的運動模糊、大氣等介質影響產生的介質模糊。模糊所產生的原因是隨時不同的，其本質是相似的，都是由于原始清晰圖像在模糊核函數的作用下引起的圖像質量的降低。運動模糊是由于拍攝設備在采集圖像時與物體之間發生了相對位移導致采集的圖像存在模糊現象。如果設備和物體同時都在運動，這樣會引起圖像全局運動模糊；設備動或物體動，會引起局部運動模糊。高斯模糊是由大氣中的介質引起的，也是圖像模糊中常見的模糊類型。文中主要通過模擬實驗對在車牌定位過程中影響最為常見的運動模糊和高斯模糊進行研究。如圖3所示，分別給出了圖像在運動模糊和高斯模糊[4]下的模糊圖像。

a 運動模糊

b 高斯模糊

2 圖像復原

圖像是人類視覺的基礎，通過圖像信息人們可以去感知自然萬物。隨著圖像的應用廣泛，數字圖像處理技術也是受到了國內外研究者的大力追捧。在研究圖像過程中，對于一些退化的圖像的研究是圖像處理技術發展的絆腳石，研究者們依據退化圖像的特點，研究出針對行的圖像復原技術。圖像復原技術主要是通過對退化圖像進行分析，建立退化模型，然后在頻域和空域處理圖像，消除模糊，提高圖像的質量，使后續實驗順利進行。由于在不同的環境中所帶來的圖像退化的類型是多種，影響圖像退化的因素也比較多，所以目前國內外對退化圖像的處理沒有一種通用的復原技術。

2.1 灰度處理

通過設備所采集的車牌圖像往往為彩色圖像，實際實驗過程中對圖像的處理時，如果處理彩色圖像費時費力，而且彩色圖像中包含的干擾因素和無用信息更多，研究起來有一定的不必要的難度，則在車牌圖像的處理和研究過程中，通過灰度處理可以很大地提高圖像處理的效率?；叶然幚硎潜姸鄨D像處理實驗的第一步，所謂灰度處理就是將彩色圖像通過調用MATLAB中的灰度化函數處理成灰度圖像，如圖4所示，文中使用加權灰度化進行灰度處理。

圖4 灰度圖像

加權灰度：由于人眼對彩色辨識度的不同，所以使用加權灰度法。

g=ωR*R+ωG*G+ωB*B

(2.1)

ωR、ωG、ωB表示紅、綠、藍三個分量的權值。在這紅、綠、藍三種顏色中，人眼對紅色最為敏感，其次是綠色，最后是藍色?？梢员硎緸棣豏>ωG>ωB。

2.2 噪聲處理

噪聲濾除作為是圖像復原中的一個重要部分，需要根據不同的噪聲特點使用不同特性的濾波器。噪聲濾除一般是眾多數字圖像處理實驗的預處理部分，通過最初很好地處理噪聲后，才能順利的進行后續實驗。對于噪聲濾除需要選用濾波器[2]，不同的濾波器對不同類型的噪聲處理結果是不同的，國內外在處理車牌問題中常用的濾波器有：高斯濾波器[5，2]、中值濾波器[5，2]、均值濾波器。濾波目的：(1)消除圖像中混入的噪聲；(2)為圖像識別抽取出圖像特征。濾波要求：(1)不能損壞圖像輪廓及邊緣；(2)圖像視覺效果應當更好。如圖5所示，分別為高斯濾波器、中值濾波器、均值濾波器在高斯和椒鹽噪聲情境下的實驗處理效果。

a均值濾波(高斯噪聲)b均值濾波(椒鹽噪聲)c中值濾波(高斯噪聲)d中值濾波(椒鹽噪聲)e高斯濾波(高斯噪聲)f高斯濾波(椒鹽噪聲)圖5 噪聲處理

在對圖像的噪聲去除效果進行比較時，我們引用了傳統的圖像質量評估標準PSNR，PSNR為實驗處理后的圖像和原圖像的相似度，PSNR的引入更夠通過數據體現各種濾波器的噪聲去除效果。PSNR的計算公式如下：

MES=sin(sum(img1-img2)2)/(h*w)

(2.2)

(2.3)

其中，MES為均方差；h、w分別為圖像的高和寬。

再多次迭代仿真試驗之后，記錄的數據如表1所示，數據說明對比如圖6所示。

表1 PSNR數據

圖6 PSNR數值分布

通過實驗處理后的圖像噪聲去除效果可以得到，中值濾波器對椒鹽噪聲的濾除效果最佳，均值濾波器和中值濾波器對高斯噪聲的濾除效果比較相近，但是對于圖像邊緣細節的保護，中值濾波器的效果更好。通過實驗，在噪聲處理方面，選用中值濾波器實驗處理。

中值濾波對脈沖噪聲有良好的濾除作用，特別是在濾除噪聲的同時，能夠保護信號的邊緣，使之不被模糊，但它會洗去均勻介質區域中的紋理。這些優良特性是線性濾波方法所不具有的。其原理就是把鄰域窗口內的所有像素灰度值從小到大排列后，取其中間值為中心位置(x,y)的新灰度值。如果窗口內像素個數是有偶數個，那么就取兩個中間值的平均值。其數學表達式可表示為“

(2.4)

其中，A表示濾波器選用窗口內各像素點的集合，F(x,y)表示原始圖像在(x,y)處的灰度值，G(x,y)表示經過中值濾波處理后圖像在(x,y)處的灰度值。

2.3 模糊處理

國內外研究者對圖像因運動引起的模糊的圖像復原方面研究很多，根據不同的運動模糊[6]的特點提出了圖像復原的幾種常見的處理算法，分別為通過維納濾波對運動模糊圖像進行復原、通過約束的最小二乘方(正則)濾波對運動圖像進行復原、通過逆濾波對運動圖像進行復原。

2.3.1 維納濾波

維納濾波[7]復原技術是借用維納濾波器對退化圖像進行恢復，其方法為一種統計方法。維納濾波器一種最小均差濾波器。它用的最優準則基于圖像和噪聲各自的相關矩陣，由維納濾波處理的結果在平均意義上為最優。維納濾波的原理公式可由在頻域中，有約束恢復的一般公式推導而來。一般公式如下所示：

Fe(u,v)=Hw(u,v)G(u,v)

(2.5)

其中，Sf(u,v)和Sn(u,v)分別為原始圖像和噪聲的相關矩陣元素的傅里葉變換。

對于公式(2.5)有以下三種情況：

(1)當s=1，Hw(u,v)就是標準的維納濾波器。

(2)若s為變量，稱之為參數維納濾波器。

(3)當沒有噪聲，Sn(u,v)=0此時維納濾波退化為理想逆濾波器。

在實際的實驗計算時，當Sf(u,v)和Sn(u,v)未知時，s[Sn(u,v)/Sf(u,v)]一般用常數K進行預先設定。維納濾波對圖像的復原是建立在圖像在隨機噪聲污染的情況下的，維納濾波在圖像復原中的應用最終以數學思想轉化為方程求解問題，實際應用中依據復原的效果，尋找圖像模糊復原的K值。

2.3.2 逆濾波

逆濾波[1]是一種簡單的、直接的無約束圖像恢復方法。直接逆濾波去模糊是最簡單的去模處理方法，在不考慮噪聲的情況下，逆濾波去模的效果非常好。如果把H(u,v)看作一個濾波函數，則它與F(u,v)的乘積是退化圖像g(x,y)的傅里葉變換。用H(u,v)去除G(u,v)就是一個逆濾波過程。

不考慮噪聲的情況下，可以得到一個對原始圖像的傅里葉變換的估計：

(2.6)

將式(2.4)的結果進行逆變換就得到了恢復后的圖像：

(2.7)

實際中，噪聲往往是不可避免的，考慮在噪聲后的逆濾波形式為：

(2.8)

其中，N(u,v)為隨機噪聲函數。

如圖6所示，通過借助MATLAB實驗仿真軟件的使用，分別對圖像進行運動模糊(LEN=30，THETA=5)、噪聲(零均值，方差為8的高斯噪聲)加運動模糊通過維納濾波、最小二乘濾波以及逆濾波進行圖像處理，得到如圖7所示的結果。

a維納濾波處理b逆濾波處理c最小二乘濾波圖7 運動模糊處理

在對運動模糊圖像的恢復效果進行比較時，同樣引用PSNR對復原效果進行比較，通過把圖6中a、b、c三幅圖像與圖4進行對比，在通過MATLAB仿真軟件進行編碼依據公式(2.2)和(2.3)計算。數據記錄于表2，數據對比說明如圖8所示。

表2 PSNR數據

圖8 PSNR數值分布

通過實驗結果，客觀的數據對比結合主觀的視覺評價因素可以看出不同算法的圖像復原效果，可見維納濾波在圖像受噪聲影響對運動模糊的恢復效果比逆濾波和最小二乘濾波的恢復效果更好，而且這個差距會隨噪聲的加強越明顯。

2.3.3 改進復原

圖9 改進后復原圖像

通過對圖7改進后的復原算法處理的圖像的的計算結果為25.5709dB，然后與圖6中原始維納濾波對噪聲和運動模糊疊加的復原結果對比可以看出，圖7的復原圖像相比較于圖6，圖像更亮，灰度效果與原始圖像更為相近；同時也可以看出因為改進后算法是通過信噪比找尋最佳的K值，圖像中對噪聲的抑制和處理相較于圖6更好。

3 車牌定位

通過此前對車輛圖像的去噪、去模等預處理[8]操作，為能夠準確地定位出車牌區域奠定了堅實的基礎，通過一系列實例實驗的效果對比，選用中值濾波器進行平滑處理的去噪聲操作、選用維納濾波對運動模糊或噪聲和運動模糊疊加的圖像進行恢復，預處理操作后牌定位算法的選擇也是能否準確定位出車牌的關鍵因素。目前車牌定位的方法很多，最常見的定位技術主要有基于邊緣檢測的方法、基于彩色分割的方法、基于數學形態學的車牌定位等，文中通過大量實驗結合我國藍色車牌的特點總結出一種基于邊緣檢測以及色彩輔助的車牌定位算法。

3.1 定位預處理過程

文中提出的車牌定位算法，在圖像復原之前，由于采集的圖像運動模糊失真，導致沒有明顯的車牌區域如圖3a所示，車牌區域因運動導致在不同角度的拉伸，車牌區域的邊緣特征丟失，使得后續車牌的精確定位幾乎是不可能的。論文提出一種基于邊緣檢測以及色彩輔助的車牌定位算法，是通過邊緣算子對圖像進行處理，利用車牌的邊緣特征，檢測出具有邊緣特征的相關位置，然后通過HSV根據車牌顏色的特點對定位區域進行二次篩選，運動模糊后的圖像的車牌區域的邊緣信息幾乎全部丟失，這對后續的車牌的精確定位是一個大的障礙。然而如圖4，可以看到在進行圖像復原后的圖像中，車牌區域的邊緣特征相較于圖3a更加明顯，改進后的復原算法處理后的圖像的PSNR值相對較高，與原始圖像的相似度更高，復原效果更好；而且在復原后，圖像幾乎不失真，色素點接近零擴散，灰度保持較好。運動模糊情境下的車牌定位預處理的大致流程如圖10所示。

圖10 定位預處理流程圖

我們已經對幾種常用的車牌定位方法做了簡單的實驗研究，定位結果來看，各有優缺點，但是在獨立定位車牌的情況下，準確率、效率不是特別明顯。根據已有的算法的歸納總結以及實驗的探究，文中提出一種基于邊緣檢測以及色彩輔助的車牌定位算法，算法的基本流程如圖11所示。

圖11 車牌精確定位流程圖

基于彩色分割的車牌定位算法在車牌邊緣有相近顏色或者車身顏色大體與車牌底色相近的情況下，基于彩色分割的車牌定位算法受到一定的周圍因素的干擾，對于車牌的精確定位不能很好的確定?；谶吘墮z測的車牌定位算法在車牌定地時，可能受到其它位置面積與車牌區域大小差不多的長方形區域，定位時干擾嚴重，不能準確定位。文中提出的一種基于彩色分割與邊緣檢測相結合的算法，可以抑制其它邊緣，使車牌區域突出，獲取感興趣的信息，減少干擾，從而提高車牌定位的準確性。

文中所提出的算法，把彩色分割算法和邊緣檢測算法的有點相結合，通過二次定位提高車牌定位的精確性。邊緣檢測過程中使用Canny算子[12]檢測邊緣信息，進而進行定位分割。Canny算子主要就是依據車牌的邊緣信息特征進行檢測定位，而運動模糊的圖像中的車牌邊緣信息幾乎丟失，這樣通過Canny算子檢測車牌邊緣是不可能的。圖像復原的處理后使得原本模糊的圖像接近于原圖像，車牌邊緣特征明顯地凸顯出來，提高Canny算子邊緣檢測的準確度進而提高車牌定位的精確性。Canny算子是一個具有濾波，增強，檢測的多階段的優化算子，在進行處理前，Canny算子先利用高斯平滑濾波器來平滑圖像以除去噪聲，Canny分割算法采用一階偏導的有限差分來計算梯度幅值和方向，在處理過程中，Canny算子還將經過一個非極大值抑制的過程，最后Canny算子還采用兩個閾值來連接邊緣。在進行車牌定位實驗中，常用的顏色空間有：RGB、YUV以及HSV色彩空間。其中，HSV相比其它兩種色彩空間，對光更敏感，更符合、貼近人眼的視覺感知，人們能夠更好地最初辨別。在真正試驗過程中，我們需要通過公式對rgb和hsv進行轉換，方便實驗的進行。車牌定位結果如圖12所示。

a 復原前定位

b 復原后定位圖12 定位結果

對原始圖像分別進行不同程度的運動模糊的實驗，默認都存在噪聲，然后對模糊圖像預處理，對預處理后的圖像進行不同的恢復以及定位。本次實驗次數為100，車牌定位的合格率數據記錄于表3，數據對比如圖13所示。

表3 數據記錄

圖13 定位成功率

實驗結果顯示，在圖像運動模糊和噪聲疊加后，由于圖像的退化狀態，圖像中車牌等地方的邊緣信息模糊，車牌區域由于運動模糊產生區域擴散等情況，模糊后的圖像可以看到藍色的車牌被拉伸，彩色分割也不能根據預設的hsv的各個通道的系數準確地定位出車牌的區域。在未進行圖像復原處理工作前，想要通過邊緣檢測和色彩輔助準確定位出車牌的區域幾乎是不可能的。通過數據可以清晰地看到圖像復原后，車牌定位的成功率有明顯的提高，改進后的復原算法的復原效果最佳，通過文中提出的一種基于彩色分割和邊緣檢測的車牌定位算法借助MATLAB，可以幾乎準確地定位出車牌的區域，效果上佳。

4 總結與展望

文中主要對車牌圖像在高斯噪聲、椒鹽噪聲、運動模糊等圖像退化狀態進行了實驗研究和實驗結果的對比。噪聲濾除過程中，可以看到中值濾波對高斯噪聲和椒鹽噪聲的去除效果最佳；運動模糊和噪聲疊加狀態下，維納濾波對退化圖像的復原效果最好。接著通過對比車輛圖像在復原前和復原后的車牌定位的實驗結果，可以了解到，如果圖像出現退化狀態不能準確定位出車牌區域，需要對圖像進行復原處理，由此可見圖像的預處理在車牌定位中起到了關鍵作用。MATLAB仿真軟件的使用促進了實驗研究的順利進行。

文中僅對有約束條件下的運動模糊圖像進行了實驗仿真研究，未來還需要對隨機狀態下的運動模糊進行實驗，改進維納濾波，尋找出一種自適應圖像退化參數的復原算法。噪聲去除實驗，文中所采用的是白天采集的圖像，還需加增夜間等復雜環境下的噪聲濾除實驗，比較實驗結果。實驗數據有限實驗結果具有一定的局限性，仍需不斷改進。