零散點停車位智能管理系統中的車牌圖像超分辨率重建技術研究

孫文

（安徽理工大學電氣與信息工程學院，淮南 232001）

0 引言

零散點停車位智能管理系統中車牌識別是一個關鍵的技術，而在管理系統視頻監控下，由于成像設備性能的限制，加上環境惡劣、光線條件，和車輛和監控設備距離等諸多因素的影響，獲取的車牌圖像通常顯示較低的分辨率，低分辨的車牌圖像不利于準確地獲取車牌信息。解決低分辨圖像問題，從技術上分類，一種是從硬件上改變，但是硬件上改進成本太高，對于監控系統海量的攝像頭來說，這是一個巨大的成本，所以在車牌識別領域不現實；一種是從軟件來將LR圖像重建為HR圖像，這種技術也稱作SR（超分辨率圖像重建）。SR是利用單張或者多張低分辨率圖像的先驗信息或者圖像序列的關聯性重建為HR圖像的一種技術。這種技術可以很好地將低像素車牌圖像重建為高分辨率圖像，提高識別的準確率。

超分辨率重建方法有很多種，從研究方法上基本分為三種：①基于插值法，主要是利用單幀的原有像素點，進過數值計算來擴充像素點，這樣不能夠引入除了原有圖像的信息外的先驗信息。重建出來的圖像有一定的邊緣效應和振鈴效應。②基于重建法，重建法主要分為頻域和空域兩個角度。頻域方面由于在復雜環境適應性太低，所以現在很少就使用該方法。空域方面有非均勻插值[9]，迭代反投影（IBP）[10]，投影到凸集（POCS）[11],還有基于后驗概率的MAP法等一些混合方法。③基于學習法，基于學習法在圖像重建過程中引入了從學習模型獲得的先驗信息。典型的算法有基于實例的方法、鄰域嵌入法[12]（線性嵌入基于學習的超分辨率重建）、基于稀疏編碼SR方法。

1 重建算法和流程

基于稀疏學習的方法是目前基于學習重建最常用的方法，也是效果最好的。稀疏編碼的概念來自于神經生物學，動物在長期的進化中，生成了能夠快速、準確、低代價地表示自然圖像的視覺神經方面的能力,依照該理論，可以在在大量的數據集中，選取很小部分作為元素來重建新的數據，達到觀察的效果。在LR圖像中，高頻分量比較少。根據稀疏編碼的原理，利用圖像先驗信息建立出的字典，可以很好地恢復出LR圖像中的高頻信息。但是這種理論方式主要使用了圖像先驗信息，在一些特殊場合，圖像序列間存在亞像素級別的位移，序列之間有著互補的冗余信息，基于學習重建的方法沒有利用好圖像序列間的關聯信息。而基于重建的超分辨率重建方法主要是利用連續圖像序列間先驗信息來進行重建，實際結果表明，當重建到4倍以上的時候，圖像就開始出現模糊，這主要是因為先驗信息缺乏。

本文在經過以上分析，結合車牌圖像的實際應用場景，提出了一種先利用圖像序列間的關聯性，使用塊匹配的方法對圖像幀序列進行運動估計，篩選出合適的幀序列，利用MAP法將篩選出的幀序列重建為合適的中分辨率的圖像，然后再利用稀疏表示的方法，重建出高分辨率的圖像。

本文算法整體思路如圖1：

圖1 算法流程圖

2 圖像退化模型

在圖像序列中，車牌原始的高分辨率圖像可以表示為Y，原始的圖像經過幾何變形、環境和采樣噪音后，在原來的高分辨下，經過下采樣得到一組低分辨率的觀測序列 X{1,2···,k}，有：

其中，W為變形矩陣，H為模糊矩陣，S表示下采樣，N為加性噪音。

2.1 利用先驗信息初次提高分辨率

（1）基于運動估計的連續幀篩選

在實際場景中，車輛在行駛的時候，車牌連續圖像序列之間存在位移偏差，如果連續幀之間存在大幅度的運動，直接進行重建會出現偏差。所以使用MAP法重建之前，首先要對連續幀做篩選，截取圖像序列間位移偏差不大圖像序列對于車牌圖像塊的確定可以使用邊緣檢測快速確定，假設車牌圖像塊占的像素大小為M×N，首先建立匹配準則，本文通過判斷相鄰幀的絕對平均誤差SAD，尋找到最優匹配[13]。

其中：

其中，f（m,n）代表該點的灰度值，（i,j）代表相對位移量。

①三步搜索法

按一定步長取圖像中心點及其周圍8個點構成每次搜索的點群。

Step1:將中心作為原點，選取搜索步長為8，在周圍8點內計算SAD，找到最合適的點。

Step2:將搜索步長變為上次的一半，以上次最優的SAD點作為中心點，在周圍8點內計算SAD。

Step3:重復Step2的計算，直到步長為1，該點對應的位置矢量為最佳運動估計。

通過以上步驟，得到每幀之間的運動矢量為dxi,dyi，將幀間的距離記作。

設置閾值T，將Δd小于T作為一個分割點，篩選出作為圖像重建的連續幀X{1,2···,k^}。

②MAP法重建中分辨率圖像

根據最大后驗概率的原理，有：

再根據貝葉斯原理，推導得：

對式兩邊取對數：

可以看出重建的圖像和原始圖像的先驗概率P（y）模型、降質模型下LR圖像成像的條件概率P（x/y）模型有關。

所以MAP法重建的好壞和先驗模型選擇有關，先驗模型要滿足是凸函數，可以選擇MPF（馬爾科夫隨機場）模型。

求解出的最優ymap記作中分辨率的車牌圖像Z。

2.2 基于稀疏表示的超分辨率重建

將利用連續序列得到的合適中分辨率圖像經過稀疏表示方法繼續重建為更高的分辨率。

根據稀疏表示理論，車牌LR（低分辨率）圖像和對應HR（高分辨率）圖像相對于它們自己的字典具有相同的稀疏系數。因此，可以通過組合訓練的HR字典D和相應LR圖像的稀疏系數a來重建高分辨率圖像。

稀疏表示模型為：

其中，D的每一列id稱為基或字典原子，a是稀疏系數，ε是重建誤差。

得到的最優稀疏系數α*，高分辨圖像塊重建為：

可以理解為在重建圖像前，首先要做的是構造超完備稀疏字典，稀疏字典的作用是建立起高分辨率和低分辨率之間的關系，然后通過稀疏編碼融合過的圖像進行重建。在構建完備字典后，再進行HR重建。

（1）建立完備的稀疏字典

稀疏表示算法首先要訓練兩個具有相同稀疏表示的詞典高分辨率詞典和低分辨率詞典，這樣詞典表示代表的是圖像特征而不是絕對強度，在重建過程中，每一個高分辨率圖像塊的均值是通過低分辨率圖像塊的均值預測。對每一幅低分辨率圖像塊；由低分辨率詞典就總能找到一個稀疏表示，相應的高分辨率詞典和稀疏表示的線性組合構成高分辨率圖像塊[4-6]。尋找稀疏表示的公式如下：

實現輸入訓練圖片集X，輸出最優字典D和稀疏表示系數A，學習字典的優化問題可以表示如下：

D,X=argmin{||X||0} s.t.||Y-DX||2≤ ε （9）

也可以表示為：

字典構造的過程中，本文采用MOD算法（最優方向算法）來訓練字典，MOD算法更新字典的策略就是實現表征誤差最小化。

具體構造步驟如下：

Step1:初始化

利用高斯隨機矩陣，得到初始矩陣D0，將每一列單位化，

Step2:固定字典，更新系數

Step3:固定系數，更新字典

Step4:循環二三步驟，直至收斂。

（2）SR圖像重建

有了超完備字典，將經過最大后驗概率方法重建的中分辨率圖像Z，利用稀疏表示來重建高分辨率圖像[6-7]。

具體步驟如下：

Step1:取經過估計的圖像中分辨率圖像Z中3×3的圖像塊z，圖像塊之間重疊的部分為1；計算圖像塊的像素均值。

Step2:求解最優稀疏系數：

Step3:計算疊加均值后高分辨率圖像塊Zi=Dhαi+m，組合得到高分辨率圖像Z0。

Step4:利用梯度下降法，求解：

來找到滿足重建約束的最優圖像Ζ*。最后,輸出最終的重建的高分辨率圖像。

3 實驗結果和分析

在選用數據集的時候，考慮到稀疏編碼本身就是原理利用自然界圖像的統計信息。本文主要應用場景為超分辨率重建在車牌圖像領域的應用。綜合考慮后，采用自然圖像和標準的車牌圖像結合的數據集來作為訓練樣本。本文的實驗環境是Intel Core i5 2.4GHz 2核CPU，仿真軟件為MATLAB。

為了表明這種方式重建的圖像有更好的效果，本文將和單獨的MAP重建和稀疏重建做對比，仿真結果如圖2所示。

從主觀上可以看出在單一的MAP法重建的圖像和利用單幀的稀疏表示后的高分辨率圖像的重建效果沒有本文所采用的結合方法的效果好。

表1 PSNR評估結果

圖2

峰值信噪比PSNR提供了一個衡量圖像失真或是噪聲水平的客觀標準表示。兩個圖像間，PSNR值越大，則越趨于無劣化。

從數值上看出，稀疏學習法的重建效果要比MAP法重建效果好，本文將兩者結合的效果是最優的。也是證明該方法充分利用了圖像的先驗信息和圖像序列的關聯性。

4 結語

相比較針對單幀的基于學習的圖像重建，和沒有利用圖像先驗信息的MAP法，本文將兩者結合，在車牌識別場景中，合理的篩選出圖像關聯性大，利用重建的圖像序列，進行初次中分辨率重建，再利用稀疏學習的方法重建出高分辨率圖像。實驗結果表明，在車牌識別的場景下，該方法一定程度提高了圖像超分辨重建的效果。