基于視頻模式識別的快速超分辨率重建

摘 要:針對傳統超分辨率重建方法運算量過大的問題，提出一種快速超分辨率重建算法。該算法在快速最大后驗概率(MAP)重建算法的基礎上，針對車牌識別的特定應用進一步簡化了代價函數。該算法從低分辨率的圖像序列中提取出高分辨率的圖像。這些高分辨率的圖像不僅極大地提高了車牌的識別率，也降低了獲取高分辨率圖像所需成像系統硬件的要求。移動車輛視頻的盲重建實驗表明，該算法能夠有效地提高車牌圖像的質量，而其運算量要遠遠小于其他的超分辨率重建方法。較低的運算量使得該算法能夠有效應用于實時系統。

關鍵詞:圖像處理;超分辨率重建;快速MAP重建算法;模式識別

中圖分類號:TP391.41文獻標識碼:A

文章編號:1004-373X(2010)04-038-04

Fast Super-resolution Reconstruction for Video-based Pattern Recognition

WU Yanjun，YUAN Jie，WANG Weixi，ZHENG Yan

(Nanjing University，Nanjing，210093，China)

Abstract:To reduce the computational cost of super-resolution reconstruction，a fast super-resolution reconstruction algorithm is proposed.For the special application of License Plate Recognition，it uses a further simplified cost function which is used in the fast MAP-based (Maximum a Posteriori) algorithm.The algorithm abstracts the resolution of reconstruction image from low resolution frame sequences.The result photos can greatly promote the recognition rate，and reduce the hardware requirements for imaging system producing higher resolution images.Blind reconstruction experiments using real videos of moving vehicles show that the proposed algorithm can efficiently enhance the quality of plate images，while its computational cost is quite lower compared with existing super-resolution methods.With low computational cost，this reconstruction method is suitable for real-time identification system.

Keywords:image processing;super-resolution reconstruction;fast MAP-based reconstruction algorithm;pattern recognition

0 引 言

高分辨率的圖像能夠包含更多的細節信息，在諸多領域有著廣泛的應用。高分辨率的成像系統可以獲取高分辨率圖像，但是高精度的硬件設備復雜且成本極高。由于成像環境的光能不足、相互運動、離焦等多種原因，即使使用高分辨率成像設備，也難以獲得理想的圖像，使目標難以辨認，很大程度阻礙了高分辨率圖像應用范圍的擴大。超分辨率重建技術則有效解決了這個問題。超分辨率重建能夠從低分辨率的圖像中得到高分辨率的圖像，而這些低分辨率的圖像序列可以從已經使用的低分辨率成像系統獲得，降低了獲取高分辨率圖像的成本。

在圖像超分辨率重建方面，Huang和Tsai[1]首先提出了頻率域重建算法。Kim，Bose，Su等研究者在這一基礎上提出了拓展的頻域算法[2-4]，將光學成像過程中產生的點擴散、高斯噪聲等效應添加進模型，使其更加符合實際的應用情況。頻域重建法普遍具有理論簡單，易實現，運算速度快等優點。然而，所有的頻域方法都只適用于全局性平移運動的情況，難以增加一般性的先驗約束，并且不能包含一般的噪聲模型。頻域的方法并沒有成為主流，相反空域的方法卻得到了相當大的發展。目前研究比較廣泛的超分辨率重建方法主要有最大似然估計(ML)法、凸集投影(POCS)法和MAP法[5，6]三種。POCS方法的原理簡單，并且有靈活的空間域觀察模型，但是它的解不惟一;MAP有惟一解且收斂穩定度高，降噪能力強，但是運算量比較大。

超分辨率技術應用于行駛車輛車牌識別系統(LPR)，通過獲取低分辨圖像序列得到高分辨率的車牌圖像，能夠有效降低設備成本。Suresh和Kumar寫的[7]是第一篇介紹超分辨率重建和行駛車輛LPR結合的文章。文中介紹了一種基于MAP的方法，但MAP方法需要大量的計算，使其難以應用于實時系統。Tanaka和Okutomi提出一種快速MAP算法[8]，即利用一種簡化的代價函數，極大地減少了重建所需的像素。這種方法可以直接應用于提高車牌圖像的質量，還可以減少運算量。

這里在快速MAP算法的基礎上提出了一種適用于行駛車輛LPR系統的快速超分辨率重建方法。該算法所需的運算量很小，可以應用于DSP實時系統。

1 快速MAP重建算法

假設向量f是理想高分辨率圖像，理論上該圖像可以近似為低分辨率的圖像序列。每個低分辨率圖像用向量gk表示，k = 1，2，…，K。gk的分辨率為(M×N)×1;f的分辨率為(PM×PN)×1;P為放大比率。低分辨率圖像的成像系統模型為:

gk=AkHkC(dk，r)fr+ek(1)

式中:C(dk，r)為(PM×PN)×(PM×PN)矩陣，表示從幀fr映射到幀fk的運動補償，這個矩陣式由運動估計參數dk，r決定。Hk為(PM×PN)×(PM×PN)矩陣，表示運動模糊和傳感器點擴散函數(PSF)。(M×N)×(PM×PN)矩陣Ak表示采樣過程;ek表示觀測噪聲。

假設矩陣Ak，Hk 和C(dk，r)在重建過程之前已知，將式(1)寫為:

gk=Bk，rfr+ek(2)

式中:Bk，r =AkHkC(dk，r)。根據已知數據和先驗概率，通過超分辨率重建可得高分辨率圖像fr的近似結果。

傳統的MAP重建方法可以看作是代價函數極小化的優化過程，有:

I1=∑Kk=1∑M×Nl=1[bk(xk，l，yk，l)T#8226;f-gk，l]2+λ∑PM×PNc=1φc(f)(3)

式中:bk(xk，l，yk，l)是關于像素gk，l的PSF向量;gk，l 為圖像gk的第l個像素位置(xk，l，yk，l)，由于采用亞像素精度，PSF并非空間平移不變，低分辨率圖像上處于不同位置的像素點，其對應的PSF函數形式上也不相同，需要多次計算;φc(f)為代表先驗概率的平滑度約束[9]。這種優化能夠減輕重建圖像的噪聲，并抑制邊緣效應和其他的高頻內容。

對基于迭代的MAP算法，每次迭代需要計算的像素數為C=KMN，即包含低分辨率序列內所有像素點，這是造成龐大運算量的最主要原因[7]。提出了一種簡化的代價函數，在構造該函數之前，將低分辨率圖像內的所有像素映射至高分辨率圖像坐標。用Rj表示第j個高分辨率像素對應的所有低分辨率像素點(假設包含ωj個點)構成的集合。將Rj中低分辨率像素點的位置坐標離散化至高分辨率像素的中心坐標，并計算均值:

hj=1ωj∑m∈Rjgm(4)

坐標的離散化使得所有點的PSF函數在形式上得到統一，降低了PSF的運算量。因此簡化的代價函數可以表示為:

I2=∑Chj=1ωj[b(xj，yj)T#8226;f-hj]2+λ∑Chc=1φc(f)(5)

這樣每次迭代需要計算的像素數便縮減為Ch = PM×PN，即僅需考慮一幀高分辨率圖像內的所有像素即可。

2 用于LPR系統的快速超分辨率重建算法

2.1 方程進一步簡化

前面介紹的快速MAP重建算法可應用于各種視頻和運動。事實上，在大多數光學字符識別(OCR)的應用中，字符圖像在特征向量提取之前要進行二值化處理。超分辨率重建出來的許多細節信息對后續識別是沒有作用的，可以忽略。根據這一思想，對于LPR系統，還可以做進一步的簡化，例如，大部分的車牌圖像只有兩種或三種顏色:背景色和一種或兩種字符顏色。為了使信息更清楚，背景色和字符顏色通常是強對比的，所以在SR或LPR處理之前進行灰度圖像轉換時，車牌上只有兩種顏色:深色和淺色，并且在二值化過程中將通過的閾值分開。式(5)中的平滑度約束，對二值圖像的影響非常微小，完全可以忽略。

式(5)中的參數ωj表示集合Rj中噪聲的方差，它會影響重建圖像上殘留噪聲的分布，但這里假設忽略ωj的差異不會改變二值圖像中字符的形狀。實驗證明，這種假設對大部分情況都適用(見第3節)。

因此，進一步簡化的代價函數如下:

I3=∑Chj=1[b(xj，yj)T#8226;f-hj]2(6)

因為這里的PSF函數空間平移不變，故對上式的優化等價于式(7)做解卷積運算:

h=b*f+e(7)

式中:h為對低分辨率序列作運動估計和式(4)運算得到的“均值圖像”;e代表估計誤差。可以根據最小均方誤差準則，利用維納濾波求解f。

2.2 具體步驟

用于LPR系統的快速超分辨率重建算法的執行步驟如下:

(1) 獲得低分辨率圖像序列g1，g2，…，gK，選定gr為參考幀。

(2) 從每幅圖像中確定和提取車牌區域。車牌提取不是本文的重點，有很多算法可以采用[10]。

(3) 采用基于光流公式的算法估計參數[11]。由于車牌是固定方式的剛體運動，只要考慮整體移動、轉動和視角變化產生的縮放，即可用一些參數來表示。這里采用仿射變換為運動模型:

x2=a1x1+a2y2+a3

y2=a4x1+a5y1+a6(8)

(4) 設置放大比率P，根據步驟(3)得到的運動參數將低分辨率圖像上所有像素點映射到高分辨率坐標，參照式(4)計算出均值圖像h。

(5) 利用維納濾波法對式(7)解卷積。其中，PSF函數表達式為:

Sj(xi，yi)=1Zexp-(xi-xj)2+(yi-yj)2P，

xi-xj≤Q且yi-yj≤Q

0，其他

式中:Z是歸一化系數。用參數Q控制PSF中非零區域的大小。

(6) 為了使重建后的字符線條更加平順，更易于識別，利用bicubic法插值放大圖像并進行二值化處理。

3 試驗結果

給出快速重建算法的試驗結果，作為比較，給出其他重建方法的結果。所有的實驗都使用賽揚處理器(2.66 GHz);所有的算法都采用Matlab運行。另外維納濾波使用Matlab函數deconvwn。這里選擇專門用于測試超分辨率算法的標準圖像序列，及幾組運動汽車視頻來驗證本節算法。

圖1為標準視頻的重建結果。序列包含30幀圖像，采用放大比率P=3，PSF的Q參數設置為2。可以看出，拉伸的原始圖像(圖1(a))和單幀插值圖像(圖1(b))均難以辨識。超分辨率重建的結果則極大地提高了清晰度。MAP方法(圖1(c))和ML方法(圖1(d))與快速重建算法的結果(圖1(e))區別并不明顯，但(圖1(d))與(圖1(e))殘留有噪聲。圖1(c)，圖1(d)，圖1(e)二值化的結果見圖2(其中(a)~(c)分別對應圖1(c)~(e))。

圖1 車牌序列實驗

圖3是另一組測試結果。視頻中的車牌包含省份簡稱。根據第2部分的簡化方程得到的重建視頻中會存在一些網狀噪聲，但此類噪聲并不影響二值結果。

三種重建方法耗費的運算時間差別很大(見表1)。實驗表明，三種重建方法得到的結果相近，但快速算法耗費時間僅占傳統MAP，ML算法的20%左右。

圖2 二值化結果

圖3 手持DV攝像機采集的車牌序列的結果

表1 計算時間比較

分辨率方法計算時間/s分辨率方法計算時間/s

78×117

(3PLK273)

MAP重建7.33

ML重建6.56

快速重建1.3057×102(AU4702)

MAP重建5.25

ML重建4.59

快速重建0.97

4 結 語

現有的運動車牌識別系統很大程度上依賴超高分辨率攝像設備的支持，其相對高昂的價格阻礙了系統的廣泛應用。利用超分辨率重建算法，通過綜合視頻序列的信息構建高分辨率車牌圖像是解決這一問題的有效途徑。它可以降低對攝像頭的要求，從而減少硬件成本，使得大規模公路自動監控成為可能。從技術上看，車牌運動模式簡單，現有運動估計算法可以很好地滿足要求。然而，實時監控需要快速重建算法，通用的MAP方法很難實現。

在此提出LPR系統的快速重建算法，以簡化的代價函數為核心，降低了運算量。盲重建實驗表明，該算法得到的圖像與傳統MAP重建得到的圖像基本相同，而運算量卻小得多，故可以用于實時系統。該算法也可以用于提高其他基于視頻的OCR系統的識別率。

后續的研究將重點放在使用壓縮視頻作為輸入數據的離線LPR系統。實驗表明，快速算法直接用于解壓圖像時得到的結果并不好。壓縮過程引入的諸如塊效應和振鈴效應會影響運動估計和重建的效果，因此該方法有待于進一步的改進。

參考文獻

[1]Huang T S，Tsay R Y.Multiple Frame Image Restoration and Registration[A].Advances in Computer Vision and Image Processing[C].Greenwich，CT:JAI Press，1984.

[2]Kim S P，Bose N K，Valenzuela H M.Recursive Reconstruction of High Resolution Image from Noisy Undersampled Multiframes[J].IEEE Trans.on Acoust.，Speech，Signal Processing，1990(38):1 013-1 027.

[3]Kim S P，Su W Y.Recursive High-resolution Reconstruction of Blurred Multiframe Images[J].IEEE Trans.on Image Processing，1993(2):534-539.

[4]Bose N K，Kim H C，Valenzuela H M.Recursive Implementation of Total Least Squares Algorithm for Image Recons-truction from Noisy，Undersampled Multiframes[A].Proc.IEEE Conf.Acoustics，Speech and Signal Processing[C].Minneapolis，MN，1993(5):269-272.

[5]Borman S，Stevenson R.Spatial Resolution Enhancement of Low-resolution Image Sequences-A Comprehensive Review with Direction for Future Research[R].Lab.Image and Signal Analysis Tech.Rep.，University of Notre Dame，1998.

[6]Park S C，Park M K，Kang M G.Super-resolution Image Reconstruction:A Technical Overview[J].IEEE Signal Processing Magazine，2003(20):21-36.

[7]Suresh K V，Kumar G M，Rajagopalan A N.Superresolution of License Plates in Real Traffic Videos[J].IEEE Trans.on Intelligent Transportation Systems，2007，8(2):321-331.

[8]Tanaka M，Okutomi M.A Fast MAP-based Super-resolution Algorithm for General Motion[J].Proc.SPIE Electronic Imaging，2006(6 065):404-415.

[9]Schultz R R，Stevenson R L.A Bayesian Approach to Image Expansion for Improved Definition[J].IEEE Trans.onIma-ge Processing，1994，3(3):233-342.

[10]Xu J，Li S，Yu M.Car License Plate Extraction using Color and Edge Information[J].Machine Learning and Cyberne-tics，2004，6:3 904-3 907.

[11]Altunbasak Y，Mersereau R M，Patti A J.A Fast Parame-tric Motion Estimation Algorithm with Illumination and Lens Distortion Correction[J].IEEE Trans.on Image Processing，2003(12):395-408.

[12]Zhu X，Yuan J，Du S.Super-resolution Reconstruction of Image Sequences Compressed with DWT-Based Techniques[A].Proc.Beijing:International Conference on Wavelet Analysis and Pattern Recognition[C].2007:555-560.

[13]朱翔，袁杰，都思丹.基于JPEG序列的圖像重建[J].電子與信息學報，2007，29(8):1 841-1 844.

[14]熊偉，朱秋煜.一種基于視頻的公交客流計數方法[J].現代電子技術，2008，31(14):95-97.