一種改進(jìn)MAP圖像超分辨率復(fù)原方法在智能交通中的研究

陳海棠　黃國(guó)勇

(1.昆明理工大學(xué)信息與自動(dòng)化學(xué)院　昆明　650500)(2.云南省礦物管道輸送工程技術(shù)研究中心　昆明　650500)

一種改進(jìn)MAP圖像超分辨率復(fù)原方法在智能交通中的研究

陳海棠1,2黃國(guó)勇1,2

(1.昆明理工大學(xué)信息與自動(dòng)化學(xué)院昆明650500)(2.云南省礦物管道輸送工程技術(shù)研究中心昆明650500)

摘要針對(duì)傳統(tǒng)超分辨率復(fù)原方法處理的圖像較為平滑,邊緣信息消失的問(wèn)題,提出一種改進(jìn)的MAP圖像超分辨率復(fù)原方法。由于監(jiān)控視頻圖像是彩色的,該方法首先將原始圖像分解成R、G、B三個(gè)顏色空間,然后分別利用Curvelet插值將低分辨率圖像構(gòu)建成兩倍高分辨率圖像,并將圖像劃分為四個(gè)方向同時(shí)計(jì)算對(duì)應(yīng)的方向因子,結(jié)合權(quán)重系數(shù)對(duì)圖像進(jìn)行插值,然后利用MAP算法對(duì)圖像進(jìn)行超分辨率復(fù)原,最后將R、G、B三個(gè)顏色空間的復(fù)原圖像合成一幅高分辨率圖像。仿真實(shí)驗(yàn)證明,該方法較于傳統(tǒng)圖像超分辨率重建方法,能夠恢復(fù)彩色圖像信息,更好地保持圖像的邊緣特性,抑制邊緣和紋理豐富區(qū)域模糊和鋸齒現(xiàn)象的出現(xiàn)。

關(guān)鍵詞MAP; 超分辨率復(fù)原; Curvelet插值; 雙三次

Class NumberTP391

1引言

監(jiān)控視頻是實(shí)現(xiàn)智能交通的最重要的媒體之一[1]。隨著智能交通的發(fā)展,無(wú)論是車(chē)輛的跟蹤還是車(chē)輛的識(shí)別基本都是基于視頻實(shí)現(xiàn)的。一個(gè)高質(zhì)量的視頻對(duì)于后續(xù)的處理起著十分重要的作用,無(wú)疑能夠減少后續(xù)處理的難度,提高效率。然而,監(jiān)控設(shè)備需大量布置于城市的各個(gè)區(qū)域,為了節(jié)約管理成本,前端視頻采集設(shè)備分辨率一般較低[2]。從而導(dǎo)致監(jiān)控視頻中有重要意義的細(xì)節(jié)部分,如交通事故中肇事車(chē)輛的車(chē)型車(chē)牌等,往往會(huì)由于分辨率過(guò)低而難以辨認(rèn)。所以從已有的圖像中恢復(fù)圖像信息具有重要作用,圖像復(fù)原技術(shù)也得到廣泛關(guān)注和研究。

傳統(tǒng)的圖像復(fù)原方法只能在一定程度上去除成像過(guò)程中由干擾因素造成的影響,從而提高退化圖像的質(zhì)量[3]。不可能恢復(fù)成像過(guò)程已經(jīng)丟失的圖像細(xì)節(jié)信息,因而不能真正提高圖像的分辨率。為此,提出了超分辨率復(fù)原的概念。最早的超分辨率重建是由Tsai和Huang提出的,該算法能夠不依賴于硬件設(shè)備提高圖像空間的分辨率,較為方便,成本較低,能夠充分利用已獲取的大量圖像資源。但由Tsai和Huang所提出的圖像復(fù)原方法是基于頻域的復(fù)原方法,無(wú)法處理非整體運(yùn)動(dòng)模型的本質(zhì)缺陷。后來(lái)許多空域方法被提出,如1989年由Oskoui等提出的凸集投影法(Projection onto Convex Set,POCS)[4],1991年由Irani和Peleg提出的迭代反投影法(Iterative Back Projection,IBP)[5],1995年提出的ML-POCS算法[6]以及1997年提出的最大后驗(yàn)估計(jì)(maximum a posterior,MAP)[7]。其中,MAP超分辨率重建方法能夠?qū)Τ直媛手亟ㄗ儜B(tài)問(wèn)題進(jìn)行正則化,模型選擇靈活多樣,并且具有降噪強(qiáng)、解唯一等優(yōu)點(diǎn),在圖像復(fù)原中得到廣泛的應(yīng)用[8]。國(guó)內(nèi)超分辨率圖像重建得到了許多學(xué)者的關(guān)注,如焦斌亮[9]等提出采用小波插值對(duì)序列圖像進(jìn)行超分辨率復(fù)原,但前提是序列圖像之間嚴(yán)格具有一個(gè)像素的位移,這在不知道相機(jī)參數(shù)的實(shí)際拍攝中很難做到。李文博等[10]提出了一種基于馬爾可夫模型與Shearlet變換的超分辨率復(fù)原方法,作者運(yùn)用該算法對(duì)雷達(dá)孔徑(SAR)圖像進(jìn)行復(fù)原處理,取得了較好的效果。宋銳等人[11]提出在MAP框架下將三邊濾波正則化應(yīng)用到數(shù)值求解的迭代過(guò)程中,該方法能夠保護(hù)屋頂邊緣和陡坡及圖像的整體平滑特性,取得較好的結(jié)果,但是該方法沒(méi)考慮圖片紋理特性。唐佳林[12]等人提出一種結(jié)合小波理論和超分辨率復(fù)原方法,該方法能夠取得較好的效果,較傳統(tǒng)的MAP圖像算法能夠較好地保持圖像的邊緣特性,然而該方法忽略了圖像的紋理方向,使得紋理邊緣不清晰。

為解決圖像超分辨率算法邊緣、紋理保持性不好的問(wèn)題,本文提出一種改進(jìn)的MAP超分辨率重建復(fù)原方法,該方法將MAP超分辨率重建復(fù)原算法與曲波變換(Curvelet)插值算法相結(jié)合,首先利用Curvelet插值將低分辨率圖像構(gòu)建成兩倍高分辨率圖像,然后利用MAP算法對(duì)圖像進(jìn)行復(fù)原,該方法不僅較好地解決傳統(tǒng)MAP算法邊緣平滑的問(wèn)題,還能夠保持多方向特性,從而更好地表示圖像中普遍存在的幾何特性。

2改進(jìn)的MAP超分辨率方法

在圖像進(jìn)行插值之前,首先,將原始圖像分解成R、G、B三個(gè)顏色基量下的圖像。分別對(duì)三個(gè)顏色基量圖像進(jìn)行插值處理,最后將三個(gè)圖像再整合成一幅圖像。這種方法能夠更好地恢復(fù)圖像的色彩信息,使得復(fù)原的圖像能夠有較小的色差。

2.1Curvelet插值算法

Curvelet插值算法,首先將圖像進(jìn)行Curvelet變換,并將頻域系數(shù)劃分為四個(gè)方向,計(jì)算方向因子,然后構(gòu)造插值權(quán)重系數(shù),最后將待插值點(diǎn)分為兩類(lèi)進(jìn)行插值,得到高分辨圖像[13]。

設(shè)X為m×n的低分辨率圖像,Y為2m×2n高分辨圖像。圖像Y是圖像X經(jīng)過(guò)2倍插值后得到的。如圖1所示,Curvelet插值算法中待插值點(diǎn)根據(jù)其空間位置分為兩類(lèi)。已知點(diǎn)位于高分辨率圖像Y的奇數(shù)行和奇數(shù)列,用實(shí)心圓表示;第一類(lèi)待插值點(diǎn)位于高分辨率圖像Y的偶數(shù)行和偶數(shù)列,用實(shí)心三角形表示;第二類(lèi)插值點(diǎn)分別位于高分辨率圖像的奇數(shù)行偶數(shù)列和偶數(shù)行奇數(shù)列,用空心圓表示。

圖1　高分辨率圖像中待插值點(diǎn)分類(lèi)

首先將圖像X中對(duì)應(yīng)點(diǎn)的像素值給圖像Y的奇數(shù)行和奇數(shù)列賦值如式(1)[13]:

Y(2i-1,2j-1)=X(i,j)

(1)

其中i=1,2,3,…,m,j=1,2,3,…,n然后計(jì)算四個(gè)方向因子A1,A2,A3和A4,對(duì)待插值點(diǎn)進(jìn)行線性插值:

第一類(lèi)待插值點(diǎn)用Y(2i,2j)表示,分別計(jì)算45°方向估計(jì)值、135°方向估計(jì)值以及插值點(diǎn)的估計(jì)值來(lái)估計(jì)第一類(lèi)待插值點(diǎn)。第二類(lèi)待插值點(diǎn)用Y(x,y)表示,其中當(dāng)x=2i-1時(shí)y=2j,當(dāng)x=2i時(shí)y=2j-1,分別計(jì)算水平方向估計(jì)值,垂直方向估計(jì)值以及插值點(diǎn)的估計(jì)值估計(jì)第二類(lèi)待插值點(diǎn)。

通過(guò)前面兩步,計(jì)算出高分辨率圖像中的兩類(lèi)待插值點(diǎn)Y(2i,2j)和Y(x,y),從而完成了低分辨率到高分辨率的插值重構(gòu)過(guò)程。圖2為本節(jié)算法的插值示意圖。

圖2　基于曲波變換的圖像2倍插值示意圖

2.2MAP算法

MAP方法作為一種典型的統(tǒng)計(jì)方法把超分辨率復(fù)原問(wèn)題轉(zhuǎn)換成一個(gè)統(tǒng)計(jì)估計(jì)問(wèn)題。MAP方法在貝葉斯原理的基礎(chǔ)上,使高分辨率出現(xiàn)的后驗(yàn)概率達(dá)到最大。

未知的高分辨率圖像Z的MAP估計(jì)可以由如下過(guò)程獲得:

在給定觀測(cè)圖像序列y={y(1),y(2),…,y(k)}的條件下,使理想圖像的條件概率密度函數(shù)Pr(z(k)/{y(1)})達(dá)到最大。根據(jù)貝葉斯原理,理想高分辨率圖像的最優(yōu)估計(jì)問(wèn)題可以表示為[3]

(2)

最大后驗(yàn)概率估計(jì)用如下公式表示:

(3)

+logPr(z(k))}

(4)

本文算法是在Huber-Markov模型下實(shí)現(xiàn)的MAP超分辨率復(fù)原算法。高分辨率圖像的最大后驗(yàn)概率估計(jì)可表示為

(5)

約束集合Φ定義為

Φ={z(k):y(k)=A(k,k)z(k)}

(6)

f(z(k))是目標(biāo)函數(shù);α為Huber邊緣懲罰函數(shù)閾值參數(shù)。當(dāng)α趨向無(wú)窮時(shí),ρ(x,α)變成了二次邊緣懲罰函數(shù),對(duì)應(yīng)于Gauss-Markov先驗(yàn)?zāi)Ｐ汀＆?l,k)是與y(l)相對(duì)應(yīng)的信任參數(shù),l≠k。λ(l,k)存在如下關(guān)系式:

(7)

Huber函數(shù)是凸的,所以目標(biāo)函數(shù)f(z(k))最優(yōu)解唯一。最后采用最優(yōu)算法來(lái)獲得高分辨率圖像的估計(jì)。

3改進(jìn)的MAP超分辨率復(fù)原方法實(shí)現(xiàn)

將本文提出改進(jìn)的MAP圖像超分辨率復(fù)原方法應(yīng)用于交通視頻圖像上,對(duì)其進(jìn)行超分辨率復(fù)原。實(shí)現(xiàn)過(guò)程如圖3所示,具體步驟如下所述:

1) 在圖像獲取的過(guò)程中有些噪聲可能會(huì)嚴(yán)重影響重建算法的效果,所以在進(jìn)行圖像重建之前應(yīng)該對(duì)其進(jìn)行預(yù)處理,以減小其對(duì)復(fù)原效果的影響。

2) 將預(yù)處理后的圖像分解成R、G、B顏色空間的圖像。

3) 然后,用Curvelet插值方法對(duì)高分辨率圖像進(jìn)行初始估計(jì),首先對(duì)圖像進(jìn)行Curvelet變換,并將頻域系數(shù)劃分成四個(gè)方向,然后結(jié)合加權(quán)系數(shù)對(duì)所有待插值點(diǎn)進(jìn)行線性插值,將所得的估計(jì)值作為分辨率復(fù)原重建的“參考”。

圖3　改進(jìn)的MAP圖像超分辨率復(fù)原算法實(shí)現(xiàn)過(guò)程

圖4　候選圖像

圖5　基于最近鄰插值的重建圖像

圖6　基于雙線性插值的重建圖像

圖7　基于雙三次插值的重建圖像

圖8　改進(jìn)Curvelet插值的重建圖像

· 對(duì)預(yù)插值圖像進(jìn)行Curvelet變換,并將頻域系數(shù)劃分為四個(gè)方向,并分別從45°、135°水平和垂直四個(gè)方向計(jì)算待插值點(diǎn)像素的方向因子;

· 對(duì)兩類(lèi)待插值點(diǎn)計(jì)算方向因子,然后結(jié)合構(gòu)造出的加權(quán)系數(shù),對(duì)所有待插值點(diǎn)進(jìn)行線性插值,從而將m×n低分辨率圖像插值成高分辨率圖像;

4) 引入MAP算法對(duì)圖像進(jìn)行復(fù)原。

· 根據(jù)貝葉斯定理定義概率密度函數(shù)來(lái)表達(dá)先驗(yàn)信息,獲取理想高分辨率圖像的最優(yōu)估計(jì)問(wèn)題;

· 引入Huber-Markov模型,最后用梯度下降最優(yōu)化方法來(lái)獲取高分辨率圖像的估計(jì)。

5) 將R、G、B顏色空間的圖像合成一幅圖像。

4仿真實(shí)驗(yàn)

本文對(duì)交通視頻圖像進(jìn)行實(shí)驗(yàn),分別采用線性插值和Curvelet插值在MAP超分辨率復(fù)原模型下對(duì)視頻圖像進(jìn)行復(fù)原處理。本實(shí)驗(yàn)采集16幀的視頻圖像序列,將首幀圖像作為參考幀如圖4所示,運(yùn)動(dòng)估計(jì)后得到一個(gè)初始圖像。然后分別用線性插值算法和Curvelet插值算法將圖像進(jìn)行2倍插值,構(gòu)建出高分辨率圖像。最后用MAP算法對(duì)高分辨率圖像進(jìn)行求解,從而得到超分辨率復(fù)原圖像。在本文中,MAP算法將圖像復(fù)原轉(zhuǎn)換成最優(yōu)估計(jì)問(wèn)題后,采用最速下降法最優(yōu)化方法來(lái)獲得高分辨率圖像。

圖5～圖7分別是基于最近鄰插值、雙線性插值、雙線性插值、雙三次插值和Curvelet插值算法的MAP超分辨率復(fù)原方法的實(shí)驗(yàn)結(jié)果圖。從實(shí)驗(yàn)結(jié)果可以看出MAP超分辨率復(fù)原算法對(duì)于復(fù)原退化圖像具有較好的效果,能夠恢復(fù)大部分退化圖像丟失的信息,從本質(zhì)上提高退化圖像的空間分辨率。然而,基于最近鄰插值、雙線性插值、雙線性插值、雙三次插值的MAP超分辨率復(fù)原算法所得的圖像較為平滑,邊緣信息不明顯,不能保持紋理特性,復(fù)原效果并不理想。而Curvelet插值算法將圖像劃分為四個(gè)方法,對(duì)各方向有權(quán)重的進(jìn)行插值,能夠保持圖像的邊緣特性和紋理特性。如表1所示,實(shí)驗(yàn)從PSNR和MSE兩個(gè)參數(shù)結(jié)果進(jìn)行對(duì)比分析算法的有效性,證明本文算法較傳統(tǒng)MAP重建算法有較為明顯的提高。所以本文所提出的結(jié)合Curvelet插值算法和MAP超分辨率重建算法能夠更好地保持邊緣特性,保持多方向特性,更好地表示圖像中普遍存在的幾何特性,紋理邊緣較為清晰,該算法對(duì)圖像的復(fù)原效果較好,更加接近理想的圖像,能夠減小后續(xù)視頻圖像處理的難度。

表1　基于各種插值算法的超分辨率重建性能比較

5結(jié)語(yǔ)

本文提出的方法結(jié)合了Curvelet插值算法與MAP算法,解決了傳統(tǒng)超分辨率復(fù)原算法邊緣模糊的問(wèn)題,抑制了紋理豐富區(qū)域的鋸齒出現(xiàn)。該算法所得到的圖像能夠保持邊緣特性,恢復(fù)圖像退化過(guò)程中丟失的部分重要信息,且該算法能夠保持多方向特性,能夠更好地表示圖像中普遍存在的幾何特性,并且降低邊緣和紋理豐富的區(qū)域出現(xiàn)的模糊和鋸齒現(xiàn)象,復(fù)原效果較好。實(shí)驗(yàn)證明了本文算法的有效性。

參 考 文 獻(xiàn)

[1] 劉皓.高清圖像中基于車(chē)牌定位的車(chē)輛跟蹤和違章檢測(cè)[D].南京:南京理工大學(xué),2012.

LIU Hao. Vehicle tracking and violation detection based on license plate location in high-definition image[D]. Nanjing: Nanjing University of Science and Technology, Nanking,2012.

[2] 謝偉.多幀影像超分辨率復(fù)原重建關(guān)鍵技術(shù)研究[M].武漢:武漢大學(xué)出版社,2014.

XIE Wei. Research on the key technology of multi-frame Super-resolution image reconstruction[M]. Wuhan: Wuhan University Press,2014.

[3] 卓力,王素玉,李曉光.圖像/視頻的超分辨率復(fù)原[M].北京:人民郵電出版社,2011.

ZHUO Li, WANG Suyu, LI Xiaoguang. Image/Video Super Resolution[M]. Beijing: Posts & Telecom Press,2011.

[4] Henry STARK, Peyma OSKOUI. High-resolution image recovery from imageplanearrays using convex projections[J]. J. Optical Society of America,1989,6(11):1715-1726.

[5] Michal IRANI, Shmuel PELEG. Improving resolution by image registration[J]. GraphicalModels and Image Processing,1991,53:231-239.

[6] Brian C. TOM, Aggelos K. KATSAGGELOS. Reconstruction of ahigh-resolution image by simultaneous registration, restoration and interpolation of low-resolution images[C]//Proc. of Int Conf. Image Processing, Washington D.C:IEEE,1995:539-542.

[7] Russell C. HARDIE, Kenneth J. BARNARD, Ernest E. ARMSTRONG. Joint MAP registration and highresolution image estimation using a sequence of under sampled images[J]. IEEETrans. on Image Processing,1997,6(12):1621-1633.

[8] 袁小金,王開(kāi)志,劉興釗.基于MAP及邊緣保持的超分辨率圖像復(fù)原[J].信息技術(shù),2008(5):45-47.

YUAN Xiaojin, WANG Kaizhi, LIU Xingzhao. Super-resolution based on MAP and edge preserving[J]. Information Technology,2008(5):45-47.

[9] 焦斌亮,趙文蕾.小波及分形理論在互有位移圖像序列重構(gòu)中的應(yīng)用[J].光學(xué)儀器,2006,27(6):23-27.

JIAO Binliang, ZHAO Wenlei. Application of wavelet and fractal theory on reconstruction of the image sequence with displacement[J]. Optical Instruments,2006,27(6):23-27.

[10] 李文博,吳煒,羅代升,等.馬爾可夫模型與Shearlet變換結(jié)合的SAR圖像超分辨率復(fù)原方法[J].四川大學(xué)學(xué)報(bào),2012,15(44):101-108.

LI Wenbo, WU Wei, LUO Daisheng, et al. SAR Image Hallucination Based on Markov Model and Shearlet Transform[J]. Journal of Sichuan University(Engineering Science Edition),2012,15(44):101-108.

[11] 宋銳,吳成柯,封穎,等.一種新的基于MAP的紋理自適應(yīng)超分辨率圖像復(fù)原算法[J].電子學(xué)報(bào),2009,37(5):1124-1129.

SONG Rui, WU Chengke, FRNG Ying, et al. A New MAP Based Texture Adaptive Super-Resolution Image Reconstruction Algorithm[J]. Acta Electronic Sinica,2009,37(5):1124-1129.

[12] 唐佳林,吳澤鋒,蔣才高,等.基于小波變換的圖像超分辨率復(fù)原算法研究[J].計(jì)算機(jī)科學(xué),2014,41(11):147-149.

TANG Jialin, WU Zefeng, JIANG Caigao, et al. Study of Super-Resolution Image Restoration Algorithm Based on Wavelet Transform[J]. Computer Science,2014,41(11):147-149.

[13] 趙亮,和紅杰,尹忠科.基于Curvelet的紋理方向自適應(yīng)圖像插值[J].光電子·激光,2012,23(4):798-803.

ZHAO Liang, HE Hongjie, YIN Zhongke. Texture direction adaptive image interpolation based on Curvelet Transform[J]. Optoelectronics · Laser,2012,23(4):798-803.

An Improved MAP Super-Resolution in Intelligent Transportation System

CHEN Haitang1,2HUANG Guoyong1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming650500)(2. Engineering Research Center for Mineral Pipeline Transportation of Yunnan Province, Kunming650500)

AbstractAn improved MAP super-resolution is proposed aiming to solve the problem that the image dealt by traditional super-resolution is quite smooth and the marginal information is vanished. This algorithm decomposes the initial image into R,G,B color space because of the color of surveillance video, then a 2×high resolution image is constructed from a low resolution image by Curvelet interpolation. The constructed image is divided into four directions and the corresponding directivity factor was calculated. Then, interpolate image by combining the directivity factor and its weight coefficient. And then, the interpolated image is interpolated by Bicubic interpolation. And the interpolated image is restored by MAP super-resolution. And then the R,G,B images are composed into a final image. The experiment shows that this algorithm can remain the marginality of image better and restrain the appearance of blur and serration within the area where the margin and texture are rich compared to the traditional super-resolution algorithm.

Key WordsMAP, super-resolution, Curvelet interpolation, bicubic

收稿日期:2015年12月10日,修回日期:2016年1月17日

基金項(xiàng)目:國(guó)家自然科學(xué)基金項(xiàng)目(編號(hào):51169007);云南省科技計(jì)劃項(xiàng)目(編號(hào):2013DH034);云南省中青年學(xué)術(shù)和技術(shù)帶頭人后備人才培養(yǎng)計(jì)劃項(xiàng)目(編號(hào):2011CI017)資助。

作者簡(jiǎn)介:陳海棠,女,碩士研究生,研究方向:智能交通事件檢測(cè)技術(shù)。黃國(guó)勇,男,博士,副教授,碩士生導(dǎo)師,研究方向:嵌入式系統(tǒng)研究及開(kāi)發(fā),高精度北斗導(dǎo)航技術(shù)及應(yīng)用,智能交通事件檢測(cè)技術(shù)。

中圖分類(lèi)號(hào)TP391

DOI:10.3969/j.issn.1672-9722.2016.06.030