一種基于小波與雙三次插值的ＣＣＤ圖像超分辨方法

摘 要：為了盡可能地保持CCD圖像的原始信息，提高圖像的空間分辨率，有利于對圖像的細(xì)節(jié)信息進(jìn)行觀察分析，對各種超分辨方法進(jìn)行研究，提出了一種改進(jìn)的基于小波和雙三次插值的超分辨方法：對低分辨率圖像進(jìn)行灰度變換，并把它作為小波逆變換的低分辨率圖像，對圖像進(jìn)行恢復(fù)，再與低分辨圖像的雙三次插值圖像求平均。將該方法應(yīng)用于CCD圖像，從視覺上空間分辨率有提高，并可以獲得25.524 4 dB的峰值信噪比。實驗結(jié)果表明，該算法得到了比全小波雙三次插值、原圖像作為低頻圖像小波雙三次插值和雙線性插值更高的峰值信噪比及更好的圖像細(xì)節(jié)效果，是一種適合提高CCD圖像分辨率的有效方法。

關(guān)鍵詞：CCD圖像； 超分辨； 小波變換； 雙三次插值

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2009)06-2365-03

doi:10.3969/j.issn.1001-3695.2009.06.110

Kind of super-resolution method of CCD image

based on wavelet and bicubic interpolation

ZHAO Xiu-ying1，2， SU Yun2， DONG Yan-qin2， WANG Jing-mei3， ZHAI Lin-pei1

（1.Changchun Institute of Optical Fine Mechanics Physics，Chinese Academy of Sciences， Changchun 130033， China; 2.Aviation University of Air Force， Changchun 130022， China; 3.Qingdao Urban Construction Investment(Group) Co.， Ltd.， Qingdao Shandong 266071， China）

Abstract:

In order to maintain the original information of the CCD images， to improve the spatial resolution of image， to observe and analyze the details of the images， this paper studied on various super-resolution methods. This paper proposed the improved super-resolution method based on wavelets and bicubic interpolation. It transformed low-resolution images of gray-scale， and considered it as the low-resolution image in an inverse wavelet transform， recoveried the super-resolution image， then got an average of with the image of low-resolution’s bicubic interpolation. Applied this method in CCD images， improved the spatial resolution in the visual， and made the peak signal to noise ratio 25.524 4 dB. Experimental results show that using this method in low-resolution image can get higher PSNR and better image’s details effect than those only using bicubic interpolation in the whole wavelet domain or those using the original image as the low-frequency image in an inverse wavelet transform of the bicubic interpolation or those only using the bilinear. The experiment results show that this method is an effective way for improving the CCD images resolution.

Key words：CCD image; super-resolution; wavelet transform; bicubic interpolation

0 引言

由于國防和軍事應(yīng)用的原因，高分辨率的CCD 一直是國際上出口限制的器件。為獲得高空間分辨率的航空圖像，最直接的方法是增大光學(xué)系統(tǒng)的焦距或縮小CCD 器件陣元的寬度。但焦距增大會使光學(xué)器件的加工難度增大，費用增高，導(dǎo)致器件的體積和重量增大等一系列難題;減小CCD 器件陣元寬度又會使感光度降低、信噪比減小、動態(tài)范圍變小，帶來靈敏度損失等問題，而且制作高密度小像元尺寸的CCD 器件也受到制作工藝及量子效率等因素的限制。因此，尋找一種能夠利用現(xiàn)有低分辨率的CCD來獲得高分辨率的數(shù)字圖像的方法，對于我國來說更具有迫切性。

近十年來，一些科學(xué)家對提高圖像分辨率的問題進(jìn)行了不同程度的研究^[1~4]。超分辨率圖像復(fù)原的概念和方法最早由Harris和Goodman于20世紀(jì)60年代提出^[5]；隨后有許多人對其進(jìn)行了研究，并相繼提出了各種復(fù)原方法^[6~9]。本文采用一種基于小波與雙三次插值相結(jié)合的超分辨方法，與傳統(tǒng)方法相比在峰值信噪比方面有很大的提高。

1 圖像的小波分解與重構(gòu)算法

1.1 圖像小波變換分解與重構(gòu)定理

定理 令V2j(j∈Z)是L2(R2)的可分離多分辨分析空間，并令φ(x，y)=φ(x)φ(y)是相應(yīng)的二維尺度函數(shù)，ψ(x)是一維正交小波函數(shù)。定義二維小波

ψ1(x，y)=φ(x)ψ(y)

ψ2(x，y)=ψ(x)φ(y)

ψ3(x，y)=ψ(x)ψ(y)

則2jψ1(2jx－m，2jx－n)

2jψ2(2jx－m，2jx－n)2jψ3(2jx－m，2jx－n)構(gòu)成L2(R2)的標(biāo)準(zhǔn)正交基。

1.2 小波變換對圖像的分解與重構(gòu)

利用定理，采用類似一維Mallat算法的推導(dǎo)，對于二維圖像f(x，y)在V2j中的分量Ajf(x，y)可以分解為

Ajf=Aj－1f+D1j－1f+D2j－1f+D3j－1f

其中：Aj－1f=∑+∞m=－∞∑+∞n=－∞aj－1(m，n)φ(m，n)Dij－1f=∑+∞m=－∞∑+∞n=－∞dij－1(m，n)ψij－1(m，n)；i=1，2，3

而aj－1(m，n)=∑l∈Z∑k∈Zh－l－2mh－k－2naj(l，k)

d1j－1(m，n)=∑l∈Z∑k∈Zh－l－2mg－k－2naj(l，k)

d2j－1(m，n)=∑l∈Z∑k∈Zg－l－2mh－k－2naj(l，k)

d3j－1(m，n)=∑l∈Z∑k∈Zg－l－2mg－k－2naj(l，k)

令Cr、Cc分別表示對aj(l，k)的行與列進(jìn)行低通運算，而Gr、Gc分別表示對aj(l，k)的行與列進(jìn)行高通濾波運算，則二維Mallat算法之信號分解的矩陣可以描述為

Aj－1=CrCcAj

D1j－1=CrGcAj

D2j－1=GrCcAj

D3j－1=GrGcAj

j=J，J－1，…，1，0

相應(yīng)地，其二維Mallat重構(gòu)算法的矩陣表示滿足

Aj=CcCrAj－1+GcCrD1j－1+CcGrD2j－1+GcGrD3j－1

j=0，1，…，J－1，J

分解與重構(gòu)如圖1所示。



其中Aj分解后各分量的含義如下：Aj-1為原始圖像中主要低頻成分；D1 j-1為豎直方向高頻和水平方向低頻成分；D2 j-1為豎直方向低頻和水平方向高頻成分；D3 j-1為豎直方向高頻和水平方向高頻成分。

2 雙三次圖像插值的原理

對原始圖像矩陣隔點抽樣壓縮得到一抽樣矩陣。先對抽樣矩陣以行為單位， 每4 點為插值點進(jìn)行三 次插值；再以列為單位， 每4點為插值點進(jìn)行三次插值， 故稱雙三次插值。 經(jīng)這樣雙三次插值得到的矩陣(以下簡稱插值圖像矩陣) 作為原始圖像矩陣的重建， 稱為隔點抽樣， 雙三次插值恢復(fù)圖像。例如128×128 圖像矩陣A經(jīng)隔8 點抽樣得一抽樣矩陣B:

A128×128=a1，1a1，2NA1ADa1，9a1，10NA1ADa1，128a2，1a2，2NA1ADa2，9a2，10NA1ADa2，128a9，1a9，2NA1ADa9，9a9，10NA1ADa9，128a10，1a10，2NA1ADa10，9a10，10NA1ADa10，128a128，1a128，2NA1ADa128，9a128，10NA1ADa128，128

B16×16=a1，1a1，10a1，19a1，28NA1ADa1，127a1，128a10，1a10，10a10，19a10，28NA1ADa10，127a10，128a19，1a19，10a19，19a19，28NA1ADa19，127a19，128a127，1a127，10a127，19a127，28…a127，127a127，128a128，1a128，10a128，19a128，28NA1ADa128，127a128，128

對抽樣矩陣B的第一行進(jìn)行每4點的三次插值，先以該行的前四個值a1，1， a1，10， a1，19， a1，28作為f (x )在x =1，10，19，28 的函數(shù)值， 即以(1，a1，1)， (10，a1，10)，(19，a1，19)，(28，a1，28) 作為四個插值點通過插值公式：

f(x)=(x－x1，10)(x－x1，19)(x－x1，28)/

[(x1，1－x1，10)(x1，1－x1，19)(x1，1－x1，28)]a1，1+

(x－x1，1)(x－x1，19)(x－x1，28)/

[(x1，10－x1，1)(x1，10－x1，19)(x1，10－x1，28)]a1，10+

(x－x1，1)(x－x1，10)(x－x1，28)/

[(x1，19－x1，1)(x1，19－x1，10)(x1，19－x1，28)]a1，19+

(x－x1，1)(x－x1，10)(x－x1，19)/

[(x1，28－x1，1)(x1，28－x1，10)(x1，28－x1，19)]a1，28(1)

其中： x1，1=1，x1，10=10，x1，19=19，x1，28=28為第一行的坐標(biāo)；a1，1、a1，10、 a1，19、a1，28為相應(yīng)的灰度值。利用上式可得a1，1和a1，10， a1 ，10和a1，19，a1，19和 a1，28之間任一點的灰度值，即求得x=2， 3， …， 9， 11， 12， …， 18， 20， 21， …， 27相應(yīng)的f (x)函數(shù)值， 分別作為a1， x的近似；接著再以a1， 28 ， a1， 37 ， a1， 46 ， a1， 55進(jìn)行類似以上的三次插值， 直到完成第一行的三次插值。其他各行均照此處理， 從而完成行的三次插值。然后用同樣方法完成各列的每4 點的三次插值。經(jīng)這樣的行和列的雙三次插值，可以得到其他像素的灰度值，從而得到矩陣A 經(jīng)抽樣壓縮后又重建的灰度矩陣。這種插值方法為雙三次插值。

3 本文方法的實驗過程與結(jié)果

插值處理具有算法簡單、放大倍數(shù)靈活、易于在計算機上實現(xiàn)等優(yōu)點，直接使用這些插值方法對原始圖像進(jìn)行處理，可以使圖像的視覺效果得到一定的改善。但是由于這些算法只考慮了圖像像素鄰近點的相關(guān)性，未考慮全局相關(guān)性，其實質(zhì)是低通濾波器，會使圖像不同程度的細(xì)節(jié)產(chǎn)生退化，在增強圖像平滑效果的同時丟失了高頻信息。另外，插值方法忽略了圖像本身的結(jié)構(gòu)特征，難以保證放大縮小圖像的質(zhì)量。

小波變換和小波逆變換是全局的，所以比較有效地克服了單純插值法對原始圖像進(jìn)行插值存在局部受損的缺陷。對高頻成分采用逐漸精細(xì)的時域或空域取樣步長，從而可以聚焦到圖像的任何細(xì)節(jié)，具有良好的時頻局部化特征、尺度變化特征、方向變化特征等優(yōu)點，但同時小波應(yīng)用于圖像放大過程中，需要構(gòu)造多個高頻部分，特別是放大倍數(shù)較大時，構(gòu)造起來非常困難，且算法過于復(fù)雜。

將兩種算法相結(jié)合，充分利用插值處理的放大算法簡單靈活及小波分析理論的逐漸精細(xì)的時域或空域取樣步長的優(yōu)點，形成一個更有效的算法。筆者對小波域雙三次插值進(jìn)行改進(jìn)，得到一種有效的方法對低分辨率圖像進(jìn)行超分辨恢復(fù)。

3.1 實驗步驟

a）模擬CCD成像原理，先對原圖像Y取四點平均得到低分辨圖像L，如圖2所示。

b)對低分辨圖像L進(jìn)行小波分解，實驗所用小波為db1。結(jié)果為

[A， H， V， D]=DWT(L)

其中:H為水平高頻細(xì)節(jié);V為垂直高頻細(xì)節(jié);D為對角線方向高頻細(xì)節(jié); A為低分辨率圖像。

c) 分別對A、H、V、D進(jìn)行雙三次插值，得到行與列都為2倍的高分辨率圖像AA、HH、VV、DD。

d）進(jìn)行小波反變換。各種方法重建的結(jié)果如圖3 所示。



當(dāng)小波逆變換中低頻部分為AA時，恢復(fù)圖像為a，即a =DWT-1 (AA，HH，VV，DD)。當(dāng)小波逆變換中低頻部分為AA，用低分辨圖像L取代時，恢復(fù)圖像為b，即b =DWT-1 (L， HH， VV， DD)。

對照圖3中的a和b，b的邊緣視覺分辨率效果優(yōu)于a，即b的邊緣更清晰。但明顯可以看出b的灰度低了，將L與AA的灰度進(jìn)行比較，結(jié)果如圖4、5所示。從中可以看出L的灰度范圍比AA窄，且灰度值又很小。



為了讓L的灰度范圍盡量接近于AA，使得恢復(fù)圖像的亮度接近原圖像，對L進(jìn)行灰度變換，為防止進(jìn)行灰度變換的同時邊緣的過分放大而采用截距為零的線性變換。實驗中，筆者取斜率為2的線性變換使得L映射為L′。如果斜率取得更精確，將會進(jìn)一步提高圖像的峰值信噪比，斜率的精確選取有待進(jìn)一步研究。這種方法恢復(fù)出的圖像為c，即c=DWT-1 (L′， HH， VV， DD)。由圖像c可以看出高頻效果，低頻略顯不足，因此，將c與L的雙三次插值求平均得到圖像d。圖像

d在視覺上與原圖像Y相差無幾，后續(xù)的實驗數(shù)據(jù)將會證明這一點。

3.2 頻譜分析對比圖

對原圖像Y和本文方法恢復(fù)出的圖像d進(jìn)行快速傅里葉變換，所得結(jié)果如圖5和6所示。

3.3 峰值信噪比（PSNR）對比

峰值信噪比是一種比較接近人眼視覺效果的客觀評價，因此選用峰值信噪比來比較插值圖像與原始圖像。峰值信噪比的計算公式為



PSNR=10 log102552×M×N/∑M－1i=0∑N－1j=0[E(i，j)－E′(i，j)]2

其中：E(i， j)， E′(i， j) 分別是原始圖像Y和重建圖像的第(i，j)個像素的灰度值。

表1為PSNR對比結(jié)果。從表1可以看出， 本文方法比小波雙三次插值的峰值信噪比高5 dB，比原圖像做低頻后恢復(fù)圖像高15 dB。

4 結(jié)束語

實驗結(jié)果表明，本文提出的基于小波域的雙三次插值算法應(yīng)用于CCD圖像進(jìn)行超分辨恢復(fù)時，不僅提高了圖像的空間分辨率，同時也提高了圖像的峰值信噪比25.524 4 dB，較好地保留了圖像的邊緣信息，且經(jīng)過該方法恢復(fù)后的圖像更適合人眼觀察，細(xì)節(jié)豐富、更加清晰、畸變小，這說明本文提出的這種小波雙三次插值是一種提高CCD圖像空間分辨率的有效方法。

參考文獻(xiàn)：

[1]張生兵.航空影像的超分辨率顯示[D].武漢：武漢大學(xué)，2005.

[2]屈有山，田維堅，馮桂蘭，等. 小波雙三次插值搜索算法提高遙感圖像分辨力[J]. 光電工程，2004，31(8):65-68.

[3]屈有山，田維堅，李英才，等. 基于小波雙三次插值提高光學(xué)遙感圖像空間分辨率的研究[J]. 光子學(xué)報，2004，33(5):601-604.

[4]袁小華，歐陽曉麗，夏德深.超分辨率圖像恢復(fù)研究綜述[J]. 地理與地理信息科學(xué)，2006，22(3)：43-47.

[5]程燕. 超分辨率重建關(guān)鍵技術(shù)的研究[D]. 上海：上海交通大學(xué)，2007.

[6]CHAN R H， CHAN T F， SHEN Li-xin. Wavelet algorithms for high-resolution image reconstruction[J]. SIAM Journal on Scientific Computing， 2003，24(4):1408-1432.

[7]陳小薔， 張俊， 吳樂南. 一種改進(jìn)的邊緣方向插值算法[J]. 中國圖象圖形學(xué)報，2004， 9(6):684-687.

[8]WAHED M E. Image enhancement using second generation wavelet super resolution[J]. International Journal of Physical Sciences， 2007， 2(6):149-158.

[9]張新明，沈蘭蓀. 在小波變換域內(nèi)實現(xiàn)圖像的超分辨率復(fù)原[J]. 計算機學(xué)報， 2003， 26(9):1183-1189.