基于JPEG壓縮編碼的小波域多圖像融合算法研究

朱文艷，李 瑩，袁 飛，馮少彤，聶守平

（南京師范大學(xué)江蘇省光電技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京210023）

基于JPEG壓縮編碼的小波域多圖像融合算法研究

朱文艷，李 瑩，袁 飛，馮少彤，聶守平*

（南京師范大學(xué)江蘇省光電技術(shù)重點(diǎn)實(shí)驗(yàn)室，南京210023）

為了在一定的區(qū)域內(nèi)融合多幅光學(xué)圖像的信息，采用了一種基于聯(lián)合圖像專(zhuān)家小組（JPEG）圖像壓縮編碼的小波域多幅圖像融合算法。其基本思想是將小波逆變換看作是信息的融合過(guò)程，先對(duì)多幅圖像進(jìn)行JPEG壓縮編碼，壓縮后得到一組二進(jìn)制碼流，這組二進(jìn)制碼流可以直接作為小波變換的分解系數(shù)，經(jīng)小波逆變換后得到融合信息。結(jié)果表明，該算法能夠?qū)崿F(xiàn)多幅灰度圖像和彩色圖像的融合，提高了單一空間內(nèi)圖像的信息量，有利于多圖像的存儲(chǔ)和傳輸。

圖像處理；圖像融合；小波變換；二進(jìn)制碼流；圖像壓縮

引 言

圖像融合是指將來(lái)源于不同信息源的多幅圖像的有益信息加以綜合和提取，融合后的圖像比原始圖像更清晰或者包含的信息量更多。例如，多焦點(diǎn)圖像［1-2］經(jīng)融合后要比任何一幅原始圖像清晰得多，不同光譜圖像［3-4］經(jīng)融合后其信息量顯著提高。目前，圖像融合算法主要在圖像變換域進(jìn)行，該類(lèi)算法的基本思路是先對(duì)待融合的多幅圖像進(jìn)行變換，得到一組變換系數(shù)，然后對(duì)這組系數(shù)按照一定的方法進(jìn)行融合處理，最后經(jīng)逆變換得到融合后的圖像。常用的變換方法有金字塔變換［5］、Contourlet變換［6］和小波變換［7］方法。與單一來(lái)源圖像相比，融合后的圖像具有清晰度更高或者攜帶的信息量更豐富的優(yōu)點(diǎn)，提高了對(duì)圖像特征的分析能力，使得圖像融合技術(shù)廣泛應(yīng)用于醫(yī)學(xué)圖像處理、自動(dòng)目標(biāo)識(shí)別、遙感以及軍事應(yīng)用等領(lǐng)域。

與之相對(duì)應(yīng)的另一類(lèi)圖像融合是在單一存貯空間內(nèi)融合更多的圖像信息，其目的是減少圖像在存貯、傳輸過(guò)程中的信息量，這就需要對(duì)待存貯或傳輸?shù)男畔⑦M(jìn)行數(shù)據(jù)壓縮同時(shí)加以融合。GAN等人［8］利用離散余弦變換（discrete cosine transform，DCT）進(jìn)行數(shù)據(jù)壓縮，降低了后續(xù)融合的信息量，在小波域?qū)崿F(xiàn)了信息的融合。本文中充分利用圖像經(jīng)過(guò)聯(lián)合圖像專(zhuān)家小組（joint photographic experts group，JPEG）壓縮編碼后生成的一串二進(jìn)制碼流，大大降低圖像傳輸?shù)臄?shù)據(jù)量，而且根據(jù)碼流的長(zhǎng)度，就可以唯一重構(gòu)原始圖像。

本文中提出了一種基于JPEG圖像壓縮編碼的小波域多圖像融合算法，旨在將多幅圖像的特征融合到1幅圖像中，同時(shí)能夠準(zhǔn)確重構(gòu)原始圖像。首先將多幅圖像分別進(jìn)行JPEG圖像壓縮編碼生成二進(jìn)制碼流。二進(jìn)制碼流相對(duì)于原圖像而言，其數(shù)據(jù)量更少，因此在同樣的存儲(chǔ)空間內(nèi)融合的信息量更大。而離散小波變換可以對(duì)圖像進(jìn)行多分辨率分析和時(shí)頻分解［9-12］。圖像經(jīng)過(guò)2維離散小波變換分解之后，分別得到低頻分量圖像（LL）、水平高頻分量圖像（LH）、垂直高頻分量圖像（HL）和對(duì)角線(xiàn)高頻分量圖像（HH），這4個(gè)分量的融合又可以無(wú)失真地重現(xiàn)出原圖像。利用小波變換的這一特點(diǎn)，可以將4幅圖像經(jīng)JPEG壓縮編碼后的二進(jìn)制碼流作為圖像小波域的4個(gè)分量，經(jīng)逆變換后得到一幅融合圖像。在提取信息時(shí)根據(jù)每串二進(jìn)制碼流的長(zhǎng)度即可重構(gòu)出原圖像。實(shí)驗(yàn)結(jié)果表明，本文中的算法能夠有效地實(shí)現(xiàn)多幅圖像的融合，而且實(shí)現(xiàn)了信息的不可見(jiàn)性，同時(shí)單一碼流長(zhǎng)度只能提取單一圖像，有利于信息傳輸?shù)尼槍?duì)性。

1 JPEG 壓縮編碼

JPEG圖像壓縮編碼的基本原理圖如圖1所示，它具有較高的壓縮比，是目前應(yīng)用最廣泛的壓縮方法之一。

Fig.1 Codingmodel

由圖1可知，JPEG算法的編碼過(guò)程主要分為3個(gè)步驟：首先對(duì)原始圖像進(jìn)行分塊DCT以消除圖像的空間冗余；然后利用量化表對(duì)DCT系數(shù)進(jìn)行量化；最后對(duì)量化后的DCT系數(shù)通過(guò)符號(hào)編碼器進(jìn)行哈夫曼編碼，消除碼字中的統(tǒng)計(jì)冗余，輸出得到一串沒(méi)有插入定界符的二進(jìn)制碼流，從而實(shí)現(xiàn)圖像壓縮。

Fig.2 Original image

如圖2所示是原始圖像，像素?cái)?shù)為128×128。經(jīng)過(guò)分塊DCT變換、量化和編碼后形成一串二進(jìn)制碼流，碼流長(zhǎng)度為5669bit，圖3是二進(jìn)制碼流的矩陣示意圖。

Fig.3 Compressed image

解碼是編碼的逆過(guò)程。將壓縮后的二進(jìn)制碼流輸入符號(hào)解碼器，由于哈夫曼編碼是一個(gè)瞬時(shí)的、唯一可解碼的分組編碼過(guò)程，因此不需要附加碼即可恢復(fù)出每個(gè)子塊的DCT系數(shù)，然后分別對(duì)其去歸一化和逆DCT得到解壓縮后的圖像。

為此，可以用一串二進(jìn)制碼流替代原圖像進(jìn)行信息的傳輸，從而實(shí)現(xiàn)大容量圖像信息的融合。

2 小波域多幅圖像融合

離散小波變換（discrete wavelet transform，DWT）可以對(duì)圖像進(jìn)行時(shí)頻分解，并且在時(shí)域和頻域均有表征圖像局部特征的能力。它主要通過(guò)對(duì)圖像進(jìn)行多分辨率分析，把圖像在不同的方向與頻帶上分解成不同的子圖。一幅圖像在經(jīng)過(guò)2維離散小波變換分解之后可以得到4個(gè)頻率子圖：低頻近似子圖和圖像的水平、垂直以及對(duì)角線(xiàn)方向的3個(gè)高頻細(xì)節(jié)子圖。圖4所示為灰度圖像照片圖，圖5為圖4進(jìn)行小波變換后的結(jié)果，左上角為低頻近似子圖，它是對(duì)原圖像的逼近。另外3個(gè)子圖分別描繪了圖像水平、垂直和對(duì)角線(xiàn)方向的高頻細(xì)節(jié)。

Fig.4 Image of camera

Fig.5 One levelwavelet transform

小波變換的逆變換可以看作是低頻信息與3個(gè)不同方向高頻信息的融合過(guò)程。圖5所示的4個(gè)頻率子圖在進(jìn)行離散小波逆變換后可以重構(gòu)出原始圖像camera，這亦可以看作是多幅圖像的信息相融合的過(guò)程。根據(jù)離散小波變換的這一特性，利用JPEG圖像壓縮，對(duì)1組圖像進(jìn)行編碼，生成的1組二進(jìn)制碼流作為離散小波逆變換（inverse discrete wavelet transform，IDWT）的4個(gè)子帶，從而實(shí)現(xiàn)多幅圖像的融合。圖6為本文中所提出算法的信息融合流程圖。

Fig.6 Flowchart of information fusion process

如圖6所示，首先將4幅圖像分別經(jīng)過(guò)JPEG壓縮編碼，得到對(duì)應(yīng)的二進(jìn)制碼流，并將每一串碼流的長(zhǎng)度保存下來(lái)；然后將每一串二進(jìn)制碼流轉(zhuǎn)換成大小相同的系數(shù)矩陣；最后將這4個(gè)系數(shù)矩陣作為小波變換的分解系數(shù)，經(jīng)逆變換后得到一幅融合圖像。

提取信息的過(guò)程如圖7所示，將融合后的圖像進(jìn)行一層離散小波變換，得到4個(gè)系數(shù)矩陣，依次根據(jù)所提供的碼流長(zhǎng)度提取出4串二進(jìn)制碼流，最后通過(guò)二進(jìn)制碼流進(jìn)行JPEG解碼得到原始圖像。

Fig.7 Flowchart of the information extraction process

由于不同圖像經(jīng)JPEG編碼后所得到的二進(jìn)制碼流長(zhǎng)度不同，一個(gè)碼流長(zhǎng)度只能提取對(duì)應(yīng)的圖像。因此本文中的算法可以將多幅圖像融合在一起，并能同時(shí)發(fā)送給多個(gè)接收方，提供不同的二進(jìn)制碼流長(zhǎng)度，各接收方所提取出來(lái)的信息也是不同的，能有效地保證信息傳輸?shù)尼槍?duì)性。

3 實(shí)驗(yàn)結(jié)果

本文中采用峰值信噪比（peak signal-to-noise ratio，PSNR）和歸一化互相關(guān)系數(shù)（normalized correlation coefficient，NC）對(duì)算法進(jìn)行度量。對(duì)于灰度等級(jí)為256的灰度圖像，其峰值信噪比r定義為：

歸一化互相關(guān)系數(shù)σ定義為：

式中，M，N為圖像大小，f0為原始圖像，f為處理后的圖像。

3.1 信息融合

實(shí)驗(yàn)中選取了一個(gè)3維目標(biāo)，通過(guò)對(duì)其進(jìn)行離面旋轉(zhuǎn)，采集其中幾幅反映不同空間姿態(tài)的系列2維圖像，通過(guò)本文中的算法在單一存貯空間內(nèi)實(shí)現(xiàn)3維目標(biāo)空間信息的融合。采集4幅3維目標(biāo)離面旋轉(zhuǎn)0°，90°，180°和270°，并且像素大小為256× 256的圖像作為原始圖像，如圖8所示。

Fig.8 Four images to be fused

對(duì)這4幅圖像進(jìn)行JPEG壓縮編碼生成4串二進(jìn)制碼流，然后將這4串二進(jìn)制碼流轉(zhuǎn)換成大小為原圖像25%的系數(shù)矩陣，最后將這4個(gè)系數(shù)矩陣作為小波變換的分解系數(shù)，經(jīng)小波逆變換即可融合為1幅圖像，結(jié)果如圖9所示，其像素大小為256× 256，且看不出原圖像的任何信息，實(shí)現(xiàn)了4幅反映3維目標(biāo)不同空間位置特征的圖像的信息融合。

Fig.9 Fused image 256×256

當(dāng)然也可以對(duì)這4幅圖像的二進(jìn)制碼流按順序分解成長(zhǎng)度為8bit的子串（不足8位時(shí)用0補(bǔ)齊），并把每一子串轉(zhuǎn)化為十進(jìn)制數(shù)，于是將每一串二進(jìn)制碼流轉(zhuǎn)化成大小為43×43的系數(shù)矩陣，最后將這4個(gè)系數(shù)矩陣作為小波變換的4個(gè)分解系數(shù)，經(jīng)小波逆變換后融合為一幅圖像，如圖10所示，其大小為86×86。

Fig.10 Fused image 86×86

圖9 和圖10表明，這兩種方式都可以很好地實(shí)現(xiàn)多幅圖像的信息融合，兩者的區(qū)別僅僅在于存儲(chǔ)空間的大小不同，其所包含的信息量是一樣的。為此，可以根據(jù)不同的需求選取不同的方式進(jìn)行圖像的融合，從而充分節(jié)省傳輸信息的容量，有利于信息的傳輸。

3.2 信息提取

按圖7所示的信息提取過(guò)程，對(duì)融合后的圖像（見(jiàn)圖9或者圖10）進(jìn)行小波變換，利用保存下來(lái)的二進(jìn)制碼流的長(zhǎng)度，重構(gòu)出的4幅圖像如圖11所示。

Fig.11 Reconstructed images

重構(gòu)的4幅圖像與其對(duì)應(yīng)的原始圖像的峰值信噪比及歸一化互相關(guān)系數(shù)如表1所示。從表中可以看出，本文中所提出的算法能較好地再現(xiàn)4幅原始圖像。

Table 1 PSNR and NC comparison between the reconstructed images and the original images

3.3 彩色圖像的融合與提取

本文中對(duì)上述提出的融合算法進(jìn)行了擴(kuò)展，將其應(yīng)用到彩色圖像融合領(lǐng)域。由于對(duì)于圖像信號(hào)來(lái)說(shuō)，低頻信息是對(duì)原始圖像的逼近，反映了圖像的輪廓、特征，因此是最重要的；而高頻信息往往表示的是細(xì)節(jié)。如果除去高頻部分，原始圖像的基本形貌依然能夠保留。如果將1幅彩色圖像的R，G，B 3個(gè)分量圖壓縮后的二進(jìn)制碼流作為3個(gè)高頻分量與1幅灰度圖像經(jīng)DWT后的低頻分量，重復(fù)前面的融合過(guò)程，則可以實(shí)現(xiàn)將彩色圖像的信息融合于灰度圖像中，且在人眼視覺(jué)范圍內(nèi)融合后的圖像依然能夠保留原始灰度圖像的基本形貌，但卻擴(kuò)大了原有存貯空間的信息容量。實(shí)驗(yàn)中，采用圖12所示的Lena圖像作為灰度圖像，像素大小為256×256；采用圖13所示的辣椒圖像作為彩色圖像，像素大小為128×128×3。

Fig.12 Image of Lena

Fig.13 Image of pepper

首先，提取出彩色圖像的3個(gè)獨(dú)立分量，對(duì)每個(gè)分量進(jìn)行JPEG壓縮編碼后生成3串二進(jìn)制碼流，記錄下每串二進(jìn)制碼流的長(zhǎng)度以便信息提取時(shí)利用；其次，對(duì)灰度圖像進(jìn)行小波變換，得到低頻細(xì)節(jié)分量圖LL和3個(gè)高頻細(xì)節(jié)分量圖LH，HL和HH，在固定區(qū)域用彩色圖像的R，G，B 3個(gè)分量壓縮生成的二進(jìn)制碼流分別替換高頻LH，HL，HH分量；最后經(jīng)小波逆變換得到融合后圖像，如圖14所示。其與原灰度圖像的峰值信噪比為31.8094，相關(guān)系數(shù)為0.9907。基本上保持了原始灰度圖像的形貌，從圖中完全看不出彩色圖像的蹤影。

Fig.14 The fused image of Lena

信息提取的過(guò)程是信息融合過(guò)程的逆過(guò)程。首先對(duì)融合后圖像進(jìn)行小波變換，利用二進(jìn)制碼流長(zhǎng)度分別在高頻LH分量、HL分量、HH分量中提取出二進(jìn)制碼流；然后根據(jù)JPEG壓縮算法解碼出R，G，B 3個(gè)分量圖像；最后將3個(gè)分量圖像進(jìn)行組合重構(gòu)出彩色圖像，重構(gòu)的彩色圖像如圖15所示。

Fig.15 The reconstructed image of pepper

重構(gòu)彩色圖像與原始彩色圖像的3個(gè)獨(dú)立分量圖像之間的峰值信噪比和歸一化互相關(guān)系數(shù)，如表2所示。

實(shí)驗(yàn)結(jié)果表明，該算法重構(gòu)出的圖像質(zhì)量較好，與原始圖像在視覺(jué)效果上差別不大，可以有效把彩色圖像的信息融合到灰度圖像中，且必須同時(shí)具備3個(gè)分量圖像的碼流長(zhǎng)度，才可以重構(gòu)出彩色圖像，單一的碼流長(zhǎng)度只能重構(gòu)單一分量圖像。

Table 2 PSNR and NC comparison of three components for the reconstructed images and the original images

4 結(jié) 論

結(jié)合圖像壓縮算法和離散小波變換，提出了一種基于JPEG壓縮編碼的小波域多圖像融合算法。此算法的核心是先將圖像進(jìn)行JPEG壓縮編碼，生成二進(jìn)制碼流，二進(jìn)制碼流經(jīng)小波逆變換得到融合圖像。融合后的圖像根據(jù)二進(jìn)制碼流的長(zhǎng)度可以有效地重構(gòu)出原始圖像，且單一碼流長(zhǎng)度只可重構(gòu)單一圖像，有利于針對(duì)性的信息傳輸。更重要的是，本算法可以擴(kuò)展到彩色圖像的融合領(lǐng)域，將一幅彩色圖像的信息融合到灰度圖像中。

［1］ BAIX Z.Image fusion through feature extraction by using sequentially combined toggle and top-hatbased contrastoperator［J］.Applied Optics，2012，51（31）：7566-7575.

［2］ CHEN Y，WANG L，SUN Z，et al.Fusion of colormicroscopic images based on bidimensional empiricalmode decomposition［J］.Optics Express，2010，18（21）：21757-21769.

［3］ SHAO Z F，LIU J，CHENG Q M.Fusion of infrared and visible images based on focus measure operators in the curvelet domain［J］.Applied Optics，2012，51（12）：1910-1921.

［4］ MA N，ZHOU ZM，ZHANGP，etal.A new variationalmodel for panchromatic and multispectral image fusion［J］.Acta Automatica Sinica，2013，39（2）：179-187（in Chinese）.

［5］ LIZH，WUH Z.Geometrically robust imagewatermark based on DWT and steerable pyramid［J］.Journal of Image and Graphics，2010，15（2）：211-219（in Chinese）.

［6］ JIN X，LIH H，SHIP L.SAR andmultispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled contourlet transform［J］.Journal of Image and Graphics，2012，17（9）：1188-1195（in Chinese）.

［7］ GAN T，F(xiàn)ENG ST，NIE SP，et al.An image hiding and blind extraction algorithm based on block discretewavelet transform［J］.Acta Physica Sinica，2012，61（8）：084203（in Chinese）.

［8］ GAN T，F(xiàn)ENG ST，NIE SP，etal.Image fusion algorithm based on block-DCT in wavelet domain［J］.Acta Physica Sinica，2011，60（11）：114205（in Chinese）.

［9］ SHUAIW J，F(xiàn)ENG ST，NIE SP，etal.Sequence images hiding technique of three-dimensional object based on principal component analysis in wavelet domain［J］.Acta Physica Sinica，2011，60（3）：034203（in Chinese）.

［10］ WAN J，ZHANG X H，RAO JH.Application ofwavelet threshold de-noising in scattering optical wake flow signal processing［J］.Laser Technology，2011，35（4）：468-471（in Chinese）.

［11］ WEIH L，SHI JH，TZONG W K，et al.An efficient watermarkingmethod based on significant difference of wavelet coefficient quantization［J］.IEEE Transactions on Multimedia，2008，10（5）：746-756.

［12］ UNSER M，SAGE D，van de VILLE D.Multiresolution monogenic signal analysis using the Riesz-Laplace wavelet transform［J］.IEEE Transactions on Image Processing，2009，18（11）：2402-2418.

M ultiple image fusion algorithm in wavelet domain based on JPEG

ZHUWenyan，LIYing，YUAN Fei，F(xiàn)ENG Shaotong，NIE Shouping
（Jiangsu Province Key Laboratory for Opto-electronic Technology，Nanjing Normal University，Nanjing 210023，China）

In order to fuse the information of multiple optical images in a certain area，an image fusion algorithm based on joint photographic experts group（JPEG）in wavelet domain was adopted.The main idea of the method was to regard the inversewavelet transform as information fusion process.Each source imagewas compressed into a group ofbinary code flow according to JPEG standard.Then the group of binary code flow was taken as the wavelet coefficients and the fused image was obtained by taking inverse wavelet transform.The results show that the algorithm can realize the fusion of multiple gray-scale images and color images，improve the amount of information in a single space and be conducive to multiple images storage and transmission.

image processing；image fusion；wavelet transform；binary code flow；image compression

TN919.81

A

10.7510／jgjs.issn.1001-3806.2014.03.031

1001-3806（2014）03-0425-06

朱文艷（1987-），女，碩士研究生，現(xiàn)主要研究方向?yàn)閿?shù)字圖像處理。

*通訊聯(lián)系人。E-mail：njnukjc_nie＠163.com

2013-05-20；

2013-08-02