一種基于無下采樣Contourlet變換的多聚焦彩色圖像融合算法

鄒蓉

摘 要： 提出了一種基于無下采樣Contourlet變換和YIQ顏色空間的多聚焦彩色圖像融合算法。對變換得到的高低頻分量，根據各自的物理意義采用不同的融合規則進行融合處理，其中對高頻分量的Y分量采用基于區域絕對值的融合規則，對I、Q分量采用改進的區域對比度融合規則。通過實驗驗證了這種改進算法的可行性、有效性和穩定性。

關鍵詞： 圖像融合； 無下采樣Contourlet變換； YIQ顏色空間； 多聚焦彩色圖像

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2013）06-47-03

A multi-focus color image-fusion algorithm based on non-subsampled Contourlet transform

Zou Rong

（Xiamen Institute of Technology Huaqiao University， Xiamen， Fujian 361021， China）

Abstract： In this paper， a multi-focus color image fusion algorithm based on non-subsampled Contourlet transform and YIQ color space is proposed. Different fusion rules are used to fuse the high and low frequency components， according to their own physical significance. The fusion rule based on regional absolute value is used to fuse the Y component of high frequency， while the fusion rule based on improved regional contrast grade is used to fuse the I and Q component. The experimental results show that this fusion algorithm is feasible， effective and stable.

Key words： image fusion； non-subsampled Contourlet transform； YIQ color space； multi-focus color image

0 引言

圖像融合是指將兩個或兩個以上的傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關此場景解釋的信息處理過程[1]。融合后的圖像更符合人或機器的視覺特性，以利于對該圖像進一步的分析、理解，以及目標的檢測、識別或跟蹤。

當前對圖像融合技術的研究主要集中于圖像的灰度融合，對圖像的彩色融合研究則相對較少。由于彩色圖像有著灰度圖像無可比擬的良好可視性且包含更多的信息量，各相關領域對彩色圖像融合技術的需要越來越迫切，所以對彩色圖像融合技術的研究將是一個熱點和難點。本文針對多聚焦彩色圖像的融合作了一些研究，提出了一種基于YIQ顏色空間和無下采樣Contourlet變換的多聚焦彩色圖像融合算法。

1 無下采樣Contourlet變換（NSCT）

作為一種圖像多尺度幾何分析工具，2006年Arthur L.da Cunha等提出的無下采樣Contourlet變換（NSCT）[2]，針對Contourlet變換[3]的一些局限性進行了改進，是一種平移不變、多尺度、多方向的超完備變換。

無下采樣Contourlet變換分為無下采樣金字塔（NSP）分解和無下采樣方向濾波器組（NSDFB）分解兩部分。首先利用NSP對圖像進行多尺度分解，通過NSP分解可有效捕獲圖像中的奇異點；然后采用NSDFB對高頻分量進行方向分解，從而得到不同尺度、不同方向的子帶圖像（系數）。與Contourlet變換不同的是，在圖像的分解和重構過程中，NSCT沒有對NSP以及NSDFB分解后的信號分量進行分析濾波后的降采樣（抽?。┮约熬C合濾波前的上采樣（插值），而是對相應的濾波器進行上采樣，再對信號進行分析濾波和綜合濾波，使得NSCT不僅具有多尺度、良好的空域和頻域局部特性以及多方向特性，還具有平移不變特性，可以有效消除吉布斯現象，同時具有各子帶圖像之間尺寸大小相同等特性。

2 顏色空間變換

顏色空間模型是多種多樣的，常見的有RGB顏色模型、HSI顏色模型、YIQ顏色模型等。其中，應用最為普遍的是RGB（紅、綠、藍）模型，幾乎大部分的監視器都采用這種彩色模型。其他表色系統必須最后轉化成RGB系統才能在彩色顯示器上顯示。但是RGB顏色空間在感知上是非常不均勻的，其分量不僅表示色度也表示亮度，存在很大的相關性，對三個分量分別處理將會帶來顏色信息的丟失和錯亂[4]。為了得到更符合人眼視覺特點的表示方法，可以把RGB重新編碼，得到色彩空間YIQ表示法。其中，Y分量代表圖像的亮度信息，I、Q兩個分量則攜帶顏色信息，I分量代表從橙色到青色的顏色變化，而Q分量則代表從紫色到黃綠色的顏色變化。通過把彩色圖像從RGB轉換到YIQ顏色空間，可以把彩色圖像中的亮度信息與色度信息分開。YIQ顏色空間在保持良好彩色特性的同時減小了信號的頻帶寬度，它對色彩分量之間的冗余信息是最少的。

RGB空間向YIQ空間轉換公式如下：

⑴

YIQ空間向RGB空間轉換公式如下：

⑵

3 基于YIQ顏色模型與NSCT的多聚焦彩色圖像融合算法

本文提出的多聚焦彩色圖像融合算法是以無下采樣Contourlet變換與YIQ顏色空間為基礎的，基本步驟如下：首先將兩張嚴格配準的多聚焦彩色圖像由RGB顏色空間轉換到YIQ顏色空間；其次將轉換到YIQ顏色空間中的圖像進行無下采樣Contourlet變換，得到各源圖像的高低頻分量；然后對得到的高低頻分量根據各自不同的物理意義分別按照一定的融合規則進行融合；最后經過無下采樣Contourlet變換的反變換以及顏色空間反變換得到融合圖像。

3.1 低頻部分融合規則

經NSCT分解得到的低頻部分，代表了圖像的近似和平均特性信息，本文采用簡單平均的融合規則。公式如下：

CF，J=（CA，J+CB，J）×0.5 ⑶

式中，CA，J和CB，J分別表示源圖像A、B分解后的低頻分量系數，CF，J表示融合圖像F的低頻分量系數。

3.2 高頻部分融合規則

對于NSCT分解得到的高頻部分，融合的關鍵在于特征和細節信息的提取。把彩色圖像從RGB顏色空間轉換到YIQ顏色空間后，亮度分量Y和色度分量I、Q具有不同的物理意義，其中亮度分量Y含有的細節信息較多，它對融合結果的影響要比I、Q兩色度分量對融合結果的影響要大，所以對Y和I、Q分量分別采用不同的融合規則。

3.2.1 Y分量融合規則

高頻系數的絕對值是圖像細節信息的衡量指標之一，并且基于區域的融合規則明顯優于基于像素的方法，因此對含有較多細節信息的Y亮度分量直接采用基于區域絕對值的融合規則。計算源圖像A和B的區域絕對值最大的公式如下：

⑷

⑸

其中，RA和RB分別是源圖像A、B在j分解層i方向上的高頻系數對應的以像素（x，y）為中心，大小為M×N的區域。基于區域絕對值最大的高頻系數融合規則如下：

⑹

式中j=1，2，…，J，，，分別為源圖像A、B和融合后圖像F在各分解層j各方向i上對應的NSCT系數。

3.2.2 I、Q分量融合規則

由于圖像的對比度體現了圖像的清晰度，對比度越大表明清晰度越高，因此對I、Q色度分量則采用改進的區域對比度融合規則。具體過程如下。

第一步，根據參考文獻[5]，定義本文的圖像對比度量測如下：

⑺

式中，I=A，B；用（x，y）表示任意像素的坐標；CI（m，n）表示源圖像I經NSCT分解得到的低頻系數，表示源圖像I經NSCT分解后得到的j分解層i方向上的高頻系數；N（x，y）為以像素（x，y）為中心定義的一個窗口。越大，表明源圖像I中像素（x，y）所在局部區域對比度越大，清晰度越高。

第二步，定義A與B兩圖像的相關對比度因子如下：

⑻

式中和分別表示圖像A、B在像素（x，y）處的區域對比度量測，w（m，n）為對應的窗口函數。考慮到對高頻分量，窗口函數應該盡量突出其對比度變化，所以本文選擇的窗口函數w只有其4領域內非零、中心位置數值較大，這樣可以有效地突出以窗口中心點為中心的、對比度變化劇烈的高頻系數及其變化邊界。

第三步，確定A與B兩圖像的區域匹配度：

⑼

該參數反映了兩圖像區域對比度的近似程度。當A、B比較接近時，MA，B趨近于1，而當A、B差別很大時，MA，B趨近于0。

第四步，選定一個閾值T，如果區域匹配度MA，B小于等于T，表明兩幅圖像的對比度信息差異較大，這時候取區域對比度比較大的像素值作為融合后的系數；如果區域匹配度MA，B大于T，表明兩幅圖像的對比度信息比較接近，此時采用加權平均得到融合后的系數。高頻系數選擇由公式（10）給出，其中，j=1，2，…，J，，，分別為源圖像A、B和融合后圖像F在各分解層j上各方向i對應的NSCT系數。a（x，y）為加權系數，一般我們取作為自適應調整參數。閾值T的取值范圍視源圖像A，B的相關性而定。

（10）

最后對組合后的NSCT系數進行NSCT逆變換，以及YIQ顏色空間到RGB顏色空間的轉換，即可得到融合后的圖像。

4 實驗結果與分析

為了驗證本文算法的正確性和有效性，實驗中采用嚴格配準的多聚焦彩色圖像（大小為256×256，為便于顯示，統一進行了壓縮）進行了仿真實驗。圖1（a）為待融合的左聚焦圖像，圖1（b）為待融合的右聚焦圖像，圖1（c）為標準參考圖像，圖1（d）、圖1（e）、圖1（f）、圖1（g）和圖1（h）分別為本文算法、比較算法一至算法四所得到的融合結果。

表1是本文算法的融合結果與其他四種算法（低頻部分采用的是與本文算法相同的簡單平均融合規則，故表中未列出）的融合結果在均方根誤差、峰值信噪比、相關系數和平均梯度四個評價指標下的比較結果。從表中可以得到如下結論。

⑴ 對于高頻部分，對Y、I、Q三個分量根據它們不同的物理意義分別采用不同的融合規則取得的圖像融合效果要優于對Y、I、Q三個分量采用相同的融合規則取得的圖像融合效果。

⑵ 本文算法的均方根誤差值明顯小于其他四種算法，說明該融合方法能夠更多地保留住源圖像中的清晰部分，與給定的標準參考圖像差異最小；本文算法的峰值信噪比值最大表明融合圖像的質量優于其他四種算法；相關系數值也是最大的，表明融合結果更接近給定的標準參考圖像；本文算法還具有最高的平均梯度值，表明其融合圖像較好地保留了源圖像的邊緣細節信息，圖像清晰度高。綜合所有評價指標表明本文算法相對其他四種算法具有更好的融合效果。

我們還選取了多組多聚焦彩色圖像進行了相同的測試，綜合多組測試結果，表明本文提出的算法是一種可行、有效、穩定的融合方法。

5 結束語

本文在無下采樣Contourlet變換和YIQ顏色空間基礎上提出了一種低頻采用簡單平均，高頻的Y分量采用區域絕對值，I、Q分量采用改進的區域對比度的多聚焦彩色圖像融合算法。對多組源圖像進行了實驗，對比了多種融合算法，結果表明：本文提出的融合算法對于不同的源圖像，都能在盡可能保持源圖像共同特征的基礎上，較好地將待融合兩源圖像各自具有的特征添加到融合圖像中，能夠互補源圖像中的各種細節信息，從而使融合后的圖像具有更高的可信度、清晰度和更好的可理解性。

參考文獻：

[1] POHL C， Van Genderen J L. Multisensor image fusion in remote

sensing concepts， methods and application[J].International Journal of Remote Sensing，1998.19（5）：823-854

[2] Da Cunha AL， Zhou J， Do MN.The nonsubsampled contourlet

transform：theory， design， and applications[J]. IEEE Trans Image Processing，2006.15（10）：3089

[3] Do M N， Vetterli M. The contourlet transform：an efficient

directional multiresolution image representation[J]. IEEE Trans Image Processing，2005.14（12）：2091-2106

[4] 付朝霞，韓焱，劉曉利.一種新的多聚焦彩色圖像融合方法[J].中國體

視學與圖像分析，2006.11（3）：222-225

[5] 李振華，敬忠良，孫韶媛等.基于不可分離小波框架變換的多聚焦圖

像融合算法[J].上海交通大學學報，2005.39（4）：557-560