HSV空間的彩色多聚焦圖像融合*

劉艷英,凌朝東

(1.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門361021；2.廈門市專用集成電路系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，福建 廈門361008)

人類視覺(jué)對(duì)色彩的敏感度和分辨率遠(yuǎn)高于灰度，彩色圖像融合受到廣大學(xué)者的關(guān)注[1-2]。彩色多聚焦圖像融合通過(guò)處理聚焦于不同目標(biāo)的多幅源圖像，得到一幅各個(gè)目標(biāo)都清晰的圖像，有效提高了信息利用率，增強(qiáng)了目標(biāo)識(shí)別性，廣泛應(yīng)用于數(shù)碼相機(jī)、機(jī)器視覺(jué)及目標(biāo)識(shí)別等領(lǐng)域。

圖像融合分為像素級(jí)、特征級(jí)和決策級(jí)3個(gè)層次[3]。自1979年Daliy等人首次融合雷達(dá)圖像和Landsat-MT圖像發(fā)展至今，像素級(jí)融合形成了兩種研究路線：空間域(時(shí)間域)融合和多分辨分析(變換域)融合。多分辨率分析因其分解過(guò)程與人類視覺(jué)多通道特性相契合，可獲得更符合視覺(jué)特性的融合效果而成為研究熱點(diǎn)[4-5]。本文針對(duì)灰度融合算法應(yīng)用于彩色圖像存在的問(wèn)題，提出一種基于HSV空間的彩色圖像融合新算法。

1 彩色空間變換

彩色與灰度圖像的根本區(qū)別是：彩色圖像像素點(diǎn)用矢量表示，而灰度圖像像素點(diǎn)只用一個(gè)標(biāo)量表示。目前彩色圖像處理多數(shù)仍基于單色技術(shù)，忽略彩色分量間的聯(lián)系，將灰度處理技術(shù)分別作用于各分量。于是選擇合適的彩色空間成為彩色圖像處理的重要前提。

RGB空間基本囊括了人類視覺(jué)能感知的顏色，但是各分量間相關(guān)性強(qiáng),該空間下融合的圖像飽和度偏低。HSV是目前最符合人類視覺(jué)感知的模型，H、S、V分別代表色調(diào)、飽和度和亮度。色調(diào)即顏色屬性，用角度度量，取值范圍是 0°～360°；飽和度代表顏色純凈程度，亮度表示圖像明亮程度，是對(duì)灰度的衡量，它們的范圍都是0～1。RGB到HSV的轉(zhuǎn)換表達(dá)式為：

其中，v′=max(r,g,b)，u′=min(r,g,b)，r′=(v′-r)/(v′-u′)，g′=(v′-g)/(v′-u′)，b′=(v′-b)/(v′-u′)，h′的值為：

v′=0時(shí)s=0，h無(wú)意義。在 HSV空間可獨(dú)立感知各分量，將圖像空間和彩色信息分離處理，有效保留彩色信息。

2 圖像融合算法

2.1 Mallat分解與重構(gòu)

“*”表示矩陣共軛，則二維Mallat分解算法的重構(gòu)表達(dá)式為：

Mallat算法的可逆性實(shí)現(xiàn)了圖像的小波分解與重構(gòu)。低頻分量頻率分辨率高而時(shí)間分辨率低，高頻分量頻率分辨率低而時(shí)間分辨率高；低頻系數(shù)反映圖像輪廓信息，高頻系數(shù)反映圖像細(xì)節(jié)，采用不同的融合規(guī)則可以提高信息利用率。

2.2 融合規(guī)則分析

融合規(guī)則是影響融合圖像質(zhì)量的關(guān)鍵，圖像信息一般同時(shí)來(lái)自相鄰的幾個(gè)像素點(diǎn)，因此分塊處理可比單像素處理獲得更多有效信息。分塊太小不能包含像素點(diǎn)的有效信息，太大則會(huì)引入干擾信息，經(jīng)仿真實(shí)驗(yàn)可知，圖像在5×5分塊時(shí)獲得的信息最大。

低頻系數(shù)決定了圖像整體輪廓，合理地選擇可提高圖像視覺(jué)質(zhì)量。平均法能有效消除噪聲，卻犧牲了對(duì)比度。BURT P J曾提出平均與選擇相結(jié)合的算法[6]，但匹配矩陣的計(jì)算過(guò)程復(fù)雜;晁銳提出基于邊緣的選擇方案[7]，融合圖像細(xì)節(jié)保留更為豐富，計(jì)算時(shí)卻需要 3個(gè)模板算子參與卷積，運(yùn)算復(fù)雜。為消除噪聲，降低運(yùn)算量，同時(shí)盡可能少地犧牲對(duì)比度，本文提出基于塊的自適應(yīng)加權(quán)規(guī)則。將圖像I(x,y)的小波系數(shù)劃分為若干個(gè)大小為m×n的子塊，CA,k、CB,k和CF,k分別表示源圖像 A、B和融合圖像F的第k個(gè)子塊的低頻系數(shù)，SA,k、SB,k表示源圖像A、B第k個(gè)子塊系數(shù)絕對(duì)值之和。低頻系數(shù)融合算法為：

2.3 融合過(guò)程

下面以兩幅圖像為例，詳細(xì)描述應(yīng)用本文算法的融合過(guò)程。

(1)對(duì)嚴(yán)格配準(zhǔn)的源彩色圖像A和B進(jìn)行HSV變換，得到圖像色調(diào)分量HA、HB，飽和度分量SA、SB以及亮度分量VA、VB。

西達(dá)里亞油田開(kāi)發(fā)較早。由于礦權(quán)劃分晚于井位部署，在該區(qū)域交錯(cuò)分布著西北油田和塔里木油田的60余口油井。

(2)對(duì)亮度分量VA、VB分別進(jìn)行小波變換，然后在可分塊區(qū)域內(nèi)采用上文基于塊的自適應(yīng)融合規(guī)則，而邊界采用絕對(duì)值取大的融合規(guī)則。得到融合圖像亮度分量的小波系數(shù)后進(jìn)行逆變換，獲取融合圖像亮度分量VB。

(3)分別計(jì)算融合圖像與源圖像亮度分量之間的歐氏距離,距離越小,圖像處在清晰區(qū)域的可能性越大。取距離較小者的色調(diào)與飽和度分量作為融合圖像的對(duì)應(yīng)分量，具體判決方法為：

(4)得到HSV空間的彩色圖像后進(jìn)行HSV逆變換，獲得各個(gè)目標(biāo)都清晰的RGB空間融合圖像,完成彩色多聚焦圖像融合。

3 實(shí)驗(yàn)結(jié)果和評(píng)價(jià)

3.1 融合結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)選取

一般采用主觀與客觀相結(jié)合的方式對(duì)融合圖像進(jìn)行質(zhì)量評(píng)價(jià)[8]。主觀評(píng)價(jià)對(duì)圖像全局效果進(jìn)行評(píng)定，簡(jiǎn)單快捷，但容易因個(gè)體差異而出現(xiàn)評(píng)價(jià)不一的情況，常作為輔助參考。客觀評(píng)價(jià)是進(jìn)行定量分析，被作為算法性能比較的參考指標(biāo)。灰度多聚焦融合圖像常用的客觀評(píng)價(jià)指標(biāo)有平均梯度、方差、空間頻率和交叉熵，而本試驗(yàn)對(duì)象為彩色圖像，對(duì)空間頻率進(jìn)行擴(kuò)展，同時(shí)引入了平均飽和度。為方便表述，進(jìn)行以下定義：M、N表示圖像 行、列像素 數(shù)，V(x,y)、H(x,y)、S(x,y)依次表示點(diǎn)(x,y)處的亮度、色調(diào)、飽和度，L表示灰度級(jí)數(shù)，pA(i)、pB(i)、pF(i)表示第i灰度級(jí)的概率，亮度分量在計(jì)算時(shí)已將其調(diào)整至 0～255。

平均梯度反映圖像微小細(xì)節(jié)部分的反差與紋理變換特征，值越大圖像越清晰。計(jì)算公式為：

方差在圖像領(lǐng)域反映圖像對(duì)比度大小,值越大圖像對(duì)比度越大、圖像顏色越鮮艷醒目，計(jì)算公式為：

平均梯度和方差反映圖像自身特征，并沒(méi)有反映融合圖像與源圖像的關(guān)系。平均交叉熵可以反映融合圖像從源圖像中獲取的信息量大小,值越小，獲取信息量越大，圖像質(zhì)量越高。計(jì)算公式為：

灰度圖像空間頻率反映圖像空間域的整體活躍度，以色調(diào)取代灰度，則可反映色調(diào)的活躍度，值越大色彩變化越分明。計(jì)算公式為：

以整幅圖像的平均飽和度來(lái)衡量圖像的顏色純凈程度：

3.2 實(shí)驗(yàn)分析

本實(shí)驗(yàn)圖像配準(zhǔn)和融合均在MATLAB R2010b環(huán)境下進(jìn)行，原始圖像由佳能EOS 550D單反相機(jī)拍攝而得，圖像大小為768×512。實(shí)驗(yàn)進(jìn)行了3組仿真：第1組是在RGB空間下采用參考文獻(xiàn)[7]中低頻系數(shù)取平均，高頻系數(shù)絕對(duì)值取大的融合規(guī)則；第2組在HSV空間下采用與第1組相同的融合規(guī)則；第3組是在HSV空間下采用本文提出的算法。3組仿真均選取bior2.2小波基。經(jīng)仿真比較發(fā)現(xiàn),前兩組在兩層分解時(shí)融合效果最佳，而第3組在3層分解時(shí)融合效果最佳。源圖像和3組最佳融合效果圖如圖1所示。

從圖1可以看出：圖1(d)質(zhì)量最差，說(shuō)明對(duì)顏色信息進(jìn)行多分辨分析會(huì)引起色調(diào)失真而且還會(huì)產(chǎn)生 “色斑”；圖 1(c)、圖 1(e)模糊區(qū)域清晰度均得到提高，但是與源圖像清晰部分相比,融合圖像卻是模糊的。比較3幅圖發(fā)現(xiàn)圖1(e)左邊字體更清晰，可見(jiàn)本文所提出的融合算法具有一定的優(yōu)勢(shì)。為客觀地進(jìn)行比較，將源圖像和3組融合圖像的客觀評(píng)價(jià)指標(biāo)列于表1中。

從表1可以看出，采用新提出算法的第3組實(shí)驗(yàn)梯度、方差、空間頻率、交叉熵優(yōu)于另外兩組實(shí)驗(yàn)，飽和度則介于兩者之間,且優(yōu)于第1組RGB空間融合19.516 5%。

本文簡(jiǎn)單介紹了HSV顏色空間及小波變換，通過(guò)實(shí)驗(yàn)驗(yàn)證圖像灰度信息和顏色信息分離處理的合理性，提出一種彩色多聚焦圖像融合算法：亮度分量進(jìn)行小波多分辨分析，而色調(diào)與飽和度分量則采用歐氏距離法。經(jīng)MATLAB仿真可知，本文算法有效改善了彩色圖像融合中圖像色調(diào)變化緩慢、對(duì)比度及飽和度偏低的問(wèn)題。

表1 客觀評(píng)價(jià)指標(biāo)

[1]NUNEZ J,OTAZU X,FORS O,et al.Multiresolution-based image fusion with additive wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,1999,37(3)：1204-1211.

[2]李光鑫，徐抒巖，董吉洪.結(jié)構(gòu)優(yōu)化型顏色傳遞融合方法[J].電子學(xué)報(bào)，2011,39(1)：213-218.

[3]毛士藝，趙巍.多傳感器圖像融合技術(shù)綜述[J].北京航空航天大學(xué)學(xué)報(bào)，2002，28(25)：512-518.

[4]施文娟.基于 NSCT的自適應(yīng)多聚焦圖像融合算法[J].微型機(jī)與應(yīng)用，2012，31(19)：45-47.

[5]高穎，王阿敏，王鳳華，等.改進(jìn)的小波變換算法在圖像融合中的應(yīng)用[J].激光技術(shù)，2013,37(5)：690-695.

[6]BURT P J,KOLCZYNSKI R J.Enhanced image capture through fusion[C].Proceedings of 4th International Conference on Computer Vision,1993：173-182.

[7]晁銳，張科，李言俊.一種基于小波變換的圖像融合算法[J].電子學(xué)報(bào)，2004,32(5)：750-753.

[8]南棟，畢篤彥，查宇飛，等.基于參數(shù)估計(jì)的無(wú)參考型圖像質(zhì)量評(píng)價(jià)算法[J].電子與信息學(xué)報(bào)，2013,35(9)：2066-2072.