基于權(quán)重的紅外與可見光圖像融合算法及其性能評估

刁偉軒

（吉林化工學(xué)院 信息與控制工程學(xué)院，吉林 吉林）

概述

紅外圖像通過紅外傳感器獲得，可以記錄不同物體發(fā)出的熱輻射信息，并且根據(jù)熱輻射信息差異將目標(biāo)與背景區(qū)分開來。紅外圖像對場景亮度的變化特征并不敏感，且圖像清晰度較低，這導(dǎo)致了紅外圖像不能提供足夠的紋理細(xì)節(jié)信息[1]。相反，可見光圖像能夠較好地反應(yīng)目標(biāo)所在的場景細(xì)節(jié)信息，且清晰度較高。然而，由于受到夜間、復(fù)雜背景和煙霧等外部環(huán)境的影響，使可見圖像中的目標(biāo)不容易被捕獲到[2]。僅僅使用紅外圖像的熱輻射信息或者可見光圖像的細(xì)節(jié)信息是不足以應(yīng)用到計算機(jī)視覺應(yīng)用中的。因此，為了解決這個問題，將紅外與可見光圖像兩者的優(yōu)勢相結(jié)合，可以獲得信息更全面、質(zhì)量更高的融合圖像。

近年來，學(xué)者們提出了多種紅外與可見光圖像融合方法，大概分為多尺度變換[3]、稀疏表示[4]、神經(jīng)網(wǎng)絡(luò)[5]、子空間[6]、顯著性[7]、混合模型[8]和深度學(xué)習(xí)[9]等7類。然而，目前紅外與可見光圖像的融合方法存在一些困難，其中包括采用人工設(shè)計的融合規(guī)則、圖像變換和活動水平測量的復(fù)雜度逐漸增加，執(zhí)行難度不斷提高。此外，現(xiàn)有方法通常選擇與源圖像相同的顯著性特征嵌入到到融合圖像中，從而使融合圖像包含更多的細(xì)節(jié)信息。

1 算法

首先是圖像預(yù)處理，將紅外圖像和可見光圖像調(diào)整至相同尺寸大小，方便后續(xù)圖像的處理和分析。紅外圖像和可見光的圖像梯度權(quán)重綜合考慮了兩者的特征信息，使得在融合時能夠更好地平衡它們之間的關(guān)系，充分利用兩種信息源的優(yōu)勢。所以利用梯度計算紅外與可見光圖像的權(quán)重參數(shù)，并且通過線性組合和實際需要調(diào)整自適應(yīng)權(quán)重。再使用加權(quán)平均方法將紅外與可見光圖像融合，最后根據(jù)視覺感官和客觀指標(biāo)對融合圖像進(jìn)行性能評估。

1.1 圖像預(yù)處理

VI 表示可見光圖像，IR 表示紅外圖像。獲取紅外和可見光圖像的高度、寬度以及通道數(shù)，公式如下：

其中，H 代表紅外和可見光圖像的高度，W 代表寬度，C 代表通道數(shù)。通道數(shù)通常為3（RGB 彩色圖像）或1（灰度圖像），后續(xù)將紅外圖像調(diào)整至與可見光圖像相同尺寸。

梯度表示圖像中灰度值的變化率，梯度較大的區(qū)域通常對應(yīng)著圖像中的邊緣或紋理。計算公式如下：

1.2梯度權(quán)重

不同區(qū)域的圖像可能具有不同的梯度范圍，引入權(quán)重可以使融合算法更加適應(yīng)不同圖像的特點。計算公式如下：

1.3 圖像融合處理

利用加權(quán)平均方法實現(xiàn)圖像融合，然后調(diào)整權(quán)重以控制融合效果，融合后的圖像可以表示為：

其中，α表示自適應(yīng)權(quán)重，將可見光圖像和紅外圖像按照權(quán)重α和（1-α）進(jìn)行加權(quán)平均，從而生成融合圖像。整個自適應(yīng)權(quán)重調(diào)整過程使得圖像融合的權(quán)重不再是固定的，而是根據(jù)圖像局部信息動態(tài)調(diào)整，以獲得更好的融合效果。這對于處理不同場景下的圖像具有更好的適應(yīng)性。

2 實驗

2.1 實驗設(shè)置

為了評估算法性能，我們將數(shù)據(jù)集中紅外圖像與可見光圖像的融合結(jié)果與三種流行的融合方法進(jìn)行了比較，這些方法分別是各向異性擴(kuò)散融合（ADF）雙尺度圖像融合（TIF）和視覺顯著映射和加權(quán)最小二乘（VSMWLS）。

2.2 視覺質(zhì)量評估

從圖1（d）-（f）中可以看出，人的面部表情較為模糊，捕捉不到細(xì)節(jié)特征，且頭部周圍的背景對比度較低。圖1（c）中人的面部表情更豐富，極大保留了可見光圖像的紋理特征，融合后的背景也更加完善。

圖1 不同算法的融合圖像

圖2（d）-（f）中正在跑步的人和右側(cè)轎車的輪廓非常模糊，且中間的樹枝與背景融為一體，難以區(qū)分。在圖2（c）中，我們提出的算法的融合結(jié)果中人的動作和轎車的輪廓都是清晰可見的，不僅圖像的對比度高，還保留了樹枝的紋理特征，使我們更容易捕捉到樹枝的細(xì)節(jié)信息。

圖2 不同算法的融合圖像

與圖1 和圖2 結(jié)果相似，圖3（d）-（f）中路上的行人和左側(cè)建筑過度曝光且分辨率較低，導(dǎo)致融合圖像的視覺效果不佳。因此，我們提出的算法在視覺評估上可以獲得質(zhì)量更高的融合圖像。

圖3 不同算法的融合圖像

2.3 客觀指標(biāo)評估

實驗中使用四種常用的融合圖像質(zhì)量指標(biāo)對我們提出的算法進(jìn)行了評估，這些指標(biāo)包括信息熵（EN）、互信息（MI）、標(biāo)準(zhǔn)差（SD） 和空間頻率（SF）。以上四種評價指標(biāo)都是正相關(guān)，它們的值越大，圖像融合的質(zhì)量越高。

表1～表3 中展示的是我們所提出的方法與ADF、TIF 和VSMWLS 方法的客觀評估結(jié)果。表1～表3 中每個評價指標(biāo)的最佳值都經(jīng)過加粗處理。顯然，我們的融合圖像質(zhì)量和性能更高。

表1 圖1 中各融合圖像的評價指標(biāo)

表2 圖2 中各融合圖像的評價指標(biāo)

表3 圖3 中各融合圖像的評價指標(biāo)

3 結(jié)論

本文提出了一種基于權(quán)重的紅外與可見光圖像融合算法，旨在提高融合圖像的質(zhì)量和性能。我們將紅外圖像和可見光圖像調(diào)整至相同尺寸，然后結(jié)合自適應(yīng)權(quán)重與加權(quán)平均的方法使紅外與可見光圖像融合。最后根據(jù)視覺感官和客觀指標(biāo)對融合圖像進(jìn)行性能評估，實驗結(jié)果表明，我們的算法無論是在視覺評價還是客觀指標(biāo)評價上，融合圖像的質(zhì)量都明顯優(yōu)于其他三種融合算法。

實驗還有許多不足之處，比如文中使用的是傳統(tǒng)的融合方法，圖像融合的效率比較低。接下來會考慮引入更先進(jìn)的技術(shù)或方法，如深度學(xué)習(xí)模型，以提高融合效果。