基于引導濾波和差分圖像的多聚焦圖像融合方法

成亞玲，柏 智，譚愛平

（1.湖南工業職業技術學院信息工程學院，長沙 410208；2.湖南城市學院機械與電氣工程學院，湖南益陽 413000）

0 引言

光學成像設備的聚焦能力有限，造成一幅圖像中只有部分物體可以被聚焦。多聚焦圖像融合技術提取多幅局部對焦圖像的互補信息以合成單幅圖像。由于融合后的圖像含有更多的信息，更便于視覺系統理解。目前，多聚焦圖像融合技術［1-4］已被廣泛應用于計算機視覺、臨床理療、軍事監測等多個行業。本文針對傳統的多聚焦圖像空間域融合容易出現的邊緣模糊問題，提出一種基于引導濾波和差分圖像的多聚焦圖像融合方法。

縱觀近20 年，研究者提出了許多優秀的多聚焦圖像融合算法，大致分為兩類：變換域融合算法和空間域融合算法。前一類算法主要對圖像的變換系數進行融合，隨后對融合后的變換系數進行反變換以獲得融合圖像。在此類算法中，常用的有小波變換［5-6］、曲波變換［7-9］等。另外，文獻［10-12］提出了基于非下采樣Contourlet 變換（Non-Subsampled Contourlet Transform，NSCT）的多聚焦圖像融合方法；文獻［13-15］提出了基于稀疏表示的圖像融合方法；文獻［16］提出了基于卷積稀疏表示的圖像融合方法；文獻［17］將多聚焦圖像融合任務作為二分類任務，采用卷積神經網絡對源圖像進行分類。總的來說，上述算法均有其優勢，在一定條件下能夠取得較好的融合結果，但由于此類算法依賴變換系數進行融合，變換系數的選擇決定著融合圖像的質量，即此類方法的融合圖像存在明顯的人工效應。另外，對圖像的分解和變換需要較大的計算量，造成此類方法難以實現實時處理。與變換域融合不同的是，空間域融合直接將融合規則應用于圖像的像素點或圖像塊，故算法的實時性高、復雜度低。為了避免對像素點的相同操作，研究者提出了許多不同的空間域融合算法。文獻［18］采用引導濾波器測量源圖像的活躍水平；類似的；文獻［19］采用Laplace 濾波器測量源圖像的活躍水平以得到決策圖；文獻［20］采用區域識別和亞像素定位對圖像進行重建；文獻［21］將該方法應用于視覺特征和紋理特征的融合。此類方法由于直接對像素值進行操作，其缺點是容易在融合圖像的邊緣產生偽影。

為了解決空間域融合的上述問題，本文提出一種基于引導濾波和差分圖像的多聚焦圖像融合方法。通過將現有的引導濾波和差分圖像兩種方法的巧妙結合，在保證算法實時性的同時，有效地解決了傳統方法存在的偽影問題。本文方法的簡要流程為：首先，將源圖像進行不同水平的引導濾波，并對濾波后圖像進行差分，獲得聚焦特征圖像；其次，利用聚焦特征圖像梯度能量（Energy of Gradient，EOG）信息，獲得初始決策圖；然后，對決策圖像進行優化，去除噪點；接著，為了避免融合后的圖像存在邊緣驟變問題，對決策圖像進行引導濾波；最后，根據決策圖對多聚焦圖像進行融合，最終得到一幅信息豐富、整體對焦的融合圖像。

1 引導濾波

引導濾波器［22］是一種高效的邊緣保持濾波器，其濾波時間與濾波器尺寸相獨立，濾波器權重由引導圖像確定。設輸入圖像為P，在以中心為k的局部窗口ωk中，假設濾波器輸出結果O和引導圖像I為線性變換，則有：

其中：ωk是尺寸為(2r+1)×(2r+1)的矩形窗口，Ii表示i像素強度，線性系數ak和bk為ωk內的常數，通過最小化輸出圖像O和輸入圖像P可以近似估算出ak和bk。最小化操作的誤差函數為：

其中：ε是自定義的參數，ak和bk通過如下的線性回歸公式計算，即

其中：μk和δk分別為輸入圖像I在窗口ωk內的均值和方差；|ω|為窗口ωk內的像素值序號是引導圖像P在窗口ωk內的均值。濾波器輸出通過式（4）計算：

圖1 不同等級的引導濾波Fig.1 Guided filtering at different levels

2 本文方法

本文給出一種基于引導濾波和差分圖像的多聚焦圖像融合方法。該方法可以分為以下3步：

步驟1 對多聚焦圖像進行不同水平的引導濾波，并對濾波后圖像進行圖像差分，獲得圖像的聚焦特征圖；

步驟2 對聚焦特征圖進行圖像強度變化和圖像EOG 檢測，得到初始決策圖像；

步驟3 對初始決策圖像進行引導濾波等優化，得到最終決策圖像并融合。

下面詳細描述具體的處理過程。

2.1 圖像引導濾波和圖像差分

如前文所述，當引導濾波器的引導圖像和輸入圖像相同時，引導濾波器是一種高效的保邊平滑濾波器；當引導圖像和輸入圖像不同時，引導濾波器可以將引導圖像中的特征注入到輸入圖像，從而使得濾波后的圖像具有引導圖像的部分特征。

首先對輸入的多幅多聚焦圖像進行不同水平的引導濾波。本文以兩幅圖像為例，若圖像多于兩幅，可以先融合兩幅圖像，然后將融合后的圖像同第三幅多聚焦圖像進行融合，以此類推。

給定輸入圖像I1和I2，通過進行引導濾波，得到第一次濾波后的圖像G1和G2。該過程如式（5）所示：

其中：GF(·)表示引導濾波操作，In表示第n幅圖像，表示第n幅圖像第1次引導濾波后的結果，r1和ε1分別表示引導濾波器引導濾波時需要選用的兩個參數，其中r1為濾波窗口半徑，ε1為歸一化截斷值，取值范圍為［0，1］，其值越大，平滑效果越明顯。由于在不同引導圖像下的引導濾波操作可以提取多聚焦圖像不同的特征，將第一次濾波后的兩幅圖片作為引導圖像，將多聚焦圖像I1和I2作為輸入圖像，再次進行引導濾波，該過程如式（6）所示：

其中：r2和r1含義相同，ε2和ε1含義相同。本文處理圖像的窗口半徑為r1=r2=2。截斷值方面，根據前文所述，其值的選取將影響對圖像的濾波效果：其值太小，平滑效果不明顯；太大則過度濾波，引起原圖像信息的丟失。為此，經過不同值的測試，本文取ε1=ε2=0.1。通過對圖像進行不同的引導濾波操作，提取不同的多聚焦圖像特征。因為引導圖像的不同，濾波后的圖像在平滑程度以及邊緣保留上有不同的表現。在這個環節中，對濾波后的圖像進行差分，從而得到多聚焦圖像的聚焦特征圖，該過程可以用式（7）表示，即：最終得到聚焦特征圖。

2.2 梯度能量檢測及初始決策圖生成

在圖像差分的基礎上，采用局部聚焦檢測方法，對S1和S2進行檢測。具體來說，采用圖像EOG 來檢測聚焦特征圖像所反映的聚焦情況。EOG 描述了圖像梯度能量的變化情況，對EOG進行檢測的過程如式（8）所示：

其中：Ii=I(i+1，j)-I(i，j)和Ij=I(i，j+1)-I(i，j)分別表示圖像的水平梯度和縱向梯度，ω表示尺寸為n×n的局部窗口。

圖像的初始決策圖可以根據式（9）得到，即：

其中E1(i，j)和E2(i，j)分別表示第(i，j)點處圖像I1(i，j)和I2(i，j)的梯度能量，經梯度能量信息檢測后得到的初始決策圖D1如圖2（c）所示。

2.3 決策圖優化及融合

初始決策圖D1存在著許多的孔洞，造成空間存在不連續性，其原因在于，在某些區域聚焦和非聚焦產生了近似的效果，導致感興趣容積（Volume-Of-Interest，VOI）和EOG 不能區分出來。對此，本節對初始決策圖D1進行優化。

首先，對初始決策圖D1進行形態學操作，去除狹小的縫隙和突出物，該過程如式（10）所示，即：

其中：Θ 表示腐蝕操作，⊕表示膨脹操作，B為盤狀結構元，其大小為15。

隨后對V2進行空間一致性檢測，對小于閾值的孔洞區域進行移除，得到移除孔洞的決策圖，該過程如式（11）所示，即：

其中，T為V2中孔洞區域的閾值，小于此閾值的將移除。在本文中，T設置為決策圖像面積的1%，即T=0.01×H×W，其中H和W分別為決策圖像的高和寬。移除孔洞后的決策圖如圖2（d）所示。

為了保留多聚焦圖像的邊緣信息，避免因決策圖像在邊緣的像素值變化劇烈造成的融合圖像邊緣模糊現象，對進行了引導濾波操作，提取源圖像中的邊緣細節注入到最終決策圖像中。該過程表示為式（12），即：

其中，A為采用融合后的圖像，其具有源圖像I1和I2在邊緣部分突變較大的信息，引導濾波器將A中的邊緣信息提取到D2中。比起，D2充分保留了來自源圖像I1和I2的邊緣信息，并在邊緣上有一定的平滑作用，避免了因直接采用所導致的邊緣像素值突變的問題。濾波后的最終決策圖D2如圖2（e）所示。

最后，根據最終決策圖像D2對源圖像I1和I2進行融合得到融合圖像F，該過程如式（13）所示：

最終，融合后的圖像如圖2（f）所示。

圖2 源圖像-決策圖-融合圖像獲得過程Fig.2 Obtaining process of source image-decision map-fusion image

3 實驗結果及分析

3.1 實驗說明

為了驗證本文方法的有效性，重新設計實驗，對3 組經典的多聚焦圖像進行融合，并與其他9 種主流的方法進行對比。這9 種方法分別是基于卷積神經網絡（Convolutional Neural Network，CNN）的方法［17］、基于卷積稀疏表示（Convolutional Sparse Representation，CSR）的方法［16］、基于曲波變換（CurVelet Transform，CVT）的方法［18］、基于快速圖像濾波（Fast Image Filtering，FIF）的方法［19］、基于引導濾波（Guide Filter，GF）的方法［18］、NSCT［11］、基于稀疏表示（Sparse Representation，SR）的方法［13］、基于NSCT 和SR 結合（NSCTSR）的方法［23］、基于二元樹復小波變換（Double Tree Complex Wavelet Transform，DTCWT）的方法［9］。對比實驗中的參數均設置為相關內容文獻中的默認參數。

另外，引入客觀評價指標對融合結果的評價。本文采用互信息（Mutual Information，MI）、邊緣保持度（QAB/F）、功能互信息（Function Mutual Information，FMI）、視覺信息保真度（Visual Information Fidelity，VIF）作為客觀評價指標。MI 反映了融合圖像包含多聚焦圖像的信息量；QAB/F表示融合圖像包含多聚焦圖像邊緣的信息量；FMI 用來計算融合圖像的特征互信息量；VIF 是視覺信息保真度。上述4 個指標的值越大，代表融合效果越好。

3.2 主觀視覺效果

選取3組經典的多聚焦圖像作為實驗圖像，并與其他9種多聚焦圖像融合算法得到的結果進行了比較。這3 組多聚焦圖像的實驗圖像分別如圖3～5所示。

圖3 Clock圖像融合Fig.3 Fusion of Clock images

圖3 為第一組多聚焦圖像Clock 的融合結果。可以看到，CVT 和FIF 在融合圖像的邊緣產生了明顯的光環現象，SR 和DTCWT 存在圖像的失真，這是由于變換域的系數改變造成的融合圖像中存在人工效應。本文方法在空間域進行活躍水平測量，得到了初始的決策圖進行圖像融合，有效地解決了上述問題，因此本文方法所取得的融合圖像，細節豐富，邊緣清晰，較好地保留了來自多聚焦圖像的信息。

圖4為第二組多聚焦圖像Lab的融合結果。可以看出，CSR和NSCT的融合結果存在對比度降低的問題，FIF的融合結果在鐘表周圍有偽影現象，融合效果不明顯，SR方法在“3M”標志周圍相比源圖像丟失了部分高頻細節。相較而言，本文提出的方法則較好地將多聚焦圖像的細節信息保存下來。

圖4 Lab圖像融合Fig.4 Fusion of Lab images

圖5 為第三組多聚焦圖像Pepsi 的融合結果。主觀看來，CVT和DTCWT的融合結果較為模糊，在桌子和杯子之間產生了明顯的偽影；GF 存在明顯的對比度下降，丟失了一部分來自原始圖像的細節；與之對比，本文提出的方法通過利用引導濾波器對決策圖像的邊緣進行處理，使得決策圖像的邊緣利用來自源圖像中的細節信息，更好地匹配決策圖像和源圖像在邊緣上的紋理，從而有效地解決了偽影和對比度下降的問題，取得了令人滿意的融合效果。

圖5 Pepsi圖像融合Fig.5 Fusion of Pepsi images

3.3 客觀指標評價

為了進一步驗證本文方法的有效性，下面對融合圖像進行客觀指標計算，結果如表1所示，其中加黑的數值表示該評價指標中的最大值，代表融合圖像效果最佳。通過對比可以看到，較之其他9種算法，本文方法幾乎在所有指標上均取得了令人滿意的結果，尤其在互信息MI的數值上，本文方法遠超過其他方法。該結果表明，通過本文方法所取得的融合圖像，能夠較好地保留了來自源圖像中的信息，避免了存在于其他方法中的互信息損失問題。此外，其他客觀指標計算結果證實了本文方法能夠有效地提取來自源圖像的梯度細節信息，具有更好的視覺效果。

表1 多聚焦圖像融合結果評價指標結果對比Tab.1 Comparison of evaluation indicators of multi-focus image fusion results

4 結語

針對傳統多聚焦圖像融合算法在融合圖像邊緣容易出現偽影、光環的問題，本文提出了一種基于引導濾波和差分圖像的多聚焦圖像融合方法。通過將現有的引導濾波和差分圖像方法的有機結合，在保證算法實時性的同時有效地克服了傳統方法存在的偽影問題。實驗環節從主觀視覺體驗和客觀指標評價上驗證了本文方法的有效性。

針對后續研究工作，將對本文方法中的源圖像活躍水平測量環節進行優化，以使其能得到更好的決策圖像，從而改善融合效果。