結合線性稀疏表示和圖像摳圖的多聚焦圖像融合方法

收稿日期：2021-09-28；修回日期：2021-11-10

基金項目：國家自然科學基金資助項目（62003191）；山東省自然科學基金資助項目（ZR2014FM016）

作者簡介：王紀委（1993-），男，河南周口人，碩士研究生，主要研究方向為圖像融合、模式識別；曲懷敬（1965-），男（通信作者），教授，碩導，博士，主要研究方向為模式識別、基于深度學習的圖像處理（quhuaijing@sdjzu.edu.cn）；魏亞南（1995-），女，山東濟寧人，碩士研究生，主要研究方向為圖像融合、模式識別；徐佳（1995-），男，山東菏澤人，碩士研究生，主要研究方向為圖像檢索、模式識別；張志升（1995-），男，河南開封人，碩士研究生，主要研究方向為圖像檢索、模式識別；張漢元（1991-），男，山東濟寧人，副教授，碩導，博士，主要研究方向為建筑設備智能化與能效管理.

摘 要：針對現(xiàn)有的多聚焦圖像融合方法對聚焦/散焦邊界（FDB）信息捕捉不準確的問題，提出了一種新的基于線性稀疏表示和圖像摳圖的多聚焦圖像融合方法。首先，引入一種基于線性稀疏表示的焦點測度，它利用自然圖像形成的字典與輸入圖像在局部窗口上的線性關系，通過求解線性系數(shù)來表示圖像的焦點信息。然后，利用焦點測度獲取源圖像的焦點圖和一個由聚焦區(qū)域、散焦區(qū)域以及包含F(xiàn)DB的未知區(qū)域組成的三元圖，并將三元圖作為一個輸入，采用圖像摳圖技術處理源圖像的FDB區(qū)域，從而得到較精確的全聚焦圖像。最后，為了進一步提高融合圖像的質量，將得到的全聚焦圖像作為新字典實現(xiàn)融合過程的迭代進行，在經(jīng)過設定的更新次數(shù)后得到最終的全聚焦融合圖像。實驗結果表明，相比于11種最先進的多聚焦圖像融合方法，該方法具有較好的融合性能和視覺效果，且有較高的計算效率。

關鍵詞：多聚焦圖像； 圖像融合； 焦點測度； 線性稀疏表示； 圖像摳圖

中圖分類號：TP391.41"" 文獻標志碼：A

文章編號：1001-3695（2022）06-048-1879-07

doi：10.19734/j.issn.1001-3695.2021.09.0437

Multi-focus image fusion method combining linear sparse representation and image matting

Wang Jiwei， Qu Huaijing， Wei Yanan， Xu Jia， Zhang Zhisheng， Zhang Hanyuan

（School of Information amp; Electric Engineering， Shandong Jianzhu University， Jinan 250101， China）

Abstract：Aiming at the problem of inaccurate information capture of focused/defocused boundary （FDB） by existing multi-focus image fusion methods， this paper proposed a new multi-focus image fusion method based on linear sparse representation and image matting. Firstly， the paper introduced a focus measure based on linear sparse representation， which used the linear relationship between the dictionary formed by the natural image and the input image in the local window to represent the focus information of the image by solving the linear coefficient. Then， it used the focus measure to obtain the focus map of the source image and a ternary map consisting of the focus area， the defocus area， and the unknown area including the FDB， further used the image matting technology to process the ternary image， to obtain a more accurate full-focus image. Finally， to further improve the quality of the fused image， it used the obtained full-focus image as a new dictionary to realize the iterative process of fusion， and obtained the final full-focus fused image after the set update times. Experimental results show that compared with the 11 most advanced multi-focus image fusion methods， the proposed method has better fusion performance and visual effect， and higher computational efficiency.

Key words：multi-focus image; image fusion; focus measure; linear sparse representation; image matting

0 引言

由于光學成像系統(tǒng)的限制，很難在一幅圖像中捕捉到所有清晰的目標。多聚焦圖像融合（multi-focus image fusion，MFIF）是一種能夠有效解決此類問題的圖像增強技術。通常在MFIF中，多個互補的源圖像被聯(lián)合處理，以生成滿足視覺需求和便于后續(xù)處理的全聚焦圖像。目前，實現(xiàn)準確的MFIF仍然是一項具有挑戰(zhàn)性的研究工作，也是完成多種計算機視覺任務的先決條件，例如目標檢測和定位、模式識別和分割等［1］。

MFIF發(fā)展至今，研究者們已經(jīng)提出了很多融合方法。這些方法可分為變換域方法、空間域方法和深度學習方法三種類型?；谧儞Q域方法一般由圖像分解、系數(shù)融合和逆變換三個階段組成。首先，將源圖像轉換到變換域。然后，通過預先設計的融合策略對變換后的系數(shù)進行融合，其中融合策略包括活動水平測量、融合規(guī)則和一致性驗證等步驟。最后，通過對融合后的系數(shù)進行相應的逆變換來重構融合圖像。根據(jù)應用的圖像變換手段不同，變換域方法一般分為以下四類［1］：

a）基于多尺度分解（multi-scale decomposition，MSD）的方法，其中包括小波變換［2］、非下采樣輪廓波變換［3］等。Li等人［4］提出了一種基于導向式濾波的兩尺度分解方法，并取得了較好的性能。

b）基于稀疏表示（sparse representation，SR）的方法。Yang等人［5］首次將SR引入到圖像融合領域，并采用正交匹配追蹤算法對源圖像的圖像塊進行融合。文獻［6］提出一種自適應SR模型，同時實現(xiàn)圖像的融合和去噪。為了克服傳統(tǒng)SR方法采用基于塊方式的缺陷，Liu等人［7］提出了一種基于卷積稀疏表示的融合方法。此外，文獻［8］提出了一種基于顯著稀疏表示的融合策略。首先，根據(jù)顯著稀疏表示將圖像分解為公共稀疏信息、獨有稀疏信息和細節(jié)信息三個部分;然后，將特征信息和細節(jié)信息結合鄰域信息用于區(qū)分源圖像的聚焦與散焦區(qū)域。

c）基于梯度域的方法。該方法的基本思想是對源圖像的梯度信息進行融合，然后將融合圖像的梯度設定為融合梯度，重建融合圖像。如Zhou等人［9］提出了一種基于多尺度加權梯度融合方案。在該方法中，首先使用大尺度的焦點測度來減弱各向異性模糊和配準錯誤對焦點區(qū)域檢測的影響，然后使用小尺度的焦點測度來確定聚焦和散焦區(qū)域邊界附近的權重。

d）基于其他變換和混合的方法。如：在文獻［10］中，提出了一種基于ICA的圖像融合方法，將圖像分解為ICA基;Liu等人［11］結合MSD和SR，提出了一種通用的圖像融合框架，克服了它們各自的不足。

與變換域融合方法不同，空間域融合方法直接在空間域執(zhí)行融合過程，其可以分為基于像素的、基于塊的和基于區(qū)域的方法?；谙袼氐姆椒ㄖ豢紤]單個像素或使用局部鄰域的清晰度信息。Li等人［12］提出了基于摳圖的融合方法，將聚焦區(qū)域與其相鄰像素結合在一起。Zhan等人［13］提出一種采用迭代聯(lián)合雙邊濾波器的融合方法。文獻［14］提出了一種綜合迭代引導濾波和字典學習超像素聚類的融合算法。結合圖像分塊，Wu等人［15］提出了一種基于重疊塊分割的MFIF方法，并采用隱馬爾可夫模型來考慮當前塊的清晰度及其與相鄰塊的兼容性。在基于塊的方法中，首先將源圖像分解成大小相等的塊；然后根據(jù)焦點測度選擇聚焦更好的塊。由于可能存在同時包含聚焦和散焦像素的塊，所以這種方法在邊界上往往容易產(chǎn)生塊效應。為了進一步提高源圖像分割的靈活性，研究人員開發(fā)了基于區(qū)域融合的方法。基于區(qū)域的方法與基于塊的方法相似，主要的區(qū)別在于活動水平測量是在每個大小不規(guī)則的分割區(qū)域中進行，而不是在塊中進行。如Duan等人［16］提出了一種基于線性光譜聚類（LPC）的分割方法，利用灰度和深度信息對多聚焦圖像進行融合?；诳臻g域方法的融合原理都是根據(jù)焦點測度選擇具有較高清晰度信息的像素、塊或區(qū)域，最后將像素、塊或區(qū)域組合成決策圖而進行圖像的融合。

近年來，研究者開始使用深度學習技術來解決MFIF的問題［17］。目前，基于深度學習的MFIF方法主要分為有監(jiān)督和無監(jiān)督兩種類型。有監(jiān)督的方法需要采用大量的真實訓練數(shù)據(jù)集進行訓練。Zhao等人［18］提出了一種基于多層深度監(jiān)督CNN（MLCNN）的MFIF算法。Zhang等人［19］提出了一種基于CNN的通用圖像融合框架IFCNN。Li等人［20］提出了一種深度遞歸成對學習（DRPL）網(wǎng)絡，它直接將整個圖像轉換為二值掩碼，而無須任何修補操作。其他有監(jiān)督的方法還包括MADCNN［21］等。在基于監(jiān)督學習的MFIF方法中，通常需要大量的標記訓練數(shù)據(jù)，這是一項非常耗時的工作。為了解決這個問題，無監(jiān)督學習的算法被引入到MFIF領域。Yan等人［22］最早提出了一種基于CNN的無監(jiān)督MFIF方法，即MFNet。在這個方法中，實現(xiàn)無監(jiān)督訓練的關鍵是使用基于結構相似性（SSIM）的損失函數(shù)。Ma等人［23］提出了一種基于編解碼器網(wǎng)絡的無監(jiān)督MFIF方法。Zhang等人［24］提出了一種基于生成對抗網(wǎng)絡的無監(jiān)督MFIF方法MFF-GAN。

現(xiàn)有的各種MFIF方法總體上能夠取得令人滿意的結果，但還有一些方面需要改進。首先，基于變換域的方法由于不通過生成決策圖來獲得全聚焦圖像，在融合變換域系數(shù)和逆變換時往往會丟失一些有用信息，從而導致在融合圖像中出現(xiàn)對比度降低和產(chǎn)生偽影等問題。其次，在基于空間域的方法中廣泛使用基于塊的策略，而塊大小會影響融合質量，往往還會出現(xiàn)塊效應；同時，這類方法大多都是先生成決策圖，然后再進行融合，由于沒有考慮源圖像的散焦擴散效應（defocus spread effect，DSE），使得融合圖像在 FDB附近出現(xiàn)偽影或邊界模糊問題。另一方面，幾乎所有基于深度學習的方法都需要在生成決策圖后進行再處理，例如一致性檢查，這就需要額外的監(jiān)督學習，從而顯著地增加了這種方法的復雜性；此外，與傳統(tǒng)的MFIF方法相比，由于缺乏充分的訓練數(shù)據(jù)庫，深度學習方法在融合性能和效率上都沒有優(yōu)勢［25］。因此，本文主要針對傳統(tǒng)的MFIF算法進行改進。目前，在MFIF領域很少有考慮DSE問題的研究［25］。簡而言之，DSE描述了FDB有時只是一個寬度不確定的帶狀區(qū)域，而不是一條清晰的曲線。更準確地說，如果前景在聚焦區(qū)，F(xiàn)DB是清晰的曲線；而如果前景散焦、背景聚焦，則模糊的前景將穿透背景，此時FDB就會出現(xiàn)邊界模糊現(xiàn)象。因此，為了獲得更高質量的融合圖像，避免出現(xiàn)這種擴散效，應是當前MFIF領域研究的趨勢之一。

綜上所述，為了盡可能地避免出現(xiàn)散焦擴散效應、獲得更高質量的融合圖像，本文提出一種結合線性稀疏表示和圖像摳圖的MFIF方法。具體來說，首先引入一種基于線性稀疏表示（linear sparse representation，LSR）的焦點測度，與傳統(tǒng)的稀疏表示方法不同，LSR不需要預訓練過完備字典，從而使計算效率得到顯著的提高；同時，實驗驗證了本文焦點測度在融合性能方面優(yōu)于其他典型的焦點測度。然后，利用LSR提取源圖像的焦點信息、得到初始決策圖，進而得到一個包含聚焦區(qū)域、散焦區(qū)域和未知區(qū)域的三元圖，并通過圖像摳圖獲得較精確的全聚焦圖像。最后，為了進一步提高融合性能，將得到的全聚焦圖像當做新的字典，再次執(zhí)行以上融合過程，并在達到設定更新次數(shù)后，將得到的全聚焦圖像作為最終的融合圖像。通過采用典型的30對多聚焦源圖像進行圖像融合實驗，并與11種最先進的MFIF方法的性能相比較，實驗結果表明在定性和定量兩方面都證實了本文方法的有效性和可行性。

本文提出一種以自然圖像作為字典的LSR模型，與現(xiàn)有的SR模型不同，該模型不需要預訓練過完備的字典，因此顯著地提高了計算效率。利用提出模型的系數(shù)解作為焦點測度，該焦點測度根據(jù)源圖像與字典之間的局部線性關系，能夠較準確地捕捉源圖像的聚焦信息。本文提出了一種基于LSR和圖像摳圖的MFIF方法。該方法利用提出的焦點測度結合圖像摳圖技術，以緩解圖像DSE，得到更加理想的融合圖像。與現(xiàn)有的MFIF方法相比，提出的方法對源圖像的FDB區(qū)域進行了摳圖處理，因此該方法生成的多聚焦圖像更加清晰自然。此外，提出的融合方法通過迭代更新的方式，生成更精確的決策圖，以降低DSE對融合圖像帶來的模糊、偽影等問題。

1 相關工作

1.1 常用的焦點測度

對于一幅多聚焦圖像，焦點測度對于最佳聚焦區(qū)呈現(xiàn)最大值，并隨著圖像的離焦程度的增加而減小。因此，在MFIF領域中，源圖像的聚焦區(qū)域必須產(chǎn)生最大的焦點測度值，而散焦區(qū)域必須產(chǎn)生最小的焦點測度值［26］。焦點測度在MFIF中起著重要作用，因為它的性能影響到對聚焦像素的識別，更有效的焦點測度往往會產(chǎn)生更佳的融合性能。焦點測度一般分為空域焦點測度和頻域焦點測度兩類。常用的空域焦點測度包括改進的拉普拉斯能量和（sum-modified-Laplacian，SML）［27］、方差、Tenengrad測度［28］和圖像梯度能量（energy of image gradient，EOG）等。頻域焦點測度包括基于小波變換和離散余弦變換等的測度。更詳細的焦點測度描述參見文獻［26］。

1.2 基于學習的圖像摳圖方法

圖像摳圖是一種重要的圖像處理技術。它具有強大的細節(jié)處理能力，能夠準確地區(qū)分圖像的前景和背景，并廣泛應用于多個領域。這也是本文采用圖像摳圖的原因。給定圖像I， 摳圖估計前景不透明度α（i，j），將I（i，j）分解為前景層F（i，j）和背景層B（i，j），并通過凸線性組合重建源圖像，即

I（i，j）=α（i，j）F（i，j）+（1－α（i，j））B（i，j）（1）

其中：α（i，j）的取值為0～1。若α（i，j）的值為0，意味著I（i，j） 為背景；若α（i，j）的值為1，意味著I（i，j） 為前景；若0lt;α（i，j）lt;1，意味著此時的像素是前景與背景混合的。

本文利用基于學習的摳圖方法［29］處理決策圖。這種方法采用隱式顏色混合模型，該模型假設每個像素可以由一組像素線性表示，并且總的表示誤差可以用做總的代價函數(shù)。該摳圖方法首先學習標記為未知像素的局部線性表示模型。然后通過最小化式（2）的代價函數(shù)，可以同時估計所有像素的α值，即

arg minα‖α－STα‖2+γ‖αl－α*l‖（2）

其中：ST表示輸入圖像的前景，可以通過采樣過程中的α系數(shù)來估計；αl表示標記像素的α變量的向量；α*l表示標記像素的已知α值的向量；γ表示待設定的參數(shù)。關于基于學習的摳圖方法的更詳細信息可以參考文獻［29］。

2 基于線性稀疏表示的焦點測度

稀疏表示目前是計算機視覺領域廣泛使用的一種技術，并在圖像融合應用中取得了很大的成功［30］。受到稀疏表示對信號具有強大表示能力的啟發(fā)，本文采用一種線性稀疏表示（li-near sparse representation，LSR）模型，并據(jù)此提出一種基于LSR的焦點測度。LSR模型通過假設信號S在局部窗口上與字典D呈線性關系，可以表示為

Si=akDi+εk i∈Ωk（3）

其中：i表示像素的位置;Ωk代表以像素k為中心的窗口；右邊第一項表示信息保真度，第二項εk表示損失。通常假定，線性系數(shù)ak在窗口Ωk中是不變的。為了使損失εk最小，在局部窗口Ωk中定義代價函數(shù)如下：

L（ak，εk）=∑i∈Ωk［（Si－akDi－εk）2+ρa2k］

（4）

其中：ρ為正則化參數(shù)，用于平衡參數(shù)ak的大小。式（4）是一個嶺回歸模型，通過計算后可以解出參數(shù)為

ak=1n∑ni=1（Di－k）（Si－k）1n∑ni=1（Di－k）（Di－k）+ρ=cov（Dk，Sk ）var（Dk）+ρ（5）

其中：n表示窗口Ωk中像素的個數(shù);k和var（DK）表示在窗口Ωk中字典D的均值和方差;k表示輸入圖像S在窗口Ωk中的均值;cov（Dk，Sk ）表示輸入圖像S與字典D在窗口Ωk中的協(xié)方差。通過求解整幅圖像的系數(shù)ak，可以獲得整幅圖像的焦點信息。為了方便起見，本文將提出的焦點測度記做MLSR。下面分析MLSR的焦點檢測能力。

2.1 焦點檢測分析

本文MLSR焦點測度具有很強的細節(jié)提取能力。通過式（5）給出的參數(shù)ak的表達式，可以分析MLSR的細節(jié)提取特性。在這里主要研究輸入圖像S與字典D對MLSR的影響?？紤]一種特殊情況：當輸入圖像S與字典D相同時，此時ak=var（Dk）/（var（Dk）+ρ）。選定適當?shù)膮?shù)ρ，當圖像處于高方差區(qū)域時，var（Dk）ρ，此時αk的值接近于1；當圖像處于平坦區(qū)域時，var（Dk）ρ，此時ak的值接近于0。因此，可以得出這樣一個結論：MLSR可以描述圖像的高頻信息，即可以表示出局部像素之間的梯度和對比度的強烈變化。考慮到在多聚焦圖像中，聚焦區(qū)域相比于散焦區(qū)域包含更多的高頻信息、像素之間有更強烈的對比度變化，因此聚焦區(qū)域比散焦區(qū)域具有更大的ak值。綜上所述，MLSR可以用做焦點測度。圖1是典型的源圖像及其相應MLSR焦點測度圖的示例。由圖1可見，聚焦區(qū)域的像素具有更大的ak值。

2.2 字典D的選擇

字典D的合理選擇對于MLSR性能有著重要的影響。通常，對于輸入源圖像S，當窗口Ωk處于其聚焦區(qū)時，ak的值接近于1。由式（5）可知，此時字典D與輸入源圖像S基本相同；而當窗口Ωk處于其散焦區(qū)時，ak的值接近于0，由式（5）可知，此時需要滿足條件（var（Dk）+ρ）cov（Dk，Sk ）。為了找到滿足此條件的字典D，本文進行了一個簡單的選擇實驗。首先將一個源圖像的散焦區(qū)域設置為輸入圖像S，將另一個源圖像對應的聚焦區(qū)域設置為字典D。然后通過使用序列高斯核分別對字典D進行濾波處理，其中高斯核的標準差STD從0.1到20取值，采樣間隔為0.2。根據(jù)得到的一組包含不同模糊程度的字典D序列，最后分別計算圖像S與字典D序列之間的平均協(xié)方差，以及字典D序列的平均方差，實驗結果如圖2所示。由圖2可見，字典D序列的平均方差var（Dk），以及字典D序列與圖像S的平均協(xié)方差cov（Dk，Sk）都隨著字典D模糊程度的增加而減小，而（var（Dk）/cov（Dk，Sk））的值在最初始處取得最大值，此時對應的字典D為圖像的聚焦區(qū)域。因此，在輸入源圖像的散焦區(qū)，將字典D設置為對應源圖像的聚焦區(qū)是合理的。綜上所述，在條件允許的情況下，將全聚焦圖像設置為字典D是一個比較合理和理想的選擇。

3 多聚焦圖像融合方法

本章提出一種新的基于LSR和圖像摳圖的MFIF算法?？紤]到實際工程應用中并沒有參考圖像，對于LSR模型中的字典D需要重新選擇。為此，設計了一種迭代更新字典的方案用于圖像融合的過程。本文所采用的融合方法的流程如圖3所示。

由圖3可見，首先將源圖像選為初始字典；接著對源圖像執(zhí)行整個融合過程，并得到融合圖像；然后，將得到的融合圖像作為新的字典，再重復一次融合過程；最后，在迭代次數(shù)達到設定值K之后，將融合結果作為最終的融合圖像輸出。具體地，對于單次的融合算法下面將進行詳細描述。

a）獲取焦點圖。根據(jù)第2章所提出的焦點測度，得到源圖像焦點圖。首先將源圖像作為初始字典D1，i；然后，將初始字典D1，i代入到LSR模型中，得到輸入圖像I的焦點測度圖FM，即

FMi（x，y）=MLSR{Ii（x，y），D1，i（x，y）} i=1，2（6）

對于多聚焦圖像，處于高方差區(qū)或者聚焦程度較高的像素具有更大的焦點測度值。因此，當輸入源圖像存在噪聲時，焦點測度可能會對圖像的聚焦程度產(chǎn)生錯誤的判斷。為了去除噪聲的影響、增強焦點測度的魯棒性，本文采用了一種均值池化策略，它通過使用局部窗口內焦點測度的平均值來評估每個像素的聚焦程度。此時，將焦點圖記為AFM，如式（7）所示。

AFMi（x，y）=avg{FMi（x，y）}R i=1，2（7）

其中：avg為均值池化算子;R代表均值池化窗口的半徑，實驗中設置為5。

b）初始決策圖的構建與優(yōu)化。由式（7）得到的源圖像焦點圖AFM，再根據(jù)choose-max原則，可得到初始決策圖，記做IDM，即

IDM（x，y）=1 if AFM1（x，y）gt;AFM2（x，y）

0 otherwise

（8）

由于平坦區(qū)域中像素對的焦點測度差異通常很小，一些小的、孤立的散焦區(qū)域不可避免地被誤認為是聚焦區(qū)域；反之亦然。所以，初始決策圖中會出現(xiàn)一些孔洞，樣例如圖4（e）所示。此外，算法本身還會產(chǎn)生一些偽邊界像素。為了去除孔洞和偽邊界，需要對初始決策圖作簡單的優(yōu)化處理。具體地，就是填充小于源圖像百分之一大小的區(qū)域；同時，只接受大于給定閾值的不確定區(qū)域作為邊界區(qū)域，其余區(qū)域視為偽邊界并去除。處理后獲得更加精確的優(yōu)化決策圖ODM，如圖4（f）所示。

c）構造三元圖。通常，多聚焦圖像中存在的圖像塊對有兩種情形，如圖5所示。它主要包括：（a）一個子塊完全聚焦，另一個完全散焦 （如圖5情形1）；（b）兩個子塊都是部分聚焦（如圖5情形2）。對于情形1，來自具有較大焦點測度值的塊的像素被認為是聚焦像素，而對應的另一個被視為散焦像素。對于情形2，像素都位于圖像的FDB區(qū)域，也就是對應于圖像摳圖的未知區(qū)域。為了找到未知區(qū)域，本文首先利用導向濾波（guided filter，GF）［31］對決策圖ODM進行一次濾波處理，如式（9）所示。GF是一種邊緣保持濾波器，它能將引導圖像中的邊緣信息傳送到輸出圖像。因此，利用源圖像I為引導圖像的GF就可以實現(xiàn)對決策圖進行一致性驗證。導向濾波后的決策圖為

GODM（x，y）=GFl，？瘙綂（I（x，y），ODM（x，y））（9）

其中：GF（·）為導向濾波算子;l和？瘙綂分別表示導向濾波窗口半徑和正則化參數(shù)，實驗中分別設置為3和0.01。經(jīng)GF后得到的決策圖樣例如圖6（a）所示。根據(jù)決策圖GODM，通過式（10）定義三元圖TM，分別對應于聚焦區(qū)域、散焦區(qū)域和未知區(qū)域，樣例如圖6（b）所示。

TM（x，y）=1" if GODM（x，y）=1

0if GODM（x，y）=0

0.5otherwise（10）

d）圖像摳圖和融合。在獲取三元圖TM之后，通過將源圖像的聚焦區(qū)域綜合在一起來構建經(jīng)一次迭代得到的融合圖像。首先，將得到的三元圖TM作為一個輸入，對源圖像I采用1.2節(jié)介紹的基于學習的摳圖方法［29］求解出α。然后，根據(jù)得到的α，將其定義為最終決策圖，樣例如圖6（c）所示。最后，融合圖像通過式（11）的像素加權平均規(guī)則獲得。

IF（x，y）=I1（x，y）α（x，y）+I2（x，y）（1－α（x，y））（11）

源圖像的聚焦區(qū)域及其對應的融合圖像分別如圖6（d）～（f）所示。由圖6（d）～（f）可見，源圖像中的聚焦區(qū)域得到了很好的保留。

e）迭代獲得最終的融合圖像。將一次迭代得到的融合圖像作為更新的字典Dk，再次重復以上的融合過程，待更新次數(shù)達到設置的次數(shù)K后，獲得最終的融合圖像。

4 實驗與討論

在本文實驗中，使用了30對通用的多聚焦圖像來驗證算法的有效性。其中，20對彩色多聚焦圖像來自Lytro數(shù)據(jù)集，另外10對為經(jīng)典的灰度多聚焦圖像。圖7為測試圖像的一部分，包括8對灰度圖像和8對彩色圖像。充分且合理地比較不同融合方法的先進性是一項困難的工作。為了驗證本文方法的有效性，從定性和定量兩個方面將所提方法與11種具有代表性的融合方法進行詳細比較。選擇進行比較的方法包含了MFIF領域一些表現(xiàn)優(yōu)秀和較新的方法。具體地，這些方法包括一種基于多尺度變換的方法即GFF［4］，兩種稀疏表示的方法即SR［5］和ASR［6］，一種梯度域的方法即MWGF［9］，一種基于混合變換的方法即NSCT-SR［11］；兩種空間域方法即MISF［13］和IM［12］，四種深度學習方法即CNN ［17］、MADCNN［21］、MFF-GAN［24］和SESF［23］。實驗中，所有用來比較的融合方法的參數(shù)都使用原文中的默認設置，源代碼均由作者提供。

客觀評價指標對于衡量融合方法性能優(yōu)劣的作用非常關鍵。為了保證MFIF性能的合理評估，對于每種融合方法都采用了廣泛使用的六個客觀指標來進行評價，詳細的客觀評價指標描述如表1所示。在所有指標中，其值越大，表示融合結果越好。

4.1 迭代次數(shù)的選擇

首先進行用于確定最佳字典D所需的迭代次數(shù)K的實驗。為了評估迭代次數(shù)K對融合性能的影響，本文選擇Lytro數(shù)據(jù)集中的三對源圖像用做測試圖像。在此基礎上，利用QMI、QNICE、QG、QP、QY和QCB六個客觀指標定量評價當K分別取值為1～8時的不同融合性能，實驗結果如圖8所示。由圖8的折線圖可以清楚地看到，融合性能最初隨著K值的增加而提高，但在K達到4之后，融合性能開始穩(wěn)定。考慮到計算復雜度和融合性能的折中，在本文下面的實驗中，取K值為4。

4.2 焦點測度的評價

這里討論提出的焦點測度在MFIF中的有效性。為了證明將全聚焦圖像作為字典D的合理性，實驗選擇了五組經(jīng)典的且有參考（全聚焦）圖像的源圖像對，包括clock、disk、book、jug和doll圖像對。實驗的目的是評價提出的焦點測度在區(qū)分源圖像的聚焦區(qū)域和散焦區(qū)域方面的能力，為此與SML［27］、EOG、方差和Tenengrad測度［28］四種典型的焦點測度進行對比實驗，并用融合圖像與參考圖像間的PSNR值作為能力衡量指標。具體的過程如下：

a）計算源圖像A和B的焦點測度，分別用FMA和FMB表示。

b）比較焦點測度的值，根據(jù)式（12）計算圖像的決策圖。

DF（x，y）=1 if FMA（x，y）gt;FMB（x，y）

0 otherwise（12）

c）根據(jù)決策圖，由式（13）得到融合圖像。

I=A（x，y）DF（x，y）+B（x，y）（1－DF（x，y））（13）

d）計算融合圖像與參考圖像的PSNR值。

不同焦點測度的融合結果如圖9所示，限于篇幅，這里只列出不同焦點測度在融合doll圖像的實驗結果。由圖9可見，本文提出的焦點測度所得到的融合圖像獲得了更清晰的結果。表2為不同焦點測度的融合圖像的PSNR值，其中最好的結果用粗體顯示。由表2可見，本文提出的焦點測度在五組圖像對的融合結果中均取得最好的結果，進一步驗證了它的有效性。

由圖9的融合效果和表2的數(shù)據(jù)可見，和目前典型的焦點測度相比較，在融合圖像的性能方面，本文所提焦點測度是最為有效的。

4.3 定性分析

在MFIF領域，良好的視覺效果意味著有效的融合。因此，融合圖像的視覺質量可以用來對MFIF方法進行定性評價。為了簡明起見，在這里提供一對灰度數(shù)據(jù)集圖像disk和一對Lytro數(shù)據(jù)集彩色圖像golf，實驗結果分別如圖10、11所示。

在圖10的disk圖像的融合結果中，為了方便區(qū)分不同方法的融合效果，將不同方法的融合圖像位于同一邊界位置的區(qū)域用方框標出，并將放大后的區(qū)域顯示在各自融合圖像的右下側（其中，給出放大區(qū)域的源圖像放在源圖像的下方）；同時，為了更直觀地進行視覺評價，圖中給出了由不同方法生成的差值圖像，并在各自的融合結果下方列出。由融合圖像中方框標出區(qū)域的放大圖可見，GFF、SR、ASR、NSCT-SR和MFFGAN等方法中出現(xiàn)了不同程度的模糊；而MWGF、MISF、IM、CNN和MADCNN等方法雖然保持著較高的清晰度，但是鐘表邊框附近存在著明顯的偽影。此外，由圖10還可以看出，在GFF、SR、ASR、NSCT-SR和MFFGAN等方法的差值圖中，存在著大量的背景細節(jié)信息，這說明源圖像的細節(jié)信息沒有充分地被轉移到融合圖像中；而MWGF、MISF、IM、CNN、MADCNN和SESF等方法中存在著部分的殘差（方框標出），特別是在FDB區(qū)域，這會造成融合圖像中出現(xiàn)偽邊緣等問題。與這11種典型方法相比，本文方法具有更高的清晰度和更好的視覺效果，尤其是在FDB周圍區(qū)域。

針對golf彩色源圖像，不同方法產(chǎn)生的融合結果如圖11所示。同樣地，為了方便區(qū)分不同方法的融合性能，將源圖像和差值圖中位于同一邊界位置的區(qū)域用方框標出，并將放大后的區(qū)域顯示在各自圖像的右下側（給出放大區(qū)域的源圖像放在源圖像的下方）。通過觀察圖11（b）～（n）的融合圖像，在球桿的放大圖中可見，GFF、SR、ASR和MFF-GAN等方法或多或少地有模糊視覺效果出現(xiàn)在球桿附近；在MWGF方法的融合圖像中，手臂之間的區(qū)域出現(xiàn)完全模糊的情況；而基于IM方法的融合圖像在球桿附近存在明顯的偽影。相比較，MISF、CNN、MADCNN、SESF和本文方法有較好的視覺效果。在圖11的差值圖中，通過觀察可以發(fā)現(xiàn)，MFF-GAN方法在旗桿（方框標出）附近有殘留的背景信息。而通過將所有方法差值圖中的放大區(qū)域進行比較可以發(fā)現(xiàn)，本文方法保留了前景圖像最完整的信息。同時，與MISF、CNN、MADCNN以及SESF等方法相比，在由本文方法得到的差值圖中，邊界更完整且連續(xù)。這些都表明，本文方法有效地保留了源圖像中最有用的信息，同時有效地避免了偽影和偽邊界問題。

4.4 定量分析

為了更全面、客觀地評價不同方法的融合性能，本文采用了QMI、QNICE、QG、QP、QY和QCB六個廣泛使用、類型各異的客觀評價指標進行定量分析。將不同的融合方法分別在灰度和彩色圖像數(shù)據(jù)集上進行測試，實驗結果如表3、4所示。其中，對于每種方法，所列數(shù)據(jù)是實驗數(shù)據(jù)集中每個樣本在所有客觀指標度量下的平均得分。對于每個客觀指標，性能表現(xiàn)最好的結果以粗體顯示。

對于灰度圖像數(shù)據(jù)集，由表3數(shù)據(jù)可見，與其他11種方法相比較，本文方法除了指標QP（排名第3）之外，在其他五個指標上均是最優(yōu)。這表明，與其他方法相比，本文方法獲得了較好的融合性能。此外，在其他11種方法中，CNN、MISF、MWGF、IM和SESF等方法的性能優(yōu)于其他方法，而MFF-GAN方法的融合性能表現(xiàn)略差。

對于Lytro彩色圖像測試集，由表4數(shù)據(jù)可見，CNN、MISF方法和本文方法獲得了較高的分數(shù)。相比較，本文方法具有更好的性能，其在六個指標中有五個指標是位列第1名、一個指標排名第4。此外，GFF、MWFF、IM、NSCT-SR、MADCNN和ASR等方法的定量評估指標處于中等水平，而SR和MFF-GAN等方法的性能表現(xiàn)相對較差。通常，定性和定量分析相結合對于評價MFIF方法的性能是非常重要的，而不同融合方法得到的定量評價結果總體上與定性評價結果基本一致。因此，基于上述主觀視覺效果的定性比較與表3、4中的定量評估結果，驗證了本文方法的有效性和可行性。

4.5 計算效率分析

本文對不同融合方法的計算效率也進行了實驗分析。實驗在32 GB RAM的Core 10700K CPU的計算機上實現(xiàn)。不同融合方法的平均運行時間如表5所示。由表5數(shù)據(jù)可見：a）SR、ASR、NSCT-SR、CNN和MADCNN等方法相對耗時；b）GFF、MWGF、MISF、MFF-GAN和SESF等方法有較高的計算效率；c）本文方法的計算效率處于中間水平。本文方法的運行時間主要消耗在圖像摳圖過程中。然而，從耗時來看，這種計算效率還是可以接受的，且有很大的優(yōu)化空間。通過充分優(yōu)化代碼，并將其轉換為更高效的實現(xiàn)方式（如GPU、C++等），本文方法的運行時間將顯著減少，可以滿足更多應用的要求。

4.6 多源圖像融合示例

當多聚焦源圖像的數(shù)目超過兩個時，本文提出的方法也適用。為了驗證這一點，本文在一個包含三個多焦點源圖像的序列上實現(xiàn)本文的融合方法。具體地，首先融合其中兩個源圖像；然后將這個中間融合結果再與最后一個源圖像融合，從而獲得最終的融合圖像。圖12為由Lytro數(shù)據(jù)集提供的一組三個多聚焦圖像的融合實驗結果。實驗結果表明，在沒有引入明顯空間偽影的情況下，本文方法可以將輸入源圖像中的所有聚焦區(qū)域有效地綜合到融合圖像中。

5 結束語

本文提出了一種結合線性稀疏表示和圖像摳圖的MFIF方法。首先，受到稀疏表示的啟發(fā)，提出了一種基于線性稀疏表示的焦點測度。與常用的稀疏表示方法不同，本文將自然圖像作為字典，通過迭代自適應地更新字典，從而避免了訓練字典帶來的效率問題，并且實驗驗證了本文焦點測度相比于其他典型的焦點測度更有利于提高圖像融合的性能。然后，提出了一種新的圖像融合方案來有效處理DSE問題。這種方案在較精確地獲得源圖像聚焦區(qū)域的前提下，再利用導向濾波和圖像摳圖技術對FDB區(qū)域進行銳化處理，從而降低了DSE帶來的不利影響。這種方案也為將來進一步研究降低DSE提供了一個簡單而有效的思路。通過大量的定性和定量實驗結果表明，由本文融合方法所獲取的融合圖像具有良好的整體清晰度和局部細節(jié)保持，特別是FDB區(qū)域的細節(jié)。在六個廣泛使用的客觀評價指標上的性能優(yōu)于現(xiàn)有的其他典型方法。

本文方法在兩種廣泛使用的多聚焦圖像數(shù)據(jù)集上都取得了不錯的結果。然而，兩個數(shù)據(jù)集中的大多數(shù)測試圖像處理起來相對簡單，因為它們沒有太明顯的DSE。本文在下一步工作中，將集中解決一些具有強DSE圖像的問題，以提高融合方法在真實數(shù)據(jù)集上的性能。

參考文獻：

[1]Liu Yu， Wang Lei， Cheng Juan， et al. Multi-focus image fusion： a survey of the state of the art［J］.Information Fusion， 2020，64（12）：71-91.

［2]Tian Jing， Chen Li. Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure ［J］.Signal Processing，2012，92（9）：2137-2146.

［3]Li Xiaosong， Zhou Fuqiang， Tan Haishu， et al. Multi-focus image fusion based on nonsubsampled contourlet transform and residual removal［J］.Signal Processing，2021，184：108062.

［4]Li Shutao， Kang Xudong， Hu Jianwen. Image fusion with guided filtering［J］.IEEE Trans on Image Processing，2013，22（7）：2864-2875.

［5]Yang Bin， Li Shutao. Multi-focus image fusion and restoration with sparse representation［J］.IEEE Trans on Instrumentation and Measurement，2009，59（4）：884-892.

［6]Liu Yu， Wang Zengfu. Simultaneous image fusion and denoising with adaptive sparse representation［J］.IET Image Processing，2015，9（5）：347-357.

［7]Liu Yu， Chen Xun， Ward R K， et al. Image fusion with convolutional sparse representation［J］.IEEE Signal Processing Letters，2016，23（12）：1882-1886.

［8]張冰，謝從華，劉哲.基于顯著稀疏表示和鄰域信息的多聚焦圖像融合［J］.計算機科學，2019，46（9）：254-258.（Zhang Bing， Xie Conghua， Liu Zhe. Multi-focus image fusion based on latent sparse representation and neighborhood information［J］.Computer Science，2019，46（9）：254-258.）

［9]Zhou Zhiqiang， Li Sun， Wang Bo. Multi-scale weighted gradient-based fusion for multi-focus images［J］.Information Fusion，2014，20：60-72.

［10]Mitianoudis N， Stathaki T. Pixel-based and region-based image fusion schemes using ICA bases［J］.Information Fusion，2007，8（2）：131-142.

［11]Liu Yu， Liu Shuping， Wang Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation［J］.Information Fusion，2015，24：147-164.

［12]Li Shutao， Kang Xudong， Hu Jianwen， et al. Image matting for fusion of multi-focus images in dynamic scenes［J］.Information Fusion，2013，14（2）：147-162.

［13]Zhan Kun， Kong Lingwen， Liu Bo， et al. Multimodal image seamless fusion［J］.Journal of Electronic Imaging，2019，28（2）：023027.

［14]郭利強.綜合引導濾波和字典學習超像素聚類圖像融合［J］.計算機應用研究，2021，38（7）：2225-2230.（Guo Liqiang. Image fusion based on guided filtering and dictionary learning super-pixel clustering［J］.Application Research of Computers，2021，38（7）：2225-2230.）

［15]Wu Wei， Yang Xiaomin， Pang Yu， et al. A multifocus image fusion method by using hidden Markov model［J］.Optics Communications，2013，287：63-72.

［16]Duan Junwei， Chen Long， Chen C L P. Multifocus image fusion with enhanced linear spectral clustering and fast depth map estimation［J］.Neurocomputing，2018，318：43-54.

［17]Liu Yu， Chen Xun， Peng Hu， et al. Multi-focus image fusion with a deep convolutional neural network［J］.Information Fusion，2017，36：191-207.

［18]Zhao Wenda， Wang Dong， Lu Huchuan. Multi-focus image fusion with a natural enhancement via a joint multi-level deeply supervised convolutional neural network［J］.IEEE Trans on Circuits and Systems for Video Technology，2018，29（4）：1102-1115.

［19]Zhang Yu， Liu Yu， Sun Peng， et al. IFCNN： a general image fusion framework based on convolutional neural network［J］.Information Fusion，2020，54：99-118.

［20]Li Jinxing， Guo Xiaobao， Lu Guangming， et al. DRPL： deep regression pair learning for multi-focus image fusion［J］.IEEE Trans on Image Processing，2020，29：4816-4831.

［21]Lai Rui， Li Yongxue， Guan Juntao， et al. Multi-scale visual attention deep convolutional neural network for multi-focus image fusion［J］.IEEE Access，2019，7：114385-114399.

［22]Yan Xiang， Gilani S Z， Qin Hanlin， et al. Structural similarity loss for learning to fuse multi-focus images［J］.Sensors，2020，2（22）：6647.

［23]Ma Boyuan， Zhu Yu， Yin Xiang， et al. SESF-fuse： an unsupervised deep model for multi-focus image fusion［J］.Neural Computing and Applications，2021，33（11）：5793-5804.

［24]Zhang Hao， Le Zhuliang， Shao Zhenfeng， et al. MFF-GAN： an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion［J］.Information Fusion，2021，66：40-53.

［25]Zhang Xingchen. Deep learning-based multi-focus image fusion： a survey and a comparative study［J/OL］.IEEE Trans on Pattern Analysis and Machine Intelligence.（2021-05-11）.http：//doi.org/10.1109/tpami.2021.3078906.

［26]Huang Wei， Jing Zhongliang. Evaluation of focus measures in multi-focus image fusion［J］.Pattern Recognition Letters，2007，28（4）：493-500.

［27]Nayar S K， Nakagawa Y. Shape from focus［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1994，16（8）：824-831.

［28]Tenenbaum J M. Accommodation in computer vision［M］.Stanford，CA：Stanford University，1971.

［29]Zheng Yuanjie， Kambhamettu C. Learning based digital matting［C］//Proc of the 12th International Conference on Computer Vision. Piscataway，NJ：IEEE Press，2009：889-896.

［30]Tan Jin， Zhang Taiping， Zhao Linchang， et al. Multi-focus image fusion with geometrical sparse representation［J］.Signal Processing： Image Communication，2021，92：116130.

［31]He Kaiming， Sun Jian， Tang Xiaoou. Guided image filtering［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2012，35（6）：1397-1409.

［32]Hossny M， Nahavandi S， Creighton D. Comments on： information measure for performance of image fusion［J］.Electronics Letters，2008，44（18）：1066-1067.

［33]Wang Qiang， Shen Yi， Zhang Jianqiu. A nonlinear correlation mea-sure for multivariable data set［J］.Physica D： Nonlinear Pheno-mena，2005，200（3-4）：287-295.

［34]Xydeas C S， Petrovic V. Objective image fusion performance measure［J］.Electronics Letters，2000，36（4）：308-309.

［35]Zhao Jiying， Laganiere R， Liu Zheng. Performance assessment of combinative pixel-level image fusion based on an absolute feature measurement［J］.International Journal of Innovative Computing， Information and Control，2007，3（6）：1433-1447.

［36]Yang Cui， Zhang Jianqi， Wang Xiaorui， et al. A novel similarity based quality metric for image fusion［J］.Information Fusion，2008，9（2）：156-160.

［37]Chen Yin， Blum R S. A new automated quality assessment algorithm for image fusion［J］.Image and Vision Computing，2009，27（10）：1421-1432.