一種改進聚焦區域檢測的多聚焦圖像融合方法

王晨曦， 王淑青， 劉逸凡， 慶毅輝， 夏耀威

(湖北工業大學電氣與電子工程學院， 湖北 武漢 430068)

多聚焦圖像融合是當前圖像融合領域一個重要分支，在圖像信息采集設備中，受限于光學鏡頭景深范圍影響，場景內不同目標難以同時在光學鏡頭景深范圍內呈現聚焦特性，因此為獲得同一場景下全局目標聚焦圖像，采用可變焦距鏡頭對場景中不同目標物體分別聚焦，采集獲得多幅不同聚焦區域的部分聚焦圖像，采用特定融合算法提取這些部分聚焦圖像的清晰區域中的像素點，將其融合成為一幅該場景中所有物體都清晰的融合圖像，生成的融合圖像包含了源圖像重要聚焦區域信息，并減少了冗余信息，在軍事、醫學圖像處理、地質勘查、計算機視覺等領域有著廣泛應用[1]。

實現多聚焦圖像融合算法的關鍵是對聚焦區域特性做出準確評判，進行準確檢測定位并提取出聚焦區域內的清晰像素[2]。空間域多聚焦圖像融合方法主要利用聚焦評價函數對聚焦區域進行檢測，通過尋找像素值與聚焦區域之間的對應關系，選取源圖像中聚焦區域特性好的圖像塊或區域來得到融合圖像，但性能較差的聚焦評價函數在聚焦區域檢測過程中對于聚焦區域的檢測不敏感，且容易引入噪聲誤差，為解決上述問題，進一步提升多聚焦圖像融合中聚焦區域檢測算法性能，本文在傳統的SML聚焦評價函數基礎上改進了一種聚焦區域檢測方法，該方法有效擴大了對聚焦區域檢測的精確度，降低噪聲誤差的引入，最后得到的融合圖像冗余信息較少，內容信息豐富。

1 聚焦評價函數

在多聚焦圖像融合算法中，對不同聚焦源圖像利用聚焦評價函數提取聚焦區域，對得到的聚焦區域，根據融合規則直接復制該位置的像素值到最終的融合圖像，期間不改變像素值大小(圖1)。

圖 1 多聚焦圖像融合聚焦區域檢測方法

在空間域上目前常用的聚焦評價函數主要包括空間頻率法(Spatial Frequency，SF)、梯度能量法(Energy of Gradient，EOG)、和修正拉普拉斯法(Sum of Modified Laplacian，SML)、雙邊梯度強度法(Tenegrad)和相位相干法(Phase Coherence，PC)等[3-5]。Huang等學者用了大量實驗論證SML在多聚焦圖像融合的應用中優于其他的常用清晰度聚焦評價函數[6]；其中相位相干法和雙邊梯度強度精度較低；SF計算簡單方便，耗時最少但精確度不夠；EOG和SF相比較精度方面有所提高，但精度低于SML，SML函數在同等條件下對圖像的清晰度變化最敏感，但耗時較長，基于上述研究，本文在SML聚焦評價函數的基礎上進行分析，改進一種新的聚焦區域檢測方法。

1.1 拉普拉斯梯度和SML

在圖像中，梯度直接反映像素值的變化情況，可以表示圖像的邊緣和紋理信息，反映圖像清晰度的變化情況，可用作圖像聚焦檢測，文獻[5]表明拉普拉斯算子是圖像的二階導數逼近，并突出像素強度快速變化區域，這使得它適合于檢測焦點的變化，在正常成像條件下具有較好的整體檢測性能，在給定的灰度圖像中，像素點(x，y)的改進的拉普拉斯梯度(ML，Modified Laplacian)定義如下：

ML(x,y)=|2f(x,y)-f(x-step,y)-
f(x+step,y)|+|2f(x,y)-
f(x,y-step)-f(x,y+step)|

其中f(x，y)為像素點(x，y)處的灰度值，在一些均勻區域，由于相應區域拉普拉斯梯度變化較小，不能很好地反映該區域中聚焦目標，為了解決這一問題，文獻[7]改進了一種拉普拉斯梯度和方法SML，通過引入累加和放大該區域的梯度值，增強該區域與周圍區域的對比度便于檢測選取聚焦區域，定義如下：

其中step為步長通常取1，T為挑選合適的ML閾值降低噪聲的影響，N為控制窗口大小，窗口大小為(2N+1)×(2N+1)。

1.2 改進的拉普拉斯梯度和NSML

SML在一定程度上能恰當表示圖像的聚焦特性和清晰度，在采用拉普拉斯算子放大某一處的梯度信息增強信息對比度時，以3×3窗口為例，傳統SML只在水平和垂直方向上計算每個像素窗口大小的ML值，對于主對角線和此對角線上的鄰域則沒有考慮，如圖2a所示，SML采用的算子模板只考慮了4鄰域的像素，對于對角線的未作考慮。

圖 2 算子模板

Sun等學者通過改進提出了一種新的聚焦評價函數：拉普拉斯梯度算子(Sum of New Modified Laplacian，NSML)和檢測聚焦區域，該方法將原有檢測的4個方向擴展到8個方向，算子模板如圖2b，這個方法可以在保留圖像中的各像素灰度值情況下，增強對比度，不改變圖像背景，突出圖像中小的紋理細節信息[8]，定義如下：

NML(x,y)=|2f(x,y)-f(x-step,y)-
f(x+step,y)|+|2f(x,y)-f(x,y-step)-
f(x,y+step)|+|2f(x,y)-f(x-step,y-step)-
f(x+step,y+step)|+|2f(x,y)-
f(x+step,y-step)-f(x-step,y+step)|

改進的新拉普拉斯梯度和NMSL定義如下：

其中step為步長變化參數通常取1，參數的設置主要根據噪聲大小來選取，step較小時主要應用于噪聲干擾較小的圖像，step較大時主要應用于噪聲和亮度變化較大的圖像中。

1.3 加權的改進拉普拉斯梯度和SWML

拉普拉斯算子本身對噪聲極為敏感，采用累加和的方式使得梯度信息在得到加強的同時，也會增強圖像中的噪聲，為了解決這一問題,Bai改進提出了一種加權改進的拉普拉斯算子梯度和方法(Sum of Weighted Modified Laplacian，SWML)[9]，該方法對圖像中每個像素位置的梯度信息在一個局部窗口進行加權，這種方式將會使每個像素位置的梯度強度被其附近的梯度信息加強，同時加權的方式能減小噪聲的引入(圖3)，其定義如下式：

局部窗口中每個像素位置的梯度的相關權重與梯度位置(i，j)與局部窗口中心像素(x，y)的空間距離成反比，每個像素位置的WML梯度強度主要由附近的ML梯度貢獻，非聚焦區域的梯度強度不會被附近的聚焦區域影響，無論是在聚焦區域還是離焦區域，聚焦區域的WML梯度會遠遠大于相應的離焦區域WML梯度，能有效增強梯度信息，降低噪聲的引入，同時選擇合適的N值可以有效地擴大檢測范圍。

2 改進的聚焦評價函數F-SWNL

通過上述分析研究，改進拉普拉斯梯度和SML作為經典聚焦評價函數，廣泛運用于圖像融合聚焦區域檢測中，缺點是方向單一，缺乏主次對角線上的檢測，同時存在部分噪聲信息；改進的新拉普拉斯梯度和NSML在原有的SML基礎上有效的增加了檢測方向，將原有的4方向擴展到了空間上的8方向，擴大了檢測范圍，但相比較SML引入了更多的噪聲；加權改進的拉普拉斯梯度和SWML引入空間幾何距離，利用權重增強梯度信息，部分抑制了噪聲梯度，缺點是采用的ML算子缺乏對主次對角線上的計算，得到的WML值不夠精確。結合幾種傳統聚焦評價函數的優點，在此基礎上筆者改進了一種聚焦評價函數(Sum of New Weighted Laplacian，SWNL )，該方法結合NSML在8方向上的拉普拉斯算子檢測優點與SWML利用空間距離加權降低噪聲引入的優點，能有效擴大檢測范圍同時降低噪聲梯度帶來的影響(圖4)，定義如下：

圖 4 SWNL梯度模板

利用空間幾何距離賦值權重，離中心像素點越近的像素區域被認為影響越大，加權的方式一定程度上也抑制了部分噪聲梯度的產生，同時可以合理調整窗口N值的大小，擴大檢測范圍，選擇合適的閾值T能有效提取聚焦目標區域。

3 實驗結果及分析

多聚焦圖像融合的實質是：對于多焦點圖像，采用特定的聚焦區域檢測算法得到初始融合決策圖，根據融合規則合理挑選聚焦區域得到二級融合決策圖，最后實現整個圖像融合過程。

3.1 融合規則

采用拉普拉斯算子作為聚焦評價函數提取聚焦區域，由于拉普拉斯算子本身對噪聲的敏感會導致聚焦目標區域存在部分孤立點或空洞區域(圖5b)，使得最后得到的融合圖像質量降低，本文對經過SWNL聚焦評價函數檢測得到的初始融合決策圖進行濾波處理[10]，采用中值濾波的方式剔除初始決策圖中的部分孤立點，減小噪聲帶來的影響，通過均值濾波對檢測到的聚焦區域邊緣進行平滑處理，相關定義如下式：

其中Average(·)表示均值濾波函數，Med(·)表示中值濾波函數，M1和M2表示均值濾波和中值濾波的窗口大小，均值濾波起平滑融合圖像的視覺效果，中值濾波器明顯抑制孤立點，在提出的算法中選取M1=3，M2=5。

圖 5 誤差噪聲處理

對于同一成像條件下，不同聚焦目標的多聚焦圖像AB來說，合理的融合規則將大大提高圖像的融合質量，一般來說通常都是選擇不同圖片同個像素位置的SWNL值較大一方作為最終融合區域決策圖，即：

(1)

Fb是融合圖像初級決策圖，SWNLA(x，y)為圖像A在像素點(x，y)處的SWNL梯度值。由于聚焦評價函數檢測得到的聚焦區域存在噪聲空洞的情況，空洞即該處的像素灰度值為零的情況，采用濾波器進行中值濾波和均值濾波，剔除孤立點噪聲平滑聚焦區域后得到圖5b,圖5d，本文利用下式對空洞進行填充：

(2)

均值圖像差DiffF(x，y)表示初級決策圖與均值圖像AvgF(x，y)差值，最終結合式(1)、(2)與原圖像A、B進行圖像融合最終的融合規則如下式：

其中F(x，y)是最終融合圖像，A(x，y)，B(x，y)是像素點處的像素灰度值，對于已選定的區域可直接通過復制該處像素點灰度值提取到融合決策圖，對于部分區域存在像素點灰度值為0的情況，采取上述融合規則進行填充，得到最終聚焦區域圖5e。

3.2 聚焦函數性能對比

根據上文對幾種常用的聚焦評價函數進行的分析，本文改進了一種F-SWNL聚焦評價函數提取聚焦區域，為進一步驗證提出的改進聚焦評價函數性能，與前文介紹的其他幾類聚焦評價函數進行了如下對比：對選定的圖片進行人工高斯模糊，其中高斯模糊的半徑r分別為0，1，2，3，4得到不同清晰度下的圖片(圖6)，得到相應的聚焦測量值如表1所示。

圖 6 高斯模糊處理

表1 不同聚焦評價函數下的聚焦區域測量值

圖 7 數據歸一化處理

通過對求得的聚焦區域測量值數據進行歸一化處理后，繪出不同聚焦評價函數在同一圖片不同清晰度下聚焦測量值變化對比圖(圖7)，SF算法和EOG算法對于圖片的模糊敏感變化不大，本文提出的F-SWNL聚焦評價函數在圖像清晰度變化敏感程度上優于SML、NSML以及SWML聚焦評價函數，所以本文提出的改進聚焦評價函數可用作聚焦區域檢測，檢測提取出聚焦區域效果見圖8。

圖 8 不同聚焦評價函數聚焦區域檢測效果

由圖8可知：利用傳統SML聚焦評價函數檢測得到的聚焦區域較為模糊，出現部分偽影；SNML和SWML相較于SML清晰程度有所增加，聚焦區域基本能檢測完全，缺點是在一些細節方面的信息比如樹枝周邊位置不夠清楚，而改進的聚焦評價函數在聚焦區域檢測方面對于目標個體和背景區分較為仔細，整體輪廓清晰信息豐富，檢測得到的聚焦區域噪聲較少。

3.3 實驗結果

為進一步驗證改進的聚焦區域檢測方法在多聚焦圖像融合中的有效性，分別選取tree、baby、man進行多聚焦圖像融合，本次實驗采用MATLAB進行編程實現，運行環境為Windows系統，MATLAB2017a，處理器為 Intel i5-8300H(2.30 GHz，64 bit)，內存為4 G，參數的選擇T為5，step=1，N值為8，運行的結果見圖9。

圖 9 融合效果

對于多聚焦融合圖像融合效果的評價主要分為主觀和客觀評價，主觀方式通過肉眼觀察融合圖像效果直接觀察，具有強烈的主觀色彩，本文通過建立客觀評價指標進行觀察判別融合效果，建立客觀評價體系(表2),文獻[11-13]選取了4類評價指標，其中邊緣保持度融合質量指標QAB/F反映了融合圖像中包含源圖像中的邊緣信息量大小，值越大證明融合效果越優；互信息QMI表示兩幅圖像的相關程度，代表從源圖像中保留繼承信息量的多少，值越大代表融合圖像從源圖像中獲取的信息越多；信息熵QEN, 反映了圖像整體的信息量，圖像信息量越豐富，對應的細節信息越清晰，則對應的信息熵會越來越大；標準差STD反映了圖像信息的活躍度，其值越大，代表可利用的信息越多，圖像的視覺信息越佳，詳情見表2。

表2 客觀評價結果

通過建立客觀評價指標，表2中Tree、man、baby圖像融合客觀指標計算結果表明，本文利用改進的聚焦評價函數實現多聚焦圖像融合得到的融合圖像在邊緣保持度QAB/F、互信息QMI、信息熵QEN，及標準差STD方面值優于本文介紹的其他幾類方法，融合得到的效果明顯優于其他幾種聚焦評價函數，對比客觀評價指標參數較其他幾種方法都處于較高水平，反映本文提出的改進聚焦區域檢測方法融合質量優于其他方法，由于計算復雜度較其他幾種算法略有增加，在耗時方面可能并非最優，未來可以進一步優化算法，綜上，改進聚焦區域檢測方法在聚焦區域檢測方面較其他幾種方法具有一定的優越性，融合圖像信息豐富，誤差噪聲較小，圖像融合質量突出。

4 結論

本文針對在空間域上利用聚焦評價函數檢測聚焦區域實現多聚焦圖像融合過程中傳統聚焦評價函數性能較差,容易引入誤差噪聲的問題， 在傳統的SML聚焦評價函數基礎上結合了NSML和SWML方法的優點，改進了一種聚焦區域檢測方法，實現對多聚焦圖像融合過程中聚焦區域的判定和選取，后續通過濾波器濾波處理剔除孤立點噪聲，設計了合理的融合規則對空洞區域填充，最后的實驗結果表明：改進的方法對圖像清晰度變化較傳統的幾種聚焦評價函數更加敏感，同時，結合建立的客觀評價指標，改進的聚焦區域檢測的多聚焦圖像融合方法在融合效果方面優于本文介紹的其他方法，融合圖像質量信息豐富，噪聲較小。