基于拉普拉斯金字塔的圖像融合算法研究

余美晨，孫玉秋，王超 (長江大學信息與數學學院，湖北 荊州 434023)

?

基于拉普拉斯金字塔的圖像融合算法研究

余美晨，孫玉秋，王超 (長江大學信息與數學學院，湖北 荊州 434023)

提出了一種改進的拉普拉斯金字塔圖像融合方法。首先將源圖像進行高斯金字塔分解，接著再進行拉普拉斯金字塔分解，然后對由拉普拉斯金字塔形成的圖像序列的對應層分別使用不同的融合規則進行融合。頂層采用加權融合，其余層采用基于區域能量的融合規則進行融合，最后再進行拉普拉斯反變換得到重構圖像。試驗結果表明，該方法能夠有效的保留圖像信息，融合效果良好。

拉普拉斯金字塔；高斯金字塔；圖像融合

圖像融合所具有的改善圖像質量、提高幾何配準精度、克服目標提取與識別中圖像數據的不完整性等優點，使得它成為當前重要的信息處理技術，并在遙感、醫學、航天等領域得到廣泛的應用。圖像融合是指利用各種成像傳感器獲得不同圖像，綜合各圖像的互補信息和冗余信息，產生一幅新的圖像，以獲得更為精確、可靠、全面的圖像描述[1]。圖像融合包括像素級融合、特征級融合和決策級融合[2]3個部分。近年來，人們提出了多種圖像融合方法，其中像素級融合中的多分辨率圖像融合方法較為常見，而拉普拉斯金字塔分解方法是多分辨率分析中的一類。基于拉普拉斯金字塔分解的圖像融合算法的融合過程是將各個源圖像分別在不同尺度、不同空間分辨率和不同分解層上分別進行的[3]。采用傳統的拉普拉斯金字塔進行圖像融合，最終得到的融合圖像因細節丟失而變得模糊。為了能獲得更好的融合效果， 保留更多的圖像細節，筆者對傳統的拉普拉斯金字塔圖像進行了改進。

1 傳統拉普拉斯金字塔圖像融合

傳統拉普拉斯金字塔圖像融合的核心思想是通過構建分辨率逐層遞減的金字塔，對各層金字塔按照一定的規則進行信息提取并利用上層信息逐層重構最終得到融合圖像。 主要包括以下3個步驟：圖像高斯金字塔形的建立、圖像拉普拉斯金字塔形的建立和拉普拉斯金字塔反變換。把源圖像分別用高斯低通濾波器進行低通濾波，接著再隔行隔列下采樣，經過這個過程可形成一幅與源圖像近似的子圖像，再將該子圖像插入一個適當的值使它膨脹，然后計算它與上一層圖像的差值，得到帶通分量。這個就是拉普拉斯金字塔的第1層，將這個近似圖像重復做以上的分解過程，如此進行，可以得到其他層次，就構成了拉普拉斯金字塔。

1.1 圖像的高斯金字塔分解

對源圖像分別進行隔行降采樣，接著隔列降采樣，然后利用高斯窗口函數與得到的圖像做卷積操作，就可以形成一列列的分辨率逐漸遞減并且進行了低通濾波后的塔層。

設原始圖像為G0，即塔層的第0層，對該層再進行低通濾波，接著間隔降采樣，形成的圖像記成G1，這就是高斯金字塔的第1層。重復進行上述操作過程，依次得到高斯金字塔的各層，即為G2，G3，…，GN。可以用函數GREDUCE表示每級之間的運算：

Gl=GREDUCE(Gl-1)

(1)

即對第l級圖像上的點(i,j)，0≤i≤Cl，0≤j≤Rl，1≤l≤N(N記為金字塔的總級數，G1、R1是作為金字塔第l級圖像的高度和寬度)有：

(2)

式中，w(m,n)為高斯模板;w(m,n)=h(m)×h(n)為窗口函數；h取為高斯密度分布函數。

滿足約束條件：

1)歸一化性：

(3)

2)對稱性：

h(i)=h(-i)

(4)

3)奇偶性：

h(0)+h(-2)+h(+2)=h(-1)+h(+1)

(5)

由以上條件可得：

(6)

窗口函數w(m,n)可表示如下：

(7)

至此，由G0，G1，…，GN構成了高斯金字塔[4]，后面每層的大小都是它前面一個的4倍。

由上可知，REDUCE函數等同于用高斯模板對原始圖像A、B分別作卷積運算，接著再對它們隔行隔列采樣。然后定義一個函數EXPAND，它與REDUCE是互為逆運算。函數EXPAND是對高斯金字塔中每一層小的圖像插入一個值，就把它的尺寸擴大成其前一個的尺寸。對Gl進行EXPAND運算后用Gl,k表示其結果，則：

Gl,0=Gl

(8)

Gl,k=EXPANDGl,k-1

(9)

(10)

1.2 圖像的拉普拉斯金字塔分解

從金字塔底層圖像重建上層未采樣圖像，即預測殘差，把圖像最大程度的還原。它所表現出來的是一組圖像序列，記為L。即：

LN=GN

(11)

LN=Gl-EXPAND(Gl+1)=Gl-Gl+1,l0≤l≤N

(12)

式中，G0，G1，…，GN記為高斯金字塔；L0，L1，…，LN記為拉普拉斯金字塔。L0可以通過L0和L1執行一次EXPAND作相減而得到。

反復進行以上過程，得到一列列圖像，該步驟即是拉普拉斯金字塔的構造過程。

1.3 拉普拉斯金字塔反變換

通過以上逆過程能重構G0。定義GN=LN，GN-1為GN執行一次EXPAND操作后和LN-1相加而來。依次類推，經過一系列上述過程，再作和運算，G0就依此來逆過程進行重構。

基于拉普拉斯塔形分解的圖像融合的流程圖如圖1所示。

圖1 拉普拉斯金字塔圖像融合框圖

2 改進的方法

源圖像采用拉普拉斯金字塔的方法分解后，不同

的融合規則反映的融合結果不同，對融合效率的影響也不同。基于區域能量的融合規則考慮了周圍像素的相互作用，可以很好的保留圖像的細節和紋理信息。

基于區域能量規則的融合過程如下：

首先計算源圖像對應局部區域的等效能量。選擇局部區域的大小為3×3，加權系數為W(α，β)，則拉普拉斯金字塔的第k層、以(i,j)為中心的局部區域能量Ek(i,j)為：

(13)

設待融合的2幅圖像為A,B，融合后的圖像為F，則計算局部區域的匹配度如下：

(14)

定義閾值e(0.5

若Mk,AB(i,j)

(15)

若Mk,AB(i,j)≥e，則：

(16)

其中加權融合算子的選擇如下：

(17)

3 試驗結果與分析評價

3.1 試驗結果

圖像融合的關鍵技術包括圖像特征點提取、圖像匹配、圖像融合3個方面。筆者在圖像已配準的基礎上用拉普拉斯金字塔圖像融合方法融合2組圖像：第1組是不同聚焦圖像；第2組是普通攝影圖像。試驗仿真軟件為Matlab 2012。

圖2所示為左聚焦圖像A1(背景清楚，鬧鐘模糊)和右聚焦圖像B1(背景模糊，鬧鐘清楚)采用幾種不同的方法進行融合的結果。圖3所示為普通攝影的2幅源圖像A2和B2(分別模糊了上部分和下部分)采用幾種不同的方法進行融合的結果。

圖2 不同聚焦的圖像融合

圖3 普通攝影圖像融合

3.2 評價

通過試驗結果可以看出，幾種方法都有一定的融合效果，而且筆者提出的拉普拉斯法金字塔法融合效果較好[5]。但是由于人眼的感知能力不同，對圖像的主觀感受也有差別，因此還需要對圖像的試驗結果進行客觀評價。

1)信息熵。 圖像的信息熵是包含平均信息量多少的度量，其定義為：

(18)

式中，p(i)為灰度i的分布概率，其范圍是[0,1,…,L-1]。融合后圖像的熵值大小反映了圖像包含信息量的多少，熵值越大說明融合的效果相對越好[6]。

2)互信息。互信息smi也稱為相關熵，是信息論的重要部分，可以用來衡量融合圖像從源圖像中繼承信息的多少。原始圖像A、B和融合后的圖像F的互信息為：

(19)

3)邊緣保持度。邊緣保持度的運算步驟如下：

a)計算原圖像IA、IB以及融合圖像IF的梯度幅值和相角，以計算圖像IA的梯度幅值和相角為例：

(20)

(21)

b)計算IA與IF的相對幅值GAF(m,n)和相角AAF(m,n)以及IB與IF的相對幅值GBF(m,n)和相角ABF(m,n)。以計算前者為例：

(22)

(23)

c)計算邊緣幅值和相角保留程度：

(24)

(25)

d)計算各像素邊緣信息保留程度：

(26)

(27)

e)最后得到邊緣保持度客觀評價指標：

(28)

式中，M，N為圖像長和寬；wA(n,m)=|gA(n,m)|L，wB(n,m)=|gB(n,m)|L(L為常數，筆者取1)。

不同聚焦以及普通攝影的圖像融合結果客觀評價如表1和表2所示，由表1、表2可知，拉普拉斯金字塔法要優于傳統融合方法，能保留較多信息，效果較好。

表1 不同聚焦圖像融合結果客觀評價

表2 普通攝影圖像融合結果客觀評價

4 結語

提出了一種基于拉普拉斯金字塔的圖像融合算法，從試驗結果可以看出，該方法對不同聚焦圖像、普通攝影圖像融合均取得了較好的效果，融合后的圖像質量與一般方法相比有顯著提升，具有一定的實用價值。

[1]何東健. 數字圖像處理[M]. 第2版. 西安:西安電子科技大學出版社, 2008.

[2] 朱瑞輝, 萬敏, 范國濱. 基于金字塔變換的圖像融合方法[J]. 計算機仿真, 2007, 24(12):178～192.

[3] 陳浩, 王延杰. 基于拉普拉斯金字塔變換的圖像融合算法研究[J]. 激光與紅外, 2009, 4(4):439～442.

[4] 席亮. 基于量子力學和拉普拉斯金字塔的圖像融合方法[J]. 計算機與現代化, 2015, 12(4):37～41.

[5] 于坤林, 謝志宇, 原振文. 改進的小波圖像融合算法及應用研究[J]. 計算機與數字工程, 2014, 4(4):592～595.

[6] 杜娟, 王少宇. 基于小波分解的多窗口圖像融合[J]. 測繪信息與工程, 2007, 3(6):6～7.

[編輯] 洪云飛

2016-09-16

國家自然科學基金項目(60572048);湖北省自然科學基金重點項目(2013CFA053)。

余美晨(1992-)，女，碩士生，現主要從事數字圖像處理方面的研究工作。

孫玉秋(1968-)，女，博士，教授，博士生導師，現主要從事數字圖像處理、模式識別等方面的教學與研究工作；E-mail: yqsun@yangtzeu.edu.cn。

TP391

A

1673-1409(2016)34-0021-06

[引著格式]余美晨，孫玉秋，王超.基于拉普拉斯金字塔的圖像融合算法研究[J].長江大學學報(自科版)，2016,13(34)：21～26.