特征匹配度結合邊緣檢測的圖像融合技術

劉 佳，李登峰

(武漢紡織大學 數學與計算機學院，湖北 武漢 430200)

0 引 言

圖像融合的目的在于利用圖像信息之間的互補性將多幅源圖像整合成為一張新的圖像[1-2]。目前光學照相機通常只能聚焦到一個場景內的某一片區域,無法獲得所有目標都聚焦的圖像[3]。多聚焦圖像融合技術可以將同一場景內聚焦區域不同的多幅圖像通過融合算法融合成一幅整個場景都聚焦的圖像,融合后的圖像包含了多幅圖像中所表達的同一場景的不同信息,將更符合人眼視覺觀察和計算機的后續處理。多聚焦圖像融合技術現在已經被廣泛應用到計算機視覺、圖像處理的各個領域[4-5]。

多尺度圖像融合方法是對源圖像進行圖像多尺度變換后,對變換域的系數進行融合的方法,其中以Fourier分析理論為基礎的小波變換最為經典[6-8]。隨著對小波理論研究和應用的不斷深入,發現小波變換的局限性,即小波變換缺乏平移不變性,在圖像的高頻細節分量上也僅有三個方向的表示,而對圖像中高度奇異的邊緣不能給出精確的表達,導致大量細節信息丟失[9-10]。對此,文獻[11]中提出的Contourlet變換是一種新的圖像二維表示方法,不僅具有多分辨率性,還具有多方向性和各向異性。Contourlet系數中,表示圖像邊緣的系數能量更加集中，可以有效地描述圖像的輪廓信息。由于Contourlet變換不具有平移不變性,在圖像處理中會導致圖像失真[12-13]。Contourlet變換之所以不具有平移不變性,其原因就在于拉普拉斯金字塔和方向濾波器組中存在的上采樣和下采樣。為了保留變換的方向和多尺度屬性,Cunha等人針對Contourlet變換的局限性提出了非下采樣Contourlet變換(NSCT),將拉普拉斯金字塔替換為非下采樣金字塔結構(NSP)以保留多尺度屬性,以及非下采樣方向濾波器(NSDFB)組用于方向性分解[14-16],有效克服了Contourlet變換的局限性。目前,NSCT變換已經被應用到圖像處理的各個鄰域。

因此,文中綜合考慮NSCT的系數特點,對源圖像進行NSCT變換后,對低頻分量和高頻分量采用不同的融合策略,結合邊緣檢測算法對圖像邊緣提取的高效性,設計一種多聚焦圖像融合方法。實驗表明該算法在主觀評價和客觀評價上都有一定優勢。

1 非下采樣Contourlet變換

Contourlet是用金字塔方向濾波器組(PDFB)來將圖像分解成不同尺度下的方向子帶的。PDFB是由一個拉普拉斯金字塔濾波器Laplacian Pyramid (LP)疊加一個方向濾波器組。Non-subsampled Contourlet變換(NSCT)用Non-subsampled金字塔濾波器組和Non-subsampled方向濾波器組疊加,很大程度上消除了Contourlet變換中由于上采樣和下采樣帶來的混頻效應。NSCT首先由非下采樣金字塔濾波器(NSP)對輸入圖像進行塔形分解,得到原始圖像的低頻近似圖像,原始圖像和低頻近似圖像的差值則是高頻子帶,然后由非下采樣方向濾波器組(NSDFB)將高頻子帶分解為多個方向子帶,低頻部分繼續進行分解。圖像經N級NSCT分解后可得到一個與原始圖像尺寸相同的低頻近似圖像和一系列不同尺度不同方向的高頻圖像[17-18]，如圖1所示。

圖1 NSCT多尺度多方向的分解過程

2 融合算法

2.1 算法概述

對低頻分量采用基于局域信息熵和局域改進的拉普拉斯能量和的統計特征匹配度融合,高頻分量采用鄰域兄弟信息歸一化關聯權重的局域平均梯度融合。然后對融合后的低頻分量和高頻分量進行NSCT逆變換,得到初步融合結果。邊緣檢測技術可以有效地提取圖片的邊緣輪廓信息,對初步融合結果進行邊緣覆蓋,可以有效提高融合圖像的質量。高頻分量中包含了圖像的大部分邊緣輪廓信息,由此,對源圖像的第一層高頻分量各個進行邊緣檢測,將得到的各方向系數的邊緣檢測圖進行加權平均融合,得到源圖像A、B的邊緣檢測圖,將源圖像的邊緣圖覆蓋到初步融合圖像上,得到最終的融合圖像。圖2為文中融合算法的框架。

圖2 基于NSCT的融合算法框架

2.2 低頻融合規則

低頻分量是源圖像的近似圖像,包含了圖像大部分的信息和能量。文中對低頻系數采用局域信息熵和局域改進的拉普拉斯能量和的統計特征來進行融合。信息熵是衡量圖像信息豐富程度的重要指標,熵值的大小反映了圖像所包含的平均信息量的多少。局域改進的拉普拉斯能量和對圖像的邊緣變化程度和圖像的亮度突變信息都有比較好的表達,能夠刻畫局域的邊緣信息和對比度。綜合考慮這兩個統計特征,在領域窗口內提取源圖像的局部信息熵和局部改進的拉普拉斯能量和,然后根據這兩個統計特征計算兩幅圖像單個特征下像素的匹配度,根據匹配度的高低,采取不同的權值選取法則。最后將兩個特征權值矩陣取平均得到最后的融合權值矩陣。

設h=(i,j)，Cx(h)表示圖像x的位置h處的低頻分量系數值。圖像x的低頻系數在點h處的局域信息熵和局域拉普拉斯能量的顯著性為：

(1)

其中,Q是以h為中心的3×3鄰域，r={1,2}，w(q)是高斯權值矩陣,高斯分布的特點比較符合人眼觀察物體的感知習慣,因此,用高斯分布對局域特征進行加權。用pi表示鄰域Q中所有灰度值為i的點所占的比例,灰度級表示為γ,S1,x(q)表示點q的鄰域Q內的信息熵，S2,x(q)表示點q的鄰域Q內的改進的拉普拉斯能量和,計算方式為：

(2)

(3)

圖像A和圖像B的低頻分量系數在點h的特征匹配度為：

(4)

設α為匹配度閾值,根據源圖像間特征匹配度的高低定義特征權值矩陣。

如果Lr(h)<α,表示原始圖像之間相應區域的匹配度低差異較大,選用特征顯著性取大的方式選取出源圖像的清晰區域,此時選取法則如下：

(5)

如果Lr(h)≥α,表示原始圖像之間相應區域的匹配度高差異較小,此時采用取大的方式會丟失另一幅圖像的能量信息,此時特征權值矩陣定義為：

(6)

Wr,B(h)=1-Wr,A(h)

(7)

圖像A和圖像B融合后的低頻系數為：

CF(h)=CA(h)WA(h)+CB(h)WB(h)

(8)

其中，權值

WA(h)=(W1,A(h)+W2,A(h))/2

(9)

WB(h)=(W1,B(h)+W2,B(h))/2

(10)

2.3 高頻融合規則

(11)

其中，|Q|為鄰域窗口的大小，g(i,j)的表達式如下：

(12)

(13)

基于局部平均梯度的兄弟信息歸一化關聯權重的定義為：

(14)

其中,

高頻系數融合規則定義為：

(16)

2.4 邊緣檢測融合

由初步融合的低頻系數和高頻系數經NSCT逆變換得到初步融合圖像Fnew，接著利用邊緣檢測技術將源圖像邊緣覆蓋到初始融合圖像上。

根據初步融合圖像Fnew和源圖像A,B的殘差矩陣RA(i,j)和RB(i,j)定義清晰區域的分割結果。

(17)

WB=1-WA

(18)

WA和WB中元素1對應圖像A和圖像B的清晰區域,0對應模糊區域。NSCT分解的第一層高頻分量系數基本包含了源圖像的細節紋理信息,對第一層高頻分量系數進行邊緣檢測比對原圖進行邊緣檢測可以得到更為清晰、噪聲更少的邊緣。用{EA1,…,EAJ}和{EB1,…,EBJ}表示圖像A和圖像B的第一層高頻分量系數經邊緣檢測得到的邊緣檢測圖,則圖像A和圖像B的邊緣檢測圖定義為：

(19)

(20)

按照WA和WB將圖像A和圖像B的邊緣覆蓋到初步融合圖形Fnew上，得到最終的融合圖像F,計算公式為：

FA(i,j)=Fnew(i,j)[1-WA(i,j)EA(i,j)]+

A(i,j)WA(i,j)EA(i,j)

(21)

F(i,j)=FA(i,j)[1-WB(i,j)EB(i,j)]+

B(i,j)WB(i,j)EB(i,j)

(22)

其中，FA(i,j)為初步融合圖像經圖像A邊緣覆蓋后的圖像,A(i,j)和B(i,j)為源圖像A和B在(i,j)點的像素值,F為最終融合圖像。

3 多聚焦圖像融合實驗

3.1 實驗設置

為驗證實驗的有效性和準確性，選取了四組多聚焦圖像進行融合實驗(見圖3)，并將實驗結果與基于DWT以及NSCT的融合方法的結果進行比較(見圖4)。其中DWT小波基選用db2小波基。NSCT和文中算法分解層數及方向數為[1,2,3]。DWT和NSCT低頻采用取平均的融合方法,高頻采用絕對值取大的融合方法。

圖4 不同算法融合結果比較

圖3 四組待融合圖像

3.2 實驗結果與分析

從主觀上看,小波變換融合圖像整體比NSCT和文中算法較模糊,文中算法相較NSCT算法邊緣更光滑,對比度以及清晰度更高。文中使用4個客觀指標,其中平均梯度可以反映圖像的清晰度,融合圖像的平均梯度越大,表示圖像的清晰度越高;空間頻率可以反映一幅圖像的像素總體活躍程度,空間頻率越大,圖像質量越好;標準差體現了圖像的對比度,標準差越大說明圖像對比度越高;互信息刻畫了融合圖像和源圖像之間的信息的相關性,互信息值越大,表明融合圖像從源圖像中獲取的信息越豐富,融合效果越好。

從客觀評價指標(見表1)上看,四組實驗共測得的指標中只有一個指標位于第二位,其他都有明顯優勢。從這些指標上看,文中算法融合的圖像具有較高的清晰度、平均梯度、空間頻率以及標準差,說明文中算法融合的圖像在空間細節方面和對比度方面都有較好的表現,并且與源圖像具有很好的相關度,在從源圖像中抓取信息方面也有較好的表現。

表1 不同算法的客觀評價比較

4 結束語

文中結合NSCT變換的優良特性、局部特征匹配度以及邊緣檢測技術,提出了一種對多聚焦圖像融合的新方法。首先對來自同一場景的已配準的多聚焦圖像進行非下采樣Contourlet變換,對變換得到的低頻分量和高頻分量分別設計有效的融合規則。低頻分量中包含了源圖像的大部分信息和能量,因此文中用局部信息熵和局部改進的拉普拉斯能量和的統計特征匹配度來促進融合;高頻分量中包含了源圖像的細節紋理信息,采用了局部平均梯度合以及基于鄰域的兄弟信息歸一化關聯權重來進行融合。對初步融合的圖像,用源圖像NSCT分解的第一層高頻分量進行邊緣檢測得到源圖像邊緣檢測圖像,將清晰區域的邊緣逐步覆蓋到初步融合的圖像上,得到最后的融合圖像。實驗表明,文中算法在平均梯度、空間頻率、標準差以及互信息上和主觀視覺上都整體優于DWT和NSCT變換。但由于NSCT算法的復雜度高、計算時間長、耗時較久,因此將來的研究工作應進一步優化算法,來提高算法的運行效率。