基于高階奇異值分解的多聚焦圖像融合新方法

張翠英，高瑞超

(1.天津大學仁愛學院 計算機科學與技術系，天津 301636；2.中交第一航務工程勘察設計院有限公司 勘察巖土事業部,天津 300222)

基于高階奇異值分解的多聚焦圖像融合新方法

張翠英1，高瑞超2

(1.天津大學仁愛學院 計算機科學與技術系，天津 301636；2.中交第一航務工程勘察設計院有限公司 勘察巖土事業部,天津 300222)

針對傳統多聚焦圖像融合方法不能有效度量圖像中聚焦區域的問題，提出一種基于高階奇異值分解的圖像融合新方法。高階奇異值分解可以精確提取圖像紋理特征，并對源圖像進行分解。充分考慮像素間的區域相關性，提取分解系數的空間頻率、平均梯度和區域能量等區域特征，并提出一種新穎的基于區域特征的多活動測度融合策略，該策略可有效度量圖像中的聚焦區域。實驗結果表明，該融合方法能夠更好地保留圖像的邊緣細節信息。

圖像融合；多聚焦圖像；高階奇異值分解；空間頻率；平均梯度；區域能量

0 引言

隨著多傳感器技術的迅猛發展，圖像融合成為圖像處理領域的研究熱點。圖像融合是把兩個或多個來自不同傳感器的圖像通過一定算法融合到一幅圖像的過程[1]。圖像融合已廣泛應用于遙感、軍事、計算機視覺等領域。多聚焦圖像融合是圖像融合的一個重要分支。由于受到光學成像系統景深的限制，只有在一定距離范圍內的物體可以清晰成像，因此需要參考多幅不同聚焦的圖像來對場景進行描述。多聚焦圖像融合的目的是精確提取圖像中的清晰區域，將這些清晰區域組成一幅各目標都清晰的圖像。如何精確識別、提取圖像中的清晰區域直接決定了多聚焦圖像的融合質量。傳統的多聚焦圖像融合方法大體可以分為兩類：基于空間域和基于變換域。基于空間域的方法如加權平均、PCA等，該類方法計算簡單，但容易降低圖像對比度；基于變換域的融合方法在融合中占有重要地位。常用的變換工具如拉普拉斯金字塔變換、小波變換[2]、輪廓波變換[3]、剪切波變換[4]等。盡管該類變換的系數能夠表示圖像特征，但每一種變換都依賴于具體的場景和應用，很難選擇一個最優的變換基，不能有效度量圖像中的清晰區域。

高階奇異值分解(Higher Order Singular Value Decomposition,HOSVD)是張量最有效的分解工具之一，具有完全數據驅動的優勢，不需要使用者設置閾值和參數，其分解的特征系數能夠提供更豐富的紋理信息，已經應用于許多領域，如人臉識別、彩色圖像復原、紋理分析[5]等。本文利用HOSVD這一有效工具對融合源圖像進行分解。

在圖像融合中，除了有效的分解工具外，融合策略的選取也會很大程度影響融合圖像的質量。大多數研究者利用單一的活動測度選取融合系數：Kong W[6]采用局部方向對比度作為活動測度；Yang B[7]利用絕對值作為活動測度。但是單一的活動測度不能很好地保持圖像的邊緣和細節信息。因此，本文提出一種新穎的基于空間頻率、平均梯度和區域能量的多活動測度融合策略，采用該融合策略可以綜合考慮區域特征的貢獻，有效度量圖像中的清晰區域與模糊區域。實驗結果表明，本文方法與傳統方法相比，能更好地保持圖像的邊緣與細節信息。

1 張量與HOSVD

1.1 張量

在多線性代數中，張量是一個N維數組。張量的階數是指數組的維數，一階張量是向量，二階張量是矩陣，三階或更高階的張量是高階張量。張量中使用最多的操作是張量的模n積。給定一個N階張量A∈RI1×I2×…×IN和一個Jn×In的矩陣U，則A與U的模n積A×nU定義為[8]：

(1)

1.2 三階張量圖像

給定待融合的I3個灰度源圖像數據集{θ1,θ2,…θI3}，其中每個圖像的大小均為I1×I2，則可以形成一個I1×I2×I3的三階張量A，A的三階分別表示行、列以及標記源圖像。

1.3 HOSVD

HOSVD是矩陣奇異值分解的高階推廣，張量A∈RI1×I2×…×IN的HOSVD可以表示為一個核張量與N個正交矩陣模n積的形式，即：

(2)

其中，S∈RI1×I2×…×IN是核張量，與張量A維數相同；UN為正交矩陣，維數分別為I1×I1，I2×I2，…，IN×IN；×n表示張量與矩陣的模n積。

由式(2)可知，三階張量的HOSVD為A=S×1U1×2U2×3U3，圖1是三階張量圖像A∈RI1×I2×I3的HOSVD。

圖1 三階張量A∈RI1×I2×I3的HOSVD

2 基于HOSVD的多聚焦圖像融合

2.1 區域特征

對于一個M×N的圖像F，其空間頻率、平均梯度和區域能量如下。其中，F(i,j)是圖像在(i,j)處的灰度值，CA(x,y)、CB(x,y)是源圖像A、B在(x,y)處的分解系數。

2.1.1 空間頻率

空間頻率反映圖像在空間域的總體活躍程度，包含行頻率和列頻率。其值越大，圖像包含越多的細節信息。行頻率為：

(3)

列頻率為：

(4)

則空間頻率為：

(5)

基于空間頻率取大的融合規則為：

(6)

其中，SFA(x,y)、SFB(x,y)分別是源圖像A、B在(x,y)處的空間頻率。

2.1.2 平均梯度

平均梯度反映圖像的整體清晰度，其值越大，圖像越清晰。平均梯度為：

(7)

基于平均梯度取大的融合規則為：

(8)

其中，GA(x,y)、GB(x,y)分別是源圖像A、B在(x,y)處的平均梯度。

2.1.3 區域能量

區域能量能夠測量系數之間的相關性，其公式為：

(9)

基于區域能量取大的融合規則為：

(10)

其中，EA(x,y)、EB(x,y)分別是源圖像A、B在(x,y)處的區域能量。

2.2 融合方法

本文方法具體描述如下：

(2)Fori=1,2,…,I。

對Ai進行HOSVD得到分解系數Si，其公式為：

Ai=Si×1Ui×2Vi×3Wi

(11)

(12)

對于每一個圖像塊Bi(k)，k=1,2，都可用公式表示為：

(13)

根據融合系數矩陣Di，融合圖像塊Fi通過如下公式得到：

(14)

(3)根據圖像塊Fi獲得融合圖像的過程為：①首先初始化矩陣G(M×N)和R(M×N)為兩個零矩陣；②將Fi疊加到G的對應塊位置上，用R保存疊加次數；③疊加的像素值G除以疊加次數R得到融合圖像。

2.3 融合策略選取

(2) 計算整個圖像的空間頻率SFA、SFB，平均梯度GA、GB，以及區域能量EA、EB。

(3) 如果SFA≠0，SFB≠0，GA≠0，GB≠0，EA≠0，EB≠0，則計算兩幅源圖像的相對空間頻率、相對平均梯度以及相對區域能量的比率：

(15)

(16)

(17)

其中，K1(i,j)是源圖像在點(i,j)處相對空間頻率的比率，如果K1(i,j)>1，則圖像A在(i,j)點的相對空間頻率大于圖像B，表明圖像A整體空間活動情況比圖像B更活躍，K2(i,j)、K3(i,j)同理。轉到(5)。

(4) 如果全局空間頻率(SFA或SFB)、平均梯度(GA或GB)、區域能量(EA或EB)任何一個為0，表明對應特征的表達能力在3個特征中最弱，則計算另外兩個特征比率，選擇比率最大值對應特征的融合規則；如果兩個不同的特征為0，則融合規則將由第3個特征確定；如果3個特征都為0，則把該點源圖像分解系數的最大值作為融合系數。轉到(6)。

(5) 通過比較以下3個比率確定活動測度：

(18)

(19)

(20)

對于任意一點，選取對應比率最大值對應的融合規則。例如，對于點(i,j)，如果R1(i,j)比率值最大，則選取基于空間頻率取大的融合規則。R2(i,j)和R3(i,j)同理。

(6) 對于源圖像中的所有點，重復(1)～(6)。

3 實驗結果與分析

對于本文中的融合結果，采用均值(M)、熵(EN)、互信息(MI)、相關系數(COR)、平均交叉熵(OCE)[10]客觀評價指標定量估計。

首先對第一組多聚焦圖像進行融合實驗。圖2(a)是近聚焦圖像，“花豹”的前爪清晰，“頭和身體”模糊；圖2(b)恰好相反；圖2(c)～圖2(g)分別是本文方法和對比方法的融合結果。從融合結果中可以看出，本文方法和對比方法都能將“花豹”的前爪部分、“頭和身體”部分融合為一幅兩者均清晰的圖像。為了定量估計融合結果，表1給出了本文方法和對比方法的客觀評價指標(加粗部分為最優指標)。通過表1可以看出，本文方法具有最優的均值(M)、相關系數(COR)和平均交叉熵(OCE)。表明本文方法的融合圖像具有更好的平均亮度，圖像的相關性更好，圖像間的差異更小，因而具有更好的融合效果。

圖2 融合源圖像及不同方法的融合結果

表1 第一組實驗圖像客觀評價指標

融合方法MMIENCOROCE本文方法92．650619．25957．42551．98190．0087DWT92．069219．07547．42701．97870．0103LAP92．059619．10867．42091．98020．0098SR92．279819．31987．42131．97950．0100HOSVD92．282719．25067．42091．97950．0098

第二組實驗源圖像如圖3(a)、3(b)所示。圖3(a)是左聚焦圖像，左側的熱氣球比較清晰，右側的熱氣球比較模糊，圖3(b)正好相反。圖3(c)～圖3(g)是本文方法和對比方法的融合結果。通過觀察融合結果，本文方法和對比方法都能把源圖像融合成所有熱氣球都清晰的圖像。表2是不同融合結果的客觀評價指標。通過對比表2中的數據可以看出，本文方法具有最優的均值(M)、相關系數(COR)和平均交叉熵(OCE)。表明本文方法的融合圖像在平均亮度、圖像的相關性以及圖像間的差異性方面均優于對比方法，能獲得最高質量的融合圖像。

圖3 融合源圖像及不同方法的融合結果

表2 第二組實驗圖像客觀評價指標

融合方法MMIENCOROCE本文方法114．060316．32067．47651．97240．0112DWT113．481116．28337．48031．96740．0150LAP113．490216．34017．47641．96960．0162SR113．738716．16507．47251．96910．0126HOSVD113．745316．33677．45631．96920．0169

4 結語

本文提出了一種基于HOSVD的圖像融合新方法。HOSVD具有高效表示高維數據的能力，并能夠精確提取圖像信息。充分考慮圖像的區域相關性，利用空間頻率、平均梯度、區域能量等多個活動測度綜合考量確定融合系數。實驗結果表明，本文方法的融合圖像包含了更多細節信息，證明了該融合方法的有效性。

[1] 郭雷,李暉暉,鮑永生.圖像融合[M].北京:電子工業出版社,2008.

[2] LI S，YANG B.Multifocus image fusion by combining curvelet and wavelet transform[J].Pattern Recognition Letters,2008,29(9):1295-1301.

[3] ZHANG Q,GUO B.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing,2009,89(7):1334-1346.

[4] LIU X,ZHOU Y,WANG J.Image fusion based on shearlet transform and regional features[J].AEU-International Journal of Electronics and Communications,2014,68(6): 471-477.

[5] COSTANTINI R,SBAIZ L,SüSSTRUNK S.Higher order SVD analysis for dynamic texture synthesis[J].Image Processing,IEEE Transactions on,2008,17(1): 42-52.

[6] KONG W.Technique for gray-scale visual light and infrared image fusion based on non-subsampled shearlet transform[J].Infrared Physics & Technology,2014(63):110-118.

[7] YANG B,LI S.Multifocus image fusion and restoration with sparse representation[J].Instrumentation and Measurement,IEEE Transactions on,2010,59(4): 884-892.

[8] LIANG J,HE Y,LIU D,et al.Image fusion using higher order singular value decomposition[J].Image Processing,IEEE Transactions on,2012,21(5): 2898-2909.

[9] Image fusion toolbox[EB/OL].http://www.metapix.de/toolbox.htm.

[10] 宋樂.異源圖像融合及其評價方法的研究[D].天津: 天津大學,2008.

(責任編輯：黃 健)

A New Multi-focus Image Fusion Method Based on Higher Order Singular Value Decomposition

For the problem of traditional multi-focus image fusion methods can not effectively measure the focus regions in images,a new multi-focus image fusion method is proposed based on higher order singular value decomposition.As higher order singular value decomposition (HOSVD) can exactly extract features in images,HOSVD is used as an effective decomposition tool.Considering the regional correlation between pixels,space frequency,average gradient and regional energy are extracted.And a novel fusion strategy on comprehensive consideration of multiple regional features is applied to decomposition coefficients.Experimental results show that the proposed method performs better than traditional image fusion methods.

Image Fusion; Multi-focus Image; Higher Order Singular Value Decomposition; Space Frequency; Average Gradient; Regional Energy

中國博士后科學基金項目(2013M541601)

張翠英(1988-)，女，河北邢臺人，碩士，天津大學仁愛學院計算機科學與技術系助理實驗師，研究方向為圖像處理、模式識別；高瑞超(1988-)，男，河北邢臺人，碩士，中交第一航務工程勘察設計院有限公司勘察巖土事業部助理工程師，研究方向為遙感圖像處理。

10.11907/rjdk.162607

TP317.4

A

1672-7800(2017)003-0163-04