一種改進(jìn)的SAR與可見光圖像融合算法

張 瑞，董張玉

(1. 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽合肥 230601；2. 工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽合肥 230601)

0 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)對(duì)地面建筑與人造橋梁都比較敏感，成像原理為主動(dòng)式微波反射成像，SAR具有更多細(xì)節(jié)表現(xiàn)信息和紋理特征；與此同時(shí)，SAR不受氣候環(huán)境干擾，能全天成像接收更多的地理信息。可見光圖像(Visible image)成像需要依賴發(fā)光源，原理為光反射成像，能很好地體現(xiàn)出地表的光譜信息、地面物的物理屬性[1]。兩者對(duì)比，SAR的優(yōu)勢(shì)在于能體現(xiàn)出更多的細(xì)節(jié)特征，但卻易受地物的特性干擾，也沒有目視觀測(cè)能力、地物直視能力；Visible image的優(yōu)勢(shì)在于具備直視效果、目標(biāo)解譯能力，但若成像條件不好，則已丟失地物細(xì)節(jié)特征。將SAR與Visible image融合的目標(biāo)在于使得遙感影像同時(shí)具備更多的細(xì)節(jié)特征、目標(biāo)直視解譯能力，融合兩種圖像的優(yōu)點(diǎn)[2]。與傳統(tǒng)的多光譜、全色遙感影像融合相比，SAR與Visible image兼顧地物光譜信息與細(xì)節(jié)特征，且SAR有抗干擾能力較強(qiáng)的特性[3]。故使SAR和Visible image做有效融合，可獲得一幅同時(shí)具備高空間、高細(xì)節(jié)、高光譜的遙感影像，其更具有可視性，在實(shí)際應(yīng)用中例如軍事偵測(cè)、農(nóng)業(yè)規(guī)劃、目標(biāo)提取等圖像處理工作提供了更多的有效信息。

近年來，多尺度分析法跟主成分替換法為在SAR與可見光圖像的融合領(lǐng)域被廣泛得到應(yīng)用。多尺度分析法中NSST變換不僅具有傳統(tǒng)Con- tourlet 變換的局部化特性等優(yōu)點(diǎn)，且具備更高效的計(jì)算能力、擁有平移不變性，同時(shí)能減小偽吉布斯現(xiàn)象，因此NSST變換在圖像融合領(lǐng)域獲得了顯著的優(yōu)勢(shì)[4]，可通過NSST變換后的圖像低頻分量體現(xiàn)的是其近視特性，近視值大都達(dá)不到標(biāo)準(zhǔn)指標(biāo)，圖像的低頻信息無法較好體現(xiàn)出本身特征。主成分替換法中IHS變換是讓Visible image經(jīng)IHS分離出的I分量被SAR經(jīng)對(duì)比度拉伸之后替換，將亮度、光譜兩種信息分開，使融合圖像保持良好的光譜信息，但缺點(diǎn)在于融合的過程只在像素間發(fā)生，較易產(chǎn)生頻譜混疊的情況，無法同時(shí)兼?zhèn)淙诤蠄D像的細(xì)節(jié)表現(xiàn)。脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)具備耦合跟同步脈沖的優(yōu)點(diǎn)，與此同時(shí)圖像信息經(jīng)過PCNN模型處理，可以使得最終結(jié)果保留更多細(xì)節(jié)信息，提高所得圖像的質(zhì)量[5]。

針對(duì)以上算法一些不足之處，根據(jù)NSST算法計(jì)算力高效，具有平移不變性、IHS變換可以較好地分開Visible image的光譜、亮度兩種信息，PCNN模型能使得目標(biāo)圖像保持更多細(xì)節(jié)信息等長(zhǎng)處，本文提出一種NSST-IHS結(jié)合PCNN模型的改進(jìn)融合算法。本文算法提升了SAR與Visible image的融合質(zhì)量、各類評(píng)價(jià)指標(biāo)、最終融合圖的光譜信息，線性結(jié)構(gòu)特征更多地保留下來。

1 算法原理

1.1 PCNN模型與NSST變換

1.1.1 PCNN模型

PCNN模型是一種旨在模擬猩猩等動(dòng)物的腦部視覺皮層神經(jīng)元，類似于一種動(dòng)物處理視覺信息的過程，此模型由 Eckhorn等[6]提出，復(fù)雜的參數(shù)設(shè)計(jì)，會(huì)某個(gè)程度上阻礙PCNN模型的應(yīng)用，本文采取簡(jiǎn)化的PCNN模型，方程描述如下：

Amn(t)=Bmn(t)

(1)

Cmn(t)=exp(-αC)Cmn(t-1)+

(2)

Zmn(t)Amn(t)×(1+βCmn(t))

(3)

θmn(t)=exp(-αθ)θmn(t-1)+

VθYmn(t-1)

(4)

(5)

式中：下標(biāo)(m,n) 為神經(jīng)元的坐標(biāo)；t為迭代次數(shù)；k，l為神經(jīng)元的鏈接區(qū)間；Tmn為外部激勵(lì)；Amn為反饋輸入；β為鏈接強(qiáng)度因子；Zmn為內(nèi)部活動(dòng)項(xiàng)；Cmn為鏈接輸入；Wmn,kl為伴隨著Cmn的突觸權(quán)矩陣系數(shù)，而Zmn則是β使得Cmn與Amn共同結(jié)合得到；VC，Vθ，αθ和αC分別為振幅收益系數(shù)、放大系數(shù)、衰減時(shí)間常數(shù)、時(shí)間衰減系數(shù)。Wmn,kl的計(jì)算方程描述如下：

Wmn,kl=

(6)

θmn是動(dòng)態(tài)閾值，此數(shù)值根據(jù)上一個(gè)狀態(tài)θmn與輸出結(jié)果Ymn而得到。如果Zmn(t)≥θmn(t)，稱為一次點(diǎn)火，又稱神經(jīng)元生成1個(gè)脈沖。

1.1.2NSST變換原理

非下采樣金字塔(Non Subsampled Pyramid，NSP)濾波組的多尺度分解、基于改進(jìn)的剪切波濾波器組(Shearlet Filter，SF)的多方向分解為NSST離散化過程的兩個(gè)主要部分。圖像通過NSST變換，得到一幅低頻與多幅高頻跟原圖像大小相同的圖像。變換所得低頻圖像與原圖十分近似，所得高頻圖像其中大部分含有原圖的細(xì)節(jié)特征，故選取較好的融合規(guī)則對(duì)融合的結(jié)果有很關(guān)鍵的作用。NSST離散原理圖如圖1所示。

圖1 NSST離散原理過程圖

1.2 改進(jìn)的融合算法

1.2.1 低頻子帶分量融合規(guī)則

低頻子帶分量融合采取基于PCNN模型的自適應(yīng)融合方法，重點(diǎn)在于此模型Tmn與β數(shù)值的確定。空間頻率可以很好地體現(xiàn)原圖的細(xì)節(jié)特征，將區(qū)域空間頻率當(dāng)作PCNN的Tmn值，以獲得良好的融合效果。其中，水平方向、垂直方向及對(duì)角線方向是空間頻率需要確定的計(jì)算，方程如下:

(7)

式中，OA為水平方向頻率；PA為垂直方向頻率；QHA為對(duì)角方向頻率。下式中I、J是原圖的行列數(shù)，P(i,j) 是原圖經(jīng)NSST分解在坐標(biāo)(i,j) 的低頻子帶分量系數(shù)。

計(jì)算公式如下:

(8)

(9)

QHA=U+R

(10)

(11)

(12)

因圖像像素的特征根據(jù)鏈接強(qiáng)度β來體現(xiàn)，同時(shí)β能直接影響鏈接通道在內(nèi)部活動(dòng)的比重。為加強(qiáng)融合圖像的質(zhì)量，本文采取以平均梯度為基礎(chǔ)的指數(shù)衰減形式的辦法[7]。本文以平均梯度為PCNN模型中的β值，圖像的平均區(qū)域表達(dá)方程為

(13)

h1(m,n)=|M(m,n)-N(m+1,n)|

(14)

h2(m,n)=|M(m,n)-N(m,n+1)|

(15)

其中M×N表示區(qū)域大小，在此取3×3。以脈沖點(diǎn)火次數(shù)為根據(jù)來選擇融合系數(shù)。融合規(guī)則表達(dá)如下:

(16)

式中，C1(m,n)，Y1(m,n) 為Visible image通過NSST獲得的低頻子帶系數(shù)、低頻脈沖輸出；C2(m,n)，Y2(m,n)為SAR通過NSST獲得的高頻子帶系數(shù)、高頻脈沖輸出；PF(m,n)則是最終融合圖像的在坐標(biāo)(m,n) 處的低頻系數(shù)。

1.2.2 高頻子帶分量融合規(guī)則

高頻分量本身就含有豐富的原圖細(xì)節(jié)特征，故本文采取改進(jìn)的拉普拉斯能量和(SML)融合規(guī)則[8]，此融合與傳統(tǒng)的空間頻率、方差等相比，SML更加看重像素間在局部圖像塊區(qū)域中的相互的關(guān)聯(lián)。改進(jìn)的ML與SML方程如下：

XZef(p,q)=

式中：Eef(p,q)為在像素圖像坐標(biāo)(p,q)第f方向的系數(shù)，step為在系數(shù)間的可調(diào)整的變量。本文中的step值只為1。

(18)

(19)

根據(jù)上述融合規(guī)則，本文算法融合步驟為首先對(duì)實(shí)驗(yàn)用圖作預(yù)處理，對(duì)處理完的Visible image運(yùn)用IHS、NSST，對(duì)SAR運(yùn)用 NSST，獲得相應(yīng)的低頻與高頻子帶分量；再將所得頻與高頻子帶分量運(yùn)用相應(yīng)融合規(guī)則，得到相應(yīng)的低頻與高頻子帶融合分量，再分別運(yùn)用逆NSST、IHS得到融合圖像,融合流程如圖2所示。

圖2 NSST-IHS-PCNN算法流程

2 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提出的算法優(yōu)越及有效性，選用matlab2014對(duì)實(shí)驗(yàn)所用影像進(jìn)行融合實(shí)驗(yàn)，影像區(qū)域選擇天津渤海地區(qū)，SAR影像來源于歐盟“哨兵1號(hào)”(Sentinel-1)雷達(dá)衛(wèi)星所屬C波段圖像,且SAR采用BM3D算法濾波[9]，影像分辨率為5 m；Visible image來源于landsat-8，影像分辨率為30 m。同時(shí)選取基于IHS、NSCT、NSST變換以及NSST-IHS算法的融合實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。

在參數(shù)設(shè)計(jì)上，IHS變換的I分量波段權(quán)重系數(shù)設(shè)計(jì)為(0.3,0.75,0.25)；NSCT變換的多尺度分解采取“maxflat”濾波器，方向?yàn)V波器采取 “dmaxflat7”，方向級(jí)數(shù)[1,2,3]； NSST、NSST-HIS及本文算法均采用“maxflat”濾 波 器。本文的PCNN模型參數(shù)如下：αC=1,αθ=0.2,(k,l)=(3,3),VC=1,Vθ=20,t=200。

2.1 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)用圖挑取的Visible image與SAR分別為圖3(a)、(b)，此區(qū)域包含很多建筑和水域，影像具有大量的光譜和線性結(jié)構(gòu)特征信息。由圖3(c)～(e)得知，IHS變換比NSCT、NSST整體顏色略淺，卻未出現(xiàn)顯著的光譜丟失，但線性結(jié)構(gòu)特征等細(xì)節(jié)信息保留卻沒有另外兩種方法好。由圖3(d)～(f)得知,NSST-IHS變換相比于NSCT、NSST線性結(jié)構(gòu)特征方面保留相差都不大，基本都包含原圖像大部分的細(xì)節(jié)信息，但同時(shí)光譜信息保留也相對(duì)比NSCT、NSST稍好一些，可在圖3(f)中河邊建筑區(qū)域邊緣上仍存在一些光譜失真現(xiàn)象，有略微的扭曲。圖3(g)完全整合了圖3(f)與前幾種方法的優(yōu)勢(shì)，在所有融合圖中最接近于圖3(a)的直視感覺，圖3(g)同時(shí)降低了3(f)出現(xiàn)的光譜失真，保留了更多的光譜信息，也將圖3(b)中的線性結(jié)構(gòu)特征更完好地保留，故綜上所述，從各個(gè)方面來說，本文方法所得融合圖質(zhì)量最高。

圖3 本文算法結(jié)果及對(duì)比算法結(jié)果

2.2 融合指標(biāo)評(píng)價(jià)

本文以文獻(xiàn)[10]Wald質(zhì)量評(píng)價(jià)指標(biāo)為標(biāo)準(zhǔn)，因缺少具備高空間分辨率的Visible image作參照?qǐng)D像，SAR影像有擾亂地表目標(biāo)解譯的線性結(jié)構(gòu)特征，若作為融合影像的空間細(xì)節(jié)對(duì)比圖有較大差異，原可見光圖像則在光譜信息與空間結(jié)構(gòu)信息與融合圖像最為相近，故選圖3(a)作為融合圖像的最終參照?qǐng)D像。實(shí)驗(yàn)數(shù)據(jù)結(jié)果以相關(guān)系數(shù)(Correlation Coefficient,CC)、相對(duì)平均光譜(Relative Average Spectral,RASE)、相對(duì)無量綱全局誤差(ERGAS)、通用質(zhì)量評(píng)價(jià)指標(biāo)(Universal Image Quality Index,UIQI)四種指標(biāo)來進(jìn)行對(duì)比評(píng)價(jià)[10]。以上，CC、RASE用來評(píng)價(jià)表1是本文算法及對(duì)比算法所得融合圖各項(xiàng)指標(biāo)數(shù)據(jù)，由數(shù)據(jù)可知，IHS相比NSCT、NSST光譜評(píng)價(jià)指標(biāo)(CC、RASE)較高；但在細(xì)節(jié)信息評(píng)價(jià)指標(biāo)(ERGAS、 UIQI)上NSCT、NSST則比IHS變換要有優(yōu)勢(shì)；由此可得IHS有光譜信息保留能力，NSCT、NSST則擁有稍好線性細(xì)節(jié)特征保留能力。NSST-IHS與NSCT、NSST變換相比細(xì)節(jié)信息保留能力基本不變的同時(shí)，在光譜信息評(píng)價(jià)指標(biāo)上也有提高。本文算法比較于其他四種變換，各類評(píng)價(jià)指標(biāo)上都有明顯的提高，說明本文算法改進(jìn)效果明顯。

表1 實(shí)驗(yàn)數(shù)據(jù)對(duì)比

3 結(jié)束語

本文算法為一種改進(jìn)的SAR與可見光圖像融合算法，主要基于IHS、NSST、PCNN模型，與一些傳統(tǒng)融合方法相比此算法同時(shí)具備保留更多光譜、線性細(xì)節(jié)特征兩種信息。此算法主要針對(duì)低頻子帶分量采取結(jié)合PCNN模型的自適應(yīng)融合規(guī)則，利用空間方向信息自動(dòng)調(diào)整PCNN模型參數(shù)；高頻子帶分量采取SML融合規(guī)則。通過實(shí)驗(yàn)對(duì)比驗(yàn)證，本文算法有效提高融合圖像的融合質(zhì)量、視覺效果以及各類評(píng)價(jià)指標(biāo)。