基于鏈接突觸計算網(wǎng)絡(luò)的遙感圖像對比度增強算法

武 彬 江家寶

(巢湖學(xué)院信息工程學(xué)院 安徽 合肥 238000)

0 引 言

衛(wèi)星遙感圖像由于包含豐富的空間地理和語義信息，被廣泛應(yīng)用于地球科學(xué)、氣象學(xué)、林業(yè)、水文學(xué)以及軍事等眾多領(lǐng)域中[1]。但是，遙感圖像在成像、傳輸過程中容易受到各種因素(如：光照不均；環(huán)境噪聲)的影響，使得在局部區(qū)域呈現(xiàn)光照和對比度不均衡的現(xiàn)象，影響后續(xù)圖像信息的提取和識別工作。圖像對比度作為圖像質(zhì)量重要的屬性之一，是圖像細(xì)節(jié)呈現(xiàn)度的重要指標(biāo)，因此，為了實現(xiàn)圖像對比度的均衡，研究人員提出了許多圖像增強方法[2]。圖像增強指利用變換算法或者數(shù)學(xué)方法來抑制噪聲信息，提高圖像對比度和清晰度，改善圖像的視覺效果。從處理方法上來區(qū)分，常規(guī)的圖像增強方法大致可以分為空間域和變換域兩類[3]。最基本的空間域圖像增強方法是直方圖均衡化[4]，將輸入圖像的強度通過變換函數(shù)進(jìn)行轉(zhuǎn)換，然后利用線性函數(shù)對輸入圖像的直方圖進(jìn)行修正，但是，這類方法會導(dǎo)致圖像對比度過度增強或細(xì)節(jié)保存較少。

經(jīng)典的變換域圖像增強方法是小波變換法[5]，利用傅里葉變換將輸入圖像變換至頻域，然后通過提高高頻子帶的系數(shù)或放大測量的對比度來實現(xiàn)增強圖像質(zhì)量的目的，但是，增強后的圖像容易出現(xiàn)失真現(xiàn)象。除此之外，基于神經(jīng)網(wǎng)絡(luò)的圖像增強方法也被提出，Li等[6]提出了低光卷積神經(jīng)網(wǎng)絡(luò)(Low-light Convolutional Neural Network，LLCNN)，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于弱光圖像的增強，LLCNN在保留原始特征和紋理的同時，可以自適應(yīng)地增強圖像對比度和亮度。Zhan等[7]提出了一種基于鏈接突觸計算網(wǎng)絡(luò)(Linking synaptic computation Network，LSCN)的圖像增強方法，該方法在保留輸入圖像內(nèi)信息的基礎(chǔ)上，通過使用與鏈接突觸相關(guān)的神經(jīng)機制來增強圖像細(xì)節(jié)，提高視覺效果。

對于衛(wèi)星圖像而言，由于在增強圖像的同時會放大噪聲強度，或者過度平滑導(dǎo)致部分圖像信息丟失，因此，這些增強算法的參數(shù)對遙感圖像是不合適的。近年來，一些研究人員開發(fā)了新的遙感圖像對比度增強方法，Li等[8]提出了非下采樣Contourlet變換(Non-subsampled Contourlet Transform，NSCT)遙感圖像增強算法，利用NSCT技術(shù)改善圖像低頻對比度和壓制高頻噪聲，有效地抑制了偽吉布斯現(xiàn)象，但是運算復(fù)雜度高。黃允滸等[9]提出一種結(jié)合àtrous小波和模糊算法的對比度增強技術(shù)，利用二進(jìn)小波變換、模糊算法和反銳化掩膜的特點，增強圖像邊緣細(xì)節(jié)，提高圖像局部對比度，但是圖像自然性明顯下降。

針對遙感圖像在對比度增強過程中圖像自然性和清晰度下降的問題，本文提出了一種基于鏈接突觸計算網(wǎng)絡(luò)的衛(wèi)星遙感圖像對比度增強算法。該算法在HSV顏色空間內(nèi)，利用引導(dǎo)濾波器平滑噪聲和邊緣增強技術(shù)突出細(xì)節(jié)，然后以鏈接突觸計算網(wǎng)絡(luò)與顯著特征圖相結(jié)合的方式，增強圖像的亮度和對比度，最后在RGB空間上，利用改進(jìn)的自然色彩還原技術(shù)對增強圖像進(jìn)行還原。實驗結(jié)果表明，本文方法可以在對比度增強、亮度適應(yīng)、細(xì)節(jié)保存和自然色彩之間獲得良好的平衡。

1 鏈接突觸計算網(wǎng)絡(luò)

鏈接突觸計算網(wǎng)絡(luò)是第三代神經(jīng)網(wǎng)絡(luò)，主要根據(jù)視覺皮層受到一定刺激時相鄰神經(jīng)元同步發(fā)放脈沖的現(xiàn)象來實現(xiàn)相鄰網(wǎng)絡(luò)單元間的激發(fā)和抑制。單個LSCN神經(jīng)元由反饋輸入和鏈接輸入、鏈接調(diào)制、脈沖輸出3個部分構(gòu)成，其中反饋輸入作為主要輸入，用于刺激LSCN神經(jīng)網(wǎng)絡(luò)開始工作，然后與鏈接輸入一起進(jìn)行調(diào)制，調(diào)制結(jié)果輸出至脈沖產(chǎn)生域。若調(diào)制結(jié)果大于閾值，則神經(jīng)元進(jìn)行點火并發(fā)射脈沖。

不同于其他脈沖神經(jīng)網(wǎng)絡(luò)，LSCN 模型的膜電位由泄漏積分器表示，并且輸入信號采集機制簡化至反饋輸入僅僅由激勵表示，使得LSCN 模型的時間復(fù)雜度低于傳統(tǒng)模型，同時內(nèi)部活動項與外部激勵之間的關(guān)系更加直接。單個LSCN神經(jīng)元結(jié)構(gòu)的示意圖如圖1所示。

圖1 單個LSCN神經(jīng)元結(jié)構(gòu)示意圖

泄漏積分器是鏈接突觸網(wǎng)絡(luò)的主要構(gòu)成部分，由鏈接突觸S、膜電位W和閾值D三部分組成。鏈接突觸S的數(shù)學(xué)表達(dá)式為：

(1)

式中：(i,j)和(p,q)分別表示某個神經(jīng)元和其相鄰神經(jīng)元；n表示離散時間點；l為鏈接常量；X(i,j,p,q)表示鏈接突觸的權(quán)重系數(shù)；Z(p,q)表示神經(jīng)元輸出。

神經(jīng)反饋和前饋經(jīng)過融合后產(chǎn)生膜電位，膜電位W被定義為：

Wn(i,j)=gWn-1(i,j)+G(i,j)(1+αSn(i,j))

(2)

式中：g代表膜電位衰減常數(shù)；α表示鏈接強度；G(i,j)為外部刺激輸入。

神經(jīng)元的閾值D由漏泄積分器描述，表達(dá)式為：

Dn(i,j)=rDn-1(i,j)-β+fZn-1(i,j)

(3)

式中：r表示閾值衰減常數(shù)；f表示放大系數(shù)；β表示一個小的正常數(shù)，為確保圖像的動態(tài)范圍位于[0,255]之間，將β設(shè)置為1/255。

在網(wǎng)絡(luò)迭代中，當(dāng)膜電位超過閾值后，神經(jīng)元將產(chǎn)生尖峰：

(4)

2 遙感圖像對比度增強方法

本文方法是在HSV顏色空間中，將鏈接突觸計算網(wǎng)絡(luò)和顯著特征圖相結(jié)合進(jìn)行圖像對比度增強。因此，首先將輸入圖像從RGB空間轉(zhuǎn)換至HSV空間。在此基礎(chǔ)上，所提出的方法可分為3步：平滑濾波和邊緣增強；基于連接突觸計算網(wǎng)絡(luò)的對比度增強；將圖像由HSV顏色空間轉(zhuǎn)換回RGB空間，進(jìn)行自然色彩還原。本文方法的工作流程圖如圖2所示。

圖2 本文方法的工作流程圖

2.1 平滑濾波和邊緣增強

首先，對輸入圖像進(jìn)行歸一化，G(i,j)表示歸一化后的標(biāo)準(zhǔn)圖像。利用引導(dǎo)平滑濾波器對G(i,j)做平滑處理：

(5)

經(jīng)過平滑濾波后的邊緣細(xì)節(jié)可以被定義為：

(6)

式中：δ是控制測試圖像細(xì)節(jié)大小的系數(shù)，一般取8。

將增強的邊緣細(xì)節(jié)添加到圖像中：

D(i,j)=1+E(i,j)-min(E(i,j))

(7)

2.2 基于鏈接突觸計算網(wǎng)絡(luò)的對比度增強

為了使衛(wèi)星圖像獲得更好的增強效果，在邊緣增強的基礎(chǔ)上，將D(i,j)輸入鏈接突觸網(wǎng)絡(luò)，使圖像轉(zhuǎn)換為更好的增強刺激。鏈接突觸網(wǎng)絡(luò)開始于形成連接突觸，而后膜電位在網(wǎng)絡(luò)經(jīng)過一系列迭代后超過閾值，產(chǎn)生尖峰，這個尖峰繼續(xù)更新鏈接突觸以給出最終的突觸輸出。為了敘述方便，式(6)和式(7)中的(i,j)、G(i,j)、D(i,j)與鏈接突觸計算網(wǎng)絡(luò)中的神經(jīng)元、外部刺激輸入和神經(jīng)元閾值相對應(yīng)，下面不再贅述。

由于經(jīng)過鏈接突觸網(wǎng)絡(luò)處理過的突觸輸出可能包含不均勻的低暗區(qū)域，需要對這部分區(qū)域做進(jìn)一步改進(jìn)：首先對輸入RGB圖像的亮度分量進(jìn)行修改，其次對明亮區(qū)域和暗淡區(qū)域分別進(jìn)行對比度增強。

在本文中，亮度分量可由式(1)中計算的鏈接突觸輸出獲得，這樣操作有助于超越白平衡：

I(i,j)=maxS(i,j)

(8)

2.2.1明亮區(qū)域增強

為了改善明亮的區(qū)域?qū)Ρ榷龋疚牟扇∫粋€簡單的明亮區(qū)域細(xì)節(jié)保留調(diào)諧映射函數(shù)。由于集中在低亮度區(qū)的大部分細(xì)節(jié)信息的振幅與噪聲水平相當(dāng)，飽和區(qū)域又很難獲取所需的信息。因此，明亮區(qū)域增強的目標(biāo)是在不引入光暈偽影和犧牲細(xì)節(jié)的情況下自然改善局部對比度。

首先，計算細(xì)節(jié)增益系數(shù)。定義一個以像素(i,j)為中心的鄰窗，尺度為5×5，(i,j)處的細(xì)節(jié)增益系數(shù)可由鄰窗的標(biāo)準(zhǔn)偏差計算得到：

(9)

式中：dev(i,j)表示鄰窗的局部標(biāo)準(zhǔn)偏差。

其次，渲染細(xì)節(jié)的場景反射比按照以下公式：

SC=I/(L+c)

(10)

式中：L是與突觸輸出的平均亮度值相同的照明分量；c是一個小的常量。

然后，明亮區(qū)域的細(xì)節(jié)可通過細(xì)節(jié)增益系數(shù)和場景反射比給出：

Ben=SCk

(11)

這些細(xì)節(jié)由于光暈偽影和細(xì)節(jié)裁剪效應(yīng)的存在，不可以作為最終結(jié)果由式(11)直接給出。為了消除它們，采用一種調(diào)諧映射函數(shù)，改善明亮區(qū)域的對比度：

Ibright_en=IBen

(12)

2.2.2暗淡區(qū)域增強

由于暗淡區(qū)域的亮度較低，在亮區(qū)對比增強過程中，暗區(qū)對比度保持不變。本文利用一種基于改進(jìn)高斯差分(Difference of Gaussian，DoG)的感知對比度映射(Perceptual Contrast Map，PCM)用于提取輸入圖像中的邊緣內(nèi)容。由于DoG是一種帶通濾波技術(shù)，PCM的振幅輸出表示有效信息強度，因此，通過優(yōu)化參數(shù)和構(gòu)造合適的PCM，達(dá)到突出感知重要的局部邊緣和平滑區(qū)域中高頻噪聲的目的。

設(shè)計一個中心分量為Kc(i,j)和周圍分量為Ks(i,j)的掩碼，Kc(i,j)和Ks(i,j)大小分別為(2kc+1)×(2kc+1)和(2ks+1)×(2ks+1)，在像素(i,j)處的中心分量和周圍分量可以表示為：

(13)

(14)

式中：S(i,j)表示鏈接突觸輸出；CGE(i,j)和SGE(i,j)為兩個Gaussian函數(shù)。表示如下：

(15)

(16)

式中：kc=1，ks=0.01×min(h,w)，(h,w)表示圖像的高度和寬度。

對輸入圖像施加約束條件，得到:

F(i,j)=I(i,j)|PCM(i,j)|

(17)

式中：PCM可以由中心分量Kc(i,j)和周圍分量Ks(i,j)給出。

(18)

利用F的最大值和最小值將約束圖像歸一化為Fnor。在此基礎(chǔ)上，通過引入改進(jìn)的裁剪直方圖均衡化，得到一個感知對比度改善的圖像Iperceptual_en。Ibright_en和Iperceptual_en在顯著性指導(dǎo)下混合，獲得更自然和對比度增強的圖像：

Ien(i,j)=Fnor(i,j)Ibright_en+(1-Fnor(i,j))Iperceptual_en

(19)

2.3 圖像色彩還原

將對比度增強后的圖像從HSV模型轉(zhuǎn)換回RGB空間，然后應(yīng)用于一種改進(jìn)的自然顏色恢復(fù)算法。為了使最終的增強圖像滿足人類的色彩視覺感知，色彩保持在一個合理的色彩恒定度內(nèi)，所采用的顏色恢復(fù)方法如下：

Ires(i,j)=exp[C(i,j)]×Ien(i,j)

(20)

式中：Ires表示還原圖像；C(i,j)表示色彩還原函數(shù)。

(21)

(22)

3 實驗結(jié)果與分析

為了驗證提出方法對遙感圖像的增強效果，選取來自不同衛(wèi)星傳感器捕獲的遙感圖像進(jìn)行測試，測試結(jié)果從主觀和客觀兩個方面進(jìn)行評價。主觀評價主要靠人眼的觀察來判斷，客觀評價根據(jù)模型來制定量化指標(biāo)。本文的評價部分主要對比了亮度保持動態(tài)模糊直方圖均衡(Brightness Preserving Dynamic Fuzzy Histogram Equalization，BPDHE)、基于離散小波變換和奇異值分解的方法(Discrete Wavelet Transform and Singular Value Decomposition，DWT-SVD)、具有ACE Kernel的多尺度Retinex法(MSRKACE)、改進(jìn)的微分進(jìn)化法(Modified Differential Evolution，MDE)、基于色調(diào)映射和同態(tài)濾波的JEI法、神經(jīng)計算方法FLM以及本文方法的實驗結(jié)果。

在上述方法中使用的參數(shù)值是從各自的文獻(xiàn)中選擇的，并且在所提出的技術(shù)中使用的參數(shù)值是通過它們的工作形式得出的。本文的參數(shù)設(shè)置為：神經(jīng)元連接范圍為3×3，l=1，f=0.001，r=0.981，g=0.01，α=0.01，突觸權(quán)重矩陣的中心元素設(shè)置為1，中心以外的突觸權(quán)重設(shè)置為0.04。由下式給出：

3.1 衛(wèi)星圖像數(shù)據(jù)集

在模擬實驗中，采用4幅不同測試衛(wèi)星傳感器(SPOT、IKONOS、MODIS和QuickBird)[10]獲取的圖像，測試圖像的規(guī)格和來源分別為：來自SPOT衛(wèi)星數(shù)據(jù)的法國圖盧茲太空城多光譜圖像，尺寸為1 200×1 200；來自IKONOS衛(wèi)星數(shù)據(jù)的巴黎塞納河多光譜圖像，尺寸為512×512；來自MODIS衛(wèi)星數(shù)據(jù)的愛達(dá)荷州中部的雷擊火災(zāi)多光譜圖像，尺寸為1 800×2 400；來自Quickbird衛(wèi)星數(shù)據(jù)的埃及金字塔多光譜圖像，尺寸為900×607。所有測試圖像的分辨率均為50 cm。

3.2 定性結(jié)果分析

圖3-圖6給出了不同算法在4幅測試衛(wèi)星遙感圖像中的定性增強結(jié)果。以圖3為例，BPDFH方法的視覺增強結(jié)果引入了一些不自然的飽和效應(yīng)，使得圖像中出現(xiàn)可見性的像素梯度，說明該方法在局部細(xì)節(jié)方面沒能做到足夠的增強。DWT-SVD方法獲得的圖像對比度較好，但是，由于DWT-SVD方法只關(guān)注低頻子帶圖像，忽略了高頻部分，增強后的圖像缺乏自然色彩，其圖像細(xì)節(jié)也不清晰。MSRKACE方法注重細(xì)節(jié)增強，但犧牲了自然色，導(dǎo)致處理后的圖像出現(xiàn)褪色現(xiàn)象。MDE算法可以得到一個較好的增強結(jié)果，但是，輸出的圖像中存在細(xì)微邊緣和特征過于平滑的現(xiàn)象。FLM方法同樣存在邊緣過度平滑，導(dǎo)致細(xì)節(jié)丟失嚴(yán)重的問題，并伴隨有飽和不良效應(yīng)。JEI方法可以提供較好的細(xì)節(jié)顯示和顏色自然度，但在低亮度區(qū)域表現(xiàn)不佳。與其他6種先進(jìn)算法相比，本文算法強調(diào)了局部細(xì)節(jié)，相應(yīng)的梯度和紋理相對比較清晰。因此，本文方法保證了對比度增強、亮度適應(yīng)、細(xì)節(jié)保存和自然色彩之間的良好權(quán)衡。

圖3 不同算法對圖盧茲太空城圖像的視覺增強結(jié)果

圖4 不同算法對巴黎塞納河圖像的視覺增強結(jié)果

圖5 不同算法對雷擊火災(zāi)圖像的視覺增強結(jié)果

圖6 不同算法對埃及金字塔圖像的視覺增強結(jié)果

3.3 定量結(jié)果分析

客觀評價通過對各算法結(jié)果的指標(biāo)計算進(jìn)行的，利用圖像的離散信息熵(Discrete Entropy，DE)、增強圖像的盲圖像質(zhì)量測量(Blind Image Quality Measure of Enhanced images，BIQME)、無參考圖像質(zhì)量度量對比度失真(No Reference Image Quality Metric for Contrast distortion，NIQMC)和增強測度(EME)4個無參考量作為評價指標(biāo)來驗證算法的有效性。

離散信息熵DE代表圖像的信息含量，其值越高，說明圖像質(zhì)量越好：

(23)

式中：P(Xi)表示事件Xi發(fā)生的概率。

NIQMC代表圖像對比度扭曲的程度，指標(biāo)的高值表示更豐富的圖像色彩：

(24)

式中：γ是權(quán)重系數(shù)，表示局部和全局之間的相對比重；QL=max{El1,El2,…,El5}和QG=DJS(h,u)分別表示局部變量和全局變量；Eli表示像素li的熵值；DJS(h,u)表示直方圖h和像素u的JS散度。

增強測度EME可由下式給出，其值越大，對比度越高：

(25)

式中：I(i,j)表示原圖中互不重疊的某一子塊；k1k2表示子塊個數(shù)。

BIQME方法從對比度、清晰度、亮度、色彩艷麗度和自然度等方面反映圖像的質(zhì)量，是一種全局的無參考評價方法，其值越大表示圖像整體質(zhì)量越好：

(26)

式中：M表示像素個數(shù)；Qmi、Qcc、Qsd、Qcs分別表示原始圖像和還原圖像在平均強度、對比度變化、結(jié)構(gòu)畸變和色彩飽和度方面的相似性。

表1給出了不同方法在4幅遙感圖像中的定量測試結(jié)果，每個評價指標(biāo)的值都是4幅圖像實驗結(jié)果的平均值。對比表中性能指標(biāo)可以發(fā)現(xiàn)，與現(xiàn)有的其他遙感增強方法相比，本文方法的質(zhì)量參數(shù)具有明顯的優(yōu)勢。

表1 不同算法在測試圖像中的性能評價結(jié)果

續(xù)表1

4 結(jié) 語

本文提出了一種基于鏈接突觸計算網(wǎng)絡(luò)的衛(wèi)星遙感圖像對比度增強算法。該算法在HSV顏色空間中，利用引導(dǎo)平滑濾波器和邊緣增強技術(shù)突出圖像細(xì)節(jié)，然后將鏈接突觸計算網(wǎng)絡(luò)與顯著特征圖相結(jié)合，改進(jìn)圖像對比度，最后將圖像由HSV顏色空間轉(zhuǎn)換回RGB空間，進(jìn)行色彩還原。實驗結(jié)果表明，相對于其他對比度增強算法，本文方法在NIQMC、BIQME、DE和EME等多個評價指標(biāo)上都有很好的性能體現(xiàn)，而且在增強對比度和保留圖像的自然度方面，具有明顯的優(yōu)勢。