基于孿生卷積神經網絡的圖像融合①

楊 雪,鄭婷婷,戴 陽

(長安大學 信息工程學院,西安 710064)

1 引言

圖像融合是將在同一場景下的不同聚焦的兩幅或者多幅圖像的信息進行冗余互補,從而形成一張具有完整信息的圖像.圖像融合在許多領域都具有廣泛的應用,例如在醫學醫療方面和遙感圖像的融合等方面.現如今,存在的圖像融合方法有很多種,其中比較常用的方法是基于分辨率分解的圖像融合,基于分辨率分解的方法又有多種,例如基于圖像金字塔分解[1,2]的方法、基于小波變換[3]的方法、基于相位一致性和方向對比度的非子采樣輪廓線變換的融合方法[4]、基于稀疏表示的同時進行正交匹配跟蹤的融合[5]方法等等,但是上述的方法中的一些方法對采集的圖像有很大的要求,這就意味著對采集圖像的傳感器有著很大的負擔,而且有些方法在計算上很復雜.基于以上不足,本文提出來了一種基于孿生卷積神經網絡的圖像融合方法.

卷積神經網絡(Convolutional Neural Network,CNN)[6–8]是人工神經網絡和深度學習這兩者的完美結合,其通過反向傳播算法[9]來訓練其中的權值,進而實現我們所想要的結果.卷積神經網絡有很多優點,例如,有比較好的容錯性能、自適應性能、比較好的自學能力等等.由于卷積神經網絡以上的優點,將原來傳統的卷積神經網絡改進為孿生卷積神經網絡,孿生卷積神經網絡在實質上就是一個雙通道的卷積神經網絡,并且為了計算簡單,本文算法將其中的一個卷積層換成了殘差網絡層.

2 Siamese 網絡

“Siamese”網絡是Bromley J、Guyon I 等在1993年在第一次提出來的[10].又在2005年由Chopra S、Hadse R 等[11]進行了補充,在其文章中用孿生網絡進行了人臉相似性判別,將Siamese 網絡分成兩部分,前半部分用于特征提取,將兩張圖片輸入進網絡中輸出兩個特征向量,后半部分用構造的特征向量進行距離度量,計算輸入圖像的相似度以判別人臉的相似性.后又由Zagoruyko S 和Komodakis N 在文獻[12]中以Siamese 網絡為原始基礎進行了改進,首次將空間金字塔池化(Spatial Pyramid Pooling,SPP)和Siamese 網絡進行了結合[13].

Siamese 網絡可以理解成是一種衡量相似性的算法,當要分類的類別很多但是每一個類別所對應的樣本數目很少的時候可以用于分類.Siamese 網絡在近年來多應用于人臉識別以及相似度檢測.本文所提的方法是基于Siamese 網絡進行特征的提取從而生成一個特征向量.Siamese 網絡有兩個分支,并且兩個分支的權重和結構是一樣的.Siamese 網絡具體的結構如圖1所示,將原圖片X1、X2送入到系統當中,判斷X1和X2是否是同一圖片,W是系統共享的學習參數,GW{X1}和GW{X2}是生成低維空間中的X1和X2的兩點映射,這樣就可以通過計算GW{X1}和GW{X2}兩者之間的距離來判斷X1和X2是否是同一張圖片了.

圖1 Siamese 原始網絡結構圖

3 本文所用網絡

3.1 本文所用的孿生卷積神經網絡

本文所采用的Siamese 網絡是文獻[12]中提及網絡模型的改進版,本文網絡用了兩個完全相同的卷積神經網絡,其中這兩個網絡是權值共享.

圖2給出的是圖像融合算法的前一部分特征提取的網絡圖,這是一個Siamese CNN[14]網絡圖,其中左右兩邊的兩個部分在結構上是完全一樣的,并且共享相同的參數,即權重和偏置.

圖2 本文所使用的Siamese 網絡結構圖

本文網絡是由兩個卷積層,兩個池化層,一個殘差塊以及一個全連接層組成的.在本文中我們將原本孿生網絡中的一個卷積層換成了殘差網絡[15,16],所用的殘差網絡的結構如圖3所示.輸入的patch 為16×16,即卷積層和池化層的通道數都是16(即卷積模板為16 種),其卷積核的大小為3×3,池化窗口尺寸為2×2,卷積方式為零填充(zero padding),卷積層的激活函數為Relu,并且子CNN 輸出的是256 維特征向量,每個池化層包括跨信道歸一單元.首先將輸入的patch 的空間大小調整為16×16,然后對網絡進行訓練以最大損失函數為優化目標(損失函數如式(1),采用隨機梯度下降(Stochastic Gradient Descent,SGD)[17]的方法使其最大損失函數最小化;第二步將拼接完成的512 個特征圖直接連接在二維向量上面;最后,將連接生成的這個二維向量作為輸入,輸出給一個雙向的Softmax 層,其中Softmax 可以用于分類,輸出的是類別的概率分布,網絡在Softmax 層生成了兩類的概率分布,這兩個類別分別對應的是歸一化之后的權重分配的結果.由于本文的網絡是具有全連接的,所以輸入和輸出的數據都是固定尺寸的,其模型配置如表1所示.

其中,i≠j,Xi和Xj為兩個子CNN 的最后一層獲得的兩個256 維特征向量,M是一個正的半有限矩陣(M∈R256×256).

圖3 殘差網絡結構圖

表1 模型配置

我們首先將全連通層轉換為包含兩個大小為3×3×512 的核的等效卷積層,轉換后,網絡可以將任意大小的原圖像作為一個整體進行處理,生成一個密集的預測圖,其中每個預測(一個二維向量)包含對應位置的patch 對的相對清晰信息.由于每個預測中只有兩個維度,并且它們的和被標準化為1,因此輸出可以簡化為第一個(或第二個)patch 的權重.最后,為了得到與原圖像大小相同的權值圖,我們將該值賦值為patch 位置內所有像素的權值,并對重疊的像素進行平均,最后得到最終的權重圖.

3.2 融合過程

整個的圖像融合過程可以分為兩個部分,第一個部分用孿生卷積神經網絡進行圖片信息的提取得到一個權重圖,這一部分的詳細描述在3.1 章節;第二部分是利用金字塔分解后再融合,具體融合過程如圖4所示,先將第一部分得到的權重圖W經過高斯金字塔變換得到G{W},再將兩張待融合圖片A和B進行拉普拉斯變換分別得到L{A}和L{B},再將得到的G{W}和L{A}、L{B}分別進行融合,得到L{C}和L{D},再將L{C}和L{D}進行融合得到L{F},最中將L{F}進行拉普拉斯反變換得到最終的融合圖像F.

圖4 融合過程圖

對于每一個分解層,需要計算其L{A}l和L{B}l的局部能量:

其中,L{A}l和L{B}l分別表示了第l層拉普拉斯金字塔圖像,ElA(x,y)、ElB(x,y)分別表示了第l層,中心位置為(x,y)的A圖和B圖的局部區域能量,下同.

融合模式測定中的相似度測量可以表示為式(3):

其范圍為[–1,1],若測量相似度為1,則說明兩者具有高度相似性.t表示了融合模式測定中的閾值,若Sl(x,y)≥t,則在加權平均融合時使用式(4):

如果Sl(x,y)

最后,對L{F}l進行拉普拉斯反變換得到最終融合圖像F.

4 實驗結果

為了驗證本文方法的有效性,使用3 組圖像對網絡模型的性能進行測試.這3 組圖像分為3 類,第1 類是醫學圖像組合(如圖5所示),包括一張計算機斷層掃描(CT)圖像和一張核磁共振圖像(MRI);第2 類是風景圖片(如圖6所示),包括兩張不同焦點的兩張豹子的圖片;第3 類是花草圖像(如圖7所示),包含了兩張不同焦點的花草圖像.本文所有的實驗均在Lenovo CORE i5 Bth Gen 下的Matlab 2016A 的版本下完成.

在實驗中,為更好測試本文方法的可實用性,選用兩種現存圖像融合方法和本文圖像融合方法進行比較,且比較了原始Siamese CNN 網絡結構的結果和改進后Siamese CNN 網絡的結果.現存兩種圖像融合方法分別是基于導向濾波(Guided Filtering,GF)[18]的圖像融合方法、基于小波變換(Wavelet Transform,WT)[19]的圖像融合方法.僅從醫學圖像的融合結果分析,可明顯看出來本文方法具有更高的對比性,基于小波變換方法的圖像看起來存在很多噪聲,從視覺效果上來說不如本文方法.3 種類型圖片融合結果如圖8至圖10所示.

圖5 醫學圖像

圖6 風景不同對焦圖像

圖7 花草不同對焦圖像

圖8 醫學圖像融合結果

由于本文實驗圖像是沒有參考圖像的,為了能夠更加客觀的表示對比的方法和本論文的方法,選取了幾個客觀的無參考圖像情況下的圖像融合評價標準.第一個是互信息(MI),互信息作為信息論中的一個很重要的概念,可以用來度量兩個變量之間的相關性程度,在評價融合時可以表示融合之后的圖像包含原始圖像的信息總量,這個值越大,就表示融合之后的圖像包含的原始圖像的信息越多,融合效果越好,在本文的實驗中互信息的結果是融合圖像分別和兩個待融合圖像的互信息之和;第二個是平均梯度(AG),AG 描述了融合之后圖像的清晰度;第三個是邊緣強度(ES),ES 描述了融合之后圖片的邊緣信息,ES 越大就說明邊緣信息越多.最后給出了所有的方法在CPU 上的運行時間以作參考.對比結果如表2所示.

圖9 風景圖像融合結果

圖10 花草圖像融合結果

表2 對比說明

從表2中可見,本文所用方法融合之后的圖像的互信息和平均梯度的數值都要大于用小波變換和導向濾波的數值,那就說明本文所提方法在融合之后的圖像包含原圖像的信息度上和清晰度上都要優于小波變換和導向濾波的圖像融合.但是在邊緣信息的包含量上,在風景和花草這兩類上面,本文所提的方法略遜于小波變換和導向濾波.但是單就視覺效果上來說,本文方法所得到的融合圖像在視覺效果上要比其他兩種辦法好.與原始的網絡結構相對比,在包含原圖片的信息、融合圖片的清晰度、和融合圖片的邊緣信息上與改進之后的實驗結果相差不大,但是在運行時間上卻是大大的加快了,說明改進之后的方法在時效性上更好.綜上所述,本文所提出的方法是具有一定的實用性的.

5 結論

本文提出了一種基于改進的卷積神經網絡的像素級的圖像融合方法,將原本孿生神經網絡中的一個卷積層換成了殘差塊,比原本的算法更為簡略,并且實驗所用的時間更短,實現了像素級的圖像融合.首先,用孿生卷積神經網絡進行了圖像的特征提取;然后,用圖像金字塔對多尺度特征進行融合;最后,與現存的傳統的兩種圖像融合的方法進行了比較;側面印證了本文方法的可實施性和可取之處.但是本文所提方法融合之后的圖像的邊緣信息包含量不如基于小波變換的圖像融合,在這一點上有待改進.