基于多尺度殘差融合網(wǎng)絡(luò)的高光譜圖像融合算法*

劉嫻雅 劉 賓

（中北大學(xué)信息與通信工程學(xué)院 太原 030051）

1 引言

高光譜圖像擁有豐富的光譜信息，有效地提高了探測(cè)、識(shí)別等任務(wù)的能力［1］。近年來，高光譜圖像已廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、環(huán)境以及軍事領(lǐng)域［2～5］。然而，由于高光譜圖像成像設(shè)備有限，成像環(huán)境復(fù)雜，使得高光譜圖像空間分辨率很低，這嚴(yán)重限制了高光譜圖像的發(fā)展［6］。因此，為了得到高分辨率高光譜圖像（HR-HSI），一般將同一目標(biāo)的低分辨率高光譜圖像（LR-HSI）和高分辨率多光譜圖像（HR-MSI）進(jìn)行融合。

當(dāng)前的高光譜融合方法通常分為三種：基于全銳化的方法、基于分解的方法以及基于深度學(xué)習(xí)的方法。基于全銳化的方法通常是將同一目標(biāo)的多光譜圖像和全色圖像加以融合獲得的高分辨率多光譜圖像［7］。近年來，人們將全銳化技術(shù)推廣到高光譜多光譜融合領(lǐng)域，但是由于全銳化涉及的光譜分辨率較低，因此全銳化的方法獲得的融合圖像會(huì)產(chǎn)生一定的光譜失真。基于分解的方法，這一類方法將融合問題視為反問題，通過利用解混模型和設(shè)計(jì)適當(dāng)?shù)南闰?yàn)信息來獲得所需的融合結(jié)果［8］。Yokoya等［9］采用非負(fù)矩陣分解法以耦合的方式對(duì)LR-HSI和HR-MSI 圖像進(jìn)行解混。Dong［10］等利用高光譜圖像空間光譜稀疏性的先驗(yàn)知識(shí)，將高分辨率高光譜圖像的估計(jì)表示為高光譜字典和稀疏碼的聯(lián)合估計(jì)。Xu［11］等通過耦合張量正則多元分解探討了HSI 和MSI 之間的關(guān)系，提出了一種用于HSI-MSI融合的分解模型。基于分解的方法通常效果較好，但是融合質(zhì)量和所使用的特定融合模型有著很大的關(guān)聯(lián)，并且計(jì)算成本較高，實(shí)現(xiàn)也比較復(fù)雜。

近年來，基于深度學(xué)習(xí)的高光譜圖像融合方法相比與前兩種融合方法展現(xiàn)出一定的優(yōu)勢(shì)。Palsson［12］等提出了3D-CNN 網(wǎng)絡(luò)模型，雖然該模型可以有效減少圖像的光譜失真，但是極大地增加了網(wǎng)絡(luò)參數(shù)的數(shù)量。Dian 等［13］將深度卷積網(wǎng)絡(luò)與基于分解的方法相結(jié)合，利用深度卷積網(wǎng)絡(luò)所學(xué)習(xí)的先驗(yàn)信息來正則化融合問題。但是這種方法只能在一些光譜波段進(jìn)行訓(xùn)練，在其余部分進(jìn)行測(cè)試，破壞了光譜的完整性。Zhou［14］等提出了一種金字塔全卷積網(wǎng)絡(luò)以全局到局部的方式逐步重建HR-HSI，該融合方法有效地挖掘了HR-MSI 的空間信息。雖然深度學(xué)習(xí)在高光譜圖像融合領(lǐng)域得到了快速的發(fā)展，但仍然面臨著一些困難和挑戰(zhàn)，例如：特征提取不完整；深層次特征難以提取利用，將會(huì)影響融合的性能；沒有考慮不同層次的特征融合，可能會(huì)導(dǎo)致融合結(jié)果信息丟失等問題。

綜上，本文提出了一種基于多尺度殘差融合網(wǎng)絡(luò)（Multiscale Residual Fusion Network，MRFN）的高光譜圖像融合算法，來獲得HR-HSI。相比于現(xiàn)有的高光譜圖像融合方法，該網(wǎng)絡(luò)能夠有效提取高光譜圖像的光譜信息和多光譜圖像空間信息，可以顯著降低光譜失真，提高高光譜圖像的空間分辨率。因此，該方法在實(shí)際應(yīng)用中對(duì)提高高光譜圖像的性能具有重要意義。

2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一種基于多尺度殘差融合網(wǎng)絡(luò)的高光譜圖像融合算法。該算法網(wǎng)絡(luò)框架由特征提取模塊、融合模塊以及特征重建模塊三個(gè)核心計(jì)算模塊組成，具體結(jié)構(gòu)如圖1 所示。首先，采用特征提取模塊分別提取LR-HSI 的光譜信息和HR-MSI的空間信息；然后將特征提取模塊中獲取的特征信息，視為融合模塊的輸入，由模型自發(fā)地去學(xué)習(xí)融合規(guī)則，逐級(jí)獲得融合圖像的全部特征信息；最后通過特征重建模塊重建高分辨率高光譜圖像。

圖1 總體網(wǎng)絡(luò)結(jié)構(gòu)

2.1 特征提取模塊

特征提取模塊由多尺度特征提取模塊（Multiscale feature extraction block，MFB）和級(jí)聯(lián)殘差模塊構(gòu)成，用于分別提取LR-HSI 的光譜信息和HR-MSI 空間信息。首先使用一個(gè)多尺度特征提取模塊對(duì)輸入圖像進(jìn)行不同尺度的淺層特征提取，有效地保證了特征圖信息的完整性。然后通過級(jí)聯(lián)殘差模塊提取輸入圖像的深層語義特征，獲取更多圖像細(xì)節(jié)特征。其實(shí)現(xiàn)過程如下：

式中：fMFB表示多尺度特征提取模塊；fres表示殘差模塊；HSk、MSk分別表示高光譜圖像和多光譜圖像第k層特征，本文中k=1，2，3，4。

1）多尺度特征提取模塊

本文設(shè)計(jì)了一種多尺度特征提取模塊，結(jié)合特征融合操作，同時(shí)采用4 個(gè)不同大小的卷積核對(duì)輸入圖像進(jìn)行特征提取，其結(jié)構(gòu)如圖2 所示。該模塊選擇的卷積核大小依次是1×1，3×3，5×5，7×7，其中小卷積核提取圖像中比較平滑區(qū)域，大卷積核提取圖像的邊緣輪廓信息，使用不同大小的卷積核能夠獲得圖像更多的特征信息，從而提高了網(wǎng)絡(luò)模型的特征提取能力。上述過程可以表示為

圖2 多尺度特征提取模塊

式中：fi為輸入特征圖；w 表示卷積層的權(quán)重；b 為偏置項(xiàng)；Concat 為特征圖通道拼接；f1×1，f3×3，f5×5，f7×7分別對(duì)應(yīng)的是1×1，3×3，5×5，7×7 卷積操作。

2）級(jí)聯(lián)殘差模塊

為了提取HR-MSI和LR-HSI空間維以及光譜維更多的細(xì)節(jié)特征，本文采用3 個(gè)級(jí)聯(lián)的殘差模塊提取圖像深層特征，基本結(jié)構(gòu)如圖3 所示。每個(gè)殘差模塊通過跳躍連接的形式將單元的輸入信息繞道傳至輸出，這種形式極大地提高了輸入信息的完整性同時(shí)提高模型的訓(xùn)練速度。當(dāng)網(wǎng)絡(luò)模型層數(shù)增加時(shí)，網(wǎng)絡(luò)性能下降的問題也可以得到解決。

圖3 殘差模塊

2.2 融合模塊

融合模塊是將LR-HSI 的光譜信息和HR-MSI的空間信息逐級(jí)融合。通過特征拼接方式將獲得的特征信息堆疊成新的圖像，并進(jìn)行1×1 卷積計(jì)算的結(jié)果。為了提升模型的融合能力，使用ReLU 函數(shù)增加網(wǎng)絡(luò)的非線性，防止過擬合。每一級(jí)融合都考慮了上一級(jí)融合的結(jié)果，因此可以看作是一種特殊的多級(jí)尺度融合方法。其實(shí)現(xiàn)過程如下：

式中：HS0為輸入的LR-HSI，MS0為輸入的HR-MSI；I表示拼接后的圖像；HSMS為融合后的特征圖。

2.3 特征重建模塊

特征重建模塊由若干個(gè)卷積層組成。從融合模塊所得到的特征圖的通道數(shù)為256，因此要獲取融合圖像F，就需要對(duì)特征圖進(jìn)行降維重建。考慮到較大的核大小和網(wǎng)絡(luò)深度會(huì)削弱融合性能，增加計(jì)算復(fù)雜度，因此本文采用4個(gè)1×1的卷積層，依次為1×1×256、1×1×128、1×1×64、1×1×1。同時(shí)，為了增加模型中各層次間的非線性聯(lián)系，可以通過ReLU 函數(shù)提高模型的非線性。具體實(shí)現(xiàn)過程如下：

式中：表示1×1的卷積操作；F表示融合后的圖像。

2.4 損失函數(shù)

為了更好地訓(xùn)練MRFN 網(wǎng)絡(luò)模型，使得融合結(jié)果接近真實(shí)的高分辨率圖像，本文采用融合圖像F與參考圖像R 之間的均方誤差作為網(wǎng)絡(luò)的損失函數(shù)，使網(wǎng)絡(luò)神經(jīng)元權(quán)值不斷更新。MSE損失函數(shù)定義如下：

式中n為訓(xùn)練樣本數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集與網(wǎng)絡(luò)配置

本文使用CAVE［15］和Harvard［16］數(shù)據(jù)集來驗(yàn)證所提出方法的有效性。其中CAVE 數(shù)據(jù)集是室內(nèi)場(chǎng)景下的高光譜數(shù)據(jù)集，該數(shù)據(jù)集由三十張大小為512×512 的高光譜圖像構(gòu)成，波段范圍為400nm～700nm，共三十一個(gè)高光譜波段。Harvard數(shù)據(jù)集是真實(shí)場(chǎng)景下的高光譜數(shù)據(jù)集，該數(shù)據(jù)集由五十張大小為1392 × 1040 的高光譜圖像構(gòu)成，波段范圍為420nm～720nm，共三十一個(gè)高光譜波段。取CAVE 數(shù)據(jù)集中的前二十幅圖片作為訓(xùn)練集，后十二幅圖片作為測(cè)試集。對(duì)于Harvard數(shù)據(jù)集中使用的前三十幅作為訓(xùn)練集，后二十幅圖片作為測(cè)試集。

本文所構(gòu)建的多尺度殘差融合網(wǎng)絡(luò)的輸入是LR-HSI 和HR-MSI，輸出是HR-HSI。為了得到LR-HSI，我們需要對(duì)訓(xùn)練集中的高光譜圖像進(jìn)行預(yù)處理。將其按步長32 切成64×64 大小的圖像塊用作訓(xùn)練，然后將原始圖像下采樣（雙線性插值）至原始大小1/8，最后再上采樣（雙三次插值）至原始大小作為LR-HSI。在模型測(cè)試的時(shí)候不需要切分，可直接輸入LR-HSI得到融合結(jié)果。

實(shí)驗(yàn)環(huán)境為Windows10，處理器為Intel（R）Core（TM）i7-10750H CPU @2.60GHz，顯卡為NVIDIA GeForce GTX1660Ti，基于TensorFlow 庫構(gòu)建高光譜圖像融合網(wǎng)絡(luò)，模型利用ADAM算法進(jìn)行訓(xùn)練，訓(xùn)練周期設(shè)為100，Batchsize 設(shè)置為16，學(xué)習(xí)率初始設(shè)置為0.0001，分別在訓(xùn)練周期總數(shù)的50%和75%處將學(xué)習(xí)率設(shè)為之前的1/10。

3.2 對(duì)比方法

將基于多尺度殘差融合網(wǎng)絡(luò)的高光譜圖像融合算法（MRFN）與幾種優(yōu)秀的融合算法在CAVE和Harvard 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比，對(duì)比的算法有MRA［17］、CNMF、3D-CNN。其中MRA 屬于全銳化方法；CNMF 是基于分解的融合方法；而3D-CNN為深度學(xué)習(xí)的融合方法，該融合方式避免了人為制定融合規(guī)則，能夠通過大量學(xué)習(xí)得到融合模型。

3.3 評(píng)價(jià)指標(biāo)

為了評(píng)估融合結(jié)果的質(zhì)量，本文選擇均方根誤差（RMSE）、全局相對(duì)光譜損失（ERGAS）、結(jié)構(gòu)相似性（SSIM）、光譜角映射（SAM）和峰值信噪比（PSNR）對(duì)融合圖像質(zhì)量進(jìn)行評(píng)價(jià)。PSNR、RMSE和SSIM 在空間域中衡量融合結(jié)果質(zhì)量，SAM 用來反映融合圖像光譜失真的程度。而ERGAS 則反映了融合結(jié)果的總體質(zhì)量，包括空間和光譜。

3.4 融合實(shí)驗(yàn)結(jié)果

將本文所提出的方法與3.2節(jié)中提到的幾種優(yōu)秀的算法進(jìn)行了比較。圖4和圖5分別為小球和衣服兩個(gè)數(shù)據(jù)集在不同波段下的融合結(jié)果，表1 為不同融合算法下融合圖像的評(píng)價(jià)指標(biāo)，評(píng)價(jià)指標(biāo)包括RMSE、ERGAS、SSIM、PSNR 和SAM。在表1 中，“↓”表示數(shù)值越小越好，“↑”表示數(shù)值越大越好。客觀評(píng)價(jià)指標(biāo)的最佳結(jié)果用粗體表示，而次最佳結(jié)果用下劃線表示。

表1 不同融合算法的對(duì)比結(jié)果

圖4 小球數(shù)據(jù)集融合結(jié)果

圖5 衣服數(shù)據(jù)集融合結(jié)果

從表1 中可以看出，本文算法相比較其他三種算法客觀評(píng)價(jià)指標(biāo)均有一定的提升，表明本文算法在極大程度上降低光譜失真的同時(shí)提升高光譜圖像的空間分辨率，使融合出的圖像細(xì)節(jié)信息更多。為了直觀地進(jìn)行比較，圖4 和圖5 中顯示了小球和衣服兩個(gè)數(shù)據(jù)集在不同融合算法下的融合圖像，每個(gè)融合圖像使用方框標(biāo)識(shí)重點(diǎn)區(qū)域并放大5 倍以便于觀察。從標(biāo)識(shí)區(qū)域和融合圖像可以看出，MRA 方法融合后的圖像存在一定的光譜失真，邊緣紋理比較模糊，很多細(xì)節(jié)無法辨認(rèn)；CNMF 和3D-CNN 算法一定程度上提高了融合圖像的清晰度，但邊緣細(xì)節(jié)仍然模糊；本文提出的算法相比較其他三種算法，融合圖像邊緣細(xì)節(jié)恢復(fù)較好，整體有較好的視覺效果，可以顯著降低光譜失真，提高高光譜圖像的空間分辨率。

4 結(jié)語

本文從高光譜和多光譜圖像的成像特點(diǎn)和融合目標(biāo)出發(fā)，提出了一種基于多尺度殘差融合網(wǎng)絡(luò)的高光譜圖像融合算法。首先，利用多尺度特征提取模塊和級(jí)聯(lián)殘差模塊提取LR-HSI和HR-MSI的光譜信息和空間信息，然后通過融合模塊將獲取到的光譜信息和空間信息逐級(jí)融合；最后利用卷積層重建融合結(jié)果，得到HR-HSI。實(shí)驗(yàn)證明，本文所提出的方法在CAVE 和Harvard 這兩個(gè)數(shù)據(jù)集上峰值信噪比分別達(dá)到了39.8504 和42.9646，光譜角映射分別達(dá)到了0.0685 和0.1585，比其他幾種方法均有一定的提升。融合后的圖像可以顯著降低光譜失真，提高高光譜圖像的空間分辨率，具有很好的應(yīng)用前景。