結合結構重參數化方法與空間注意力機制的圖像融合模型

摘 要： 針對深度學習在紅外與可見光圖像融合時無法同時滿足運算效率和融合效果的問題，提出了一種無監督端到端的紅外與可見光圖像融合模型。該模型的圖像特征提取模塊采用結構重參數化方法，有效提升了算法的運行效率；同時引入了注意力機制，減小了冗余信息對融合結果的干擾；損失函數基于結構相似度設計。對比實驗結果表明，該模型保證了融合效果并提升了運行速度，相比于不使用結構重參數化的方法，運行速度提升了34%。

關鍵詞： 結構重參數化； 端到端； 空間注意力機制； 無監督學習； 結構相似度

中圖分類號： TP391.41"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-050-1573-06

doi：10.19734/j.issn.1001-3695.2021.09.0423

Image fusion model based on structure reparameterization method and spatial attention mechanism

Yu Lixin1， Cui Qi2， Che Jun3， Xu Yuelei2， Zhang Fan2， Li Fan2

（1.College of Air Traffic Control amp; Navigation， Air Force Engineering University， Xi’an 710051， China； "2.Unmanned System Research Institute， Northwestern Polytechnical University， Xi’an 710072， China； 3.National Key Laboratory of Science amp; Technology on Aircraft Control， AVIC Xi’an Flight Automatic Control Research Institute， Xi’an 710076， China）

Abstract： Research on the problem that deep learning methods couldn’t meet the computing efficiency and fusion effect at the same time when infrared and visible images were fused，this paper proposed an unsupervised end-to-end infrared-visible image fusion model.The image feature extraction module adopted the method of structure reparameterization，which effectively improved the running speed of the algorithm.This model introduced attention mechanism to reduce redundancy in the source image.And it designed the loss function based on the structural similarity.The experimental results show that the model guarantees the fusion effect and improves the running speed.Compared with the method without using reparameterization of the structure，the running speed is increased by 34%.

Key words： structural reparameterization； end-to-end； spatial attention mechanism； unsupervised learning； structural similarity

0 引言

圖像融合就是將傳感器獲得的具有不同特點的圖像進行融合，從而得到一張具有豐富信息的圖像，以此來提高圖像檢測、圖像識別等工作的準確率。紅外圖像主要依靠物體自身的熱輻射進行成像，因此不受光照條件、天氣的影響，但是紅外圖像的對比度一般較低，并且紋理細節信息不豐富［1］。可見光圖像利用物體表面對于光的反射原理成像，相比紅外圖像來說，可見光圖像具有更高的對比度和更豐富的紋理細節，但是可見光圖像的成像效果非常依賴當時的光照和天氣條件，在光照較差的夜間或云霧等條件下不能取得較好的成像效果，因此成像具有一定的局限性［2］。

紅外圖像和可見光圖像具有很強的互補特性，將這兩種圖像進行融合，一方面可以獲取紅外圖像中如車、行人等重要目標的能量信息，另一方面可以獲得可見光圖像中豐富的背景細節信息，從而得到一張對場景和重要目標全面描述的圖像，這對于進行圖像檢測、目標識別、語義描述等任務具有重要的意義［3］。同時，可見光和紅外圖像融合技術已經成為圖像處理領域中的熱點方向，在商業、軍事、智能交通、農業生產等領域都有廣泛的應用［1］。

目前圖像融合領域的主要方法分為基于空間域、基于變換域以及基于深度學習。最早出現的是加權平均、主成分分析等基于空間域的方法，該類方法主要是基于統計方法進行的。從信號和噪聲角度出發，以傳感器的統計模型為基礎，從而將紅外與可見光圖像進行融合，但這類方法一般計算量都較大，不具備實時性。

Toet提出比例低通金字塔［4］、對比度金字塔［5］和形態學金字塔［6］等一系列多尺度變換圖像融合方法，相比于基于空間域的圖像融合方法，基于變換域的方法可以更好地保留圖像細節信息，但該類方法在對源圖像差異較大的區域進行融合時容易產生塊效應，因此該類算法的魯棒性較低。傅志中等人[7]提出了非下采樣輪廓波變換（nonsubsampled contourlet transform，NSCT）［7］，該方法作為一種多尺度變換工具被廣泛應用在圖像融合領域中，相對來說，NSCT方法

能夠提取更多的圖像紋理細節，但這種方法分解出的高頻子帶會丟失部分圖像細節，還會降低融合圖像整體的亮度。

隨著深度學習的興起，很多研究團隊使用深度學習的方法從源圖像中提取特征并重構融合圖像，都取得了不錯的效果；侯春萍等人［8］提出一種雙通路的生成對抗網絡（generative adversarial network，GAN）用于圖像融合，GAN雖然避免了融合規則的設計工作，但其收斂難度較大，需要花費大量的時間訓練；羅迪等人［9］提出一種融合可見光和紅外圖像的包含注意力機制的GAN，其生成器基于U-Net結構［10］設計，注意力模塊采用卷積塊注意模塊（convolutional block attention module，CBAM）［11］；Li等人［12］提出NestFuse模型，使用包含空間注意力和通道注意力的圖像融合策略，提出的嵌套連接架構充分利用了深度特征，取得了較好的融合效果，但這種方法由于其網絡模型的復雜性，運行速度上的優勢并不突出。

雖然基于空間域、變換域的方法有很多，但這些方法普遍缺乏對特定目標的提取能力，并且一些方法還會出現丟失圖像細節、產生畸變等問題；而基于深度學習的方法也并未被廣泛應用，這主要是因為該類圖像融合算法為了得到更好的融合效果都選擇了更為復雜的網絡結構，使得其運算效率較低［13］，在很多對融合速度要求較高的場景中使用受到限制。Ding等人［14］提出的結構重參數化方法可以對該問題進行優化，提出的模型在訓練中使用了復雜的多分支架構，而在推理時將其等效轉換為簡單的單路結構。

綜合以上分析，本文提出了一種實現無監督融合可見光圖像與紅外圖像的模型（FastVIF-Net），在圖像特征提取時應用結構重參數化方法設計了特征提取模塊，以提升模型運算速度；在此基礎上引入注意力機制，相比于其他同類型算法同時使用通道注意力和空間注意力的做法，本文改進了注意力模塊以進一步縮短模型運算時間的同時突出了紅外與可見光圖像中的典型目標；此外，本文采用通道拼接模塊和圖像重構模塊以重構融合圖像；最后設計了相應的損失函數以保證在不同照度條件下都可以得到高質量的融合結果。

1 FastVIF-Net的設計

針對現有的基于深度學習的圖像融合方法不能同時滿足運算效率和融合效果兩方面要求的問題，本文提出了FastVIF-Net深度學習模型，網絡模型結構如圖1所示。這種端到端模型的輸入為紅外圖像和可見光圖像，輸出為一張包括紅外感興趣區域能量信息和可見光細節信息的融合圖像，具體參數如表1所示。

2 實驗結果與分析

本文針對FastVIF-Net做了大量的實驗，以公共數據集TNO中的數幅圖像測試其在紅外與可見光圖像融合任務中的效果。本文選取了近些年中11種常用融合算法進行對比，這些算法分為兩類：a）基于變換域和空間域的融合方法，即各向異性擴散融合（anisotropic diffusion fusion，ADF）［21］、基于交叉雙邊濾波（cross bilateral filter，CBF）［22］、基于四階偏微分方程（fourth order partial differential equations，FPDE）［23］、導向濾波—混合多尺度分解（hybrid multi-scale decomposition-guided filter，HMSD-GF）［24］、混合多尺度分解（hybrid multi-scale decomposition，HMSD）［25］、多分辨率奇異值分解（multi-resolution singular value decomposition，MSVD）［26］；b）基于深度學習的方法，即基于VGG［27］、基于ResNet［28］、基于CNN［29］的圖像融合算法以及同樣引入了注意力機制的NestFuse［12］圖像融合算法。此外，本文還對注意力機制的有效性進行了分析，將注意力模塊去掉重新進行訓練和實驗，結果為實驗中Base-Net對應的圖像；另外還使用綜合了通道注意力和空間注意力的CBAM［11］模塊重新進行訓練和實驗，結果為實驗中Hybrid對應的圖像。為了對結構重參數化操作的效果進行驗證，本文將沒有進行結構重參數化的網絡結構直接進行融合，結果為實驗中的No-ReP。

2.1 主觀評價

本節從人類觀察圖片一般具有的規律出發，從亮度、對比度、清晰度等方面進行主觀評價，結果如圖6所示。從圖6中可以看出，CBF方法的融合結果較差，融合結果中包含了大量的噪聲，并且丟失了大量的圖像細節；MSVD、VGG方法得到的融合結果雖然沒有產生較多的噪聲，但是圖像沒有細節信息，整體較為模糊；對于CNN、ADF、FPDE等方法，雖然整體獲得了比較不錯的效果，但是對于紅外源圖像的信息保留得較少，并且圖像的細節部分丟失較為嚴重，圖6中方框標記部分較為模糊；ResNet、HMSD-GF、HMSD、VSMWLS、NestFuse等方法總體上獲得了較好的融合效果，但是對于紅外圖像中包含的信息保留得不夠，方框內的細節紋理都表現得不夠清楚；不使用注意力機制的Base-Net在方框標記區域的對比度和亮度較低；而綜合了通道注意力和空間注意力的Hybrid以及未使用結構重參數化的No-ReP，在標記區域與其余區域的融合效果都極其相似。

圖7選取了四幅較為典型的融合結果進行分析，CBF和ResNet方法中產生了較多的噪聲和偽影；ADF和FPDE方法的結果對比度較低，同時也有較多的噪聲產生；MSVD、VSMWLS、HMSD-GF和HMSD方法雖然取得了不錯的融合結果，但圖像中目標并不明顯；基于深度學習的NestFuse、VGG和CNN方法融合結果較為理想，但算法運行時間較長，融合算法運行效率低；另外，不使用注意力機制的Base-Net對應的實驗結果在背景部分與本文算法的實驗結果差異并不明顯，但結果中顯著目標的信息明顯較少；而使用了混合注意力機制的Hybrid與本文算法相比并沒有明顯提升。與圖6類似，未進行結構重參數化的No-ReP與FastVIF-Net對應的結果沒有差異。

結合圖6、7的融合結果可以看出，本文提出的FastVIF-Net融合效果較好，其融合結果的對比度和亮度相比于其他算法都處于領先水平，融合結果沒有產生明顯的噪聲，并且有豐富且清楚的結構信息，可以最大化地保留紅外源圖像中重要目標的信息和可見光源圖像中的細節紋理信息。實驗說明本文在紅外與可見光圖像融合任務中對注意力機制的改進是有效的，明顯地提升了感興趣目標區域的融合效果；另外結構重參數化是一種等效轉換，在提升算法運行效率的同時并沒有降低融合效果。

另外，為了驗證本文對SSIM進行改進（刪除了原式中的亮度部分）的有效性，本文使用未作改進的SSIM重新訓練了網絡模型，并且對街景圖像進行了融合，在實驗結果圖8中以SSIM-light表示。

可以看出，使用增加了亮度部分的SSIM作為損失函數，其融合結果與紅外圖像的相似性更高，這就使得可見光圖像中的信息沒有被完全提取。在標記區域，SSIM-light對應的結果字符細節不清楚，并且對比度也較差，而基于去除了亮度部分的損失函數訓練出的模型可以清晰地看到字體形狀。類似的情況在其他亮度差異較大的圖像對中也有出現，這說明本文對SSIM進行的改進是有效的。

2.2 客觀評價

本文使用了包括像素級圖像融合質量評估指標QAB/F［30］、相位一致（phase congruency，PC）［31］、非線性相關信息熵（nonlinear correlation information entropy，QNCIE）［32］、空間頻率（spatial frequency，SF）［33］、互信息（mutual information，MI）［34］、信息熵（entropy，EN）［35］等客觀評價指標對圖像融合效果進行定量分析。QAB/F計算了源圖像和融合圖像的邊緣信息變化，其值越大則說明越多的邊緣信息在融合結果中得以體現；PC值說明了融合圖像的結構信息，其值越大則說明融合圖像保留了更多的結構信息和細節信息；QNCIE為源圖像和融合結果間的非線性相關熵；SF反映融合圖像的灰度變化率，該值越大表示圖像越清晰；MI用于度量兩幅圖像間的相似程度，其值越大則說明融合圖像更多地保留了源圖像的信息；EN用于度量圖像包含的信息量，其值越大則說明融合結果信息越豐富。

從TNO數據集和自建數據集中隨機選擇了200組圖像作為測試集運行圖像融合算法，并將每個指標的平均值記錄在表2中。由表2可以看出，本文的FastVIF-Net在QAB/F、EN指標中得分較高，說明本文方法結果中包含了更多的紅外與可見光圖像中的邊緣信息和細節信息；PC評價指標中得分最高說明保留了更多的源圖像信息；同時FastVIF-Net在QNCIE、SF和MI指標中也取得了很好的效果。

為了將FastVIF-Net模型應用于對速度要求較高的圖像融合任務中，必須要測試算法的運算時間，同樣使用上文中提到的測試集進行測試，將融合每組圖像的平均花費時間記錄在表3中。由表3可以看出，CBF、FPDE、VSMWLS、HMSD-GF、HMSD等方法包含優化算法或復雜的尺度變換，需要較長的時間進行迭代，平均運算時間較長；而ResNet、VGG以及CNN方法由于其深度學習網絡結構本身較為復雜，所以也需要較長的運算時間才能得出結果；ADF方法的平均運算時間也較短。相比于NestFuse，本文算法在圖像特征提取部分和注意力模塊部分都進行了相應的改進，因此FastVIF-net可以得到更快的融合速度；本文在不同的λ取值下訓練了多個模型，并將測試集在這些模型上運行，將各指標所得分數記錄在表4中。可以看出，當λ=500時，結果最好。

2.3 消融實驗

為了驗證本文提出的結構重參數化對提升融合算法運行效率的提升是有效的，以及量化注意力機制對于融合算法效果的提升，本文設計了消融實驗。表5選取了幾種比較典型的指標驗證算法的融合效果，并且記錄了在包含不同模塊的情況下處理單張圖片所需的平均時間。Base-Net表示本文提出的融合算法的基礎網絡，即不包含任何注意力模塊，并且在訓練結束后不進行結構重參數化的模型；+Att對應的模型是在基礎網絡上增加空間注意力模塊；+Hybrid對應模型是同時使用空間注意力模塊和通道注意力模塊；+ReP表示在+Att對應的模型基礎上使用結構重參數化方法重構的模型。

由表5結果可知，在融合效果方面，在Base-Net基礎上增加注意力機制后融合效果上有較大提升；而使用混合注意力模塊則對融合效果沒有明顯提升，并且還降低了融合算法的運行效率；對于使用空間注意力模塊訓練得到的+Att模型進行結構重參數化，并未出現圖像融合效果下降的情況，這也說明了本文進行的結構重參數化是等效的，該操作不會降低模型的融合效果。在融合算法的運行效率方面， FastVIF-Net相比于同時使用了通道注意力和空間注意力的+Hybrid，在運算速度上提升了45%；相比于未進行結構重參數化的+Att，本文模型的運行速度提升了34%。綜上所述，本文有效探索了將深度學習用于快速圖像融合任務中的可行性，并且進行的結構重參數化可以有效提高模型的運算速度。

通過以上的實驗分析可以得出，本文FastVIF-Net模型在圖像特征提取階段和注意力機制部分所進行的改進可以有效提升模型運算速度，得到的融合結果既可以滿足對融合速度要求較高的任務需要，同時還可以得到包含了紅外源圖像感興趣區域能量信息和可見光源圖像細節信息的高質量融合結果。

3 結束語

本文提出了快速的端到端紅外—可見光圖像融合模型——FastVIF-Net，相比于其他圖像融合算法，該模型提出了一種ReP結構進行特征提取，在深度學習訓練階段和推理階段使用了不同的網絡結構，極大地提升了模型的推理速度；改進了注意力模塊以減弱源圖像中的冗余信息從而突出目標；基于SSIM和TV設計了損失函數實現無監督學習，能夠自適應地提取、融合和重構圖像深層特征。本文模型在保證融合效果的前提下極大地提升了運行速度，并且具有較好的普適性，同樣可以應用在醫學圖像融合、多光譜圖像融合等領域。

參考文獻：

［1］沈英，黃春紅，黃峰，等.紅外與可見光圖像融合技術的研究進展［J］.紅外與激光工程，2021，50（9）：152-169. （Shen Ying，Huang Chunhong，Huang Feng，et al.Research progress of infrared and visible image fusion technology［J］.Infrared and Laser Engineering，2021，50（9）：152-169.）

［2］Schnelle S R，Chan A L.Enhanced target tracking through infrared-visible image fusion［C］//Proc of the 14th International Conference on Information Fusion.Piscataway，NJ：IEEE Press，2011.

［3］Castillo J C，Fernández-Caballero A，Serrano-Cuerda J，et al.Smart environment architecture for robust people detection by infrared and visible video fusion［J］.Journal of Ambient Intelligence and Humanized Computing，2017，8（4）：223-237.

［4］Toet A.Image fusion by a ratio of low-pass pyramid［J］.Pattern Recognition Letters，1989，9（4）：245-253.

［5］Toet A，Van Ruyven L J，Valeton J M.Merging thermal and visual images by a contrast pyramid［J］.Optical Engineering，1989，28（7）：287789.

［6］Toet A.A morphological pyramidal image decomposition［J］.Pattern Recognition Letters，1989，9（4）：255-261.

［7］傅志中，王雪，李曉峰，等.基于視覺顯著性和NSCT的紅外與可見光圖像融合［J］.電子科技大學學報，2017，46（2）：357-362. （Fu Zhizhong，Wang Xue，Li Xiaofeng，et al.Infrared and visible image fusion based on visual saliency and NSCT［J］.Journal of University of Electronic Science and Technology of China，2017，46（2）：357-362.）

［8］侯春萍，王霄聰，夏晗，等.基于雙通路生成對抗網絡的紅外與可見光圖像融合方法［J］.激光與光電子學進展，2021，58（14）：326-335. （Hou Chunping，Wang Xiaocong，Xia Han，et al.Infrared and visible image fusion method based on dual-channel generative adversarial network［J］.Laser amp; Optoelectronics Progress，2021，58（14）：326-335.）

［9］羅迪，王從慶，周勇軍.一種基于生成對抗網絡與注意力機制的可見光和紅外圖像融合方法［J］.紅外技術，2021，43（6）：566-574. （Luo Di，Wang Congqing，Zhou Yongjun.A visible and infrared image fusion method based on generative adversarial networks and attention mechanism［J］.Infrared Technology，2021，43（6）：566-574.）

［10］Ronneberger O，Fischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer，2015：234-241.

［11］Woo S，Park J，Lee J Y，et al.CBAM：convolutional block attention module［C］//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：3-19.

［12］Li Hui，Wu Xiaojun，Durrani T.NestFuse：an infrared and visible image fusion architecture based on nest connection and spatial/channel attention models［J］.IEEE Trans on Instrumentation and Measurement，2020，69（12）：9645-9656.

［13］Zhang Xingchen，Ye Ping，Xiao Gang.VIFB：a visible and infrared image fusion benchmark［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：104-105.

［14］Ding Xiaohan，Zhang Xiangyu，Ma Ningning，et al.RepVGG：making VGG-style ConvNets great again［EB/OL］.（2021-03-29）.https：//arxiv.org/pdf/2101.03697.pdf.

［15］苗宇宏，楊衛莉，李暉暉.基于深度卷積自編碼網絡的圖像融合［J］.計算機應用研究，2020，37（S1）：414-417. （Miao Yuhong，Yang Weili，Li Huihui.Image fusion based on deep convolution auto-encoding network［J］.Application Research of Computers，2020，37（S1）：414-417.）

［16］Ma Kede，Duanmu Zhengfang，Yeganeh H，et al.Multi-exposure image fusion by optimizing a structural similarity index［J］.IEEE Trans on Computational Imaging，2018，4（1）：60-72.

［17］Rudin L I，Osher S，Fatemi E.Nonlinear total variation based noise removal algorithms［J］.Physica D：Nonlinear Phenomena，1992，60（1-4）：259-268.

［18］Ding Xiaohan，Zhang Xiangyu，Han Jungong，et al.Diverse branch block：building a convolution as an inception-like unit［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：10886-10895.

［19］Ding Xiaohan，Guo Yuchen，Ding Guiguang，et al.ACNet：strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks［C］//Proc of IEEE/CVF International Conference on Compu-ter Vision.Piscataway，NJ：IEEE Press，2019：1911-1920.

［20］黃仁婧，崔虎，陳青梅，等.融合多分支殘差與仿射變換的低照度圖像增強［J］.計算機應用研究，2021，38（12）：3786-3790，3807. （Huang Renjing，Cui Hu，Chen Qingmei，et al.Low-light image enhancement based on multi-branch residual and affine transformation［J］.Application Research of Computers，2021，38（12）：3786-3790，3807.）

［21］Bavirisetti D P，Dhuli R.Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform［J］.IEEE Sensors Journal，2016，16（1）：203-209.

［22］Kumar B K S.Image fusion based on pixel significance using cross bilateral filter［J］.Signal，Image amp; Video Processing，2015，9（7）：1193-1204.

［23］Bavirisetti D P，Xiao Gang，Liu Gang.Multi-sensor image fusion based on fourth order partial differential equations［C］//Proc of the 20th International Conference on Information Fusion.Piscataway，NJ：IEEE Press，2017：1-9.

［24］Zhou Zhiqiang，Dong Mingjie，Xie Xiaozhu，et al.Fusion of infrared and visible images for night-vision context enhancement［J］.Applied Optics，2016，55（23）：6480-6490.

［25］Zhou Zhiqiang，Wang Bo，Li Sun，et al.Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters［J］.Information Fusion，2016，30（7）：15-26.

［26］Naidu V.Image fusion technique using multi-resolution singular value decomposition［J］.Defence Science Journal，2011，61（5）：479-484.

［27］Li Hui，Wu Xiaojun，Kittler J.Infrared and visible image fusion using a deep learning framework［C］//Proc of the 24th International Confe-rence on Pattern Recognition.Piscataway，NJ：IEEE Press，2018：2705-2710.

［28］Li Hui，Wu Xiaojun，Durrani T S.Infrared and visible image fusion with ResNet and zero-phase component analysis［J］.Infrared Phy-sics amp; Technology，2019，102（11）：103039.

［29］Liu Yu，Chen Xun，Cheng Juan，et al.Infrared and visible image fusion with convolutional neural networks［J］.International Journal of Wavelets，Multiresolution and Information Processing，2018，16（3）：1850018.

［30］Petrovic V S，Xydeas C S.Evaluation of image fusion performance with visible differences［C］//Proc of the 8th European Conference on Computer Vision.Berlin：Springer，2004：380-391.

［31］Liu Zheng，Forsyth D S，Laganière R.A feature-based metric for the quantitative evaluation of pixel-level image fusion［J］.Computer Vision and Image Understanding，2008，109（1）：56-68.

［32］Wang Qiang，Shen Yi.Performances evaluation of image fusion techniques based on nonlinear correlation measurement［C］//Proc of the 21st IEEE Instrumentation and Measurement Technology Conference.Piscataway，NJ：IEEE Press，2004：472-475.

［33］Eskicioglu A M，Fisher P S.Image quality measures and their perfor-mance［J］.IEEE Trans on Communications，1995，43（12）：2959-2965.

［34］Qu Guihong，Zhang Dali，Yan Pingfan.Information measure for performance of image fusion［J］.Electronics Letters，2002，38（7）：313-315.

［35］Roberts J W，Van Aardt J A，Ahmed F B.Assessment of image fusion procedures using entropy，image quality，and multispectral classification［J］.Journal of Applied Remote Sensing，2008，2（1）：023522.

［36］Alexander T.TNO image fusion dataset［EB/OL］.（2014-04-26）.https：//figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029.