基于卷積神經網絡的信息融合技術應用研究

張君君

（鄭州工業應用技術學院 河南 鄭州 451100）

0 引言

信息融合是針對同一事物的多源特征數據進行綜合分析，消除信息之間分誤差，獲得對感知對象更全面客觀的理解。近年來，隨著通信技術、人工智能等技術的飛速發展，信息融合技術在國防軍事[1]、醫療成像[2]、環境監測[3]和工業制造[4]等多個領域應用廣泛。隨著人們對信息的需求在逐漸增加，極大地推動了信息融合技術的研究。信息融合技術包含的分支很多，其中圖像融合是其中應用最廣泛的分支之一。

隨著社會的發展和科學技術的進步，人類生活中每天都產生海量的信息數據，圖像具有直觀、易理解、信息量大的特點，在接收、處理和傳輸信息的過程中都扮演著重要的角色，在國防建設和國民經濟發展中發揮著不可替代的作用。目前，數字傳感器和快速成像技術的進步使得圖像獲取更加便捷高效，但由于不同傳感器之間的物理特性存在差異，因此，使用不同傳感器對同一目標場景進行特征采集，將會獲得不同的信息特征，降低了圖像信息的使用效率。為此，國內外諸多學者針對圖像信息融合技術開展了大量的研究，如Vishwakarma A等[5]提出基于Karhunen-Loeve變換的多傳感器圖像融合方法，實驗結果表明該方法相比傳統方法的PSNR和SSIM值平均分別增加了1%和2.2%，圖像融合指標的平均值增加了9.04%；Paramanandham N等[6]利用變換和空間域技術的優點，提出了一種用于多形態圖像的混合圖像融合算法，在初始圖像融合框架中，使用級聯小波變換僅對源圖像進行一次分解，并根據融合規則對變換后的系數進行合并，使用羅伯茨算子提取邊緣信息，并引入決策規則以從聚焦部分中選擇邊緣，實驗結果表明，該算法在視覺感知和定量評估方面均優于常規圖像融合技術；Ilyas A等[7]提出了一種多焦點圖像融合算法，該算法將具有相似顏色和圖案的局部連接成為像素組，使用它們來分離圖像的聚焦區域和散焦區域，實驗結果表明，與現有的圖像融合技術相比，該方法可產生更高質量的融合圖像。胡雪凱等[8]提出了一種基于自適應加權的多尺度圖像融合算法，通過對融合圖像的主觀和客觀評價分析，這種新算法能夠解決單一圖像傳感器采集圖像時的缺陷，提高了融合圖像質量；李明明等[9]利用K-means聚類和NSCT技術應用到圖像融合研究中，實驗結果表明，該算法可以較大程度地保留圖像紋理信息和提升圖像的對比度；張寬等[10]研究了基于魯棒性主成分分析與脈沖耦合神經網絡的圖像融合方法，相比于基于主成分分析與二代小波變換的圖像融合算法，該算法能夠更好地提取目標信息和突出細節信息。

近年來，深度學習的理論和技術迅速發展，作為深度學習典型算法之一的卷積神經網絡（convolution neural networks，CNN）具有特征提取能力強、人為干擾因素少、圖像識別精度高等優勢，在圖像處理領域取得了顯著的成果[11-14]。基于上述分析，本文基于卷積神經網絡區域圖像融合方法進行圖像融合處理，更加精確高效地提取圖像特征信息，提高圖像數據的融合質量，以期為卷積神經網絡算法在圖像數據融合研究工作中提供科學參考，對圖像融合理論研究及應用具有重要的現實意義。

1 研究原理與方法

1.1 卷積神經網絡原理

卷積神經網絡（CNN）是一種典型的深度學習網絡模型，是一類特殊的人工神經網絡（ANN），使用網格狀結構表示和處理圖像數據。一般來說，一個簡單的CNN架構中有4層，分別是卷積層（Conv）、激活函數（ReLU）、池化層（Subsampling）和全連接層（FC）。模型結構見圖1。

在CNN模型中，每個卷積層將輸入圖像數據轉換成特征信息，下一個卷積層通過一組過濾器的卷積運算將特征映射轉換為另一個特征映射，進一步獲得新的特征圖像。在進行卷積運算之后，采用激活函數常對圖像數據進行非線性操作，激活函數表示為：

式中：kij表示卷積核，bj表示殘差。

池化層通常用來優化參數量、減少訓練時間以及防治過擬合的情況，通過池化能夠提取更多的特征信息；全連接層是CNN模型的最后一部分，一般是一個卷積層形式，核大小為1×1。

1.2 區域圖像融合方法

將有焦點的區域和無焦點的區域同時輸入到CNN模型網絡中，無焦點的區域邊緣比聚焦的區域對應的邊緣更平滑，水平方向和垂直方向的梯度圖像Gx和Gy含有檢測聚焦區域的重要信息。通過集成學習使用CNN網絡模型，并利用構建的數據集將它們提供給新建的體系結構，將提高聚焦區域檢測的準確性，從而增強初始決策圖。區域圖像融合方法的思路如下：有兩個圖像a和b；圖像a的一部分是有焦點的，而圖像b的一部分是無焦點的。在進行圖像融合處理之前，假設輸入圖像通過圖像配準方法進行對齊，對于輸入的多焦點圖像，如果是彩色圖像，則需要將其轉換為灰度圖像來構建決策圖；構建決策圖后，對彩色多焦點圖像進行融合。在輸入的多焦點圖像中提取小塊區域進行重疊處理，作為初始訓練CNN網絡模型的數據集，然后，初始訓練的網絡模型返回有焦點的標簽（表示為0）和無焦點的標簽（表示為1）。在這個過程中，每個像素在進行有焦點和無焦點的運算過程中需要重復使用。區域圖像融合方法表達式如下所示。

式中：r、c、M分別表示輸入圖像的行、列和決策圖；b是從輸入的多焦點圖像中提取的用于構建宏觀區域的圖像寬度和高度的大小，對于小圖像和大圖像，b的值可以分別設置為16和32。

2 實驗分析與討論

2.1 實驗環境與數據

本節討論了基于CNN模型圖像融合方法的性能，該算法在Ubuntu Linux 16.04.7 LTS操作系統上使用PyTorch(0.4.0)進行編碼和訓練；主機電腦硬件環境是CPU為Corei7-1165G7 CPU @ 4.70 GHz，RAM為32 GB。

原始圖像數據從Lytro系列圖像數據集中選取的彩色圖像，見圖2。

2.2 實驗結果與分析

為了驗證本文采用的CNN模型圖像融合算法的有效性，在進行圖像融合時分別采用了基于NSST算法[14]、MWGF算法[15]對原始圖像數據進行融合，與文中CNN模型算法圖像融合結果進行對比分析。為了客觀合理地評價各種算法的性能，選取了平均梯度（AG）、空間頻率（SF）、互信息（MI）、邊緣信息傳遞因子（QAB/F）和視覺保真度（VIFF）5個評價指標對融合后的圖像質量進行評估。各種算法的圖像融合結果見圖3，圖3（a）為CNN算法融合圖，圖3（b）為NSST算法融合圖，圖3（c）為MWGF算法融合圖。

基于3種算法融合得到的結果圖，分別統計AG、SF、MI、QAB/F和VIFF這5個評價指標值，結果見表1。

表1 3種算法圖像融合結果性能評價表

從表1的融合結果評價指標可以看出，CNN算法的VIFF指標略低于MWGF算法，但其余的AG、SF、MI和QAB/F指標均明顯優于NSST算法和MWGF算法；通過人眼視覺評價發現基于文中使用的CNN算法輸出的融合圖像更符合視覺效果。綜上可知，CNN算法在圖像融合應用中圖像視覺保真能力略弱于MWGF算法，但在活躍度、清晰度、邊緣信息等方面的能力優于兩種對比算法，圖像融合的效果和精度更優。

總體而言，選擇對比的兩種算法是近年來在聚焦圖像融合方法中比較新穎的算法。然而，與源圖像的聚焦區域相比，這些方法的初始分割決策圖的精度比較低。通過可視化觀察發現本文實驗的CNN圖像融合方法在沒有任何后處理算法的情況下，其初始分割決策圖明顯優于其他有或沒有后處理算法的方法。

3 結語

本文介紹了一種基于卷積神經網絡的多焦點圖像融合方法，該方法的主要思想是使用3個CNN的集合，對多焦點的圖像數據集進行了簡單排列，以獲得更高的融合精度。通過視覺評價和客觀質量指標評價結果表明，文中使用的CNN算法在圖像融合應用中圖像視覺保真能力略弱于MWGF算法，但在活躍度、清晰度、邊緣信息等方面的能力優于兩種對比算法，圖像融合的效果和精度具有優越性。