基于生成對(duì)抗網(wǎng)絡(luò)的可見(jiàn)光圖像融合方法

吳永琢

青島酒店管理職業(yè)技術(shù)學(xué)院，山東青島 266100

0 引言

可見(jiàn)光圖像融合的研究目的在于解決從不同源或不同條件下捕獲的圖像之間的視覺(jué)差異，生成具有更高視覺(jué)質(zhì)量和更豐富信息的融合圖像。這種技術(shù)主要應(yīng)用于軍事、太空探索、公共安全、環(huán)境監(jiān)測(cè)等領(lǐng)域?？梢?jiàn)光圖像融合所帶來(lái)的意義在于提高圖像的空間與時(shí)間分辨率，減少噪聲，增加對(duì)比度等，從而給人們提供更多、更準(zhǔn)確的信息，方便進(jìn)行持續(xù)監(jiān)測(cè)、環(huán)境分析以及做出決策。例如，可見(jiàn)光圖像融合應(yīng)用于軍事方面，可以幫助判斷敵方軍事目標(biāo)；應(yīng)用于太空探索，可以提供更清晰的星球和宇宙景象圖像；應(yīng)用于公共安全方面，可以幫助警方追蹤罪犯或走失者的行跡；應(yīng)用于環(huán)境監(jiān)測(cè)方面，可以幫助科學(xué)家更好地了解大氣污染、氣候變化等環(huán)境問(wèn)題。

因此，可見(jiàn)光圖像融合的研究和應(yīng)用具有非常重要的實(shí)際意義，可以為人們提供更多、更準(zhǔn)確、更豐富的信息，方便人們做出決策和行動(dòng)。為了進(jìn)行目標(biāo)識(shí)別和監(jiān)控以及視覺(jué)任務(wù)的應(yīng)用，需要采集可見(jiàn)光圖像。但是，可見(jiàn)光圖像容易受到外界因素的影響，因此需要通過(guò)紅外傳感器或孔徑雷達(dá)等工具進(jìn)行目標(biāo)檢測(cè)，將目標(biāo)信息和可見(jiàn)光圖像背景信息放置在一張圖像中。為了更好地融合這2 方面信息，需要研究有效的融合方法。許多人對(duì)這個(gè)問(wèn)題進(jìn)行研究，并取得了多項(xiàng)研究成果。其中，周華兵等人[1]提出了一種基于語(yǔ)義分割的可見(jiàn)光圖像融合技術(shù)，通過(guò)語(yǔ)義分割算法，針對(duì)不同區(qū)域設(shè)計(jì)損失函數(shù)，對(duì)可見(jiàn)光圖像中的目標(biāo)區(qū)域進(jìn)行分割，區(qū)分出多種類(lèi)型的提取區(qū)域，再對(duì)目標(biāo)和背景區(qū)域進(jìn)行融合。蔣一純等人[2]提出了一種基于圖像退化模型的可見(jiàn)光圖像融合方法，通過(guò)圖像退化模型，在不同的退化過(guò)程中獲取退化圖像，并對(duì)照高清數(shù)據(jù)集進(jìn)行訓(xùn)練，以實(shí)現(xiàn)可見(jiàn)光圖像的無(wú)干擾融合。

為保證可見(jiàn)光圖像的更好融合，本文采用生成對(duì)抗網(wǎng)絡(luò)技術(shù)作為研究前提。該技術(shù)不需要參考圖像特點(diǎn)，可以直接構(gòu)造不同的融合板塊，以此設(shè)計(jì)可見(jiàn)光圖像的融合方法，并且為融合圖像過(guò)程中的細(xì)節(jié)處理和抗干擾提供理論支持。

1 提取源圖像的預(yù)融合通路與采集路徑

可見(jiàn)光圖像通常具有較高的空間分辨率，可觀的細(xì)節(jié)和明暗度，因此，需提取源圖像的像素強(qiáng)度與紋理信息，且源圖像需由不同的傳感器獲取，因此具有不同的重要特征。為將源圖像的重要信息進(jìn)行有效融合，需要考慮2 組圖像之間的差異性[3]。為增強(qiáng)圖像的差異性特征，需提取源圖像信息預(yù)融合通路，提取源圖像的像素強(qiáng)度與紋理信息采集路徑如下：

其中，h為通路中的操作機(jī)制；gj為第j層的輸出結(jié)果；l(·)為突顯函數(shù)[4]；k為帶有強(qiáng)度與紋理信息的圖像；df為紋理參數(shù)。

2 設(shè)置生成網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)

本文的圖像融合過(guò)程是基于生成對(duì)抗網(wǎng)絡(luò)技術(shù)，并使用生成器和判別器優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。通過(guò)設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，構(gòu)建了無(wú)監(jiān)督學(xué)習(xí)模塊，以便判斷源圖像的具體采集路徑。判斷器和生成器主要是為了實(shí)現(xiàn)圖像高質(zhì)量融合，因此，以提取紋理信息和強(qiáng)度信息作為基礎(chǔ)，針對(duì)性地對(duì)源圖像進(jìn)行相似性約束和判斷。

以訓(xùn)練數(shù)據(jù)集合為基礎(chǔ)，采用生成器對(duì)源圖像進(jìn)行分析，在其包含的信息中進(jìn)行融合判斷，并依據(jù)判斷器獲取融合的基礎(chǔ)性特征[4-5]。在整個(gè)流程中生成器的作用較為重要，其能夠感知到源圖像中的亮度區(qū)域或者陰暗區(qū)域，以此區(qū)分可見(jiàn)光圖像與其他圖像的背景信息。對(duì)生成器的具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行設(shè)定，具體如表1 所示。

表1 生成器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

如表中內(nèi)容所示，z為卷積核的尺寸；x為移動(dòng)步長(zhǎng)；b、b"為原始和預(yù)處理后的可見(jiàn)光圖像；c1、c2為輸入和輸出通路數(shù)；m為亮度權(quán)重；l-relu為網(wǎng)絡(luò)結(jié)構(gòu)的激活函數(shù)；v為激活參數(shù)。通過(guò)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)設(shè)計(jì)，確定可見(jiàn)光圖像的特征變化范圍，以亮度為主要提取特征。

為了計(jì)算可見(jiàn)光圖像的亮度特征值，可以將圖像轉(zhuǎn)化為分量空間，對(duì)圖像中的亮度領(lǐng)域進(jìn)行格式轉(zhuǎn)化。在顏色空間中選擇某一個(gè)顏色通道，將其轉(zhuǎn)化為不同層級(jí)的圖像，并提取出圖像中的亮度特征，根據(jù)生成對(duì)抗網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)可見(jiàn)光圖像的融合。

3 可見(jiàn)光圖像融合方法設(shè)計(jì)

在獲取圖像特征和生成網(wǎng)絡(luò)參數(shù)的基礎(chǔ)上，提取圖像中的亮度特征，通過(guò)上文中設(shè)置的生成網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建無(wú)監(jiān)督學(xué)習(xí)模塊，判斷源圖像的具體融合路徑，方法如下：

對(duì)選擇的激活函數(shù)進(jìn)行泛化，將“relu”函數(shù)作為線性修正單元，可以對(duì)權(quán)重進(jìn)行更新，“l(fā)-relu”函數(shù)是由“relu”函數(shù)變形得來(lái)，主要對(duì)較小的圖像參數(shù)特征更新，具體為：

其中，λ為較小參數(shù)；Z為圖像數(shù)據(jù)，當(dāng)輸入的Z＞ 0 時(shí)，且其梯度不為0，則可通過(guò)“relu”函數(shù)進(jìn)行權(quán)重更新；若Z＜ 0 時(shí)，其梯度為0，則“relu”函數(shù)不能進(jìn)行權(quán)重更新，以此選擇“l(fā)-relu”函數(shù)進(jìn)行變形。

針對(duì)輸入的圖像數(shù)據(jù)Z，將其放置于對(duì)抗網(wǎng)絡(luò)中的中心區(qū)域，并對(duì)圖像中隱含的神經(jīng)元進(jìn)行排布，避免梯度的消失。在對(duì)抗網(wǎng)絡(luò)中分為平移和擴(kuò)展，在2組參量的歸一化處理中，源圖像可近似于正態(tài)分布形式，以此增加圖像的網(wǎng)絡(luò)表達(dá)能力?；诖?，對(duì)可見(jiàn)光圖像進(jìn)行融合：

其中，B為融合結(jié)果；N、M為輸入圖像的寬、高；Z↓為輸入的可見(jiàn)光圖像；Z↑為另外一組圖像，可為紅外圖像或者熱成像圖像或者雷達(dá)圖像；為范數(shù)；? 為 梯度算子；? 為平衡參數(shù)。至此，本文基于生成對(duì)抗網(wǎng)絡(luò)完成可見(jiàn)光圖像的融合方法設(shè)計(jì)。可見(jiàn)光圖像融合結(jié)構(gòu)圖如圖1所示。

基于生成對(duì)抗網(wǎng)絡(luò)完成可見(jiàn)光圖像融合的部分偽代碼如下所示：

4 實(shí)驗(yàn)測(cè)試分析

上文基于生成對(duì)抗網(wǎng)絡(luò)設(shè)計(jì)新的融合方法。為驗(yàn)證該方法能夠應(yīng)用于可見(jiàn)光圖像融合中，采用對(duì)比測(cè)試方法進(jìn)行論證。分別選擇文獻(xiàn)[1]提出的基于語(yǔ)義分割的融合方法和文獻(xiàn)[2]提出的基于圖像退化模型的融合方法作為對(duì)照組，與本文模型進(jìn)行比較，驗(yàn)證不同方法的有效性。

4.1 搭建測(cè)試環(huán)境

為保證測(cè)試的準(zhǔn)確性，以Windows 操作系統(tǒng)搭建測(cè)試環(huán)境，選擇PyCharm 和MATLAB 編程軟件進(jìn)行圖像訓(xùn)練學(xué)習(xí)的建模，并支持3 組融合方法的連接。

在搭建好的測(cè)試環(huán)境中選擇40 組不同場(chǎng)景的需要融合的數(shù)據(jù)，另一組傳感器獲取的圖像為紅外圖像，將所選取的圖像設(shè)置為統(tǒng)一的尺寸大小，將所有的圖像輸入至測(cè)試平臺(tái)中，設(shè)置測(cè)試參數(shù)，并對(duì)其具體含義進(jìn)行說(shuō)明，如表2 所示。

表2 測(cè)試參數(shù)設(shè)定

根據(jù)表2 內(nèi)容所示，在測(cè)試前先將圖像放置在模型中進(jìn)行訓(xùn)練，使其尺寸達(dá)到設(shè)定要求，當(dāng)隨機(jī)選擇的圖像能夠具有融合特征后，再將其進(jìn)行數(shù)據(jù)擴(kuò)增，選擇出待融合的測(cè)試圖像組。以訓(xùn)練完成的圖像數(shù)據(jù)集合作為測(cè)試對(duì)象，設(shè)定此次不同方法融合效果的評(píng)價(jià)指標(biāo)，對(duì)比不同方法的融合效果。

4.2 設(shè)定評(píng)價(jià)指標(biāo)

選擇客觀評(píng)價(jià)指標(biāo)進(jìn)行后續(xù)的融合評(píng)定，對(duì)融合圖像的本身質(zhì)量評(píng)價(jià)選擇信息熵指標(biāo)，在融合圖像與源圖像的關(guān)聯(lián)性評(píng)價(jià)中選擇差異相關(guān)和作為指標(biāo)，信息熵值越大，說(shuō)明包含的平均信息量越多，圖像融合的質(zhì)量越高。差異相關(guān)和反映圖像之間的信息互補(bǔ)性，指標(biāo)越大，說(shuō)明融合效果越好。

4.3 不同方法的融合效果對(duì)比

此次選擇的測(cè)試集合中包含長(zhǎng)波紅外圖像、短波紅外圖像以及熱成像儀圖像，將這3 種類(lèi)型圖像與可見(jiàn)光圖像進(jìn)行融合，圖像中的場(chǎng)景包含人物、建筑和樹(shù)木3 個(gè)內(nèi)容。由于傳統(tǒng)方法的融合過(guò)程為已知狀態(tài)，直接展示本文方法融合后的圖像，以“熱成像儀圖像和可見(jiàn)光圖像”融合為例，結(jié)果如圖2 所示。

如圖2 所示，此次以熱成像儀圖像和可見(jiàn)光圖像為例，在本文方法應(yīng)用下能夠進(jìn)行有效融合，為具體驗(yàn)證不同類(lèi)型圖像的融合效果，依次對(duì)其他類(lèi)型圖像進(jìn)行融合，并將結(jié)果傳至測(cè)試平臺(tái)，通過(guò)指標(biāo)進(jìn)行評(píng)價(jià)。

首先比較信息熵指標(biāo)的評(píng)分，結(jié)果如圖3 所示。

由圖3 可知，在本文方法應(yīng)用下，長(zhǎng)波紅外圖像、短波紅外圖像、熱成像儀圖像與可見(jiàn)光圖像融合，均可以獲取較高的信息熵，說(shuō)明融合后的平均信息量包含較大，具有較高的圖像質(zhì)量，而2 組傳統(tǒng)方法在熱成像儀圖像與可見(jiàn)光圖像的融合后，獲取的信息熵值較低，且其余2 組融合的信息熵值也比本文方法低，綜合說(shuō)明本文方法更加有效。

另外，比較圖像融合后的差異相關(guān)和指標(biāo)，結(jié)果如圖4 所示。在本文方法應(yīng)用下，融合后的圖像差異相關(guān)和最高，長(zhǎng)波紅外圖像、短波紅外圖像、熱成像儀圖像均可以取得較大的差異相關(guān)和值，相比傳統(tǒng)方法，具有一定的融合優(yōu)勢(shì)，說(shuō)明可以應(yīng)用在可見(jiàn)光的圖像融合中。

5 結(jié)束語(yǔ)

本文通過(guò)生成對(duì)抗網(wǎng)絡(luò)技術(shù)設(shè)計(jì)新的可見(jiàn)光圖像融合方法，并通過(guò)實(shí)驗(yàn)測(cè)試論證新方法具有有效性，能夠改善傳統(tǒng)方法的不足之處，具有一定的應(yīng)用價(jià)值。但研究過(guò)程中仍存在不足之處，如在可見(jiàn)光的融合測(cè)試過(guò)程中沒(méi)有采用真實(shí)的圖像進(jìn)行分析，在實(shí)際應(yīng)用中可能會(huì)出現(xiàn)一定的偏差，需要在后續(xù)的研究中選擇不同類(lèi)型的真實(shí)圖像進(jìn)行驗(yàn)證，為可見(jiàn)光圖像的融合提供理論支持，保證圖像細(xì)節(jié)的提取和應(yīng)用。