基于自注意力機(jī)制和RSA加密的圖像融合算法

關(guān)鍵詞：自注意力機(jī)制;RSA加密算法;圖像融合算法;自適應(yīng)權(quán)重學(xué)習(xí);圖像加密

中圖分類號(hào)：TP751;TP309.7 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

隨著數(shù)字圖像處理技術(shù)的不斷創(chuàng)新和發(fā)展，圖像在計(jì)算機(jī)視覺、醫(yī)學(xué)影像、安全監(jiān)控等領(lǐng)域展現(xiàn)出了巨大的應(yīng)用價(jià)值[1]。在圖像處理應(yīng)用中，有效地提取圖像特征并保證圖像數(shù)據(jù)的安全性，一直是研究者關(guān)注的焦點(diǎn)[2]。

在過去的幾十年里，人們提出了許多以提高視覺質(zhì)量為重點(diǎn)的紅外和可見光圖像融合算法[3]。通常，這些融合方法可分為傳統(tǒng)的融合框架[4]和基于深度學(xué)習(xí)的融合框架[5]。傳統(tǒng)的融合框架大致包括5類，分別為基于多尺度變換（MST）的融合方法[6]、基于稀疏性表示（SR）的融合方法[7]、基于子空間的融合方法[8]、基于顯著性的融合方法[9]和基于優(yōu)化的融合方法[10]。同樣，基于深度學(xué)習(xí)的框架包括基于自編碼器（AE）的方法[11]、基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法[12]、基于生成式對(duì)抗網(wǎng)絡(luò)（GAN）的方法[13]和基于變壓器的方法[14]。如今，圖像融合算法仍然存在很多缺陷，例如當(dāng)前的紅外和可見光圖像融合方法在信息融合過程中可能會(huì)導(dǎo)致信息丟失和失真現(xiàn)象[15]。此外，在社交媒體和在線通信領(lǐng)域，隱私泄露問題日益凸顯[16]，人們對(duì)于個(gè)人照片、身份證件等敏感圖像的保護(hù)需求日益增長。

1 相關(guān)工作（Related work）

圖像融合算法可以分為傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法通常利用數(shù)學(xué)計(jì)算方法或?yàn)V波器等進(jìn)行圖像的多尺度分解，并根據(jù)分解方法的特點(diǎn)，設(shè)計(jì)對(duì)應(yīng)的融合規(guī)則。目前，傳統(tǒng)方法包括基于非下采樣剪切波變換（NSST）的融合方法[17]、基于滾動(dòng)引導(dǎo)濾波的融合方法[18]等。對(duì)傳統(tǒng)方法來說，手工設(shè)計(jì)的分解和融合方法在處理日益復(fù)雜的原始圖像時(shí)存在一定的限制，也導(dǎo)致了手工設(shè)計(jì)的傳統(tǒng)算法變得越來越復(fù)雜，同時(shí)使得單一算法的優(yōu)勢(shì)無法適應(yīng)特點(diǎn)各異的源圖像。目前，基于深度學(xué)習(xí)的圖像融合算法可分為端到端的融合方法與非端到端的融合方法。其中，端到端的融合方法可看作一個(gè)黑盒模型，在一個(gè)損失函數(shù)的約束下，不斷優(yōu)化網(wǎng)絡(luò)內(nèi)部的權(quán)重與參數(shù)，使模型輸出達(dá)到最優(yōu)效果。近年來，具有代表性的方法有以下幾種：MA等[19]利用兩個(gè)神經(jīng)網(wǎng)絡(luò)同步訓(xùn)練的模式，訓(xùn)練出的生成器負(fù)責(zé)向紅外圖像中添加紋理細(xì)節(jié)，在基于生成對(duì)抗網(wǎng)絡(luò)的融合方法（FusionGAN）[20]中，鑒別器的作用是評(píng)估生成器所產(chǎn)出的融合圖像的真實(shí)性。LI等[21]提出的Dense Fuse最具代表性，該網(wǎng)絡(luò)碼層由卷積層、融合層和稠密塊組成，可以確保融合策略中使用所有的顯著特征。上述方法取得了不錯(cuò)的融合效果，但是目前部分深度學(xué)習(xí)方法在圖像融合任務(wù)中面臨挑戰(zhàn)，其網(wǎng)絡(luò)的優(yōu)化效果很大程度上取決于損失函數(shù)中各損失項(xiàng)所側(cè)重的方面。源圖像在經(jīng)過特征提取后，特征融合部分的融合規(guī)則設(shè)計(jì)變得日趨復(fù)雜，很難實(shí)現(xiàn)對(duì)輸入特征的自適應(yīng)調(diào)整。就安全性而言，融合圖像可能存在安全隱患。在眾多圖像加密方法中，選擇RSA算法的原因在于它是目前廣泛應(yīng)用的加密技術(shù)之一，能夠有效抵御已知的各種安全威脅，并經(jīng)受了時(shí)間的安全性驗(yàn)證，被證明是一種可信賴的加密手段。

2 方法（Method）

在融合網(wǎng)絡(luò)中設(shè)計(jì)了一個(gè)多頭自注意力模塊（MSA）實(shí)現(xiàn)自適應(yīng)特征融合，并為特征分配適當(dāng)?shù)娜诤蠙?quán)重。彩色可見圖像首先從RGB空間轉(zhuǎn)換為YCbCr空間。其次將可見光圖像和灰度紅外圖像的亮度通道輸入融合模型。融合網(wǎng)絡(luò)的輸出為融合圖像的Y通道，與可見圖像的Cb、Cr（色度）通道一起映射回RGB空間，得到彩色融合圖像。

之后對(duì)圖像數(shù)據(jù)進(jìn)行讀取，并將其轉(zhuǎn)換成數(shù)據(jù)流。借助動(dòng)態(tài)密鑰管理機(jī)制產(chǎn)生所需的加密密鑰，并對(duì)圖像數(shù)據(jù)執(zhí)行冪乘和模運(yùn)算以完成加密過程。將加密后的數(shù)據(jù)轉(zhuǎn)換為字符串格式的數(shù)據(jù)流，以便存儲(chǔ)。

本文數(shù)據(jù)集使用的是公用數(shù)據(jù)集Multi-Spectral RoadScenarios（MSRS）[5]，在數(shù)據(jù)集上本研究選擇了4種方法進(jìn)行比較，包括融合6D姿態(tài)估計(jì)（Densefusion）、融合生成對(duì)抗網(wǎng)絡(luò)（FusionGAN）、融合卷積神經(jīng)網(wǎng)絡(luò)（IFCNN）和融合目標(biāo)檢測(cè)（TarDAL）。選取互信息（MI）、視覺信息保真度（VIF）、結(jié)構(gòu)相似指數(shù)測(cè)度（SSIM）、基于離散余弦變換的特征互信息（FMIdct）、基于模糊和噪聲因素的質(zhì)量評(píng)估（Qabf）和基于模糊和噪聲因素的無參考質(zhì)量評(píng)估（Nabf）6個(gè)指標(biāo)定量評(píng)價(jià)融合性能。MI、FMIdct和Qabf三種度量分別用于量化從原始圖像到融合結(jié)果傳遞的像素信息、特征信息和邊緣信息。VIF從人的視覺感知角度評(píng)估融合結(jié)果的信息保真度。SSIM 從亮度、對(duì)比度、結(jié)構(gòu)等多個(gè)角度反映融合后圖像與源圖像的相似性。Nabf反映了融合過程中引入融合結(jié)果的偽影。除了Nabf，上述指標(biāo)的值越高，表示圖像融合性能越好。

3.2 定性比較

圖5展示了不同融合算法在數(shù)據(jù)集上所得到的融合結(jié)果。從圖5中可以觀察到融合結(jié)果中出現(xiàn)了嚴(yán)重的偽影。此外，盡管IFCNN建模了圖像融合問題，但是在處理嚴(yán)重變形或視差時(shí)卻失敗了。雖然TarDAL產(chǎn)生的融合結(jié)果具有最高的對(duì)比度，但是目標(biāo)檢測(cè)驅(qū)動(dòng)的融合模型只關(guān)注場(chǎng)景中重要的目標(biāo)，特別是TarDAL對(duì)突出目標(biāo)進(jìn)行了銳化處理，但忽略了背景紋理，這不利于對(duì)成像場(chǎng)景的充分理解。

從融合結(jié)果中可以清楚地看到，本文提出的融合方法獲得的融合結(jié)果能夠有效地保留紅外圖像中的重要目標(biāo)，同時(shí)保留可見光圖像中清晰的場(chǎng)景細(xì)節(jié)，特別是融合結(jié)果沒有出現(xiàn)嚴(yán)重的偽影，表明本文提出的融合方法可以有效地減輕源圖像不對(duì)準(zhǔn)造成的影響。

3.3 定量分析

表1展示了本文提出的融合方法與其他融合方法在數(shù)據(jù)集上的定量比較結(jié)果。從表1中可以看到，本文提出的融合方法在MI、SSIM、FMIdct和Qabf指標(biāo)上取得了最好的結(jié)果。這些指標(biāo)的最優(yōu)結(jié)果意味著本文提出的方法可以將源圖像中的大部分像素信息、結(jié)構(gòu)信息、特征信息及邊緣信息傳遞到融合圖像中。

本文提出的融合方法在Nabf度量上沒有顯示出優(yōu)勢(shì)，但這是合理的。具體來說，Densefusion和IFCNN在融合過程中不加區(qū)分地合并了所有源圖像的信息，不僅會(huì)導(dǎo)致融合圖像受到無關(guān)信息的干擾，而且會(huì)削弱融合圖像的梯度。Qabf的度量和定性結(jié)果證實(shí)了這一現(xiàn)象。

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出融合方法的有效性，我們列舉了傳統(tǒng)的自注意力機(jī)制得到的融合結(jié)果圖，并將其與本文改進(jìn)后的模型得到的融合結(jié)果圖進(jìn)行對(duì)比，結(jié)果如圖6（a）和圖6（b）所示。本文還將傳統(tǒng)的模塊和改進(jìn)后的模塊進(jìn)行了對(duì)比，MI、VIF、SSIM、FMIdct、Nabf指標(biāo)取得了最優(yōu)的結(jié)果，如表2所示。

如圖6（a）所示，傳統(tǒng)的多頭自注意力機(jī)制融合網(wǎng)絡(luò)無法有效地整合源圖像中的重要目標(biāo)，而圖6（b）所示改進(jìn)后的多頭自注意力機(jī)制可以自適應(yīng)地將源圖像中的信息整合到融合圖像中。

結(jié)果表明，傳統(tǒng)的多頭自注意力機(jī)制的融合結(jié)果在除Qabf外的所有指標(biāo)都表現(xiàn)出退化。

3.5 安全性分析

3.5.1 加密效果

在融合后的圖像中挑選了一些實(shí)驗(yàn)圖像，用于觀察算法的加密效果。如圖7所示，實(shí)驗(yàn)圖像經(jīng)過加密后的結(jié)果，無法辨認(rèn)出任何有效的信息，這驗(yàn)證了本文所提出的加密算法的有效性。

本文隨機(jī)選取3 000對(duì)像素點(diǎn)進(jìn)行實(shí)驗(yàn)，并對(duì)加密圖像在不同方向的相關(guān)性進(jìn)行了分析。相關(guān)系數(shù)的值若接近于0，則表明加密效果更好。本實(shí)驗(yàn)針對(duì)融合圖像在各個(gè)方向上的相關(guān)性進(jìn)行了詳細(xì)分析，并對(duì)比了High-dimensional chaotic mapalgorithm[21]加密算法和Bit permutation algorithm[22]加密算法的圖像相關(guān)系數(shù)，分析數(shù)據(jù)列于表3中。

根據(jù)實(shí)驗(yàn)結(jié)果顯示，本文提出的算法生成的加密圖像表現(xiàn)出在各個(gè)方向上相鄰像素點(diǎn)的相關(guān)性幾乎為零，有效地破壞了原明文圖像中像素間的固有關(guān)聯(lián)，使得密文圖像在統(tǒng)計(jì)上具有近乎無關(guān)的特性，可以有效地抵御統(tǒng)計(jì)攻擊的威脅。

信息熵的理想值是在圖像的所有像素值均勻分布時(shí)達(dá)到的，因此理想情況下圖像的信息熵為8。信息熵測(cè)試結(jié)果如表4所示，加密圖像顯示出優(yōu)秀的隨機(jī)性特征。

4 結(jié)論（Conclusion）

本文提出了一種基于自注意力機(jī)制和RSA加密的圖像融合算法，旨在解決圖像處理和安全性保護(hù)領(lǐng)域的挑戰(zhàn)。通過對(duì)自注意力機(jī)制和RSA加密算法的結(jié)合應(yīng)用，該算法實(shí)現(xiàn)了對(duì)圖像數(shù)據(jù)的高效處理和安全傳輸，取得了一定的研究成果和創(chuàng)新性發(fā)現(xiàn)。

研究結(jié)果表明，利用改進(jìn)的多頭自注意力機(jī)制可以有效提取圖像中的重要特征信息，實(shí)現(xiàn)更精準(zhǔn)和有效的圖像處理。同時(shí)，結(jié)合動(dòng)態(tài)密鑰管理機(jī)制的RSA加密算法可以保障圖像數(shù)據(jù)在傳輸和存儲(chǔ)過程中的安全性，有效防止數(shù)據(jù)泄露和非法訪問，為圖像應(yīng)用提供了更可靠的保護(hù)機(jī)制。此外，希望未來可以通過更多的實(shí)驗(yàn)驗(yàn)證和優(yōu)化探索，進(jìn)一步完善該融合圖像方法的性能和適用性。

作者簡(jiǎn)介：

吳宗翔（2000-），男，碩士生。研究領(lǐng)域：深度學(xué)習(xí)，圖像融合，圖像加密。

劉立群（1982-），女，碩士，教授。研究領(lǐng)域：智能計(jì)算，深度學(xué)習(xí)。本文通信作者。