基于視覺傳達(dá)的大型船舶航行圖像融合研究

蔣順生

(韓國(guó)東亞大學(xué)，韓國(guó) 釜山 49315)

0 引 言

大型船舶識(shí)別是海上監(jiān)測(cè)的主要內(nèi)容之一，對(duì)于海域管理與船舶管理具有重要意義[1]。而圖像融合是圖像識(shí)別的重要環(huán)節(jié)，高質(zhì)量的圖像融合能夠顯著提升船舶識(shí)別的準(zhǔn)確性[2]，因此研究船舶圖像對(duì)于海域管理與船舶管理具有重要意義。賀欣等[3]采用基于ResNet 的方法進(jìn)行圖像融合處理，但大型船舶航行過程中外界環(huán)境的復(fù)雜性導(dǎo)致該方法的實(shí)際融合效果較差。蔣一純等[4]基于圖像退化模型實(shí)現(xiàn)圖像融合目的，但該方法應(yīng)用過程較為復(fù)雜，實(shí)時(shí)性能較差。羅迪等[5]利用生成對(duì)抗網(wǎng)絡(luò)融合圖像，但該方法融合后的圖像存在顯著細(xì)節(jié)信息丟失問題。因此研究基于視覺傳達(dá)的大型船舶航行圖像融合方法，為海域管理等研究提供新的方向。

1 大型船舶航行圖像融合方法

1.1 基于視覺傳達(dá)的大型船舶航行圖像去模糊處理

式（1）中第一個(gè)“+”前部分為保真項(xiàng)，第一個(gè)“+”與第二個(gè)“+”后部分分別為關(guān)于x和關(guān)于k的正則項(xiàng)，前者的主要目的是在大型船舶航行圖像重建過程中提升尺度不變的稀疏性，后者的主要目的是降低k的噪聲。

式（1）可由初始x與k開始，通過交替更新兩者對(duì)其進(jìn)行優(yōu)化。在k被估計(jì)出來后，通過非盲去卷積算法可從模糊的大型船舶航行圖像中復(fù)原出清晰圖像f。最簡(jiǎn)單的非盲去卷積算法為強(qiáng)化學(xué)習(xí)算法[6]，但該算法在實(shí)際應(yīng)用過程中對(duì)模糊核具有較高敏感度，當(dāng)模糊核估計(jì)產(chǎn)生偏差時(shí)，通過強(qiáng)化學(xué)習(xí)算法去模糊處理后的圖像將存在顯著的振鈴效應(yīng)。針對(duì)這一問題，可通過總變分正則化方法對(duì)大型船舶航行圖像實(shí)施非盲去卷積處理，式（2）為大型船舶航行圖像去模糊處理過程中的總變分正則化模型為：

利用快速總變分圖像復(fù)原算法對(duì)式（2）進(jìn)行求解，該算法在求解過程中具有運(yùn)算效率高以及對(duì)模糊核較差誤差具備較強(qiáng)魯棒性的優(yōu)勢(shì)[7]，由此能夠獲取較高質(zhì)量的去模糊大型船舶航行圖像。

1.2 基于視覺傳達(dá)的大型船舶航行圖像亮度調(diào)整

對(duì)大型船舶航行圖像進(jìn)行去模糊處理后，通常會(huì)使航行圖像的亮度發(fā)生變化，為了校正去模糊后航行圖像的亮度，采用伽馬校正算法對(duì)其進(jìn)行校正。該算法經(jīng)由調(diào)整參數(shù) γ實(shí)現(xiàn)航行圖像像素值的非線性變換，由此調(diào)整因去模糊處理導(dǎo)致的航行圖像亮度變化問題，公式為：

式中：T(l)和l分別表示亮度調(diào)整后輸出的航行圖像強(qiáng)度和輸入的去模糊處理后航行圖像強(qiáng)度，lmax和 γ分別表示輸入的去模糊處理后航行圖像灰度值上限和伽馬校正系數(shù)。

在 γ>1 的條件下，航行圖像的灰度值提升，圖像整體亮度與對(duì)比度均有所提升；在 γ<1 的條件下，航行圖像的灰度值與整體亮度下降，但其對(duì)比度卻有所提升。

1.3 基于視覺傳達(dá)的圖像融合

針對(duì)2 幅去模糊與亮度調(diào)整后的航行圖像，可通過以下過程進(jìn)行圖像融合處理：

步驟1 確定2 幅航行圖像的熵值，對(duì)比2 幅圖像熵值結(jié)果，以A 圖像和B 圖像分別描述熵值較大的圖像和熵值較小的圖像。通過基于二維局部均值分解算法獲取A 圖像的殘余分量，令其同B 圖像具有顯著相關(guān)性。

步驟2 通過基于方向?yàn)V波的二維局部均值分解法分解A 圖像殘余分量與B 圖像的頻率，得到高頻方向子帶與低頻子帶。

步驟3 分別對(duì)高頻子帶與低頻子帶進(jìn)行融合，由此獲取高頻系數(shù)與低頻系數(shù)。

步驟4 基于所獲取的高頻系數(shù)與低頻系數(shù)，通過基于方向?yàn)V波的二維局部均值分解法的逆運(yùn)算實(shí)施變化，將逆變換所獲取的結(jié)果與步驟1 中A 圖像提取殘余分量后剩余的部分結(jié)合，即可獲取融合后的大型船舶航行圖像。

1.3.1 高頻系數(shù)計(jì)算

大型船舶航行圖像的高頻部分包含圖像的主要特征與細(xì)節(jié)信息，為保障這些特征與信息不丟失，可選取基于多判據(jù)的高頻系數(shù)融合標(biāo)準(zhǔn)，經(jīng)由比較區(qū)域能量與區(qū)域清晰度的不同獲取航行圖像融合過程中的高頻系數(shù)。

1）基于區(qū)域能量不同的融合標(biāo)準(zhǔn)

R1表示區(qū)域能量的對(duì)比差異，利用式(4)確定R1：

式中：EA(x,y)和EB(x,y)均表示高頻系數(shù)的區(qū)域能量，EA和EB分別表示對(duì)應(yīng)窗口A 圖像與B 圖像的能量和。

若R1(x,y)>1，則說明A 圖像的區(qū)域能量對(duì)插差異值高于B 圖像，因此可選擇A 圖像高頻系數(shù)；相反選擇B 圖像的高頻系數(shù)。

2）基于區(qū)域清晰度差異的融合標(biāo)準(zhǔn)

R2表示區(qū)域清晰度對(duì)比差異，利用下式確定：

式中：CA(x,y)和CB(x,y)均表示高頻系數(shù)的區(qū)域清晰度，CA和CB分別表示對(duì)應(yīng)窗口A 圖像與B 圖像的清晰度和。

若R2(x,y)>1，則說明A 圖像的區(qū)域清晰度對(duì)比差異值高于B 圖像，則選取A 圖像的高頻系數(shù)；相反選取B 圖像的高頻系數(shù)。

基于以上計(jì)算結(jié)果，依照R(x,y)獲取最終的高頻系數(shù)為：

即最終的高頻系數(shù)R(x,y)為R1(x,y)與R2(x,y)中的較大值。

1.3.2 低頻系數(shù)計(jì)算

大型船舶航行圖像的低頻部分中包含其主要能量，可通過自適應(yīng)加權(quán)平均法對(duì)圖像低頻系數(shù)進(jìn)行融合，公式為：

式中：CF(i,j)表示低頻系數(shù)融合結(jié)果， ηξ和 ηψ分別表示背景圖像與目標(biāo)圖像的隸屬度，CA(i,j)和CB(i,j)分別表示A 圖像與B 圖像點(diǎn)(i,j)的低頻系數(shù)。

式（7）中的里隸屬度可通過高斯隸屬度函數(shù)確定，公式為：

式中： μ和k分別為圖像B 低頻系數(shù)的平均值與閾值范圍為1～3 的可修改參數(shù)， σ表示圖像B 低頻系數(shù)的標(biāo)準(zhǔn)偏差。

2 仿真實(shí)驗(yàn)分析

本文研究基于視覺傳達(dá)的大型船舶航行圖像融合方法，為驗(yàn)證本文方法的實(shí)際應(yīng)用性能，以某數(shù)據(jù)庫(kù)中的船舶航行圖像數(shù)據(jù)集為研究對(duì)象，研究對(duì)象中包含不同大型船舶在不同海洋環(huán)境與空氣環(huán)境下以及不同成像區(qū)域、成像距離、成像時(shí)間成像角度下所采集的航行圖像。采用本文方法對(duì)研究對(duì)象中的航行圖像進(jìn)行融合測(cè)試。

2.1 圖像視覺傳達(dá)處理效果分析

2.1.1 直觀效果分析

在研究對(duì)象中隨機(jī)選取一艘大型船舶航行圖像（見圖1），采用本文方法對(duì)其進(jìn)行去模糊處理與亮度調(diào)整，結(jié)果如圖2 和圖3 所示?？芍捎帽疚姆椒▽?duì)所選圖像進(jìn)行去模糊處理后，與初始圖像相比，圖像的內(nèi)容更為全面，細(xì)節(jié)更為清晰。采用本文方法進(jìn)行亮度調(diào)整后，圖像的亮度也顯著提升，進(jìn)一步提升了目標(biāo)細(xì)節(jié)度。由此說明采用本文方法對(duì)能夠有效提升大型船舶航行圖像的細(xì)節(jié)清晰度，令圖像的視覺傳達(dá)效果增強(qiáng)。

圖2 去模糊處理后圖像Fig.2 Image after deblurring processing

圖3 亮度調(diào)整后圖像Fig.3 Image after brightness adjustment

2.1.2 客觀效果分析

為客觀分析本文方法對(duì)大型船舶航行圖像的視覺增強(qiáng)效果，在圖1 的基礎(chǔ)上，另外選擇2 幅圖像進(jìn)行去模糊與亮度調(diào)整處理。選取標(biāo)準(zhǔn)偏差（用于分析圖像對(duì)比度，其值越大圖像對(duì)比度越大）、峰值信噪比（用于分析圖像的保真性，其值越大圖像失真越?。┖托畔㈧兀ㄓ糜诜治鰣D像信息量，其值越大圖像中細(xì)節(jié)信息量越大）3 個(gè)評(píng)價(jià)指標(biāo)對(duì)本文方法的視覺傳達(dá)處理效果實(shí)施客觀評(píng)價(jià)，結(jié)果如表1 所示。可知，采用本文方法對(duì)研究對(duì)象實(shí)施視覺增強(qiáng)處理后，航行圖像的標(biāo)準(zhǔn)差提升2 4.5% 以上，峰值信噪比提升18.3%以上，信息熵提升5.4%以上。由此說明本文方法能夠顯著提升大型船舶航行圖像的視覺傳達(dá)效果。

表1 圖像視覺傳達(dá)增強(qiáng)效果分析Tab.1 Analysis of image visual communication enhancement effect

2.2 圖像融合效果客觀分析

圖像融合是圖像識(shí)別的關(guān)鍵環(huán)節(jié)，高質(zhì)量的圖像融合能夠顯著提升圖像識(shí)別精度。采用本文方法對(duì)大型船舶航行圖像實(shí)施融合處理，為驗(yàn)證本文方法的圖像融合性能，對(duì)比基于采用本文方法融合圖像前后的船舶圖像識(shí)別性能，結(jié)果如圖4 所示?？芍?，采用本文方法對(duì)圖像融合處理后，能夠顯著提升圖像識(shí)別的準(zhǔn)確度，由此說明本文方法具有較高的圖像融合效果。

圖4 船舶圖像識(shí)別性能Fig.4 Performance of ship image recognition

3 結(jié) 語(yǔ)

本文研究基于視覺傳達(dá)的大型船舶航行圖像融合方法，通過去模糊處理與亮度調(diào)整提升大型船舶航行圖像的視覺傳達(dá)效果。在此基礎(chǔ)上，通過基于方向?yàn)V波的二維局部均值分解法實(shí)現(xiàn)圖像融合。實(shí)驗(yàn)結(jié)果顯示，本文方法能夠較好地增強(qiáng)視覺效果，基于本文方法融合后的圖像進(jìn)行圖像識(shí)別，準(zhǔn)確率顯著提升。