海上艦船目標(biāo)圖像退化函數(shù)研究?

張 坤 李天偉

（海軍大連艦艇學(xué)院航海系 大連 116018）

1 引言

近年來，圖像超分辨率技術(shù)得到了有效發(fā)展，廣泛應(yīng)用于各種領(lǐng)域，如視頻監(jiān)控、醫(yī)學(xué)成像、高清晰度電視、遙感、手機(jī)與數(shù)碼相機(jī)等［1］。目前深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法在單幅圖像超分辨率（SISR）領(lǐng)域取得了非常大的進(jìn)展［2～3］。但為了訓(xùn)練一個(gè)可用的深度網(wǎng)絡(luò)，基于該算法的圖像超分辨率方法需要一個(gè)很大的數(shù)據(jù)集［4］。在海上艦船目標(biāo)圖像的超分辨任務(wù)中，實(shí)地采集大量同時(shí)包含高低分辨率的成對圖像數(shù)據(jù)有很多難以克服的困難。因此為了有效利用現(xiàn)有海上艦船目標(biāo)高分辨率（High-Resolution，HR）圖像數(shù)據(jù)，需要一種退化函數(shù)，能把清晰的海上目標(biāo)圖像處理成低分辨率圖像（Low-Resolution，LR），以最大的接近實(shí)際采集的海上艦船目標(biāo)退化圖像，而后用生成的數(shù)據(jù)集訓(xùn)練超分辨率所用的深度網(wǎng)絡(luò)。

現(xiàn)有基于CNN 的SISR 方法主要假設(shè)低分辨率（LR）圖像由高分辨率（HR）圖像經(jīng)過雙三次（bicubic）降采樣得到，因此當(dāng)真實(shí)圖像的退化過程不遵循該假設(shè)時(shí)，其超分辨結(jié)果會(huì)非常差［5］。實(shí)驗(yàn)表明，實(shí)際采集的海上艦船目標(biāo)圖像和其降采樣圖像并不完全符合雙三次降采樣特征，因此本文以互信息為評(píng)價(jià)準(zhǔn)則，通過與實(shí)際采集的降采樣圖像對比的方法，基于二次線性差值方法和高斯低通過濾器為基礎(chǔ)，構(gòu)建一種有效的模擬海上目標(biāo)圖像退化函數(shù)的方法，該方法可對現(xiàn)有數(shù)據(jù)進(jìn)行有效拓展。

2 目標(biāo)圖像采集方法

本文對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了實(shí)地的采集，通過選擇合理的地理位置，在港口和艦船的通航路線附近架設(shè)雙目攝像機(jī)，對停泊和航行中的艦船目標(biāo)進(jìn)行拍攝。實(shí)驗(yàn)使用用兩臺(tái)大華DH-IPC-HF5431組成雙目攝像頭，共同對同一海上目標(biāo)圖像進(jìn)行采集。攝像機(jī)調(diào)至固定化參數(shù)，參數(shù)如表1。

表1 雙目攝像機(jī)參數(shù)

攝像機(jī)架設(shè)方式如圖1所示。

圖1 攝像機(jī)架設(shè)方式

在實(shí)際圖像采集中，由于目標(biāo)距離攝像機(jī)較遠(yuǎn)，可以假設(shè)海上艦船目標(biāo)同時(shí)在長焦和廣角圖像的中間，從而忽略鏡頭畸變的影響。

最終得到如圖2 所示包含該同一目標(biāo)的低分辨率（LR）和高分辨率（HR）圖像，以一組圖像為例。

圖2 低分辨率和高分辨率圖像（左HR右LR）

3 bilinear 差值和高斯低通過濾器在圖像退化模型中的應(yīng)用

3.1 圖像退化模型

在通常的圖像退化模型中，一般包含一個(gè)退化函數(shù)和加性噪聲［6］，如圖3所示。

但在海上艦船目標(biāo)圖像的圖像退化過程中，由于使用了相同型號(hào)的攝像機(jī)同時(shí)采集低分辨率（LR）和高分辨率（HR）圖像，所以兩幅圖像有相同的加性噪聲，而任務(wù)目標(biāo)為把低分辨率（LR）盡量的恢復(fù)到高分辨率（HR）圖像，因此在這里只需要考慮退化函數(shù)，如圖4所示。

圖3 圖像退化模型1

圖4 圖像退化模型2

即為

H[f(x,y)]可化為卷積顯示，這樣式（1）可寫成g=h*f，其中h 可分為h1 和h2，其中h1 為圖像分辨率退化函數(shù)，h2 為圖像清晰度退化函數(shù)，因此退化函數(shù)可寫為

在圖像復(fù)原中，有3 種主要的估計(jì)退化函數(shù)的方法:1）觀察法，2）實(shí)驗(yàn)法，3）數(shù)學(xué)建模法［6］。本文使用實(shí)驗(yàn)估計(jì)法，使用與獲取退化圖像的設(shè)備相似的裝置進(jìn)行實(shí)驗(yàn)。從理論上講，可以得到一個(gè)準(zhǔn)確的退化估計(jì)函數(shù)。

3.2 圖像分辨率退化函數(shù)

由高分辨率圖像（HR）向低分辨率圖像（LR）轉(zhuǎn)化過程中，需經(jīng)歷圖像差值過程，現(xiàn)有的圖像差值算法主要有最近鄰插值（nearest），雙線性差值（bilinear），雙三次插值（bicubic），lanczos 插值［7］等，本文采用的方法采用為雙線性差值。

雙線性插值，又稱為雙線性內(nèi)插。在數(shù)學(xué)上，雙線性插值是由兩個(gè)變量的插值函數(shù)的線性插值擴(kuò)展，其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值。假如我們想得到未知函數(shù)f在點(diǎn)P=（x，y）的值，假設(shè)我們已知函數(shù)f在Q11=（x1，y1），Q12=（x1，y2），Q21=（x2，y1），及Q22=（x2，y2）四個(gè)點(diǎn)的值。

在x，y方向分別差值，得到

若選擇一個(gè)坐標(biāo)系統(tǒng)使得f的四個(gè)已知點(diǎn)坐標(biāo)分別為（0，0）、（0，1）、（1，0）和（1，1），那么插值公式就可以化簡為

或用矩陣運(yùn)算表示為

3.3 圖像清晰度退化函數(shù)

圖像濾波器兼有模糊處理和減小噪聲的作用，為使退化后的圖像接近實(shí)際采集的低分辨率圖像，同時(shí)減小低分辨率圖像的噪聲，需要對經(jīng)分辨率退化函數(shù)處理的圖像進(jìn)行進(jìn)一步的處理。

理想的低通濾波去掉了高頻信息，即細(xì)節(jié)信息，保留了低頻信息代表了原圖像概貌［8～9］。理想的低通濾波器模板為

其中，D0表示通帶的半徑。 D(u,v)計(jì)算方式也就是兩點(diǎn)間的距離，計(jì)算公式如下:

雖然低通濾波器濾除了高頻成分，所以使得圖像模糊。但由于理想低通濾波器的過度特性過于急峻，所以會(huì)產(chǎn)生了振鈴現(xiàn)象，為彌補(bǔ)這種不足，本文采用高斯低通濾波器可有效避免此類現(xiàn)象，Guassian 低通濾波器［10］是一種線性平滑濾波，其函數(shù)為

D0表示通帶的半徑。高斯濾波后圖像被平滑的程度取決于標(biāo)準(zhǔn)差。它的輸出是領(lǐng)域像素的加權(quán)平均，同時(shí)離中心越近的像素權(quán)重越高。因此，相對于均值濾波［11］（mean filter），它的平滑效果更柔和，而且邊緣保留的也更好，不會(huì)產(chǎn)生振鈴現(xiàn)象。

4 實(shí)驗(yàn)結(jié)果與分析

為測試本文所運(yùn)用bilinear 差值和GLPF 圖像退化函數(shù)的有效性，本文使用Intel ?Core i7-7700@3.60GHz、RAM 16.00 GB 的機(jī)器，在Matlab 2014b 平臺(tái)下編程設(shè)計(jì)了相關(guān)實(shí)驗(yàn)。實(shí)驗(yàn)采用上文所述實(shí)地采集的數(shù)據(jù)，從中挑選50 對圖像作為驗(yàn)證數(shù)據(jù)。使用余弦相似度［9］作為評(píng)價(jià)指標(biāo)，其公式為

xi和yi為二維圖像合成的一維向量。通過與nearest 插值，bicubic 插值，box 插值，lanczos2 插值，lanczos3 插值等常見差值方法的對比，對同樣50 副圖像進(jìn)行差值和比較，得出各差值方法與原LR 圖像的余弦相似度均值、方差和運(yùn)行時(shí)間，實(shí)驗(yàn)結(jié)果如表2。

表2 差值效果對比1

相比于一般使用的bicubic 差值，bilinear 差值在余弦相似度上數(shù)值更大而方差更小，平均運(yùn)行時(shí)間較短，生成的圖像更接近于實(shí)際采集的低分辨率圖像（LR）。

在采用雙線性差將高分辨率圖像轉(zhuǎn)換成低分辨率圖像后，使用清晰度過濾器對圖像進(jìn)行進(jìn)一步的處理，實(shí)驗(yàn)使用均值濾波器、圓形均值濾波器、motion濾波器等濾波器作為對比，過濾器參數(shù)如下:

表3 過濾器參數(shù)

實(shí)驗(yàn)圖像在經(jīng)過bilinear 差值處理成目標(biāo)分辨率后，再使用圖像過濾器進(jìn)行進(jìn)一步的實(shí)驗(yàn)，經(jīng)過不同的過濾器處理后，再次與原低分辨率圖像（LR）進(jìn)行比較，得到數(shù)據(jù)如表4。

表4 差值效果對比2

可以看到高斯低通濾波器最接近實(shí)際采集的低分辨率圖像且方差最小，平均運(yùn)行時(shí)間較短。經(jīng)bilinear 差值和高斯低通濾波器處理后，得到經(jīng)退化函數(shù)處理的低分辨率圖像，部分對比圖像見圖5。

圖5 部分對比圖像和其余弦相似度

實(shí)驗(yàn)結(jié)果表明，該算法能有效模擬海上艦船目標(biāo)圖像的退化過程，生成的圖像與原LR 圖像的余弦相似度平均在0.997以上。

5 結(jié)語

本文運(yùn)用雙線性插值和高斯低通濾波器相結(jié)合的算法實(shí)現(xiàn)了對海上艦船目標(biāo)圖像的退化過程。實(shí)驗(yàn)證明，該算法思想簡便，能高效地完成大規(guī)模數(shù)據(jù)的處理，達(dá)到了預(yù)期的效果。實(shí)驗(yàn)結(jié)果表明，以余弦相似度作為評(píng)價(jià)指標(biāo)，原LR圖像與經(jīng)退化函數(shù)處理的HR 圖像有超過0.997 的余弦相似性。但是，該算法并未考慮實(shí)際的物理過程，對理論上圖像退化過程研究不深入，在雨霧的天氣條件下退化圖像和實(shí)際圖像可能有較大差別，需要進(jìn)一步結(jié)合天氣等物理特性進(jìn)行進(jìn)一步優(yōu)化［12～13］。