單幀紅外圖像超分辨率重建算法研究

張祖漪,于殿泓,朱文杰,馮倫鵬,楊 芳

(西安理工大學(xué)機(jī)械與精密儀器工程學(xué)院,陜西 西安 710048)

0 引言

圖像超分辨率重構(gòu)信息技術(shù)是利用單幀或多幀低清晰度圖像進(jìn)行信息加工的方式,重建出高分辨率圖像[1]。圖像超分辨率重建信息技術(shù)在軍事、遙感、醫(yī)療圖像、公共安全等領(lǐng)域都具有比較廣泛的應(yīng)用[2]。

早在20世紀(jì)60年代,Harris和Goodman就提出可以將超分辨率技術(shù)應(yīng)用到圖像處理領(lǐng)域[3]。Huang等利用傅里葉變換的平移特性完成了低分辨率圖像的超分辨率重建研究工作[4]。Tisa和Huang創(chuàng)造性地將圖像超分辨率由單幀擴(kuò)展到多幀,并且給出了基于頻域的逼近方法。早期的圖像超分辨率重建技術(shù)大多是以頻域法[5]為基準(zhǔn)進(jìn)行的。頻域法雖然簡(jiǎn)單、便捷,但提升空間不大。2000年,ALam[6]等在插值法的基礎(chǔ)上將低分辨率圖像映射至高分辨率網(wǎng)格上時(shí),采用加權(quán)最近鄰算法實(shí)現(xiàn)了紅外圖像超分辨率重建。

目前,主流的、基于空域法的紅外圖像超分辨率重建算法主要分為基于插值、基于重建[7]和基于學(xué)習(xí)[8]這3種?；诓逯档某直媛手亟ㄋ惴◤膱D像內(nèi)部出發(fā),通過(guò)鄰域像素的加權(quán)融合得到新的插值像素,無(wú)需外部信息即可有效提升原始圖像的分辨率?；谥亟ǖ某直媛手亟ㄋ惴ㄐ枰獙?duì)圖像的成像過(guò)程進(jìn)行建模分析。精確的圖像退化模型是該算法的成功關(guān)鍵。這使得重構(gòu)算法的應(yīng)用和發(fā)展受到了很大的限制?；趯W(xué)習(xí)的超分辨率重建算法依賴(lài)大量的紅外圖像進(jìn)行模型訓(xùn)練,并且訓(xùn)練得到的模型通常魯棒性較差。

為了提高紅外圖像的分辨率、盡可能消除圖像插值算法帶來(lái)的缺陷[9],本文研究了基于插值的單幀紅外圖像超分辨率重建算法,提出了邊插值邊濾波的圖像超分辨率重建方式,改善了圖像插值算法對(duì)紅外圖像的超分辨率重建效果。

1 經(jīng)典的圖像插值算法

基于插值的圖像超分辨率重建算法的原理是先將低分辨率圖像的像素映射到高分辨率圖像上,再利用高分辨率圖像上的空白像素坐標(biāo)值求得對(duì)應(yīng)低分辨率圖像上的坐標(biāo)值,最后通過(guò)低分辨率圖像上坐標(biāo)點(diǎn)或鄰域進(jìn)行像素值的計(jì)算并傳回高分辨率圖像中[10]。因?yàn)榧t外圖像普遍分辨率較低,所以圖像插值算法可以在提高圖像分辨率的同時(shí)更好地發(fā)揮紅外圖像的優(yōu)勢(shì)[11]?；诓逯档乃惴ㄖ饕ㄗ罱彶逯捣?、雙線性插值法、雙三次插值法[12]。

最近鄰插值法的基本原理是取待插點(diǎn)中歐式間距最短的4個(gè)最近鄰像素點(diǎn)的灰度值作為該點(diǎn)的最大灰度值。該算法在空間插值中,只充分利用了插值運(yùn)算點(diǎn)附近最近的圖像灰度值作為對(duì)該點(diǎn)的取值范圍。由于并未考慮到其他鄰近圖像的因素,空間插值運(yùn)算后所得的圖像更易出現(xiàn)塊效應(yīng),進(jìn)而造成圖像模糊[13]。

雙線性插值法是1種一階多項(xiàng)式的插值算法。雙線性插值法綜合考慮了目標(biāo)坐標(biāo)的周?chē)?個(gè)像素,用原圖像中4個(gè)點(diǎn)計(jì)算新圖像中的1個(gè)點(diǎn)。具體方法為:首先分析周?chē)?個(gè)像素之間的相互影響作用,然后對(duì)這4個(gè)像素分配相應(yīng)的權(quán)重,最后通過(guò)加權(quán)求和處理得到新的像素。因此,雙線性插值法的插值效果優(yōu)于最近鄰插值法,并且經(jīng)過(guò)算法處理后的圖像也相對(duì)平滑。

雙三次插值法又稱(chēng)立方卷積插值法,是二維空間中常用的插值算法。該算法計(jì)算量大且相對(duì)復(fù)雜。其插值原理是利用待采樣點(diǎn)周?chē)?6個(gè)點(diǎn)的灰度值作三次插值。該算法不僅考慮了4個(gè)直接相鄰點(diǎn)的灰度影響,而且兼顧了各鄰點(diǎn)間灰度值變化率的影響[14]。因此,雙三次插值法可以得到更接近高分辨率圖像的放大效果,但也導(dǎo)致了運(yùn)算量的急劇增加[15]。

綜上所述,最近鄰插值算法是經(jīng)典插值算法中更容易實(shí)現(xiàn)且計(jì)算復(fù)雜性相對(duì)較低的算法。本文在最近鄰插值算法的基礎(chǔ)上進(jìn)行了優(yōu)化,設(shè)計(jì)了1種將最近鄰插值與局部自適應(yīng)高斯相結(jié)合的紅外圖像超分辨率重建算法。

2 基于局部自適應(yīng)高斯的插值算法

本文考慮使用自適應(yīng)高斯濾波來(lái)處理紅外圖像超分辨率重建的理論依據(jù)有以下4點(diǎn):紅外圖像本身只具備少量的高頻信息,所以在針對(duì)紅外圖像插值研究中可以忽略插值對(duì)細(xì)節(jié)造成的損失;基于插值的圖像處理算法容易導(dǎo)致插值圖像出現(xiàn)鋸齒和塊效應(yīng)現(xiàn)象;高斯濾波可以抑制鋸齒、塊效應(yīng);自適應(yīng)高斯濾波可以根據(jù)圖像的特點(diǎn)進(jìn)行選擇性的處理。局部自適應(yīng)高斯濾波的一般過(guò)程如下。

①插值。這個(gè)步驟以最近鄰插值方式獲得插值像素。

(1)

式中:T為目標(biāo)圖像大小;S為原始圖像大小;U為需要放大的倍率。

②局部自適應(yīng)高斯[16]。這個(gè)步驟將插值得到的T進(jìn)行自適應(yīng)高斯濾波,并進(jìn)行融合。

在二維圖像的平滑處理過(guò)程中采用高斯濾波器時(shí),高斯函數(shù)的方差Sigma將是1個(gè)定值s。如果在平滑處理中使用較大的s將會(huì)導(dǎo)致過(guò)度平滑,從而使得二維圖像中缺少細(xì)節(jié)信息。如果是對(duì)平坦區(qū)域的平滑處理,則使用較大的s更好。而自適應(yīng)高斯濾波器能夠根據(jù)圖像的局部平滑特性選擇不同的s,使得經(jīng)過(guò)平滑處理后的圖像也可以保持較好的視覺(jué)效果。傳統(tǒng)的高斯濾波器一般表示為[17]：

(2)

式中:σ為標(biāo)準(zhǔn)差;k為高斯核;(x,y)為圖像的像素坐標(biāo),-k≤x,y≤k。

高斯濾波器在進(jìn)行圖像處理時(shí)會(huì)剔除原始影像信息,從而導(dǎo)致影像模糊。自適應(yīng)高斯濾波器是在平滑結(jié)果和較好保持細(xì)節(jié)信息結(jié)果中取折中方案。自適應(yīng)高斯濾波器的函數(shù)如下[18]。

(3)

式中:σxy為標(biāo)準(zhǔn)差,-kxy≤x,y≤kxy。

若令最近鄰插值算法獲取的圖像像素為m、經(jīng)過(guò)自適應(yīng)高斯濾波處理的圖像像素為n,且a+b=1,則可以得到局部自適應(yīng)高斯處理Y的結(jié)果。

Y=am+bn

(4)

根據(jù)上述的圖像算法思路,本文的優(yōu)化算法流程如圖1所示。

圖1 優(yōu)化算法流程圖

3 試驗(yàn)分析

試驗(yàn)的硬件配置為Intel(R) Xeon(R) CPU E5-26700 @2.60 GHz,軟件設(shè)備為Windows10下的64位操作系統(tǒng),軟件編程為Matlab。

3.1 數(shù)據(jù)集

本文主要對(duì)公共紅外圖像數(shù)據(jù)集TNO和CVC-14展開(kāi)研究。

試驗(yàn)所需的部分紅外圖像如圖2所示。

圖2 試驗(yàn)所需的部分紅外圖像

本文對(duì)公共紅外圖像數(shù)據(jù)集TNO的紅外圖像分別進(jìn)行2倍率、3倍率和4倍率的降采樣,并對(duì)處理后的圖片分別作最近鄰插值、雙線性插值、雙三次插值、高斯最近鄰插值和局部自適應(yīng)高斯最近鄰插值等處理,以完成基于增強(qiáng)的紅外圖像超分辨率重建的試驗(yàn)。

3.2 評(píng)價(jià)指標(biāo)

超分辨率圖像的重建效果通常會(huì)有2種類(lèi)型的評(píng)價(jià)方式,分別為主觀評(píng)價(jià)方式和客觀評(píng)價(jià)方式[19]。主觀評(píng)價(jià)方式是通過(guò)人眼觀察圖像重建效果的優(yōu)劣,給出圖像采集效果的評(píng)價(jià)。客觀評(píng)價(jià)指標(biāo)有峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性(structural similarity,SSIM)[20]。本文采用的評(píng)價(jià)方式為PSNR。PSNR評(píng)價(jià)方式能夠從全局視角評(píng)估圖像的重建效果。

(5)

式中:n的取值一般為8;M為2幅圖像之間的均方誤差;P為PSNR值。

P的數(shù)值越高,表示圖像失真越小,則圖像重建效果越好[21]。

(6)

式中:z為參考圖像;y為待評(píng)價(jià)圖像;H和W分別為圖像的高度和寬度。

3.3 算法有效性驗(yàn)證

為了驗(yàn)證優(yōu)化算法的性能,本文分別在2倍率、3倍率、4倍率下進(jìn)行了3組不同的試驗(yàn),并復(fù)現(xiàn)了相應(yīng)倍率下的雙線性插值和雙三次插值,將其用于結(jié)果的對(duì)比參照。3組試驗(yàn)分別為:最近鄰插值;高斯濾波最近鄰插值;局部自適應(yīng)高斯濾波最近鄰插值(本文算法)。

消融試驗(yàn)設(shè)置如下。

①2倍率試驗(yàn):最近鄰插值算法+高斯算法采用1×1的高斯濾波器,σ值取0.1;最近鄰插值算法+局部自適應(yīng)高斯采用3×3的高斯濾波器,σ值自適應(yīng)選取;α、β的值分別為0.7、0.3。

②3倍率試驗(yàn):最近鄰插值算法+高斯算法采用3×3的高斯濾波器,σ值取0.5;最近鄰插值算法+局部自適應(yīng)高斯采用3×3的高斯濾波器,σ值自適應(yīng)選取;α、β的值分別為0.7、0.3。

③4倍率試驗(yàn):最近鄰插值算法+高斯算法采用5×5的高斯濾波器,σ值取0.5;最近鄰插值算法+局部自適應(yīng)高斯采用3×3的高斯濾波器,σ值自適應(yīng)選取;α、β的值分別為0.7、0.3。

本文對(duì)在TNO數(shù)據(jù)集上試驗(yàn)的平均插值效果進(jìn)行對(duì)比。消融試驗(yàn)結(jié)果如表1所示。

表1 消融試驗(yàn)結(jié)果

由表1可知,本文算法在不同倍率的超分辨率重建效果均優(yōu)于最近鄰插值和高斯最近鄰插值。所以本文算法可以顯著提高最近鄰插值的插值效果,且與高斯最近鄰插值存在著本質(zhì)區(qū)別。

3.4 不同算法的試驗(yàn)對(duì)比

本文以PSNR作為客觀的定量評(píng)價(jià)指標(biāo),對(duì)本文算法、雙線性插值算法、雙三次插值算法和最近鄰插值算法進(jìn)行對(duì)比。本文對(duì)TNO數(shù)據(jù)集的紅外圖像進(jìn)行超分辨率重建的算法測(cè)試。不同算法的PSNR試驗(yàn)結(jié)果對(duì)比如表2所示。

表2 不同算法的PSNR試驗(yàn)結(jié)果對(duì)比

表2可以直觀地反映本文算法的超分辨率重建效果明顯優(yōu)于其他3種經(jīng)典的圖像插值算法。由上述試驗(yàn)結(jié)果可知,相比于最近鄰插值算法的重建效果,經(jīng)過(guò)局部自適應(yīng)高斯濾波的最近鄰插值算法重建效果清晰得多。本文算法在紅外圖像超分辨率重建的效果得到一定程度的改善。

表2只是單純地展示了本文算法的超分辨率重建效果,并不足以證明本文算法的重建性能優(yōu)于其他3種經(jīng)典的圖像插值算法。為了更好地體現(xiàn)本文算法的有效性,本文針對(duì)上述算法分別進(jìn)行了耗時(shí)試驗(yàn),并記錄了上述算法在不同倍率下運(yùn)行時(shí)所耗費(fèi)的時(shí)間。不同算法耗費(fèi)的時(shí)間對(duì)比如表3所示。

表3 不同算法耗費(fèi)的時(shí)間對(duì)比

由表3可知,最近鄰插值算法相對(duì)于雙線性插值、雙三次插值和本文算法而言耗時(shí)較少,在不追求較高分辨率的情況下具有較高的運(yùn)算效率。本文算法和雙三次插值算法相對(duì)于最近鄰插值算法和雙線性插值算法耗時(shí)較多。在耗時(shí)時(shí)間相近的情況下,本文算法的超分辨率重建效果優(yōu)于雙三次插值算法。因?yàn)楸疚乃惴ㄉ婕白赃m應(yīng),即算法會(huì)在不同的圖像、尺寸的激勵(lì)下給出不同的響應(yīng),所以比其他3種經(jīng)典的插值算法多了1個(gè)自適應(yīng)的循環(huán)判斷過(guò)程,會(huì)有幾秒的耗時(shí)差距。

本文優(yōu)化算法的效率略低于其他3種經(jīng)典的插值算法。但結(jié)合前面論述的算法結(jié)果性能來(lái)看,本文算法能夠在僅多出不到2 s的耗時(shí)差距內(nèi)獲得較好的超分辨率重建效果。

以圖2所示的圖片為例,本文分別運(yùn)用不同算法進(jìn)行超分辨率重建試驗(yàn)。不同超分辨率重建效果的對(duì)比如圖3所示。

圖3 不同超分辨率重建效果的對(duì)比

由圖3可知:經(jīng)過(guò)最近鄰插值算法處理的紅外圖像鋸齒現(xiàn)象和塊現(xiàn)象比較明顯;經(jīng)過(guò)雙線性插值處理的紅外圖像鋸齒和塊現(xiàn)象依然存在,但是有所改善;經(jīng)過(guò)雙三次插值處理的紅外圖像雖然有效改善了插值產(chǎn)生的塊效應(yīng),但是圖片整體比較模糊;經(jīng)過(guò)高斯最近鄰插值算法得到的紅外圖像鋸齒和塊效應(yīng)相較于最近鄰插值和雙線性插值有所改善;經(jīng)過(guò)基于局部自適應(yīng)高斯濾波的最近鄰插值算法(本文算法)處理得到的紅外圖像整體效果較好,雖然還會(huì)有一定的塊效應(yīng),但圖片的對(duì)比度和紋理細(xì)節(jié)都有所提升[22]。

4 結(jié)論

本文提出了1種基于插值的單幀紅外圖像超分辨率重建算法。該算法采用局部自適應(yīng)高斯濾波的方式,在最近鄰插值算法的基礎(chǔ)上進(jìn)行優(yōu)化。為證明該算法的性能,本文通過(guò)多次試驗(yàn)對(duì)比分析發(fā)現(xiàn),本文算法使得紅外圖像超分辨率重建的效果得到了有效改善。具體表現(xiàn)為:其重建結(jié)果的客觀評(píng)價(jià)指標(biāo)與其他3種經(jīng)典的圖像插值算法相比提高了約2.8%～3.2%,并且能夠有效減少噪聲、改善鋸齒和模糊現(xiàn)象。本文算法可直接對(duì)紅外圖像進(jìn)行超分辨率重建,具有重建速度快、效果好、易上手等優(yōu)點(diǎn),可以滿(mǎn)足大部分基礎(chǔ)紅外圖像超分辨率重建工作的需求。

目前,圖像超分辨率重建的相關(guān)研究重點(diǎn)都集中在基于學(xué)習(xí)的領(lǐng)域?；趯W(xué)習(xí)的超分辨率重建雖然重建效果好,但是設(shè)備要求高,對(duì)紅外圖像的數(shù)據(jù)量需求大。這不利于當(dāng)下的研究。所以,僅需少量圖片就可以實(shí)現(xiàn)重建的超分辨率重建方式有很大的研究空間。一般的圖像插值方式都類(lèi)似于1個(gè)低通濾波器,但是經(jīng)過(guò)低通濾波器的原始圖像會(huì)損失大部分的細(xì)節(jié)信息。本文算法在對(duì)紅外圖像進(jìn)行插值超分辨率重建的同時(shí)能夠有效改善塊效應(yīng)和模糊現(xiàn)象,提高紅外圖像超分辨率重建效果。