瞬態(tài)場(chǎng)景下基于光流法的紅外視頻插幀算法研究

李文波,王 玉,王明泉,商奧雪,豐曉鈺

(中北大學(xué)信息與通信工程學(xué)院,山西 太原 030051)

0 引言

紅外熱成像由于其通過目標(biāo)和背景的輻射產(chǎn)生場(chǎng)景圖像的特點(diǎn),不受環(huán)境因素的影響,可以24 h不間斷工作,因此在民用、醫(yī)學(xué)和軍事領(lǐng)域得到了廣泛應(yīng)用[1]。隨著紅外圖像應(yīng)用范圍的進(jìn)一步擴(kuò)大,視頻圖像已成為紅外領(lǐng)域信息傳播的主要載體之一,人們對(duì)紅外成像視頻幀率的要求也越來越高。因此,如何獲取更高質(zhì)量、更豐富信息的近紅外圖像成為亟待解決的問題。

傳統(tǒng)的基于光流的視頻插幀方法[2]主要組成部分是光流估計(jì)網(wǎng)絡(luò)和幀重建網(wǎng)絡(luò)。光流估計(jì)的方式是進(jìn)行單尺度的特征提取,這種方式應(yīng)用到瞬態(tài)場(chǎng)景下得到預(yù)測(cè)幀效果很差,幀重建是結(jié)合空間信息合成所需的中間幀。其中,光流估計(jì)得到的結(jié)果對(duì)形成的中間幀效果有非常關(guān)鍵的影響[3]。由于插幀場(chǎng)景是在瞬態(tài)場(chǎng)景下進(jìn)行的,若使用普通場(chǎng)景下的插幀方法,經(jīng)過實(shí)驗(yàn)得到的結(jié)果顯示得不到較高質(zhì)量的紅外視頻插入幀。常用的如Flownet[4]、PWC-net[5]等光流估計(jì)網(wǎng)絡(luò),在瞬態(tài)場(chǎng)景下視頻插幀任務(wù)中,由于對(duì)應(yīng)點(diǎn)運(yùn)動(dòng)位移過大,直接對(duì)光流建模超出了網(wǎng)絡(luò)的建模范圍,使得網(wǎng)絡(luò)在建模時(shí)很難正確找到對(duì)應(yīng)位置的2個(gè)點(diǎn)進(jìn)行光流計(jì)算[6]。從數(shù)學(xué)的角度解釋該問題,可以將深度網(wǎng)絡(luò)解決問題的過程看作在解空間搜索最優(yōu)解的過程。通常對(duì)于輸入的圖片,其最優(yōu)解出現(xiàn)的位置在解空間的中間部分。正常場(chǎng)景下的輸入數(shù)據(jù)集也都屬于該種類圖片,但是對(duì)于瞬態(tài)場(chǎng)景,由于運(yùn)動(dòng)位移過大,導(dǎo)致它的解通常位于解空間的邊緣,因此深度網(wǎng)絡(luò)搜索過程中無法尋到全局最優(yōu)解,進(jìn)而輸出邊緣最優(yōu)解作為最終的答案。這就使得光流信息作用到所插入幀圖像后魯棒性不好。

針對(duì)上述問題,如何更好地利用光流信息得到魯棒性較好的插入幀圖像,成為研究視頻插幀的難點(diǎn)問題之一,由于是在瞬態(tài)狀態(tài)下進(jìn)行的,如果對(duì)其進(jìn)行單尺度特征提取,容易導(dǎo)致它的解位于解空間邊緣的同時(shí)也會(huì)造成丟失很多細(xì)節(jié)信息,簡(jiǎn)而言之,就是難以獲得魯棒性較好的預(yù)測(cè)中間幀[7],因此,本文提出了一種基于注意力的多尺度、多分支光流網(wǎng)絡(luò),利用注意機(jī)制和不同光流信息之間的互補(bǔ)特性,深入學(xué)習(xí)相鄰幀之間的運(yùn)動(dòng)信息,從前后相鄰2幀中得到細(xì)微的運(yùn)動(dòng)。具體來說,使用紅外視頻的相鄰2幀提取光流,并生成新的光流信息,以更好地捕捉瞬時(shí)間的細(xì)微運(yùn)動(dòng)。本文使用Inception網(wǎng)絡(luò)[8]將3條光流信息輸入到三分支網(wǎng)絡(luò)中進(jìn)行特征提取。考慮到單尺度特征不能充分提取局部運(yùn)動(dòng),提出了一種新的多尺度特征融合模塊(multiscale feature fusion,MSFF),該模塊利用空間注意力機(jī)制聚焦每個(gè)尺度上的關(guān)鍵信息。然后,由于每條光流信息對(duì)插入幀的貢獻(xiàn)不同,提出了一種多光流特征重加權(quán)(multi-optical flow feature reweighting,MOFRW)模塊,該模塊使用通道注意力機(jī)制自適應(yīng)地分別為每個(gè)光流選擇特征。對(duì)所提方法在多個(gè)紅外數(shù)據(jù)集上進(jìn)行測(cè)試,均得到了高質(zhì)量的視頻插幀效果。最后,使用了在視頻插幀領(lǐng)域廣泛采用的L1范式損失作為優(yōu)化函數(shù),此外,還使用了感知損失函數(shù),通過網(wǎng)絡(luò)深層的更高維特征的相似度去評(píng)價(jià)預(yù)測(cè)得到的紅外圖像的準(zhǔn)確性。

1 紅外視頻插幀技術(shù)

目前,紅外視頻幀率提升技術(shù)主要分為2大方向。一是硬件支持的改進(jìn),二是從算法性能的角度上對(duì)紅外視頻幀率提升進(jìn)行改進(jìn),即視頻幀插入技術(shù)。

1.1 硬件技術(shù)改進(jìn)

硬件支持的改進(jìn)是利用紅外高幀率攝像機(jī)在短時(shí)間內(nèi)完成高速運(yùn)動(dòng)目標(biāo)的快速連續(xù)采樣。圖像信息經(jīng)過處理后,傳輸給計(jì)算機(jī),再由計(jì)算機(jī)讀出并顯示圖像。然而,這種方法昂貴的成本大大降低了提高幀率的可能性[9]。并且目前大部分國(guó)內(nèi)外紅外熱像儀生產(chǎn)廠家將重點(diǎn)放在紅外成像分辨率提升技術(shù)上,在對(duì)紅外視頻幀率提升技術(shù)上的研究相對(duì)較少,幀率也都是相對(duì)較低,目前在普通民用中,市面上比較流行的紅外熱像儀幀率都在9 Hz、25 Hz、30 Hz,一般不超過60 Hz[10]。這些幀率在普通常規(guī)場(chǎng)合下可以滿足多方面需求,但是在物體快速甚至高速、極速運(yùn)動(dòng)的情況下幀率較低的設(shè)備就不適用了,如在爆炸場(chǎng)下就需要高幀率紅外熱像儀來拍攝以保證后期對(duì)溫度、目標(biāo)識(shí)別等方面深入研究的正確性、可靠性。針對(duì)這一問題中國(guó)傳媒大學(xué)王金濤、劉英納等[11]提出專利紅外熱像儀幀率擴(kuò)展裝置。一小部分廠家,如FLIR、i3system等公司在提升設(shè)備幀率上有研究并取得了一定成果,如FLIR公司的FLIR X8580 SLS、FLIR X6980 SLS等[12]。但是高速紅外熱像儀的價(jià)格非常昂貴。將舊紅外熱像儀更新?lián)Q代,對(duì)于一些普通企業(yè)來說成本代價(jià)過高。因此,深入研究使用算法的方式去提升紅外幀率成像具有非常重要的意義。

1.2 算法幀率提升

視頻幀插入技術(shù)是通過相應(yīng)的時(shí)空信息在相鄰幀之間插入中間幀,從而將視頻幀率從30幀/s提高到60幀/s,獲得更高幀率的紅外視頻。在最早期的時(shí)候人們借鑒CRT顯示器的脈沖顯示模式,提出了插黑幀技術(shù),其最大特點(diǎn)就是便于實(shí)現(xiàn),但最后的顯示效果差強(qiáng)人意。同時(shí)在早期提出幀率轉(zhuǎn)換技術(shù)需求時(shí),研究者們只是對(duì)視頻進(jìn)行簡(jiǎn)單處理(采用幀重復(fù)和幀平均的算法),未考慮到運(yùn)動(dòng)信息,此方法若運(yùn)用到視頻中,對(duì)于存在運(yùn)動(dòng)的物體,則會(huì)出現(xiàn)非常明顯的模糊和重疊問題;21世紀(jì)初,由于需要幀率提升的視頻中均存在運(yùn)動(dòng)場(chǎng)景,若使用上述不考慮運(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄟM(jìn)行視頻插幀,得到的結(jié)果就是無法合成高質(zhì)量視頻插幀圖像。因此,研究者們開始嘗試使用可以捕獲物體運(yùn)動(dòng)信息的算法以生成較好的視頻插幀圖像,這一階段產(chǎn)生了一系列基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)乃惴āao等[13]提出一種運(yùn)動(dòng)估計(jì)和補(bǔ)償驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)用于視頻幀插值,提出了一種融合光流和插值核的自適應(yīng)扭曲層來合成目標(biāo)幀像素。這一層是完全可微的,使得流估計(jì)網(wǎng)絡(luò)和核估計(jì)網(wǎng)絡(luò)可以共同優(yōu)化。這種方法通常會(huì)產(chǎn)生效果較好插值結(jié)果,但在大的運(yùn)動(dòng)變化下可能無法保留高頻細(xì)節(jié)。Choi 等[14]提出了運(yùn)動(dòng)補(bǔ)償幀插值的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)矢量細(xì)化新方法,提出使用3個(gè)視頻幀得到雙向運(yùn)動(dòng)矢量的估計(jì)方法。之后,自Dosovitskiy等[15]提出FlowNet里程碑式的方法以來,后面幾年深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得了巨大的成功,基于深度學(xué)習(xí)的光流估計(jì)網(wǎng)絡(luò)也被不斷提出。Jiang等[2]提出了SuperSlomo,使用2個(gè)雙向流的線性組合作為中間流的初始近似,然后使用U-Net對(duì)其進(jìn)行細(xì)化。但這種方法往往無法捕獲大運(yùn)動(dòng),導(dǎo)致無法得到較好的插值結(jié)果。Niklaus等[16]利用給定幀之間的雙向光流,在利用合成網(wǎng)絡(luò)渲染輸出幀之前,直接將圖像及其上下文特征前向扭曲到插值瞬間。為了使這種splatting完全可微,進(jìn)一步引入softmax splatting,允許端對(duì)端訓(xùn)練特征提取。盡管取得了相當(dāng)先進(jìn)的性能,但由于固有的網(wǎng)絡(luò)復(fù)雜性和大量的內(nèi)存限制,該方法需要更多的計(jì)算資源消耗時(shí)間。Choi等[17]提出了CAIN,采用通道注意機(jī)制和PixelShuffle直接學(xué)習(xí)插值結(jié)果。Zhang等[18]提出了一種注意力增強(qiáng)殘差塊,該殘差塊利用殘差塊中的三重注意力機(jī)制,利用通道和空間注意力以及對(duì)特征的不同空間位置和通道的多頭自注意力來提取特征,這使得網(wǎng)絡(luò)更多地關(guān)注關(guān)鍵的感興趣區(qū)域,然而當(dāng)處理快速移動(dòng)的對(duì)象時(shí),這些方法往往會(huì)產(chǎn)生模糊的結(jié)果。

本文提出了一個(gè)多尺度特征融合模塊和一個(gè)多光流特征重加權(quán)模塊,基于注意力機(jī)制從通道和空間角度聚焦瞬態(tài)運(yùn)動(dòng)區(qū)域顯著特征。該操作提高了網(wǎng)絡(luò)的泛化能力,增強(qiáng)了插入幀圖像的魯棒性。通過這些改進(jìn),本文提出的模型在紅外視頻幀率提升任務(wù)中實(shí)現(xiàn)了更好的性能。

2 紅外視頻插幀算法

紅外視頻幀率提升任務(wù)的整體結(jié)構(gòu)框架如圖1所示。

圖1 本文整體結(jié)構(gòu)框架

該模型分為3個(gè)部分:光流提取、特征學(xué)習(xí)和輸出網(wǎng)絡(luò)。如圖1所示,其中,光流提取是通過紅外視頻的相鄰2幀計(jì)算光流,生成新的光流信息,特征學(xué)習(xí)部分使用Inception模塊進(jìn)行特征提取,第1個(gè)Inception塊中每個(gè)尺度有6個(gè)卷積核,第2個(gè)Inception塊中每個(gè)尺度有16個(gè)卷積核。此外,還分別使用多尺度特征融合(MSFF)和多光流特征重加權(quán)(MOFRW)模塊對(duì)特征進(jìn)行融合和加權(quán)。輸出網(wǎng)絡(luò)使用特征融合模塊和幀重建模塊得到最終的預(yù)測(cè)幀。

2.1 光流特征提取

本文使用總變差光流[19]方法來計(jì)算相鄰幀之間的光流。該算法適用于瞬態(tài)運(yùn)動(dòng)分析,可以克服在插幀過程中丟失小細(xì)節(jié)的成本問題。用u和v分別表示光流場(chǎng)的水平分量和垂直分量,用來描述相鄰前后幀之間的運(yùn)動(dòng)信息。另一種光流導(dǎo)數(shù)稱為光應(yīng)變,它能夠近似于前后幀形變的強(qiáng)度,可以定義為

(1)

式中:Of=[u,v]T為光流矢量,包括水平分量u和垂直分量v;? 為Of的導(dǎo)數(shù)。

2.2 網(wǎng)絡(luò)架構(gòu)

2.2.1 Inception網(wǎng)絡(luò)

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)模型,較大的卷積核通常具有較大的感知場(chǎng),可以更好地捕捉輸入數(shù)據(jù)中的全局特征,而較小的卷積核更適合提取局部特征。由于不同光流圖像中關(guān)鍵信息的位置存在差異,為卷積運(yùn)算選擇合適的卷積核大小更為復(fù)雜。受文獻(xiàn)[8]的啟發(fā),本文采用了Inception網(wǎng)絡(luò),在同一級(jí)別上并行使用多個(gè)不同尺度大小的卷積核。提取不同尺度和抽象層次的特征,可以更好地適應(yīng)不同大小和復(fù)雜程度的圖,使網(wǎng)絡(luò)能夠捕獲更豐富的信息。另外,Inception模塊使用1×1、3×3和5×5的小卷積層,同時(shí)增加一個(gè)額外的1×1卷積層來限制輸入通道的數(shù)量。這種設(shè)計(jì)可以有效減少模型參數(shù)的數(shù)量和計(jì)算量,提高計(jì)算效率。最后,在每個(gè)Inception模塊之后使用最大池化操作,可以進(jìn)一步減小特征映射的大小和計(jì)算量,過濾掉輸入特征映射中的噪聲和冗余信息,更好地聚合特征信息。本文中使用的Inception網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Inception模塊結(jié)構(gòu)

2.2.2 多尺度特征融合(MSFF)模塊

本文提出的MSFF模塊旨在獲取不同尺度下紅外視頻相鄰幀光流圖像的運(yùn)動(dòng)信息。為了增強(qiáng)每層特征的顯著性和表達(dá)性,首先使用空間注意模塊(SAM)進(jìn)行自適應(yīng)加權(quán),如圖3a所示。SAM模塊可以學(xué)習(xí)前一幀和當(dāng)前幀的特征,生成相應(yīng)的注意映射(attention mapping,Attn),并與輸入特征相乘,以增強(qiáng)前后幀紅外視頻圖像局部信息的表達(dá)和運(yùn)動(dòng)區(qū)域特征的表示。

圖3 SAM模塊結(jié)構(gòu)和MSFF模塊結(jié)構(gòu)

本文提出的MSFF模塊采用三步策略在低級(jí)光流特征中捕獲更多局部運(yùn)動(dòng)信息,如圖3b所示。首先,為了連接當(dāng)前層特征,對(duì)前一層的特征進(jìn)行下采樣;然后,對(duì)下采樣的特征進(jìn)行SAM處理,在進(jìn)入SAM之前,對(duì)特征進(jìn)行與增強(qiáng)特征的求和操作;其次,對(duì)當(dāng)前層進(jìn)行SAM處理;最后,將前層和當(dāng)前層的處理特征連接起來,得到相鄰層的最終多尺度融合特征。該設(shè)計(jì)可以提取和融合不同層次和尺度的不同運(yùn)動(dòng)信息,以增強(qiáng)前后相鄰2幀紅外圖像局部信息的表達(dá)和識(shí)別精度。

2.2.3 多光流特征重加權(quán)(MOFRW)模塊

本文提出的多光流特征重加權(quán)(MOFRW)模塊將不同模式的光流信息拼接在一起。它使用通道注意力模塊(CAM)對(duì)每條光流信息進(jìn)行加權(quán),如圖4a所示。本設(shè)計(jì)可以充分利用不同尺度的光流信息的特點(diǎn)和優(yōu)勢(shì),提高光流特征的性能和差異性,從而獲得更加準(zhǔn)確可靠的動(dòng)態(tài)信息。在進(jìn)行CAM和加權(quán)計(jì)算時(shí),還需要根據(jù)各通道的重要性對(duì)其進(jìn)行加權(quán),進(jìn)一步抑制噪聲和冗余信息,提高光流特征的性能和區(qū)分能力。

圖4 CAM模塊結(jié)構(gòu)和MOFRW模塊結(jié)構(gòu)

MOFRW模塊通過4個(gè)主要步驟實(shí)現(xiàn)多段光流特征信息的注意加權(quán)。整個(gè)過程如圖4b所示。將3個(gè)光流特征拼接在一起。利用CAM提取不同光流信息特征映射的通道注意力向量,得到3種光流特征的通道注意力向量。再利用Softmax對(duì)3個(gè)光流通道注意力向量進(jìn)行特征重新校準(zhǔn),獲得每個(gè)光流信息交互的新注意力權(quán)重;之后對(duì)重新校準(zhǔn)的權(quán)重和相應(yīng)的特征映射進(jìn)行點(diǎn)積運(yùn)算。對(duì)多光流特征信息進(jìn)行注意加權(quán)后,得到輸出的特征圖。最后,將多特征輸入拼接的光流特征和注意力加權(quán)特征與輸出相加,得到一個(gè)重新加權(quán)的多光流加權(quán)特征圖。MOFRW模塊的計(jì)算過程為:

Ci=CAM(Fi)i=u,v,γ

(2)

(3)

ζi=Fi⊙AAttii=u,v,γ

(4)

Oout=Finput+Cat([ζu,ζv,ζγ])

(5)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

3.1.1 訓(xùn)練數(shù)據(jù)

本文在OTCBVS數(shù)據(jù)集中的Terravic Motion IR Database[20]上進(jìn)行模型的訓(xùn)練和測(cè)試。Terravic Motion IR Database中包含18個(gè)熱序列數(shù),是在運(yùn)動(dòng)場(chǎng)景下拍攝的紅外序列幀,主要使用戶外運(yùn)動(dòng)和跟蹤場(chǎng)景、室內(nèi)走廊運(yùn)動(dòng)、水下和近地表運(yùn)動(dòng)等紅外序列幀,Terravic Motion IR Database數(shù)據(jù)集包含25 355張紅外圖像。本文使用其中的15 285個(gè)樣本作為訓(xùn)練集,1 542個(gè)樣本作為驗(yàn)證集。數(shù)據(jù)集中所有圖像的尺寸均為320×240。

3.1.2 訓(xùn)練策略

本文采用 AdamW[21]作為優(yōu)化器,將其衰減設(shè)置為0.018 3,訓(xùn)練100輪。每一批次數(shù)據(jù)的大小是32,學(xué)習(xí)率使用余弦函數(shù)進(jìn)行調(diào)節(jié),這些參數(shù)是根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果選擇的。訓(xùn)練過多可能會(huì)導(dǎo)致出現(xiàn)過擬合現(xiàn)象,BatchSize設(shè)置過小可能導(dǎo)致網(wǎng)絡(luò)收斂速度慢、訓(xùn)練時(shí)長(zhǎng)增加等,過大可能會(huì)導(dǎo)致顯存溢出、收斂難度增大。在硬件配置方面,采用了NVIDIA GeForce RTX2080Ti作為訓(xùn)練和測(cè)試硬件。

在損失函數(shù)部分,對(duì)于光流的預(yù)測(cè)結(jié)果,本文使用L1范式損失作為優(yōu)化函數(shù),這已被證明比L2的結(jié)果更清晰[22]:

(6)

式中:fgt為紅外中間幀真實(shí)的光流值;fpred為預(yù)測(cè)的紅外中間幀光流值。

此外,還使用了基于特征的感知損失函數(shù),通過網(wǎng)絡(luò)深層的更高維特征的相似度去評(píng)價(jià)預(yù)測(cè)得到的紅外圖像的準(zhǔn)確性程度,即

(7)

式中:φ(·)為VGG16模型中的第2層池化層之前的網(wǎng)絡(luò)結(jié)構(gòu)。

最后,結(jié)合式(6)和式(7),網(wǎng)絡(luò)的損失函數(shù)為

L=λ1L1+λ2Lp

(8)

式中:λ權(quán)重分別設(shè)定為0.020 0、0.000 5。

3.1.3 評(píng)價(jià)指標(biāo)

本文采用2種在視頻插幀領(lǐng)域中最常用的質(zhì)量指標(biāo),即峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM),PSNR是基于均方誤差(MSE)發(fā)展而來,計(jì)算方法如下:

大小為r×c的2幅圖像,原始圖像I和噪聲圖像K,2幅圖像間的均方誤差值SME定義為

(9)

2幅圖像間的峰值信噪比值RPSN定義為

(10)

結(jié)構(gòu)相似性(SSIM)的基本思想是通過亮度(luminance)、對(duì)比度(contrast)、結(jié)構(gòu)(structure)這3個(gè)方面來對(duì)2幅圖像的相似性進(jìn)行評(píng)估,SSIM的計(jì)算過程如下:

(11)

(12)

(13)

SSIM(X,Y)=L(X,Y)·C(X,Y)·S(X,Y)

(14)

PSNR與SSIM的數(shù)值越大表示預(yù)測(cè)圖像和原始圖像的誤差越小、質(zhì)量越好。同時(shí)注意到,這些指標(biāo)并不總是與人類觀察者所感知的視頻質(zhì)量很好地相關(guān)。因此,使用了一種更具感知相似性判斷的衡量標(biāo)準(zhǔn),即LPIPS[23]。LPIPS的值越小代表2幅圖像之間的相似度越高,反之值越大,代表差異越大。

3.2 方法比較

本文同當(dāng)前流行的視頻插幀算法進(jìn)行了對(duì)比實(shí)驗(yàn),比較的方法有:DVF[24]、MEMC[13]、Slomo[2]、CAIN[17]、QVI[25]、XVFI[26]。為避免實(shí)驗(yàn)的偶然性,經(jīng)過多次實(shí)驗(yàn)后,得到的結(jié)果如表1所示,容易得出本文方法與上述方法對(duì)比所得到的結(jié)果在PSNR、SSIM、LPIPS都取得了很好的效果。

表1 不同方法的比較

在圖5中,展示了運(yùn)用本文算法得到的預(yù)測(cè)中間幀紅外視頻圖像與真實(shí)中間幀紅外視頻圖像對(duì)比,并且可視化了預(yù)測(cè)中間幀光流結(jié)果與真實(shí)中間幀光流結(jié)果。下列3組圖片中上方每組右側(cè)是預(yù)測(cè)幀光流圖可視化,左側(cè)是真實(shí)幀光流圖可視化,下方右側(cè)是預(yù)測(cè)幀紅外圖像,左側(cè)是真實(shí)幀紅外圖像。通過觀察可知,本文方法可以有效預(yù)測(cè)出光流信息,并且也可以得到魯棒性很好的預(yù)測(cè)中間幀紅外視頻圖像。

圖5 視頻插幀真值、結(jié)果可視化和光流預(yù)測(cè)真值、結(jié)果可視化

3.3 消融實(shí)驗(yàn)

為了證明本文中所提出模塊的有效性,對(duì)其進(jìn)行了消融實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)是基于Terravic Motion IR Database數(shù)據(jù)集中的紅外視頻幀計(jì)算得到的。將通過一個(gè)帶有六層卷積模塊的殘差網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)[27](BaseNet),然后依次添加多尺度特征融合模塊(MSFF)和多光流特征重加權(quán)(MOFRW)模塊。實(shí)驗(yàn)結(jié)果如表2所示,容易得出,本文所提出的網(wǎng)絡(luò)模塊可以綜合提高所插紅外視頻幀的性能。

表2 不同模塊對(duì)模型的影響

4 結(jié)束語(yǔ)

本文提出了一種瞬態(tài)場(chǎng)景下基于光流法的紅外視頻插幀算法,該算法可以有效解決瞬態(tài)場(chǎng)景下,相鄰幀單尺度特征提取容易導(dǎo)致它的解位于解空間邊緣的同時(shí)也會(huì)造成丟失很多細(xì)節(jié)的問題,該算法結(jié)合了多尺度、多通道、注意力機(jī)制等方法,利用不同光流的互補(bǔ)特性,能夠深入學(xué)習(xí)相鄰2幀紅外圖像之間的運(yùn)動(dòng)信息,提取出顯著特征和區(qū)別特征。本文設(shè)計(jì)了2個(gè)模塊,MSFF和MOFRW模塊。其中,MSFF模塊專門用于突出紅外視頻相鄰幀之間細(xì)微局部運(yùn)動(dòng)。相比之下,MOFRW模塊使用不同光流的貢獻(xiàn)來重新加權(quán),以提取關(guān)鍵特征并過濾掉冗余特征。最后,實(shí)驗(yàn)結(jié)果表明,本文方法可以得到高質(zhì)量的紅外插幀圖像,并與目前最先進(jìn)的方法相當(dāng),充分證明了本文算法的有效性。然而,雖然本文提出的紅外視頻插幀方法已經(jīng)取得了很不錯(cuò)的效果,但是在面臨眾多復(fù)雜多變的應(yīng)用場(chǎng)景下,紅外視頻插幀算法仍有提升的空間。本文所提方法是通過多尺度、多通道、注意力機(jī)制等方法,利用不同光流的互補(bǔ)特性,提高光流信息預(yù)測(cè)準(zhǔn)確性來改善視頻插幀的效果,在之后的研究中可以嘗試使用生成對(duì)抗網(wǎng)絡(luò)等其他先進(jìn)的深度學(xué)習(xí)方法,在現(xiàn)有模型的基礎(chǔ)上獲得更加自然逼真的紅外視頻插幀結(jié)果。