用于視頻圖像幀間運動補(bǔ)償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)*

龍古燦，張小虎，于起峰

(1.國防科技大學(xué) 航天科學(xué)與工程學(xué)院， 湖南 長沙 410073；2.國防科技大學(xué) 湖南省圖像測量與視覺導(dǎo)航重點實驗室， 湖南 長沙 410073)

?

用于視頻圖像幀間運動補(bǔ)償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)*

龍古燦1, 2，張小虎1, 2，于起峰1, 2

(1.國防科技大學(xué) 航天科學(xué)與工程學(xué)院， 湖南 長沙 410073；2.國防科技大學(xué) 湖南省圖像測量與視覺導(dǎo)航重點實驗室， 湖南 長沙 410073)

為探索深度學(xué)習(xí)理論在視頻圖像幀間運動補(bǔ)償問題中的應(yīng)用，提出一種用于視頻圖像幀間運動補(bǔ)償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)由卷積模塊和反卷積模塊構(gòu)成，可以處理不同分辨率輸入圖像并具備保持較完整圖像細(xì)節(jié)的能力。利用具有時序一致性的視頻圖像序列構(gòu)造訓(xùn)練樣本，采用隨機(jī)梯度下降法對設(shè)計的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。視覺效果和數(shù)值評估實驗表明，訓(xùn)練得到的網(wǎng)絡(luò)較傳統(tǒng)方法能更有效地進(jìn)行視頻圖像幀間運動補(bǔ)償。

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；時序一致性；運動補(bǔ)償幀插值

視頻圖像幀間運動補(bǔ)償又稱運動補(bǔ)償幀插值[1-2](motion compensated frame interpolation)，指利用視頻序列中連續(xù)兩幀圖像進(jìn)行運動插值以合成中間幀圖像的過程。作為圖像與視頻處理領(lǐng)域的經(jīng)典問題之一，其在視頻幀率提升、慢速視頻制作以及虛擬視圖合成等場合具有廣泛應(yīng)用。目前常用的視頻圖像幀間運動補(bǔ)償方法首先基于光流場估計算法對輸入圖像對進(jìn)行密集匹配，然后利用獲得的密集匹配信息逐像素對輸入圖像進(jìn)行內(nèi)插以合成中間幀圖像。……