龍古燦,張小虎,于起峰
(1.國防科技大學(xué) 航天科學(xué)與工程學(xué)院, 湖南 長沙 410073;2.國防科技大學(xué) 湖南省圖像測量與視覺導(dǎo)航重點實驗室, 湖南 長沙 410073)
?
用于視頻圖像幀間運動補(bǔ)償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)*
龍古燦1, 2,張小虎1, 2,于起峰1, 2
(1.國防科技大學(xué) 航天科學(xué)與工程學(xué)院, 湖南 長沙 410073;2.國防科技大學(xué) 湖南省圖像測量與視覺導(dǎo)航重點實驗室, 湖南 長沙 410073)
為探索深度學(xué)習(xí)理論在視頻圖像幀間運動補(bǔ)償問題中的應(yīng)用,提出一種用于視頻圖像幀間運動補(bǔ)償?shù)纳疃染矸e神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)由卷積模塊和反卷積模塊構(gòu)成,可以處理不同分辨率輸入圖像并具備保持較完整圖像細(xì)節(jié)的能力。利用具有時序一致性的視頻圖像序列構(gòu)造訓(xùn)練樣本,采用隨機(jī)梯度下降法對設(shè)計的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。視覺效果和數(shù)值評估實驗表明,訓(xùn)練得到的網(wǎng)絡(luò)較傳統(tǒng)方法能更有效地進(jìn)行視頻圖像幀間運動補(bǔ)償。
深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);時序一致性;運動補(bǔ)償幀插值
視頻圖像幀間運動補(bǔ)償又稱運動補(bǔ)償幀插值[1-2](motion compensated frame interpolation),指利用視頻序列中連續(xù)兩幀圖像進(jìn)行運動插值以合成中間幀圖像的過程。作為圖像與視頻處理領(lǐng)域的經(jīng)典問題之一,其在視頻幀率提升、慢速視頻制作以及虛擬視圖合成等場合具有廣泛應(yīng)用。目前常用的視頻圖像幀間運動補(bǔ)償方法首先基于光流場估計算法對輸入圖像對進(jìn)行密集匹配,然后利用獲得的密集匹配信息逐像素對輸入圖像進(jìn)行內(nèi)插以合成中間幀圖像。……