用于視頻圖像幀間運動補償的深度卷積神經網絡*

龍古燦，張小虎，于起峰

(1.國防科技大學 航天科學與工程學院， 湖南 長沙 410073；2.國防科技大學 湖南省圖像測量與視覺導航重點實驗室， 湖南 長沙 410073)

?

用于視頻圖像幀間運動補償的深度卷積神經網絡*

龍古燦1, 2，張小虎1, 2，于起峰1, 2

(1.國防科技大學 航天科學與工程學院， 湖南 長沙 410073；2.國防科技大學 湖南省圖像測量與視覺導航重點實驗室， 湖南 長沙 410073)

為探索深度學習理論在視頻圖像幀間運動補償問題中的應用，提出一種用于視頻圖像幀間運動補償的深度卷積神經網絡。該網絡由卷積模塊和反卷積模塊構成，可以處理不同分辨率輸入圖像并具備保持較完整圖像細節的能力。利用具有時序一致性的視頻圖像序列構造訓練樣本，采用隨機梯度下降法對設計的深度卷積神經網絡進行訓練。視覺效果和數值評估實驗表明，訓練得到的網絡較傳統方法能更有效地進行視頻圖像幀間運動補償。

深度學習；卷積神經網絡；時序一致性；運動補償幀插值

視頻圖像幀間運動補償又稱運動補償幀插值[1-2](motion compensated frame interpolation)，指利用視頻序列中連續兩幀圖像進行運動插值以合成中間幀圖像的過程。作為圖像與視頻處理領域的經典問題之一，其在視頻幀率提升、慢速視頻制作以及虛擬視圖合成等場合具有廣泛應用。目前常用的視頻圖像幀間運動補償方法首先基于光流場估計算法對輸入圖像對進行密集匹配，然后利用獲得的密集匹配信息逐像素對輸入圖像進行內插以合成中間幀圖像。……