翻新老電影神經網絡的新功能解密

技術宅

視頻清晰度和流暢度兩個指標——了解分辨率和幀速率

經常在愛奇藝、優酷看視頻的朋友都知道，如果你的網速較快，可以在播放界面點擊畫質切換，將視頻畫質切換到“高清540P”、“720P”、“1080P”等（圖2）。

這些畫質實際就是分辨率的簡稱，比如540P是960×540，在720P是1280×720，分辨率越高，視頻畫面就由越多的點組成，展示的畫面細節就越豐富（圖3）。

另外一個影響視頻流暢度的參數為幀速率，視頻的幀速率越高，畫面就顯得越流暢，特別是運動物體，就越不容易出現拖影。

老電影的脫胎換骨——神經網絡的分辨率增強和插幀技術

在網友展示的“翻拍”老電影中，主要就是利用神經網絡對原視頻的分辨率和幀速率進行了提升。

首先是分辨率的增強，在傳統的操作中如果我們需要將低分辨率圖像或者視頻擴展為高分辨率，使用的是插值算法。它的原理是基于目標分辨率中的點，將其按照縮放關系對應到原圖像中，同時在圖像邊緣的模糊和鋸齒間獲得平衡。不過傳統算法放大的圖像（視頻）很容易出現模糊和鋸齒（圖4）。

現在結合神經網絡技術的插值算法則可以有效地避免這種現象的出現，比如https：//bigjpg.com/提供的放大圖片技術（借助的正是神經網絡技術）。它先制作一個機器訓練模型，然后使用大量低分辨率的圖像作為輸入源并得到對應的高分辨率結果圖像。接著通過神經網絡，針對放大圖片的線條、顏色、網點等特點，對放大算法不斷調整和優化，最后生成一套最優的算法。這個算法可以保證放大后的圖像色彩保留較好， 圖片邊緣也不會有模糊和鋸齒，從而實現將低分辨率圖片“無損”放大為高分辨率清晰圖片（圖5）。……