順滑如絲 解密英偉達(dá)慢動(dòng)作視頻技術(shù)

技術(shù)宅

慢動(dòng)作 沒(méi)你想象的那么簡(jiǎn)單

相信大家在各種影視作品中都看到過(guò)慢動(dòng)作特效，比如在剛剛結(jié)束的世界杯上就有許多球員進(jìn)球、射門(mén)、身體接觸的慢動(dòng)作回放，通過(guò)VAR逐幀回看這些慢動(dòng)作可以清晰看到一瞬間發(fā)生的事情（圖1）。

對(duì)于電影里的慢動(dòng)作特效，實(shí)際上是借助設(shè)備進(jìn)行高速攝影，比如拍攝速度達(dá)到50幀/秒、100幀/秒甚至更高，然后在回放時(shí)仍然選擇24幀/秒常規(guī)速度播放，這就相當(dāng)于把實(shí)際1秒鐘拍攝的圖像用2秒多到4秒多的時(shí)間回放，從而實(shí)現(xiàn)慢動(dòng)作效果。

當(dāng)然對(duì)于普通用戶(hù)來(lái)說(shuō)，我們沒(méi)有高速攝影設(shè)備，怎么能實(shí)現(xiàn)慢動(dòng)作效果呢？英偉達(dá)近日推出了基于cuDNN加速的PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)任意視頻慢動(dòng)作的技術(shù)，通過(guò)這個(gè)人工智能框架，結(jié)合NVIDIA Tesla V100 GPU強(qiáng)大的處理能力，它可以將任意一段視頻拉長(zhǎng)，從而實(shí)現(xiàn)類(lèi)似電影特效里的慢動(dòng)作（圖2）。

視頻拉長(zhǎng)的背后——人工智能慢動(dòng)作技術(shù)

通過(guò)上面的介紹我們知道，常規(guī)的慢動(dòng)作是將高速攝影的視頻低速播放而實(shí)現(xiàn)。那么對(duì)于普通的視頻（已經(jīng)是低速攝影成品了），英偉達(dá)又是怎樣實(shí)現(xiàn)慢動(dòng)作效果的呢？

慢動(dòng)作的核心是將原來(lái)的視頻拉長(zhǎng)而實(shí)現(xiàn)慢速效果，但是如果將普通的視頻直接使用低速效果播放，實(shí)際效果則會(huì)變得卡頓，幀與幀之間動(dòng)作變得不連貫。因此將普通的視頻拉長(zhǎng)后還要實(shí)現(xiàn)平滑的慢動(dòng)作效果，此時(shí)就需要對(duì)視頻物體進(jìn)行定位和補(bǔ)幀。

比如一段汽車(chē)漂移的視頻，如果要實(shí)現(xiàn)漂移的慢動(dòng)作演示，我們首先需要對(duì)視頻中的汽車(chē)進(jìn)行準(zhǔn)確定位，比如精確定位汽車(chē)每一秒的漂移位置，這樣才可以對(duì)汽車(chē)后續(xù)整個(gè)漂移動(dòng)作進(jìn)行全程的展示（圖3）。

因?yàn)樵瓉?lái)的視頻本身就是低速攝影拍攝的，現(xiàn)在將視頻拉長(zhǎng)后，為了讓拉長(zhǎng)的視頻不出現(xiàn)卡頓（掉幀），就需要進(jìn)行精確的補(bǔ)幀，使得視頻拉長(zhǎng)后播放仍然非常順滑（圖4）。

這樣通過(guò)視頻定位和補(bǔ)幀，英偉達(dá)的人工智能框架技術(shù)就實(shí)現(xiàn)了將任意視頻慢動(dòng)作化。那么這樣的效果是怎樣實(shí)現(xiàn)的呢？

英偉達(dá)的這項(xiàng)技術(shù)是借助NVIDIA Tesla V100 GPU強(qiáng)大的視頻處理能力+人工智能學(xué)習(xí)框架實(shí)現(xiàn)的。英偉達(dá)搭建好人工智能學(xué)習(xí)框架后，把預(yù)先準(zhǔn)備的約1.1萬(wàn)段視頻素材作為數(shù)據(jù)源，提供給人工智能進(jìn)行學(xué)習(xí)，讓它從這些視頻素材中學(xué)習(xí)定位和補(bǔ)幀。比如上述跳舞視頻，人工智能技術(shù)可以對(duì)視頻中的舞者進(jìn)行定位，并且可以對(duì)舞者每一幀動(dòng)作進(jìn)行學(xué)習(xí)，知道下一幀的人物是怎樣的狀態(tài)顯示。這樣通過(guò)一定的算法和學(xué)習(xí)模型，并且經(jīng)過(guò)人工智能的深度學(xué)習(xí)和自我學(xué)習(xí)，這個(gè)人工智能框架就可以對(duì)其他視頻進(jìn)行同樣的定位和分解，用完美的定位和補(bǔ)幀技術(shù)，實(shí)現(xiàn)將普通視頻慢動(dòng)作化（圖5）。

當(dāng)然不僅僅是視頻慢動(dòng)作，借助新的訓(xùn)練方式，人工智能還可以從已有的圖像中生成新的圖像，甚至可以利用不同的人像生成新的肖像。就像影片中的換臉特效一樣，英偉達(dá)的人工智能框架可以精準(zhǔn)地實(shí)現(xiàn)人物從一個(gè)人臉無(wú)縫轉(zhuǎn)換到另一個(gè)人臉的特效（圖6）。

慢動(dòng)作 帶給我們更多樂(lè)趣

通過(guò)上面的展示，我們見(jiàn)識(shí)了英偉達(dá)人工智能框架在視頻處理方面的強(qiáng)大功能。這個(gè)技術(shù)的出現(xiàn)可以給我們的生活帶來(lái)很多樂(lè)趣。

隨著手機(jī)的普及，我們使用手機(jī)來(lái)拍攝短視頻，對(duì)于那些稍縱即逝的畫(huà)面，我們總想看清楚整個(gè)過(guò)程。比如喜歡跳廣場(chǎng)舞的老媽?zhuān)瑢?duì)于隊(duì)友、教練的快舞節(jié)奏總是看不清楚整個(gè)動(dòng)作，現(xiàn)在只要使用手機(jī)拍攝，然后借助英偉達(dá)這個(gè)技術(shù)轉(zhuǎn)換，舞者再快的動(dòng)作都可以變慢，讓老媽仔細(xì)看清楚每個(gè)舞蹈的動(dòng)作。

英偉達(dá)的變臉技術(shù)則可以讓我們?cè)谑謾C(jī)上制作出更多的搞笑視頻，比如將舍友變成可愛(ài)的貓咪，然后通過(guò)微信、朋友圈和好友共享。當(dāng)然這些技術(shù)也可以讓我們的視頻處理變得更為簡(jiǎn)單，比如剪輯鋼琴老師彈琴的動(dòng)作，方便我們學(xué)習(xí)指法；剪輯球員射門(mén)的視頻，讓我們細(xì)細(xì)欣賞漂亮的射門(mén)！