人工智能技術(shù)在視頻制作中的應(yīng)用分析

谷青

中央廣播電視總臺 北京 100038

在新時期背景下，人工智能技術(shù)可以說是在不斷完善與迭代，在深度學(xué)習技術(shù)的快速發(fā)展下，關(guān)于自然語言以及圖像處理等方面的人工智能技術(shù)也在進一步深入研究，這也為該技術(shù)的全面應(yīng)用奠定了良好基礎(chǔ)。在視頻制作中應(yīng)用人工智能技術(shù)，不僅能夠大大降低視頻制作的難度與強度，滿足當前規(guī)模不斷壯大的短視頻制作需求，還能夠進一步將視頻制作提升到新的層面，有利于提高視頻制作行業(yè)的高質(zhì)量可持續(xù)發(fā)展。

1 人工智能技術(shù)概述

人工智能技術(shù)又稱AI，也是當前21世紀三大尖端技術(shù)之一。作為計算機科學(xué)的重要分支，人工智能技術(shù)能夠?qū)θ祟惖闹悄芾碚摗⒎椒ā⒓夹g(shù)以及應(yīng)用系統(tǒng)進行深度的研究、開發(fā)、模擬以及拓展。在計算機領(lǐng)域中，人工智能技術(shù)已經(jīng)有了較為深入的研究與應(yīng)用，例如機器人、控制系統(tǒng)以及仿真系統(tǒng)等。隨著當前信息技術(shù)的不斷發(fā)展，越來越多的高新技術(shù)開始進入人民群眾的日常生活當中，人工智能技術(shù)也不例外，小到智能音箱、停車場車牌自動設(shè)備以及智能家居，大到汽車自動駕駛、AlphaGo(阿爾法圍棋)以及醫(yī)用機器人等，都對日常生活與生產(chǎn)帶來了諸多利好，充分發(fā)揮著該技術(shù)的實際應(yīng)用價值。由于當前應(yīng)用的人工智能技術(shù)仍歸屬于弱人工智能，無法完全脫離人工自主運行，因此還需要進一步深入研究。盡管如此，人工智能技術(shù)的應(yīng)用還是在很大程度上緩解了當前工作中的強度與難度，為工作質(zhì)量與效率的提升提供了重要手段。

2 視頻制作中應(yīng)用人工智能技術(shù)現(xiàn)狀

隨著近些年來人工智能技術(shù)的滲透，以自然語言與圖像處理等方面為代表的技術(shù)手段開始進入視頻制作中。傳統(tǒng)人工視頻制作與剪輯更多的是通過軟件程序來進行處理，而在人工智能技術(shù)的幫助下，視頻制作開始向批量化加工轉(zhuǎn)變，從平臺系統(tǒng)中來加以處理，并保證了視頻內(nèi)容的完整性與可靠性，從而有效降低了人工視頻制作的復(fù)雜程度，減輕了視頻制作人員的壓力。同時，借助人工智能技術(shù)，能夠進一步降低視頻制作的門檻。人們通過先進的軟件程序就能夠?qū)崿F(xiàn)視頻全流程制作，包括了剪輯、加工、字幕等，視頻制作質(zhì)量與效率也得以提高。

在傳統(tǒng)的視頻制作流程來看，主要包括了視頻采集、制作、播出、用戶體驗這四個方面。而隨著技術(shù)的不斷進步，在視頻采集方面，除了專業(yè)的攝像機設(shè)備采集視頻，還可以利用當前的手機等智能移動設(shè)備來實現(xiàn)視頻素材的拍攝，人人都可以是視頻的生產(chǎn)者。而在視頻的生產(chǎn)制作上，大多數(shù)的手機設(shè)備都已經(jīng)具備了相當便捷的編輯程序，包括專場、濾鏡、特效等多個功能。在播出環(huán)節(jié)中，從以往的電視播出，到如今只需要借助互聯(lián)網(wǎng)就能觀看。最后在用戶體驗上，以往的視頻在播出時更多的就是用戶單向接收，而如今各類視頻軟件都已經(jīng)加入了彈幕、評論以及點贊等交互功能，極大地改善了用戶的體驗[1]。從中能夠看出，“視頻+AI”的形式已經(jīng)深入視頻制作的每一個環(huán)節(jié)當中，進一步促進了行業(yè)的發(fā)展與轉(zhuǎn)型。

3 人工智能技術(shù)在視頻制作中的具體應(yīng)用分析

3.1 圖像處理技術(shù)

3.1.1 美顏濾鏡功能

在視頻制作當中，大多數(shù)的影像對于畫質(zhì)都有一定的要求，這也是視頻整體質(zhì)量中最為關(guān)鍵的一點。從視頻制作誕生以來，對于畫質(zhì)提升的追求與研究一直都在不斷推進與深入，類似Photoshop以及DR等軟件在畫質(zhì)提升方面都有其自身優(yōu)勢。隨著近些年來人工智能技術(shù)的進步，不僅專業(yè)人士能夠制作出畫質(zhì)較高的視頻，越來越多的視頻制作愛好者也能借助該技術(shù)來實現(xiàn)視頻制作，同時畫質(zhì)也能有所保證，而其中美顏濾鏡就是對畫質(zhì)提升最重要的一項功能。從當前大多數(shù)具備美顏功能的軟件算法來看，主要就包括了瘦臉、磨皮、美白等功能。就拿某視頻平臺美顏技術(shù)來說，其主要是一套基于“深度學(xué)習+圖像處理+圖像學(xué)”的技術(shù)，其中關(guān)鍵技術(shù)在于人臉檢測、關(guān)鍵點定位、瘦臉、磨皮以及美白等，在完成對用戶人臉的檢測后，使用OpenGL以及Metal來實現(xiàn)人臉渲染，最終實現(xiàn)即時美顏。通過美顏技術(shù)，能夠有針對性地向用戶提供更加精細化的視頻制作服務(wù)，在很大程度上提高了視頻的質(zhì)量。

在視頻的畫質(zhì)提升與圖像美化當中，濾鏡也是較為常見的制作流程。濾鏡從其最初的概念來看，就是指在相機鏡頭外部安裝的附加鏡頭，主要功能就是將自然光進行過濾，實現(xiàn)圖像的風格化調(diào)色。在當前人工智能技術(shù)當中，濾鏡從其本身的物理功能開始轉(zhuǎn)化為虛擬功能，在濾鏡算法的加持下，通過軟件程序的調(diào)色就能夠?qū)Ω鞣N風格的濾鏡進行模擬，實現(xiàn)視頻制作者想要的效果[2]。隨著人工智能技術(shù)的深入，越來越多的濾鏡風格被應(yīng)用在視頻制作當中，其效果已經(jīng)遠超于傳統(tǒng)的物理濾鏡。

3.1.2 畫質(zhì)修復(fù)功能

在視頻制作當中，傳統(tǒng)的畫質(zhì)修復(fù)技術(shù)十分復(fù)雜，不僅會耗費大量的時間成本與人力成本，其最終修復(fù)效果往往也不盡如人意。在人工智能技術(shù)的應(yīng)用下，通過深度學(xué)習能夠?qū)崿F(xiàn)對畫質(zhì)失真、失色的舊視頻與舊照片的修復(fù)、翻新等目的。

在當前的互聯(lián)網(wǎng)平臺中，經(jīng)常能夠見到對上個世紀視頻錄像的修復(fù)，例如2021年，一位博主就在其社交平臺上發(fā)布了其視頻修復(fù)的項目，在AI技術(shù)深度學(xué)習的應(yīng)用下，該博主將一段由加拿大攝影師在一百年前拍攝的北京視頻進行了修復(fù)，原本畫質(zhì)模糊、黑白且有些許卡頓的畫面被重新還原，同時還能更加流暢，使人們能夠更加貼近歷史，深受年輕用戶的喜愛與好評。此外，在2020年國慶前，中央廣播電視總臺也使用了AI修復(fù)技術(shù)，將1956年拍攝的黑白電影《上甘嶺》中《我的祖國》這一片段進行了修復(fù)，在社會上引起了良好的反響。從相關(guān)報道來看，這次修復(fù)是采用了傳統(tǒng)修復(fù)與人工智能上色技術(shù)結(jié)合的手段，通過4K數(shù)字化修復(fù)技術(shù)將電影膠片中存在的物理損傷消除，并使用AI上色實現(xiàn)了畫面的彩色化[3]。具體到畫質(zhì)修復(fù)的實際操作上，主要包括了畫面修復(fù)、著色以及擴分辨率這三個步驟。

首先，從畫面修復(fù)上來看，對于老視頻的修復(fù)主要是需要補幀。由于修復(fù)的視頻大部分是20世紀早期的影像資料，當時視頻制作與拍攝設(shè)備等條件有限，如今來看會發(fā)現(xiàn)其畫面存在卡頓、閃爍等情況，通過AI修復(fù)技術(shù)能夠?qū)恃a足，使得畫面看上去幀率提升而更加流暢，特別是將視頻修復(fù)成4K畫質(zhì)，補幀是其中最關(guān)鍵的流程。在補幀技術(shù)當中，目前較為成熟的是DAIN模型，該模型是以深度感知為基礎(chǔ)，通過對畫面進行深度檢測來劃分遮擋層，并以深度感知的光流投影層開發(fā)來合成為中間流，最終實現(xiàn)對視頻畫面的插幀，進而提高視頻的FPS值。從DAIN模型的環(huán)節(jié)架構(gòu)中看，給定兩個節(jié)點的輸入幀，借助對光流以及深度圖的估測，并以深度感知的流投影層來合成中間流，最終將光流與局部差值內(nèi)核在DAIN模型中與輸入幀、上下特征等進行扭曲，最終導(dǎo)出輸出幀，達到補幀的最終目的。

其次，從畫面著色來看，在黑白視頻影視資料中，畫面上色也是修復(fù)當中最為顯著的一項特征。在以往的人工著色技術(shù)當中，不僅費時費力，其最終效果也僅僅差強人意，著色的準確率也一直不高。通過對AI修復(fù)技術(shù)的應(yīng)用，可以更加便捷地實現(xiàn)對視頻的著色修復(fù)，并在上色算法中進行深度學(xué)習，通過相關(guān)的影片歷史資料來確保修復(fù)后的視頻更加還原當時的時代環(huán)境。當前對于AI著色模型，使用較多的是基于深度學(xué)習的DeOldify。該模型在具體使用中對于視頻與圖片進行了劃分，制作者能夠根據(jù)自身需求來進行選擇，在視頻修復(fù)中，主要是應(yīng)用了其中的NoGAN方法來進行模型訓(xùn)練，將視頻渲染上色[4]。

最后，從擴分辨率上來看，通過將過往視頻資料的分辨率進行提升，能夠修復(fù)視頻中模糊不清的情況，以此來滿足當前用戶的觀看需求以及平臺播出標準。近些年來，上海美術(shù)電影制片廠出品的《葫蘆兄弟》《小蝌蚪找媽媽》等經(jīng)典動畫都通過4K修復(fù)被重新搬到大銀幕上，2021年底，《天書奇譚》也以4K形式進行了重映，喚醒了多數(shù)80后、90后的童年回憶。隨著深度學(xué)習與AI算法的進步，從2006年到2022年，中國電影資料館就完成了超過550部電影的2K修復(fù)，4K修復(fù)的影片數(shù)量也在不斷增長。在當前擴分辨率的AI修復(fù)方案中，主要是采用了ESRGAN模型，其修復(fù)效果也較其他產(chǎn)品更佳。

3.2 視頻字幕

3.2.1 字幕配音功能

在視頻制作當中，配音播報也是較為普遍的環(huán)節(jié)，通過事先編輯好的解說詞，采取人工錄制的方式來進行配音，滿足部分解說類視頻的需求。在傳統(tǒng)的字幕配音中，需要在配音完成后，對字幕時間加以修改，確保字幕與時間節(jié)點能夠匹配，以此來保證視頻中字幕與配音的同步，提高視頻質(zhì)量。不過在這一環(huán)節(jié)中，會花費大量的時間去制作與匹配，同時，如果配音員存在口音或?qū)I(yè)水平不足，會導(dǎo)致整體視頻的觀感大大降低。因此，在人工智能技術(shù)的應(yīng)用中，基于深度學(xué)習的語音算法能夠?qū)⒆帜贿M行一鍵配音，字幕與視頻的時間節(jié)點也能夠完美匹配[5]。當前，各大視頻平臺都提供了相應(yīng)的字幕配音功能，極大地縮短了視頻制作的周期，同時在技術(shù)應(yīng)用中也更為精細化，不少軟件都提供了包括中文、英文等多個國家的字幕配音，另外在年齡段、性別以及語速方面都能夠根據(jù)需求供制作者選擇。

3.2.2 字幕提取功能

在人工智能技術(shù)下，視頻字幕也可根據(jù)人聲自動提取。在部分訪談類或會議類的視頻字幕制作中，傳統(tǒng)的制作方式需要根據(jù)視頻人聲來一字一句手動輸入，并根據(jù)時間節(jié)點調(diào)整字幕，整個流程較為煩瑣。在語音識別技術(shù)的加持下，能夠一鍵識別視頻資料中的人聲，同時字幕也能與語音節(jié)點完美匹配。從當前技術(shù)應(yīng)用現(xiàn)狀來看，針對環(huán)境干擾較少、發(fā)音良好的視頻語音，字幕提取的效果都能夠有所保證，準確率也在98%以上。

3.2.3 虛擬主播功能

在視頻字幕的人工智能技術(shù)應(yīng)用下，不僅能夠?qū)崿F(xiàn)上述提到的字幕配音與提取功能，如今虛擬主播功能也逐步在行業(yè)中有所成果。在新聞視頻的制作中，通過將事先編輯的文案添加到軟件當中，就能夠即時合成虛擬主播。同時，虛擬主播的口型也能夠與文字進行匹配，極大地提高了用戶的觀感。不僅如此，虛擬主播的形象以及視頻背景都實現(xiàn)一鍵替換，大大降低了新聞播報中的人工工作量。2018年，全球首個AI虛擬主播在我國問世，2022年北京冬奧會上，雙語虛擬主播、手語主播等都相繼亮相，這也標志著虛擬主播行業(yè)逐步進入快速發(fā)展的階段[6]。在人工智能技術(shù)不斷迭代升級的背景下，虛擬主播技術(shù)也愈發(fā)成熟，從二維到三維，從粗糙化到如今細化到頭發(fā)絲，虛擬主播慢慢在向現(xiàn)實靠近。

3.3 其他技術(shù)

3.3.1 智能編目與檢索功能

在視頻制作當中，通常會需要大量的視頻素材，而在選擇素材時由于素材庫數(shù)量龐大，往往會讓制作者花費較多的時間精力去查找，對視頻制作工作造成了一定的困擾。特別是在素材庫的編目中如果不加以細化，也會進一步增加片段查找的難度。在人工智能技術(shù)與視頻制作的融合中，智能識別技術(shù)的應(yīng)用也愈發(fā)成熟，不僅能夠自動識別視頻中的語音、文字等重要因素，還能夠自動完成編目，最終實現(xiàn)素材庫快速檢索的目的。通過智能編目與檢索功能，能夠大大降低視頻制作中素材查找的時間投入，縮短視頻制作周期，并進一步降低視頻制作者的工作強度。

3.3.2 AI換臉功能

在人工智能技術(shù)的應(yīng)用下，還有一項較為熱門的技術(shù)功能，就是AI換臉。AI換臉技術(shù)也是基于深度學(xué)習等方法來實現(xiàn)深度偽造，當前應(yīng)用較多的就是生成式對抗網(wǎng)絡(luò)(GAN)技術(shù)，其中主要包括了重現(xiàn)、替換、編輯以及合成這四種類型。當前的技術(shù)模型通過采集3～5張個人的表情信息，就能夠?qū)崿F(xiàn)即時換臉的效果，在視頻制作中，通過AI換臉也能夠大大減少重復(fù)性的片段拍攝，并且進行表情修復(fù)[7]。不過當前AI換臉技術(shù)在其應(yīng)用上仍有許多不足，同時還會涉及隱私權(quán)、肖像權(quán)等法律問題，因此在功能的使用中還需確保合法合規(guī)性。

結(jié)語

綜上所述，在人工智能技術(shù)不斷深入優(yōu)化的時代背景下，視頻制作工作也變得更加便捷與高效。在人工智能技術(shù)與視頻制作行業(yè)的不斷磨合過程中，通過智能處理系統(tǒng)，能夠?qū)崿F(xiàn)多項突破性的應(yīng)用。在視頻影像自主處理編排修復(fù)的過程中，有效減少了人工投入，在很大程度上提高了視頻制作的質(zhì)量與效率，為視頻行業(yè)的發(fā)展也帶來了諸多利好。不過在其融合過程中，也要正視人工智能技術(shù)本身的局限性，并通過更加合理的使用來確保該技術(shù)應(yīng)用的價值最大化，為視頻制作行業(yè)的進步提供更多活力。