AI影視制作新時(shí)代

如今，隨著AIGC技術(shù)不斷發(fā)展，數(shù)字人需求正在迎來(lái)階梯性的增長(zhǎng)，目前已廣泛應(yīng)用在包括直播、游戲、影視、短視頻等多個(gè)業(yè)務(wù)場(chǎng)景中，為這些行業(yè)發(fā)展起到了降本增效的作用。聚力維度成立于2016年，一直致力于數(shù)字人創(chuàng)新技術(shù)研發(fā)。早在2014年我們就開(kāi)始涉足AI與影視制作的研究。當(dāng)時(shí)主要是運(yùn)用計(jì)算機(jī)視覺(jué)技術(shù)，在影視行業(yè)進(jìn)行后期制作相關(guān)工作，一直想將人工智能技術(shù)全面應(yīng)用于影視制作的全流程。經(jīng)過(guò)幾輪人工智能技術(shù)革新和浪潮，我們現(xiàn)在已經(jīng)非常接近這個(gè)目標(biāo)。2021年，由聚力維度全面研發(fā)的人工智能數(shù)字人驅(qū)動(dòng)引擎“賽博演猿”正式推出。

讓影視制作更簡(jiǎn)單高效

“賽博演猿”的推出，主要是基于我們?cè)谏钊胙芯坑耙曅袠I(yè)的成本構(gòu)成后，發(fā)現(xiàn)其中最主要的成本來(lái)源是將人物畫面置入虛擬場(chǎng)景拍攝。因?yàn)椋瑐鹘y(tǒng)的影視制作通常有兩種方式——實(shí)拍結(jié)合后期制作和純虛擬動(dòng)畫制作，這個(gè)過(guò)程還包括原畫設(shè)計(jì)、建模、后期渲染等步驟。盡管這些方式能制作高質(zhì)量影視作品，但成本高昂且制作周期長(zhǎng)。

為了解決這個(gè)問(wèn)題，我們提出了一種全新制作思路。這一思路以AIGC數(shù)字人為核心，在元宇宙的3D數(shù)字世界中拍攝，形成一種新型AI影視制作工具，結(jié)合鏡頭、燈光等交互工具，就能夠?qū)崿F(xiàn)數(shù)字化直接拍攝，既可以直播，也可以錄制電影。

我們的研究與Sora在核心目標(biāo)上存在共鳴，都期望AI成為生產(chǎn)力主體，而非僅作為輔助工具。在研究AI技術(shù)對(duì)于影視行業(yè)的應(yīng)用時(shí)，很多人認(rèn)為，僅僅在現(xiàn)有人工流程中嵌入AI環(huán)節(jié)，可能無(wú)法充分發(fā)揮AI潛力。我們堅(jiān)信，真正的AI影視制作應(yīng)當(dāng)是一個(gè)多模態(tài)過(guò)程，不限于文字和像素的輸入和輸出，還包括聲音、情緒表達(dá)和肢體動(dòng)作等方面。因此，我們致力于開(kāi)發(fā)一個(gè)多模態(tài)制作流程，從而更全面地展現(xiàn)創(chuàng)作者意圖和情感。

在AI輸出方面，我們希望輸出的是結(jié)構(gòu)化圖形，而不是單純像素，所以決定在生成數(shù)字人時(shí)，采納多模態(tài)生成方式。例如，在塑造人臉時(shí)，相較于煩瑣的文字描述，圖像描述更為直觀，若需對(duì)鼻子進(jìn)行微調(diào)，使其高度增加，通過(guò)鼠標(biāo)直接拖拽調(diào)整顯然更為高 效。

值得一提的是，我們的方法與Sora有所不同，這得益于對(duì)成本的優(yōu)化。首先，數(shù)字人與真人相比，無(wú)須承擔(dān)吃、住、行等相應(yīng)成本支出；其次，在虛擬環(huán)境中拍攝虛擬場(chǎng)景，成本也低于現(xiàn)實(shí)世界的實(shí)景拍攝成本，甚至都不用后期制作。因此，通過(guò)AI協(xié)助，既能夠?qū)⒊杀窘档停材艽_保電影級(jí)畫質(zhì)。

讓每個(gè)人都能成為導(dǎo)演

目前，我們的核心技術(shù)主要圍繞數(shù)字人的生成與應(yīng)用，包括其來(lái)源、建模、語(yǔ)音及動(dòng)作制作等方面，并且已經(jīng)將數(shù)字人集成至虛擬拍攝軟件中，以實(shí)現(xiàn)更高效的創(chuàng)作過(guò)程。

在技術(shù)研發(fā)方面，我們最先研究的是通過(guò)視覺(jué)捕捉技術(shù)來(lái)解決表演問(wèn)題。通過(guò)該技術(shù)，無(wú)須演員參與，即可實(shí)現(xiàn)高質(zhì)量視覺(jué)捕捉效果。可以說(shuō)，在全球范圍內(nèi)，在這一領(lǐng)域的技術(shù)水平處于領(lǐng)先地位。這項(xiàng)技術(shù)不僅為后續(xù)AI直接生成動(dòng)作提供了前置支持，并且不管是細(xì)微的表情，還是比較夸張的表情，以及手指活動(dòng)，都可以用AI精準(zhǔn)捕捉。通過(guò)拉遠(yuǎn)鏡頭，我們的技術(shù)還能進(jìn)行全身精準(zhǔn)捕捉，其中涉及肩膀和胯部的捕捉尤為精準(zhǔn)，同時(shí)實(shí)現(xiàn)了對(duì)腳部在地面滑動(dòng)的細(xì)膩捕捉。此外，還能根據(jù)輸入的文字生成聲音，并生成與文字相匹配的表情和口型，為演員提供更為便捷的表演方式。

關(guān)于數(shù)字人的產(chǎn)生，推出了數(shù)字人AI生產(chǎn)端平臺(tái)——賽博演猿，其具備隨機(jī)生成、圖像生成和文字生成功能。生成的數(shù)字人不是靜態(tài)圖片，而是可以被驅(qū)動(dòng)的實(shí)體。以圖像生成為例，用戶可通過(guò)此功能自動(dòng)生成與自身相似的圖像，并通過(guò)鼠標(biāo)鍵盤或文字指令調(diào)整數(shù)字人的面部特征，如鼻子寬度等，并且無(wú)版權(quán)及法律風(fēng)險(xiǎn)。例如，影視劇導(dǎo)演可以根據(jù)作品需求生成各類角色，如男女主角、男女配角等，還可以實(shí)現(xiàn)實(shí)時(shí)更換。此外，數(shù)字拍攝的優(yōu)勢(shì)在于快速調(diào)用和特效生成，使電影特效制作變得輕而易舉，像不同的天氣效果、穿墻效果等都可以實(shí)現(xiàn)一鍵切換、一鍵調(diào)用。雖然我們目前主要拍攝動(dòng)畫片，但隨著技術(shù)不斷成熟，預(yù)計(jì)在2025年，在影視制作中的渲染效果將實(shí)現(xiàn)與實(shí)拍效果無(wú)縫銜接。在此過(guò)程中，需要始終確保數(shù)據(jù)內(nèi)容的結(jié)構(gòu)化，并實(shí)現(xiàn)與虛擬對(duì)象的交互。

打造AI影視產(chǎn)業(yè)新生態(tài)

在內(nèi)容創(chuàng)作方面，還積極探索AI在短劇制作中的應(yīng)用。雖然傳統(tǒng)短劇制作成本高，但通過(guò)AI技術(shù)創(chuàng)新，在降低成本的同時(shí)，將實(shí)現(xiàn)單人獨(dú)立制作短劇的目標(biāo)。這一舉措不僅體現(xiàn)了對(duì)技術(shù)創(chuàng)新的追求，也展示了在提升內(nèi)容生產(chǎn)效率和降低成本方面的決心。

今年，將加大在影視劇內(nèi)容制作方面的技術(shù)研發(fā)力度，最終目標(biāo)是實(shí)現(xiàn)“個(gè)人日產(chǎn)10分鐘影視級(jí)內(nèi)容”的目標(biāo)。如果影視劇制作能像小說(shuō)創(chuàng)作一樣，實(shí)現(xiàn)個(gè)人日產(chǎn)數(shù)分鐘影視內(nèi)容，其影響將會(huì)是顛覆性的。以前，在面向企業(yè)的服務(wù)中，往往是按要求為客戶用AI技術(shù)制作企業(yè)宣傳片或節(jié)目，但隨著技術(shù)不斷進(jìn)步，AI化趨勢(shì)日益明顯，客戶對(duì)全流程AI制作的需求也日益迫切。

特別是在直播方面，利用數(shù)字人作為企業(yè)宣傳主持人，或是作為帶領(lǐng)大家進(jìn)行文旅體驗(yàn)的主播，等等，流量都非常亮眼。近期，我們?yōu)槿嵌汛蛟炝艘豁?xiàng)創(chuàng)新體驗(yàn)，此項(xiàng)體驗(yàn)的核心在于攝像頭技術(shù)。觀眾將有機(jī)會(huì)通過(guò)攝像頭，實(shí)時(shí)控制數(shù)字人的表情與動(dòng)作，展開(kāi)一場(chǎng)別開(kāi)生面的互動(dòng)之旅。

值得一提的是，我們還推出了一項(xiàng)創(chuàng)新功能，即利用圖片生成個(gè)人臉部模型，與IP角色進(jìn)行互動(dòng)。為了更廣泛地推廣這一技術(shù)，建立了數(shù)字人標(biāo)準(zhǔn)，使得第三方創(chuàng)作者也能將自己的數(shù)字人導(dǎo)入平臺(tái)，希望最終能夠賦能幾十萬(wàn)企業(yè)和千千萬(wàn)萬(wàn)個(gè)人創(chuàng)作者。當(dāng)下，我們正在推動(dòng)“數(shù)字橫店計(jì)劃”，致力于打造一個(gè)虛擬影視產(chǎn)業(yè)生態(tài)。盡管AI生成的3D模型目前尚未達(dá)到影視級(jí)別，但我們相信，隨著技術(shù)不斷進(jìn)步，這一愿景將成為現(xiàn)實(shí)。

我們對(duì)未來(lái)充滿期待，希望在2024年能夠推出一系列全球領(lǐng)先的AI電視劇、電影等作品。隨著AI技術(shù)不斷發(fā)展，更加有信心將這些作品推向更廣闊的舞臺(tái)。W

（作者趙天奇系北京聚力維度科技有限公司創(chuàng)始人、 CEO）