曹 帥,張依朵,宗欣沂
(金陵科技學(xué)院動(dòng)漫學(xué)院,江蘇 南京 211169)
隨著科學(xué)技術(shù)的高度發(fā)展和人們生活質(zhì)量的提高,影視產(chǎn)業(yè)蓬勃發(fā)展,影視動(dòng)畫已經(jīng)逐漸成為豐富人們?nèi)粘蕵?lè)和文化交流的一種重要途徑。國(guó)產(chǎn)動(dòng)畫隨著技術(shù)發(fā)展,受眾人群逐漸擴(kuò)大,動(dòng)作捕捉技術(shù)應(yīng)用于國(guó)產(chǎn)動(dòng)畫中的虛擬場(chǎng)景加快了國(guó)產(chǎn)動(dòng)畫的發(fā)展進(jìn)程,使得影視動(dòng)畫效果更加豐富多彩,動(dòng)作更加精確真實(shí)。
在20 世紀(jì)時(shí),動(dòng)作捕捉概念已初現(xiàn)雛形。波蘭裔動(dòng)畫大師馬克思·弗萊舍發(fā)明了一項(xiàng)轉(zhuǎn)描機(jī)技術(shù),這種動(dòng)畫技術(shù)是將預(yù)先拍好的電影放到毛玻璃上,動(dòng)畫藝術(shù)家再逐幀繪制具有真實(shí)運(yùn)動(dòng)的動(dòng)畫畫面。在早期的動(dòng)畫影史中,貝蒂小姐的舞蹈動(dòng)作和《格列佛游記》中格列佛的動(dòng)畫都有用到轉(zhuǎn)描機(jī)技術(shù)進(jìn)行塑造,不過(guò)那時(shí)期的動(dòng)作捕捉是藝術(shù)家手工“捉出來(lái)”的,這是動(dòng)作捕捉最原始的形式,也可以說(shuō)成是動(dòng)作捕捉的先驅(qū)[1]。
轉(zhuǎn)描機(jī)技術(shù)給動(dòng)畫的靈動(dòng)性帶來(lái)了飛躍性的提升。1937 年,迪士尼細(xì)致有效地將轉(zhuǎn)描機(jī)技術(shù)應(yīng)用到了《白雪公主》的電影當(dāng)中,這是歷史上首部運(yùn)用轉(zhuǎn)描機(jī)技術(shù)生成的長(zhǎng)篇?jiǎng)赢嬜髌贰?941 年,上海美術(shù)電影制片廠在《鐵扇公主》中將轉(zhuǎn)描機(jī)技術(shù)進(jìn)行創(chuàng)新,后在海內(nèi)外獲得一致好評(píng)。由于轉(zhuǎn)描機(jī)技術(shù)所需人力和時(shí)間成本較高,其替代技術(shù)也隨之迅速發(fā)展起來(lái),生物力實(shí)驗(yàn)室開(kāi)始使用計(jì)算機(jī)分析人類動(dòng)作,現(xiàn)代動(dòng)作捕捉技術(shù)也終于找到自己的一席之地,而轉(zhuǎn)描機(jī)技術(shù)主要用來(lái)學(xué)習(xí)人物和動(dòng)物的動(dòng)作,而不是直接描摹制作電影。
20 世紀(jì)70 年代后期,紐約技術(shù)學(xué)院計(jì)算機(jī)繪圖實(shí)驗(yàn)室瑞貝卡·艾倫(Rebecca Allen) 教授設(shè)計(jì)了一種水銀鏡子,可以將錄像帶上演員的影像投射到計(jì)算機(jī)的顯示器,作為動(dòng)畫關(guān)鍵幀的參考。計(jì)算機(jī)技術(shù)的迅速發(fā)展,給許多行業(yè)都帶來(lái)福音,時(shí)至今日還熱度不減的光學(xué)追蹤技術(shù)能實(shí)現(xiàn)真實(shí)的渲染效果。1972 年前后,光學(xué)追蹤為渲染某一場(chǎng)景首次出現(xiàn)在大眾視野里。1982 年時(shí),麻省理工和紐約理工學(xué)院同時(shí)利用光學(xué)追蹤技術(shù)記錄人體數(shù)據(jù)[2]。光學(xué)追蹤技術(shù)不斷發(fā)展,隨著現(xiàn)代科技的進(jìn)步逐漸成熟。
1980 年,Tomcalvert 教授首先在舞臺(tái)舞蹈設(shè)計(jì)和運(yùn)動(dòng)異常的臨床評(píng)估中使用了“機(jī)械版動(dòng)作捕捉系統(tǒng)”,他在計(jì)算機(jī)中安裝了多個(gè)電位器并使用人體動(dòng)作輸出的數(shù)據(jù)來(lái)驅(qū)動(dòng)動(dòng)畫形象。Calvert 和他的團(tuán)隊(duì)利用電位器對(duì)膝關(guān)節(jié)區(qū)域進(jìn)行了重點(diǎn)研究,并將“模仿系統(tǒng)”中的動(dòng)作數(shù)據(jù)進(jìn)行數(shù)字化后的輸出轉(zhuǎn)換,發(fā)送到計(jì)算機(jī)動(dòng)畫系統(tǒng)中。這說(shuō)明,動(dòng)態(tài)的捕捉對(duì)象不僅可以是演員的動(dòng)作,還可以包括非生物的物體運(yùn)動(dòng)、演員的表情、相機(jī)及燈光的應(yīng)用等。生物力學(xué)研究為未來(lái)的影視制作發(fā)展鋪平了道路,在接下來(lái)的幾十年中,當(dāng)動(dòng)作捕捉與計(jì)算機(jī)圖形技術(shù)相遇時(shí),動(dòng)作數(shù)據(jù)的易獲得性使得動(dòng)作捕捉技術(shù)快速發(fā)展,繼續(xù)被完善,并在日后得以大規(guī)模地應(yīng)用到各個(gè)影視動(dòng)畫及游戲行業(yè)中。
目前發(fā)展前景最好的兩大動(dòng)作捕捉技術(shù):慣性動(dòng)作捕捉技術(shù)和光學(xué)式動(dòng)作捕捉技術(shù)。這兩種動(dòng)作捕捉技術(shù)各有優(yōu)勢(shì),慣性動(dòng)作捕捉能實(shí)時(shí)跟蹤和采集人體運(yùn)動(dòng)數(shù)據(jù),相比較光學(xué)式中的以照相機(jī)為測(cè)量系統(tǒng)和發(fā)射器帶來(lái)的局限,慣性動(dòng)作捕捉顯得更為便捷。但在使用環(huán)境上,慣性動(dòng)作捕捉的傳感器長(zhǎng)時(shí)間暴露在磁場(chǎng)中可能會(huì)導(dǎo)致傳感器磁化,慣性動(dòng)作捕捉的誤差也會(huì)隨著時(shí)間的累積增加。故此,慣性動(dòng)作捕捉不僅要遠(yuǎn)離存在的環(huán)境,精度也比不上光學(xué)式動(dòng)作捕捉,好在這些弱點(diǎn)可以通過(guò)軟件進(jìn)行后期修正[3]。
考慮到慣性動(dòng)作捕捉相比光學(xué)式動(dòng)作捕捉有價(jià)格上的優(yōu)勢(shì),在一些對(duì)精度要求不那么高的領(lǐng)域,往往會(huì)選擇慣性動(dòng)作捕捉技術(shù)。
如前所述,動(dòng)作捕捉技術(shù)是記錄物體動(dòng)態(tài)信息以供分析、回放及傳遞的一種體感交互技術(shù),這項(xiàng)技術(shù)現(xiàn)在廣泛應(yīng)用于電影制作和游戲開(kāi)發(fā)領(lǐng)域,在一般情況下,技術(shù)人員是將真人的動(dòng)作表演轉(zhuǎn)換為數(shù)字演員的動(dòng)作表演。動(dòng)作捕捉通過(guò)記錄人類的軀體信息,演員將接收傳感器佩戴在身體關(guān)鍵部位,記錄身體關(guān)節(jié)的空間位置以及肌肉群的細(xì)致運(yùn)動(dòng),在得到運(yùn)動(dòng)物體的位置、角度、速度、加速度和沖量等相對(duì)精確的移動(dòng)數(shù)據(jù)后再應(yīng)用到三維軟件中的模型骨骼及面部驅(qū)動(dòng)點(diǎn)上,數(shù)字演員就可以相對(duì)精確地移動(dòng)。因?yàn)檫@樣的原因,運(yùn)動(dòng)跟蹤也有匹配移動(dòng)的叫法。
運(yùn)用動(dòng)作捕捉技術(shù)制作的3D 真人CG 動(dòng)畫,不僅大異于傳統(tǒng)手繪2D 動(dòng)畫,也與此前流行的三維(3D) CG 動(dòng)畫風(fēng)格很不相同。相較2D 和傳統(tǒng)3D,真人CG 技術(shù)更適合工業(yè)化,它追求呈現(xiàn)的效果也極接近真實(shí)。這可以大大提高動(dòng)畫的質(zhì)量,并讓觀眾更加容易產(chǎn)生共鳴。
例如國(guó)產(chǎn)動(dòng)畫電影《爵跡》,是中國(guó)首個(gè)全真人的CG 電影,制作團(tuán)隊(duì)主要采用動(dòng)作捕捉技術(shù)和渲染技術(shù)。據(jù)統(tǒng)計(jì),拍攝現(xiàn)場(chǎng)約有60 臺(tái)高清相機(jī),按照位置形成一個(gè)球形掃描區(qū)域,進(jìn)行掃描時(shí),演員們按照劇本完成電影角色的動(dòng)作,依次擺出至少150 種不同的表情,這些表情的捕捉對(duì)于后期角色的表情呈現(xiàn)給予了極大的幫助[4]。實(shí)際上拍攝都是在綠幕上完成的,為此需要演員自己幻想劇本中的場(chǎng)景和畫面,后期通過(guò)CG 技術(shù)完成虛擬場(chǎng)景的合成,既可以營(yíng)造強(qiáng)烈的科技氛圍感,又可以制作出宏大世界觀的虛擬場(chǎng)景,逼真的動(dòng)畫和特效讓觀眾能夠更加身臨其境地感受奇幻場(chǎng)景。
《秦時(shí)明月》《大圣歸來(lái)》《白蛇:緣起》《白蛇2:青蛇劫起》 等優(yōu)秀動(dòng)畫作品都使用了動(dòng)作捕捉技術(shù)。使用動(dòng)作捕捉技術(shù)對(duì)真人演員的動(dòng)作進(jìn)行捕捉、記錄和轉(zhuǎn)換,演員需要進(jìn)行多次的拍攝和演練,以使得虛擬角色的動(dòng)作更加真實(shí)準(zhǔn)確、流暢自然。另外,使用動(dòng)作捕捉技術(shù)可以大大減少制作時(shí)間和人力成本,并提高動(dòng)畫的制作效率。此外,《凡人修仙傳》還為人物微表情開(kāi)發(fā)了一套無(wú)標(biāo)記點(diǎn)的面部動(dòng)畫的捕捉工具,利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取演員表演面部表情的一個(gè)特征,并且把它抽象成了網(wǎng)絡(luò)的隱藏空間特征,再使用大量的視頻數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò),這項(xiàng)技術(shù)通過(guò)提取演員視頻中的表演,將動(dòng)作、表情等信息轉(zhuǎn)變?yōu)閿?shù)據(jù),運(yùn)用到CG 角色上,實(shí)現(xiàn)了角色面部動(dòng)畫控制器的直接映射。
動(dòng)作捕捉技術(shù)可以應(yīng)用于電影預(yù)演,這種方法稱為“預(yù)演動(dòng)作捕捉”或“前視動(dòng)作捕捉”。電影預(yù)演是電影制作的一個(gè)關(guān)鍵步驟,用于確定場(chǎng)景和角色的位置、動(dòng)作和燈光等細(xì)節(jié),以及探索視覺(jué)效果和情感表達(dá)。傳統(tǒng)的電影預(yù)演在實(shí)際場(chǎng)地進(jìn)行,需要大量的時(shí)間和成本,并且無(wú)法在現(xiàn)場(chǎng)實(shí)時(shí)調(diào)整。使用預(yù)演動(dòng)作捕捉技術(shù)可以有效解決這些問(wèn)題。
預(yù)演動(dòng)作捕捉通常使用無(wú)線慣性測(cè)量單元(Inertial Measurement Unit,IMU) 或相機(jī)系統(tǒng)來(lái)記錄演員的動(dòng)作,然后將數(shù)據(jù)轉(zhuǎn)換為虛擬環(huán)境中的角色動(dòng)作。這使得制作團(tuán)隊(duì)可以在虛擬環(huán)境中進(jìn)行預(yù)演,變換不同的攝影角度和燈光設(shè)置,并快速調(diào)整演員的動(dòng)作和表情。預(yù)演動(dòng)作捕捉還可以在實(shí)際拍攝前為演員提供更好的訓(xùn)練和準(zhǔn)備,從而提高拍攝效率和質(zhì)量,還可以為電影帶來(lái)更多創(chuàng)新和可能。
預(yù)演動(dòng)作捕捉技術(shù)已經(jīng)被廣泛應(yīng)用于電影制作中,例如《阿凡達(dá)》《指環(huán)王》《變形金剛》等大片中都使用了預(yù)演動(dòng)作捕捉技術(shù)。然而,預(yù)演動(dòng)作捕捉技術(shù)也存在一些挑戰(zhàn)和限制。例如,現(xiàn)有的技術(shù)仍然無(wú)法完全捕捉到演員的表情和情感,需要借助人工制作和修飾。此外,預(yù)演動(dòng)作捕捉還需要大量的技術(shù)和人力投入,特別是在場(chǎng)景和角色復(fù)雜的情況下。因此,在未來(lái)的研究和應(yīng)用中,需要繼續(xù)改進(jìn)和創(chuàng)新技術(shù),以更好地滿足電影制作的需求。
動(dòng)作捕捉技術(shù)可以應(yīng)用于虛擬拍攝,這種方法稱為“虛擬攝影”或“數(shù)字化拍攝”。傳統(tǒng)的電影拍攝需要在實(shí)際場(chǎng)地進(jìn)行,需要大量的時(shí)間和成本,并且受到天氣、時(shí)間和地點(diǎn)等因素的限制。而虛擬攝影使用動(dòng)作捕捉技術(shù)和計(jì)算機(jī)圖形學(xué)技術(shù),可以在虛擬環(huán)境中模擬實(shí)際場(chǎng)景進(jìn)行拍攝和制作。
虛擬攝影通常涉及3 個(gè)主要的技術(shù):動(dòng)作捕捉技術(shù)、虛擬布景技術(shù)和實(shí)時(shí)渲染技術(shù)。動(dòng)作捕捉技術(shù)用于記錄演員的動(dòng)作和表情,虛擬布景技術(shù)用于創(chuàng)建虛擬場(chǎng)景和角色,實(shí)時(shí)渲染技術(shù)用于實(shí)時(shí)顯示和渲染虛擬環(huán)境。這些技術(shù)的結(jié)合可以實(shí)現(xiàn)高質(zhì)量、高效率、低成本的虛擬拍攝。
虛擬攝影已經(jīng)被廣泛應(yīng)用于電影、電視、游戲等娛樂(lè)產(chǎn)業(yè)中。例如,《權(quán)力的游戲》《阿凡達(dá)》《星球大戰(zhàn)》 等優(yōu)秀的影視作品,以及《使命召喚》《絕地求生》等游戲作品,都使用了虛擬攝影技術(shù),不僅可以提高拍攝效率和質(zhì)量,還可以為創(chuàng)作者提供更多的創(chuàng)意和可能。
但現(xiàn)有的技術(shù)仍然無(wú)法完全模擬真實(shí)的物理環(huán)境和光照效果,需要借助人工制作和修飾以及大量的技術(shù)和人力投入,特別是在場(chǎng)景和角色復(fù)雜的情況下。
隨著元宇宙的興起,動(dòng)作捕捉技術(shù)也開(kāi)始在這一領(lǐng)域得到廣泛應(yīng)用。元宇宙是一個(gè)虛擬的數(shù)字世界,包括虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、游戲、社交網(wǎng)絡(luò)等多種形式,是一個(gè)具有無(wú)限潛力的數(shù)字化空間。
動(dòng)作捕捉技術(shù)可以在元宇宙中實(shí)現(xiàn)身體動(dòng)作和表情的自然記錄和表達(dá),從而提高虛擬角色的真實(shí)感和沉浸感。例如,在元宇宙游戲中,玩家可以使用身體動(dòng)作來(lái)控制游戲中角色的動(dòng)作,而動(dòng)作捕捉技術(shù)可以記錄這些動(dòng)作并將其轉(zhuǎn)化為虛擬角色的動(dòng)作,從而提高游戲的沉浸感。此外,動(dòng)作捕捉技術(shù)還可以用于元宇宙中的社交互動(dòng)。例如,虛擬聚會(huì)或會(huì)議可以提高參與者之間的互動(dòng)效果和溝通效果。
動(dòng)作捕捉技術(shù)仍需要進(jìn)一步改進(jìn)和創(chuàng)新,以滿足元宇宙的不斷發(fā)展和變化。例如,開(kāi)發(fā)更為便攜、高效、準(zhǔn)確的動(dòng)作捕捉設(shè)備,提高動(dòng)作捕捉技術(shù)的精度和穩(wěn)定性,以及更好地整合動(dòng)作捕捉技術(shù)和人工智能等技術(shù),以實(shí)現(xiàn)更加智能化、自然化的虛擬互動(dòng)。
動(dòng)作捕捉技術(shù)可以用于虛擬場(chǎng)景和虛擬現(xiàn)實(shí)技術(shù)中,創(chuàng)建逼真的虛擬場(chǎng)景,使用戶可以在虛擬環(huán)境中體驗(yàn)和學(xué)習(xí)傳統(tǒng)文化。例如,動(dòng)作捕捉技術(shù)可以精確地記錄、保存和傳播傳統(tǒng)文化表演,如中國(guó)武術(shù)、舞蹈、京劇等,這可以幫助保護(hù)傳統(tǒng)文化,技術(shù)可介入具有中國(guó)傳統(tǒng)文化元素的動(dòng)畫、游戲等作品創(chuàng)作,使更多人了解和學(xué)習(xí)傳統(tǒng)文化,同時(shí)可以使用虛擬現(xiàn)實(shí)設(shè)備體驗(yàn)武術(shù)、太極等,有助于中國(guó)傳統(tǒng)文化的傳承。例如,游戲《大鬧天宮》、動(dòng)畫《武庚紀(jì)》《封神演義》等都采用了動(dòng)作捕捉技術(shù),技術(shù)使游戲、動(dòng)畫中的角色動(dòng)作更加真實(shí)、流暢,增強(qiáng)了視覺(jué)效果和觀賞性。同時(shí),角色形象、場(chǎng)景設(shè)計(jì)等也融入了中國(guó)傳統(tǒng)文化元素,如孫悟空的造型,天宮的建筑,各種神仙、妖魔、武器等為中國(guó)傳統(tǒng)文化的傳承和推廣做出了貢獻(xiàn)。
一是國(guó)內(nèi)的動(dòng)作捕捉技術(shù)相對(duì)于國(guó)外技術(shù)而言略有不足,能夠投入使用的規(guī)模小。例如《最終幻想》《貝吉特快》《黑客帝國(guó)動(dòng)畫版》3D 短片以及國(guó)產(chǎn)動(dòng)畫《秦時(shí)明月》《眷思量》等,都在角色的動(dòng)作制作方面運(yùn)用了動(dòng)作捕捉技術(shù),使得這幾部動(dòng)畫中角色的動(dòng)作表演都接近真人動(dòng)作。包括上文提到的《爵跡》,寫實(shí)程度幾乎貼合電影,但動(dòng)作還是無(wú)法達(dá)到現(xiàn)實(shí)生活中的自然程度,角色的動(dòng)作也沒(méi)有表現(xiàn)得太鮮活或充滿“趣味性”。任意一個(gè)動(dòng)作在大自然中都飽含無(wú)窮無(wú)盡的運(yùn)動(dòng)軌跡,這就是大自然的獨(dú)特魅力,也是計(jì)算機(jī)技術(shù)無(wú)法超越的。目前,“動(dòng)作捕捉器”在70%數(shù)據(jù)處理方面存在局限性,因此就算用再高超的計(jì)算機(jī)計(jì)算或根據(jù)動(dòng)作捕捉器的數(shù)據(jù)模擬生成動(dòng)作,做得再真實(shí)也是受硬件限制,會(huì)怎么看都有些機(jī)器的“冰冷”,顯得生硬[5]。
二是動(dòng)作捕捉的制作成本相對(duì)較高,需要投入大量資金作為技術(shù)支撐。動(dòng)作捕捉技術(shù)需要使用專業(yè)的硬件和軟件設(shè)備,成本較高。特別是對(duì)于一些小型動(dòng)畫制作公司來(lái)說(shuō),購(gòu)買和維護(hù)這些設(shè)備可能會(huì)成為一項(xiàng)巨大的財(cái)務(wù)負(fù)擔(dān)。另外,雖然動(dòng)作捕捉技術(shù)可以快速捕捉人物動(dòng)作,但可能無(wú)法完全捕捉角色的某些特定動(dòng)作或特殊效果,在后期制作中進(jìn)行修改和編輯可能需要更多的時(shí)間和精力。因此,國(guó)內(nèi)相當(dāng)多的動(dòng)畫制作團(tuán)隊(duì)為了節(jié)約成本,只能延長(zhǎng)制作周期,選擇相對(duì)傳統(tǒng)的手K 逐幀動(dòng)畫,由此動(dòng)作捕捉技術(shù)未廣泛運(yùn)用,部分觀眾群體對(duì)這一技術(shù)呈現(xiàn)的視覺(jué)體驗(yàn)有所缺失。
三是技術(shù)依賴性。動(dòng)作捕捉技術(shù)需要專業(yè)的技術(shù)人員進(jìn)行操作和維護(hù),制作團(tuán)隊(duì)必須具備相關(guān)技術(shù)和知識(shí)。如果沒(méi)有足夠的技術(shù)支持,可能會(huì)影響制作的進(jìn)程和質(zhì)量。例如,上文所提到的《爵跡》系列動(dòng)畫雖然票房可觀,但口碑卻不如預(yù)期。過(guò)于真實(shí)的角色造型和動(dòng)作反而失去了動(dòng)畫應(yīng)該有的趣味性和藝術(shù)性,因此觀眾接受度不高。
通過(guò)本文的分析可以看出,動(dòng)作捕捉技術(shù)在國(guó)產(chǎn)動(dòng)畫虛擬場(chǎng)景中的運(yùn)用已經(jīng)成為越來(lái)越流行的趨勢(shì),它為動(dòng)畫制作提供了一種高效、精確和創(chuàng)新的手段,使得制作的動(dòng)畫作品更加真實(shí)、流暢,提高了作品的觀賞性和藝術(shù)價(jià)值。
動(dòng)作捕捉技術(shù)的運(yùn)用不僅使得動(dòng)畫制作更加高效和成本更加節(jié)約,同時(shí)也為創(chuàng)作者提供了更高的創(chuàng)作自由度和更多的可能性,使得創(chuàng)作者可以更加專注于作品的創(chuàng)意和藝術(shù)表現(xiàn)。同時(shí),動(dòng)作捕捉技術(shù)也為中國(guó)傳統(tǒng)文化的傳承和推廣提供了新的途徑和手段,創(chuàng)作出一系列具有中國(guó)傳統(tǒng)文化元素的優(yōu)秀動(dòng)畫作品,為中國(guó)傳統(tǒng)文化于國(guó)際上的傳播做出了貢獻(xiàn)。
然而,動(dòng)作捕捉技術(shù)在國(guó)產(chǎn)動(dòng)畫虛擬場(chǎng)景中的應(yīng)用仍然存在著一些劣勢(shì)和不足,存在對(duì)動(dòng)作捕捉設(shè)備的要求較高、后期制作和調(diào)整成本較高等問(wèn)題,這些問(wèn)題需要制作團(tuán)隊(duì)在應(yīng)用動(dòng)作捕捉技術(shù)時(shí)予以重視和解決。
在未來(lái)的發(fā)展中,動(dòng)作捕捉技術(shù)在國(guó)產(chǎn)動(dòng)畫虛擬場(chǎng)景中的應(yīng)用還有很大的發(fā)展空間和潛力,需要制作團(tuán)隊(duì)不斷探索創(chuàng)新、克服問(wèn)題,將動(dòng)作捕捉技術(shù)應(yīng)用得更加完善和成熟。