腦科學賦能電影藝術

荊海洋

電影藝術誕生至今，向以視覺感知來滿足觀眾的精神愉悅。腦科學、計算機等科學技術的發展應用，正促使人工智能深入傳統電影制造業。腦科學、工程技術、醫學臨床技術的協同發展，讓“賽博格”式的人，不再只存在于幻想之中。同時，人類對電影藝術的感知開始從視覺感知向神經感知探索。

2024年3月，腦科學領域最負盛名的獎項“大腦獎”（Brain Prize），頒給了三位在腦科學研究領域做出重大貢獻的科學家。其中一位獲獎者特倫斯·塞諾夫斯基認為，人工智能和神經科學的發展是并行推進的。“人工智能和人類智能之間正在發生一種融合。隨著我們對大腦工作方式的了解越來越深入，這將反映在人工智能上。”

當下，科學家對大腦的研究雖然仍處在拓荒期。但是，對大腦神經元網絡的研究已經取得了一定成果。醫學上，對大腦的人工調控可以有效地控制癲癇發作，可以遏制瘋癲與癲狂。科學家可以清晰地識別腦電波，調控介質影響腦部環境。藝術上，以電影藝術為例，腦科學與計算機的結合在技術上滿足了導演對于電影視覺空間再造的需求。腦科學與計算機技術的結合發展，實現了對傳統電影制作技術的優化。

類腦計算機的圖像處理

伴隨著人工智能和腦科學的深入發展，尤其是類腦的研究，計算機具有了學習能力。最近兩年，人工智能技術的發展日新月異，其對傳統電影的挑戰涉及產業鏈方方面面。早幾年，應用于影視作品中失德藝人的“換臉技術”已不鮮見。而當下電影業最常被提及的問題便是——未來的電影還需要真人演員嗎？

計算機通過換算骨骼、骨點、肌肉之間的關系，利用其中數據，生成合乎人體性能特征的身體。同時，電影工作者希望計算機技術塑造的人體是有真實感的藝術形象、富有真人表情特征的數字形象。目前，人工智能結合動態捕捉、CG技術，已可以在一些電影中代替演員的表演。

20世紀70年代以來，腦科學和計算機技術的結合發展到圖像識別領域。以圖像識別為背景的動態捕捉技術，最初應用在美國軍方實驗室中，后來逐漸走進大眾視野。動作捕捉（Motion capture），又稱動態捕捉，是記錄并處理物體動作的技術。動態捕捉技術可以在全時空之下，可以是實時的，也可以是非實時的。同時，它可以捕捉到細微的動態和表情變化。正是源于動作捕捉的可塑性，它一直在被電影導演、藝術家使用。

電影《阿凡達》就使用了動態捕捉技術。導演詹姆斯·卡梅隆構想給片中演員換臉，這也是早期換臉技術的應用——演員的真實面孔被藍色的外星人面孔所取代。北京郵電大學數字媒體與設計藝術學院院長賈云鵬介紹，“后臺計算機通過捕捉，在演員身上裝置跟蹤點，結合面部圖像和跟蹤數據，于三維空間中塑造虛擬人物形象。然后，將相應跟蹤點的數據一一對應映射到CG角色的三維建模上，CG角色的動作就可以和演員的實際表演完美匹配。”早期的“換臉技術”通過采集模型數據和后期的CG技術，成功應用于電影的人物造型。同時，掃描的信息被計算機加工放大之后，使人物的表情更加細膩。

《阿凡達》等視效大片的制作技術突破，豐富了電影的視覺表達。2018年，《復仇者聯盟3：無限戰爭》上映，“滅霸”打破了現實與未來的界限。漫威通過一系列數據的捕捉、采集，并結合最新的人工智能軟件開發了系列藝術形象。電子文獻THE AWN在2018年刊登Trevor Hogg文章中介紹，“在這個過程中，演員需要佩戴頭盔相機以高幀數的速度收集面部信息，構建角色的三維模型，再將收集的信息分配給模型，并驅動它以生成面部動作。一旦獲得了多組數據捕捉樣本，程序即可校準數字化的‘滅霸CG模型。”2022年年底，《阿凡達：水之道》上映，團隊在真實的水下環境完成大篇幅且更高質量的動作捕捉，讓片中CG角色還原真人演員的表情和水中狀態（衣服、頭發擺動符合重力）。

人工智能通過數據庫的分析加工，有效地深度學習，強化了人物的視覺形象。不過，目前人工智能還不能完全展現真人演員的個性及情感。

類腦計算機實現圖像的解碼與重構

腦科學和計算機技術的結合，將真實的世界數字化、片段化、信息化，并通過編碼和迭代的計算機語言，實現電影藝術的媒體化轉變。電影的制作技術由傳統的電影前期延伸到電影后期，電影場景也從真實的電影場景延伸到虛擬的電影場景。虛擬的電影場景同時突破了時間和空間的限制，自由地在電影中被編輯。電影藝術作為導演精神世界的物化，用腦科學影響下的人工智能技術，從海量場景信息中獲取有效信息源，并按檢索指令，匹配不同風格的視覺藝術形象，使虛擬現實直接作用于電影制作。

科技與人的關系被現代哲學家重新定義。法國哲學家貝爾納·斯蒂格勒認為，技術可以成為人的外在器官。某種意義上講，技術的有效應用，可以促使人類世界由熵向負熵轉變。同時，技術通過對人腦的學習，呈現多樣形態。在影視界，人工智能可以打破戲里、戲外的界限，CG技術在電影中的應用，搭建了現實和虛擬的橋梁。3D全息實時影像也出現在現實生活中。《銀翼殺手2049》在2017年上映，電影主體人物是一個賽博格形象。在電影的分類中，把這一類型的電影稱為“賽博朋克”世界。“賽博朋克”世界的場景如同樂高的世界，按著導演的意圖任意組合與折疊。可編輯的賽博格形象顛覆了人體形象的框架。賽博格也出現了對于“自我認知”的誤讀。導演有意強化了兩者的矛盾，擁有人類智力和不老之身的賽博格渴求進入人類世界。而今，“腦起搏器”已植入癲癇患者的身體，人類的腦電波實現了計算機的智能調控，“賽博格”開始進入現實人類社會。

腦科學與電影藝術將突破真實界和虛擬界的鴻溝，通過多元媒介，串聯自然、人、物。可以想見，在元宇宙的世界中，腦科學既可以勾連我們的肉體，又可以幫助我們在意識中實現精神滿足。

賽博格與腦機接口的研究

電影中的賽博格形象。1985年，美國哲學家唐娜·哈拉維發表《賽博格宣言》，此后有關“人機合體”賽博格的討論便不斷地出現在哲學、社會、文化研究學者的文章中。2019年，《阿麗塔：戰斗天使》上映，其中的賽博格形象展現了導演對賽博格的認識。《北京青年報》曾報道，“造型師借用計算機的人工智能，仿生了‘阿麗塔的頭發、眉毛甚至是皮膚。在導演披露的后期資料中，賽博格形象擁有13萬根頭發、50萬根面部絨毛。在眼睛的設計中，更是用900萬個像素來設計一層虹膜。”

如今，AI技術的發展，更是讓賽博格們幾可亂真。就在最近，一段短視頻廣告在網上引起轟動，視頻中推薦產品的AI廣告人，肉眼已看不出與真人區別。4月12日，博納影業董事長于冬也表示，該公司出品的電影《傳說》即將定檔，影片運用AI技術還原了27歲的成龍。

“造夢”的腦機接口研究。科學家對腦電波的采集和調控，最初是為了滿足腦病患者的需求。在過去的三十年間，腦科學家、醫生、工程專家、計算機專家合作，在大腦認知領域取得了新成果——可以通過臨床植入“腦起搏器”的方式影響腦電波，有效遏制癲癇和帕金森病人的病情發展，提高腦病患者的生活質量。同時，可穿戴的腦電波采集裝置也通過臨床在三甲醫院推廣，實現人工智能與人腦的勾連互動。腦科學家與神經外科專家開始對迷走神經展開研究，并通過神經調控的方式，開展“造夢”實驗。未來，突破視覺藝術，觀眾真正進入神經感知領域欣賞電影，將不是夢。

21世紀以來，腦科學和計算機技術的結合，積極應用到社會發展的各個領域。正如貝爾納·斯蒂格勒所言：“數字時代，知識不再僅僅被理解為信息的共享和傳播。”腦科學之于電影藝術，由電影主題元素，拓展到影響電影的存在形式。腦科學、計算機技術、人工智能……電影持續運用科學技術創造藝術盛宴。由此，電影將以更加寬廣宏闊的方式進入我們的生活，不僅滿足觀眾的視覺愉悅，更將帶來全新的沉浸式感官體驗。

（作者單位：中國廣播影視出版社有限公司）