AIGC 技術在人工智能電影創作中的應用策略研究

陳焱松

北京師范大學藝術與傳媒學院，北京 100875

1 人工智能電影的概念

在人工智能（AI）及其相關支撐技術不斷發展迭代的當下，人工智能電影（Artificial Intelligence Film）成為一種對電影未來形態的想象，成為一種“由來已久卻又不斷生出新增內容的動態指涉”[1]。在這個指涉過程中，人工智能電影實際上不斷與人工智能技術進行耦合關系建構，并呈現出內涵與外延的復雜樣態。

目前學界對于人工智能電影的概念定義往往從兩個維度進行界定，一方面是作為電影的人工智能，即電影敘事內容以人工智能為題材，涉及到了數字人角色、科幻母題探討、AI 主導社會形態等多個層面，諸如《大都會》（Metropolis，1927）、《2001：太空漫游》（2001: A Space Odyssey，1968）、《銀翼殺手》（Blade Runner，1982）、《人工智能》（Artificial Intelli-gence:AI，2001），《她》（Her，2013）等都展現了人工智能要素對于電影藝術的參與式滲透。另一方面則是作為人工智能的電影，即人工智能技術參與到電影創作形式與流程中，“由人工智能算法自動生成劇本或輔助完成視聽工作流程的電影”[2]。

學者李巖認為，作為人工智能的電影大致分為兩種形式，一種是人類僅提供訓練模型和初始調參，由算法獨立自行完成的影像作品，另一種是以提升影像制作的生產力或創造力為目標，由人類作者以AI 算法為工具而完成的影像作品[2]。兩種邏輯都彰顯出人工智能生成方式對于電影的藝術介入，只是在創作的獨立性和輔助性程度上有所區別。因此，作為人工智能的電影，其核心是針對人工智能生成方式的探討，也就是說本文所提出的“人工智能電影”實際上是對“作為人工智能的電影”的統一稱謂。

2 AIGC 技術發展對于電影創作的影響

2.1 人工智能技術發展的四個階段

人工智能概念自1956 年在達特茅斯會議被首次提出之后，逐漸成為一門涉及廣泛的計算機交叉學科及前沿科學，但其核心意旨仍然是讓作為機器的計算機能夠像人一樣思考。在人工智能的發展歷程中，這種思考路徑不斷迭代更新，主要表現為四個重要階段。

第一階段為早期發展時期，出現在20 世紀50 年代中期至60 年代末期，聚焦于將邏輯推理能力賦予計算機系統，出現了包括機器定理證明、跳棋程序、表處理語言（List Processing，LISP)等一系列內容；第二階段為知識工程時期，出現在20 世紀70 年代初期至80年代末期，聚焦于知識表達的應用問題，由此出現模擬人類專家的知識和經驗解決特定領域問題的專家系統，同時也提出了卷積神經網絡（CNN），促使人工智能技術進一步走向實用化；第三階段為機器學習（ML）時期，出現在20 世紀90 年代至21 世紀初期，聚焦于利用計算機對數據進行分析的理論和方法，利用經驗改善系統自身的能力，出現了監督學習(Supervised Learning，SL)、無監督學習(Unsupervised Learning，UL)、強化學習(Reinforcement Learning，RL)等眾多理論，進而出現包括1997 年IBM 深藍超級計算機戰勝了國際象棋世界冠軍卡斯帕羅夫在內的一系列標志性事件；第四階段為深度學習（DL）時期，出現在2010年至今，伴隨大數據、云計算、互聯網、物聯網等信息技術發展及泛在感知數據和圖形處理器等計算平臺的推動，以深度神經網絡（DNN）為代表的人工智能技術飛速發展，大幅跨越了科學與應用之間的“技術鴻溝”。

其中，所謂的深度神經網絡的計算過程一般是從最左側的輸入層開始，從左往右計算，逐層向前直到最右側的輸出層產生運算結果。如果結果值和目標值有差距，再從右往左算，逐層向后計算每個節點的誤差，并且調整每個節點的所有權重，反向到達輸入層后，又重新向前計算，重復迭代以上步驟，直到所有權重參數收斂到一個合理值。如圖1 展現出深度神經網絡的運行機制，在人臉識別任務中對于不同層級的神經網絡對圖像信息的抽取差異，即當輸入海量的人臉數據集之后，底層網絡主要是對圖像中局部紋理進行捕捉，而隨著層數的遞增，模型開始根據下層收集到的紋理信息對人臉中的局部結構（如眼睛、耳朵等）進行建模，而頂層將綜合上述局部特征對人臉在圖像中的位置進行確定，最終達成人臉識別的目的。

圖1 深度神經網絡的運行機制①

2.2 從決策式AI、分析式AI 到生成式AI 的模式轉向

在經歷早期發展時期、知識系統時期、機器學習時期、深度學習時期四個階段之后，人工智能的重點研究領域完成了從決策式AI、分析式AI 到生成式AI的轉變。所謂的人工智能生成內容（Artificial Intelligence Generated Content,AIGC）即是指通過人工智能方法生成文本、圖像、音頻、視頻等多媒體內容，也是當前深度學習領域最熱門的方向之一。

從技術本源來看，AIGC 技術主要分為基于規則與基于學習兩大角度。其中，基于規則的AIGC 是指使用預先定義好的規則和邏輯來生成內容，如語法、句型、結構等，它們通常需要人為設定參數和約束，以保證內容的合理性和一致性。基于學習的AIGC則是指使用機器學習（ML）算法來從大量的數據中學習和提取特征和規律，然后根據這些特征和規律來生成內容。這種技術通常不需要人為地設定參數和約束，而是依賴于數據的質量和數量。

一般而言，之前的決策式AI 或分析式AI 是針對學習數據中的條件概率分布，針對已有數據進行分析、判斷、預測，主要應用于物體識別、文本翻譯、智能推薦、自動駕駛等領域；而生成式AI 與其他類型AI 的主要區別在于其不僅能夠對已有的數據進行分析、判斷、決策，還更加強調學習歸納之后進行演繹創造，并生成全新內容的過程，即學習數據中的聯合概率分布，主要是基于歷史進行模仿式、縫合式創作。

2.3 AIGC 技術視野下的電影創作

《科學》雜志在總結2022 年的年度突破時，將AIGC 技術與“黃金眼”空間望遠鏡（Golden Eye）、巨型細胞（A surprisingly massive microbe）等成果列入榜單，并重點提出了AI 開始入侵曾經被認為是人類獨有的領域，一個是藝術表達，一個是科學發現[3]。

從藝術表達的角度來看，早在1957 年，萊杰倫·希勒（Lejaren Hiller）和倫納德·艾薩克森（Leonard Isaacson）就完成了歷史上第一支由計算機創作的弦樂四重奏《伊利亞克組曲》（Illiac Suite）。此后，繼用戶生成內容（UGC）、專業生產內容（PGC）之后，AIGC成為AI 藝術創作領域的核心，它在機器學習（ML）模型的基礎上，根據一定的訓練集從而創建全新的輸出內容，就像人類創建新的事物一樣，可用于包括音頻、代碼、圖像、文本和視頻等內容創作領域。作為涵蓋文本、圖像、音頻、視頻的綜合性藝術，電影也成為了AIGC 可拓展的全新領域。

（1）橫向影響：文本、圖像與視頻

從橫向對比來看，AIGC 技術目前對于文本、圖像等單一領域展現出巨大的藝術潛質，但對于視頻領域（尤其是電影創作領域）的介入仍然處在技術迭代發展的進程中，而市面上現存的視頻解決方案還具有一定的局限性。例如，Runway 的GEN-1 在視頻生成視頻（Video-to-Video）的過程中，前景人物的動作時常影響背景場景的連續性，GEN-2 在文本生成視頻（Text-to-Video）的模型下僅能通過文字提示詞和單一圖像來進行限定，仍然缺乏一定的可控性。其中，《瞬息全宇宙》（Everything Everywhere All at Once，2022）中運用Runway 生成超現實的場景實際上是通過簡單的跳接場景來規避了連續性和可控性的問題。又如，Stable Diffusion 通過包括ControlNet編輯器、Deforum 插件、mov2mov 插件、TemporalKit+EbSynth 流程完成從靜幀圖片到動態影像的生成，但是其畫面閃爍、人臉失真等問題仍然明顯。再如于6月30 日正式全面開放的Wonder Studio 則是提取了視頻中的人物動作，同時進行摳像并合成為CG 畫面，甚至新功能可以將提取的動作導入至渲染引擎軟件中進行再處理，但它只針對動態人物，對于場景的生成作用不大。

（2）縱向影響：從工具思維到創作思維

從縱向衍生來看，AIGC 對電影的介入則呈現出從工具思維到創作思維的轉向。AIGC 在其發展初期往往被運用在電影創作領域的周圍，包括分析現有腳本的大型數據集，使用該數據生成新的原創故事，從而節省時間和資源；通過AI換臉、換聲、分鏡制作、數字人模擬虛擬角色等操作，降低拍攝風險，提高內容觀賞性；分析演員的過往表現數據及社交媒體活動，以提高選角決策的準確性和效率等。這種對于電影領域的介入是典型的工具思維，直到以Transformer 大模型為基礎的新一波AIGC 技術發展浪潮的到來，人工智能電影制作的概念才從單純的工具層面走入藝術創作層面。

3 AIGC 技術視野下人工智能電影的應用策略分析

盡管目前AIGC 對于視頻影像的解決方案存在一定局限性，人工智能電影還處于一個相對新興和探索的階段，還沒有出現太多的商業化或廣泛流行的例子。但是，一些實驗性或創新性作品的出現，展示了AIGC 技術在人工智能電影創作中的可能性和潛力。正如電影評論者納文·喬希（Naveen Joshi）認為，電影行業為人工智能技術的實際應用準備了六個基本入口，按照傳統的電影創制流程，分別為劇作腳本輸出、前期制作的簡化輔助、選角、配樂編曲、剪輯、后期宣傳[4]。面向未來，在AIGC 及其支持技術不斷發展的當下，人工智能電影也呈現出多樣化的創作應用邏輯與策略。

3.1 以風格化驅動的空間生成策略

就目前通用的AI 視頻生成技術來看，較好的生成式視頻模型仍然也只能生成幾秒鐘的內容，因而導致目前人工智能影片呈現出靜止圖像堆疊、簡單視頻混剪、視聽語言抽象的風格趨勢。因此從更廣闊的技術發展角度來看，人工智能電影的藝術創作可能性并不能放置在現有階段淺層的“輔助性創作”之中，而是應該進入深層次的“風格化創作”邏輯。一般而言，AIGC 技術視野下人工智能電影的風格化驅動的核心在于空間生成，即同時呈現出離線渲染（Pre-rendering）、實時渲染（Real-time Rendering）[5]兩種思維模式。

（1）離線渲染的邏輯

從離線渲染的角度，人工智能電影的本體仍然是傳統電影，即同樣受到視覺畫框、時間剪輯、空間切換等影像美學邏輯的影響。例如，Netflix 與小冰公司日本分部（Rinna）、WIT STUDIO 共同創作的《犬與少年》是AIGC 技術輔助商業化動畫片的首個發行級別作品。該作品采用了一種名為“原始人工智能”的定制系統進行該片的背景繪制，在協作式的背景藝術創作過程中，動畫師向AI系統提供提示和布局，接著AI 生成相應的圖像，最后由動畫師加以調整并與其他元素融合，最終這一迭代過程為團隊提供了實現動畫中所需場景外觀和感覺的高效方式[6]。

格倫·馬歇爾（Glenn Marshall）創作的AI 電影《烏鴉》（The Crow）（圖2）獲得2022 年“戛納短片電影節”（Cannes Short Film Festival）的最佳短片獎。作品通過將舞蹈短片《Painted》輸入OpenAI 創建的神經網絡CLIP 中，通過從文本映射到圖像的算法模型，生成一段“荒涼景觀中烏鴉”影像視頻[7]。該電影講述了一個舞者變成烏鴉的故事，觀眾跟隨烏鴉在由AI 生成的荒涼貧瘠的末世景觀中，觀看其短暫的舞蹈，直至其不可避免地消亡。

圖2 AI電影《烏鴉》劇照②

（2）實時渲染的邏輯

從實時渲染的角度，人工智能電影的本體呈現出影游融合的可能性，同時能夠更好地與VR 電影等新興形式相適應，由AIGC 技術實時生成電影場景，使得影像空間不再是固定的空間，而成為一種不斷增殖的空間。騰訊AI Lab 在2023 游戲開發者大會（Game Developers Conference）上展示了利用AIGC 技術的三維游戲場景自動生成解決方案，從零開始迅速搭建一座3D 虛擬城市的過程，所建虛擬城市面積達到25 平方公里，包含13 萬米路網、4416 棟建筑以及超過38 萬個室內映射[8]。按照游戲研究者的觀點來看，生成式場景填補了AIGC 三維內容生成要素中的最后一環[9]。與三維模型內容生成相似，生成式場景存在傳統Landscape 生成和神經輻射場（Neural Radiance Fields，NeRF）生成兩條技術路線的差異。對于傳統Landscape 生成而言，多見由AI 生成顏色圖像繼而生成深度圖，進而導入渲染引擎生成Landscape；對于NeRF 生成而言，英偉達（NVIDIA）和多倫多大學共同推出的NeuralField-LDM，使用神經輻射場和生成模型，提供了復雜開放世界3D 場景的建模和編輯能力。

如圖3 所示，AIGC 電影作品《Given Again》由音樂人Jake Oleson 創作，作品描述了作者在父親去世后的混亂和沉思。作品所有序列都是完全使用Luma AI 的NeRF 技術創建的。在技術應用程序中，可以輕松捕捉物體、風景或整個場景，然后將其轉化為詳細的3D 環境。NeRF 技術是通過深度神經網絡分析從不同角度拍攝的圖像或視頻，學習物體的底層3D 結構。然后，機器通過預測3D 空間中每個點的顏色和外觀，即可合成高質量、高精度的模型。

圖3 AIGC 電影作品《Given Again》截圖③

3.2 以代理性驅動的智能角色策略

在AIGC 技術輔助下，人工智能電影中的人物可以不再是被規定的狀態，而成為具備一定自我意識的生物體，即成為一個智能體角色（Agent）。例如，Hugging Face 研發人員Thomas Simonini 曾將語言模型GPT-3 接入到Unity 3D 中，讓AI 控制游戲非玩家角色（Non-player Character，NPC）直接與玩家語音對話；開發者Bloc 則為游戲《騎馬與砍殺2：霸主》（Mount & Blade Ⅱ: Bannerlord）加入了使用ChatGPT的MOD 模組，取代游戲原本NPC 的對話機制，讓玩家可以實時打字交互，而NPC 則會做出個性化回應，從而實現動態回復。

（1）技術難點：智能化程度與資源占用程度

就目前現有的生成式技術來說，智能體角色的實現擁有諸多難點。其一，從智能化程度來看，現有的基于AIGC 技術的智能體角色可能受到人類先驗知識或者故有偏見的影響，并依賴于人類的專家知識及先驗信息來定義和劃分角色，因此現存的智能體角色在面對新穎或者復雜的環境時缺乏靈活性或魯棒性。其二，從資源占用程度來看，智能體角色的實現需要大量額外的計算量與存儲資源進行驅動，同時也需要更多的參數和模型進行表示與學習，因此需要引入一定的協調機制，包括降低多智能體任務的復雜度、將單一智能體功能劃分在不同角色上、減少智能體與智能體之間的沖突和干擾等，來維持角色與角色、角色與場景的一致性與平衡性，從而實現最優的解決方案。

（2）AIGC 電影智能角色的建構路徑：決策、記憶、行動

正如游戲中的NPC 一樣，未來AIGC 電影中的智能體角色將具備決策、記憶、行動等多維能力。其中，決策是底層能力，是電影智能角色通過對一定范圍內的劇本背景、角色小傳等信息的輸入與學習所做出的反饋；記憶是中層能力，是電影智能角色對已發生、已經歷的場景、人物、事件的搜集及調用；行動則是電影智能角色基于其自身對于決策、記憶及其他信息的理解所最終做出的復雜行為。以下兩個案例實際上從不同的角度提出了對于未來AIGC 電影智能體角色的建構路徑。

2023 年4 月，斯坦福大學及谷歌研究人員[10]創建出一個類似于《模擬人生》（The Sims）的微縮RPG 風格的名為“Smallville”的二維虛擬世界，同時在其中架設了包括房屋、咖啡館、公園和雜貨店在內的多種社會化場景，并以俯視的方式表現出來。此外，研究者同時利用社會互動的大語言模型（Large Language Model，LLM）、ChatGPT API 及其他自定義代碼生成了25 個擁有獨立行為意識的代理角色，并使其以高度逼真的行為獨立生活。代理角色們會在醒來后承擔不同工作，甚至會自發在小型社群中發起對話，提出自己的意見，并能夠不斷記住并思考過去的日子。

2023 年5 月，Wang 等[11]基于開放世界游戲《我的世界》（Minecraft）的既定框架，創設出一個由大語言模型（LLM）驅動的具備終身學習能力的智能體角色。為了讓智能體VOYAGER 具有上述能力，研究者通過向GPT-4 輸入多種類型的提詞（Prompt）的方式，提出了三個關鍵組件。其一是自動教程（Automatic Curriculum），以最大化智能體的探索；其二是技能代碼庫（Skills Library），用以存儲和檢索復雜行為；其三是迭代提示機制（Iterative Prompting Mechanism），能結合游戲反饋、執行錯誤和自我驗證來改進程序。

3.3 以涌現性驅動的自動事件策略

從應用邏輯來看，自動事件的建立需要基于前文所提到的生成式場景、智能體角色為技術基礎，同時通過AIGC 技術生成自動化事件，并與用戶進行多維交互，從而驅動人工智能電影的涌現屬性。喬治亞理工大學交互計算學院教授馬克·里德爾（Mark Riedl）在《人工智能故事生成導論》（An Introduction to AI Story Generation）一文中解釋了如何從“非機器學習型”的敘事系統到“基于機器學習”（尤其是其中的神經網絡階段）敘事系統的轉向[12]。

一方面，所謂的“自動事件”并不是利用AIGC 生成劇本的邏輯，而是不依賴于預先設計的劇本或情節，由角色行為和互動產生的電影劇情的涌現方法。在倫敦科幻電影節上映的電影《Sunspring》是一部由AI 編劇本杰明（Benjamin）撰寫，并由真人參與表演的作品。該片使用了ChatGPT 來根據一些關鍵詞生成劇本，講述了一個發生在未來失業橫行的世界里，三個年輕人之間復雜而詭異的愛情故事。盡管劇本所寫的每個句子都很完整，但是組合起來就顯示出邏輯的混亂。

另一方面，“自動事件”也不是全要素生成電影敘事，而是在既定的邏輯框架下，探索AIGC 電影可能性的一種策略。正如馬里蘭大學計算機科學專業助理教授勞拉·馬?。↙ara Martin）等人建議采用GPT-2神經語言大模型（目前已發展到GPT-4），并使用因果關系的推理來約束自動化事件生成[13]。如圖4 所示，GPT 作為大語言模型（LLM），可以根據先前單詞符號的歷史，概率性地生成故事的后續。馬丁的系統會解析生成的后續，并使用VerbNet 來推斷讀者對該句子的前提條件和影響會有什么認識。如果后續句子的前提條件沒有得到故事中先前句子影響的支持，那后續句子就被拒絕。如果前提條件得到支持，那么該句子所產生的影響，就會更新一套描述世界的類似邏輯化的命題。這些命題之所以從VerbNet中提取，正是因為它們是基于讀者從閱讀句子中可以推斷出的內容，可以被認為是一個簡單的讀者模型（Reader Models）。通過追蹤這個假設性的讀者模型，這個系統就不太會再以對讀者沒有意義的方式，從一個事件過渡到另一個事件。④

圖4 勞拉·馬丁所提出的神經符號性故事生成系統架構⑤

正如中國電影家協會副主席、中國電影導演協會副會長尹力在演講中所說的，“科技給電影插上翅膀，但無論如何，記錄時代、反映現實，表達普通人的情感，永遠是電影的希望所在”[14]。因此，以動態故事文本、交互人物對話為特點的自動化事件并不再是一種符號化故事，而是一種經過良好組織的數據庫故事，尤其依賴于作者之前對于電影情節敘事這一系統的先驗理解與認知。

4 總結與展望

從Runway 舉辦AI 電影節，到翠貝卡電影節開始關注AI 電影單元，人工智能電影在生成式AI技術加持下呈現出新的創作視野。本文旨在從更廣闊的技術發展角度著手，提出虛擬現實媒介是人工智能電影的適用媒介之一，并提出了以風格化驅動的空間生成策略、以代理性驅動的智能角色策略、以涌現性驅動的自動事件策略，為AIGC 技術視野下人工智能電影的應用邏輯提出新的創作可能性。

面向未來，如何針對AIGC 大模型進行基于特定內容域的“微調”，成為AIGC 電影走入深度敘事的先決條件，也是提升AIGC 電影準確度與藝術性的重要前提。人工智能電影必將逐步解決敘事節奏的隨機性及缺乏人類獨特的生物性情感構建等顯性問題，并在AIGC 的多模態工具支持下，呈現出更加多樣化的創作邏輯及應用策略。

注釋

①圖片來源：https://blog. goodaudience. com/cnn-for-rnns-agentle-approach-to-use-cnns-for-nlp-53ab80768d43。

②圖片來源：https://www.bilibili.com/video/BV1NW4y1b7HC/?vd_source=360a6591c70d54f3a901ee39a996b84c。

③圖片來源：http://jakeoleson.com/given-again。

④相關的中文翻譯參見https://mp. weixin. qq. com/s/TJc-GIe7c2MX9JxHxK9r1Lw。

⑤圖片來源：https://www.psyxel.com/mark-riedl-intro-ai-storygeneration/。