


【摘 要】 近年來,隨著人工智能(AI)技術的發展與進步,深度學習、AI大模型等技術在自然語言處理(NLP)和圖像生成領域取得了較大突破,為數字內容創作生產帶來了重大創新和生產力變革。本文分析了智能科技對電影行業帶來的影響,提出當前AI大模型展現的強通用性、強泛化性以及智能涌現能力,指出AI大模型有望成為推動電影產業智能化升級的重要驅動力,并基于電影科技發展狀況對AI大模型在電影行業的應用進行了展望和思考。
【關鍵詞】 電影; 人工智能; 深度學習; AI大模型; 自主創新
電影是科技與藝術的融合體,是國家文化事業和文化產業的重要組成部分,具有豐富的科技內涵、文化內涵和藝術價值。電影藝術的發展與電影科技的進步相伴相隨,從無聲到有聲,從黑白到彩色,從膠片到數字,從常規技術格式到高新技術格式,電影科技的進步為電影藝術帶來了更加廣闊的發展空間,特別是電影數字化以來,數字攝影機、計算機圖形圖像(CG/CGI)、3D技術、2K/4K/8K、高幀率(HFR)、高動態范圍(HDR)、廣色域(WCG)、沉浸式音頻(Immersive Audio)、視覺特效(VFX)、虛實融合、衛星傳輸、網絡傳輸等技術,在一定程度上豐富了電影藝術的表現形式和呈現效果,提升了電影的視聽品質、傳播力和影響力。近年來,得益于云計算、大數據、虛擬現實/增強現實/混合現實(VR/AR/MR)、元宇宙、虛擬攝制、動作捕捉、虛擬數字人等技術的研究與應用,電影科技與新一代信息通信技術(ICT)和人工智能(AI)技術愈加呈現出深度融合、交融并匯的發展趨勢。
2022年底,大語言模型ChatGPT取得了突破性進展,掀起了AI大模型的發展與應用浪潮,其具備強通用性、強泛化性以及智能涌現能力,能夠賦能電影創作生產和產業提質升級。特別是視頻生成大模型Sora的推出,在電影行業引發強烈關注。本文在分析梳理人工智能及AI大模型技術發展的基礎上,結合AI在電影科技中的融合和應用,凝練提出電影行業推進AI大模型技術的展望與思考。
一、AI大模型最新進展
(一)AI大模型研究進展
深度學習是以復雜神經網絡為模型的機器學習[1],大型深度學習模型的參數量可達千億級,近年來受到廣泛關注的AI大模型,主要就是指網絡規模巨大的深度學習模型。[2]復雜神經網絡含有大量參數,一方面需要大量樣本用于模型訓練以習得模型參數,另一方面對訓練提出了極高的算力要求。為了解決這個問題,研究者提出使用無監督逐層訓練,每次訓練一層隱節點,將上一層的輸出作為訓練層的輸入,訓練層的輸出作為下一層的輸入,也就是“預訓練”(Pre-training),之后使用少量標注數據,利用監督學習對整個網絡進行“微調”[3][4],這種“預訓練+微調”的訓練形式,有效節省了訓練開銷,提升了模型處理復雜任務的能力。
基于注意力機制的Transformer架構(2017年)提出后,AI大模型的發展進入快車道,國內外科技企業積極推進AI大模型的研發與應用,出現了多個現象級應用。表1整理了2017年以來部分國內外在自然語言處理(NLP)、圖像生成、音頻生成、視頻生成等方面知名度比較高的AI大模型。
(二)AI大模型的發展特點與應用趨勢
1.生成式AI在數字內容創作生產領域具有較高應用價值
生成式AI(Generative AI)能夠通過學習已有數據進而產生全新內容,能夠協助人類解決創意、推理等問題,拓展人類的想象力和創造力,降低生產成本,在影視創作、教育、醫療保健、客戶服務和營銷等諸多領域展現出較強的適用性和較高的應用價值。同時,目前的AI大模型已經初步具備人類的通識和邏輯能力,這是之前的人工智能所缺失的[5]。目前多個AI大模型應用,例如ChatGPT、Stable Diffusion、Sora等均是基于生成式AI技術,生成內容已覆蓋文本、圖像、音頻、視頻,其中用于自然語言處理(NLP)任務的AI大模型是發展較早也較快的領域,視頻生成大模型起步較晚。
2.AI大模型突破性發展和多模態技術加持,實現跨模態生成
簡單來說,單模態是模型訓練和處理的數據是單一類別,例如利用文本數據對模型進行訓練,而模型的輸出也是文本形式。多模態是模型訓練和處理的數據是多種形式的數據,例如文本、圖像、音頻、視頻。而目前人類接觸的數據都是以多模態形式存在的,且多模態的數據可從不同維度描繪同一個物體,具備更高的精準性。因此,基于多模態數據的學習具備更高的精準性和可用性,能夠在一定程度上提高學習方法的泛化能力。例如,GPT系列就是從單模態(文本)發展為多模態大模型,GPT-4可以接收圖像和文本作為輸入、輸出文本。蘋果公司發布的首個AI大模型MM1就是多模態大模型,具備增強的上下文學習和多圖像推理能力。
3.模型、算法、數據、算力統籌推進,“百模大戰”全面滲透各個領域
自2022年底ChatGPT發布并引發全球關注后,諸多國內外企業紛紛加入AI大模型賽道,2024年2月發布的Sora進一步推動基于文本和圖像生成視頻的技術加速演進。根據億歐智庫2024年3月發布的《2024中國“百模大戰”競爭格局分析報告》,目前國內公布的大模型數量已超過300個[6]。同時,從表1的模型提出時間可以看出,大模型迭代速度逐步加快,基本一年就會更新一個版本,SUNO的Chirp甚至在2023年一年就迭代了三個版本。AI大模型數量爆發式增長,模型迭代時間縮短,“百模大戰”的競爭格局愈演愈烈。
總體來看,當前人工智能模型在理解力、認知力、準確性方面得到大幅提升。同時,“百模大戰”的競爭格局將進一步推動AI通用大模型和垂直領域大模型的應用創新升級。未來,人工智能將像互聯網一樣成為基礎設施,在人類生產生活中得到更廣泛應用,智能化趨勢加速演進。
二、AI大模型在電影行業的發展與應用分析
黨的十八大以來,科技創新成為國家發展全局的核心。關鍵核心技術、高水平科技自立自強成為科技工作者的奮斗目標和責任擔當。當前,“百模大戰”全面滲透電影產業鏈的各個環節,社會正在加快步入智慧時代。
(一)相關文獻研究分析
目前已有諸多文獻和專著從應用實踐角度分析和闡述人工智能給電影行業帶來的深刻變革。從產業發展角度,國內電影行業進行了大量的研究和探討。學者祁勇等[6]分析了人工智能給電影制片、IP開發帶來的融合與創新,也指出了面臨的問題,包括智能創作和藝術創作的邊界問題、版權問題以及功能轉變問題[7];學者季向陽指出生成式人工智能將給影視行業帶來巨大機遇和革命性改變,大幅提高影視行業創造力和效率,但會帶來數據安全性、合法性、版權保護、平衡技術發展和人才保護方面的問題[8];學者沈浩等指出AIGC的潛在風險包括偏見與歧視、虛假內容、版權與問責等,提出了智能技術結合區塊鏈保護作品版權的可能性[9];學者張陸園認為人工智能對電影行業的賦能是全鏈條滲透與局部改造,包括輔助劇本寫作、智能剪輯、更低成本的特效呈現、智能配音等[10];學者譚劍認為隨著人工智能的發展,人機交互方式也在不斷革新,作者從人機交互的角度分析了人工智能發展對電影的重塑[11];學者趙宜認為,AIGC是通過學習訓練數據的模式、結構、關聯以創造新的內容,把AIGC定義為“21世紀的拼貼工具”是對其的誤讀[12]。作者提出對媒介藝術本體觀念的更新,即以更積極的態度和起點,借助AIGC帶來的革新,發揮新技術的影響力;學者王晉寧等認為,一方面人工智能在電影中的應用將會為電影提供更多可能,另一方面電影工業美學特質為人工智能技術提供了發展契機[13]。
電影科技領域也對人工智能在電影行業的發展與應用進行了總結與嘗試。學者劉達分析了電影行業向大視聽、大科學和元宇宙時代邁進的發展演進趨勢,從電影智能化創作生產技術體系構建、電影行業垂直AI大模型研制、在關鍵核心技術自主安全可控前提下推動AI大模型和AI中小模型協同發展等方面,提出了智能科技引領電影產業提質升級的思考、策略與前瞻[14];學者陳軍等認為多模態強人工智能創意工具在電影創制流程的應用將進一步深化,作者指出了電影智能制作的概念、內涵及特征,梳理了電影智能制作的現狀、問題和挑戰,對于電影智能制作給出了電影行業的應對策略[15];學者趙鋆凡等梳理了當下主流的3D人體動畫生成算法,針對目前3D人體動畫生成算法易用性不足的問題,提出一套集成的3D人體動畫生成工具[16];學者于冰等針對影像修復與增強需求,在影像污損去除方面提出基于注意力循環時間聚合網絡,在影像缺失補全方面,提出時間Transformer算法,實現了影像破損區域的大面積修復[17];學者李思佳等通過訓練聲源分離網絡,對視頻的聲源進行分離和定位,再利用高保真環境立體聲和雙耳聲重構技術重構空間音頻[18]。
從以上分析可以看出,電影產業對于人工智能技術有擁抱態度,有擔憂態度,也有轉變思路實現新的“人機共創”,“重塑”“革新”“融合”“提質”成為研究關鍵詞。但毋庸置疑,人工智能帶來的重大創新和生產力變革是行業的共識。雖然目前各種模型和應用都存在改進空間,但從幾個表現突出的應用的生成效果來看,已經具備在一定程度上輔助人類完成目標的能力。
(二)AI大模型在電影行業的發展與應用分析展望
全球電影行業及時捕捉到智能化趨勢,并已在電影創作攝制的各個細分環節中開展了應用探索(圖1),例如,在創意設計階段,可利用AI系統或工具輔助電影劇本創作、概念設計、文圖生成、項目策劃與決策、視覺預演等工作;在前期拍攝階段,AI影像智能處理工具、AI生成數字人、AI生成數字資產,可服務電影智能拍攝、視效生成和虛實融合;在后期制作階段,AI技術能夠服務智能剪輯、智能調色、智能三維模型生成等,以及演員增齡/減齡、AI換臉、對白錄音降噪、配音等對圖像、聲音和字幕信息的智能化處理。
基于現有常規技術格式影片或檔案影片,可采用人工智能圖像增強和圖像修復技術,開展圖像分辨率、幀速率、動態范圍、色域等智能提升和擴展,從而制作生產高新技術格式電影和實現檔案影片修復升級。
雖然現在還未能完全實現,但一定情況下,可完全使用AI生成一部完整影片。例如2024年3月在洛杉磯首映的Our T2 Remake是由好萊塢50位藝術家基于經典影片《終結者2》,用AI工具重新創作的一部影片《我們的終結者2重制版》。[19]
除創作攝制外,AI還可應用于電影發行放映環節,可通過AI智能分發、智能推薦、票房分析預測、個性化營銷、輿情分析和智能助手等系統或工具,提高電影宣發效率和精準度。院線和影院可通過智能排片系統、智能票務系統、智能設備管理實現影院運營管理的智能化、高效化和集約化。
總之,AI技術已廣泛參與到電影全產業鏈的多個環節,以專用模型應用居多,目前生成結果還不能達到電影級高品質拍攝制作的需求,仍需要大量的人工修正。而AI通用大模型已表現出較強的涌現能力,并可作為基座模型支持多元應用。對此,電影行業應以“通用為先”,探索解決如何將高品質、具有版權約束的電影數據用于通用大模型再進行微調,即利用通用大模型已具備的海量通用常識,結合電影行業需求,實現電影畫面對物理世界的真實模擬,以滿足不同題材影片的畫面要求,從而切實提升制作效率。
三、AI大模型應用于電影行業的思考與啟示
近年來,在電影科技工作者的共同努力下,電影科技發展取得了長足進步和豐碩成果,特別是在2023年展現出厚積薄發的韌性。
2023年1月,由中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)(以下簡稱“中國電影科研所(檢測所)”)提供權威技術指導和幫助,時代華影公司自主研發的國產10米LED電影放映系統首次出口海外,這是繼2021年5月我國首個自主知識產權LED電影放映系統通過DCI檢測認證之后的又一次新突破。[20]長期以來,影院數字電影放映機的DMD核心芯片被國外技術公司壟斷,LED自主知識產權電影放映系統過檢,打破了國外技術公司在投影顯示領域DMD芯片的壟斷,而首次出口海外則推進了國產LED電影放映技術的國際化發展。中國電影追求了多年的自主放映端技術不僅“站起來”,而且“強起來”了。
2023年5月,中國首個電影國際標準《數字影院立體放映技術要求和測量方法》正式發布,打破了國外對電影技術標準的壟斷[21],這也是首個“非好萊塢”國家提案并主導制定的電影國際標準,較大提升了我國在電影技術標準領域的國際話語權。2023年11月,全國電影標準化技術委員會正式成立,負責電影技術領域標準制修訂工作[22],將充分發揮電影技術標準“國家隊”的引領作用,為中國電影產業高質量發展做好標準支撐,為中國電影技術標準的國際化激發“新”動能。
2023年6月,中國最大的電影級LED虛擬攝制屏正式落戶無錫國家數字電影產業園(圖2),國內首個5G智慧虛擬拍攝聯合實驗室也正式建成,“5G智慧虛擬攝影中心”“AIGC影視科創中心”“影視智能算力中心”同步揭牌。[23]5G、云計算、大數據、人工智能技術從基礎設施建設和智能科技應用角度不斷推動電影創制的創新升級。
在中國電影科技實現“多點突破”的同時,國產電影票房也有著較為明顯的提升。2023年,全國電影票房以549.15億元收官,國產影片票房占比83.77%[24],中國電影科技實現了從“破冰”到“崛起”。電影是畫面和聲音創造的藝術,包含了文本、圖像、聲音等多模態信息,隨著科技的發展,其創制過程愈加呈現復雜性、系統性、協同性。
2024年,“人工智能+”首次被寫入政府工作報告[25],這不僅顯示出人工智能技術在發展中的重要性愈加凸顯,更意味著人工智能將作為未來基礎性、驅動性的技術力量,與各行各業深度融合,驅動傳統行業轉型升級。實現電影產業的智能化升級是一項兼具復雜性、系統性、時代性的龐大工程,當前AI大模型展現出的強通用性和強泛化性以及智能涌現能力,有望成為推動電影產業智能化升級的重要驅動力。因此,要積極推進AI大模型在電影行業的發展與應用。
第一,凝聚電影行業內外科技力量,推進AI大模型技術在電影垂直行業的研究與應用。隨著科技的進步和創新發展,世界已經進入大科學時代,多學科交叉融合成為科學研究的重要特征。AI大模型技術在電影垂直行業的研究與應用,需要整合電影行業以及智能科技行業的科技力量,以實現技術驅動與藝術賦能。2023年1月,利用AIGC技術輔助制作的動畫短片《犬與少年》(牧原亮太郎,2023)受到廣泛關注,該片由WIT STUDIO、rinna(微軟小冰公司日本分部)以及日本奈飛公司共同制作[26],其中WIT STUDIO是專業動畫制作公司,而rinna則專注于人工智能技術。《犬與少年》的成功推出是一次在數字內容創作生產領域跨界合作的嘗試,也展示了AIGC在內容創作生產上的潛力。當前,以AI大模型為基礎的文本、圖像、音頻、視頻生成技術等智能科技研究方興未艾,國產多模態大模型技術加速發展,電影行業要順應智能化發展趨勢,聯合行業內外科技力量,協同攻關AI大模型技術在電影垂直行業的研究與應用。首先,當前AI預訓練大模型的訓練成本高昂,只有少數資金雄厚的大型科技公司能夠負擔,因此要充分利用開源大模型作為技術底座;其次,要建立更加適合電影垂直行業的訓練數據集和測試數據集,為模型訓練和優化奠定良好基礎;再次,要基于電影生產制作等流程進行模型的定制化訓練和調優,以便進一步提升模型性能,更好地完成電影相關任務;最后,要確保AI基礎模型、核心算法、關鍵核心技術等自主安全可控。
第二,積極推進云計算平臺、云數據中心、AI系統設施、5G/5.5G/6G信息通信網絡等新型基礎設施建設。數據、算法和算力是人工智能發揮作用的核心關鍵要素。隨著數字經濟和人工智能技術的發展,對數據存儲和算力的需求將持續增長。云計算技術通過將計算資源、存儲資源、軟件資源集中起來(資源池化),以實現隨時隨地按需滿足用戶的資源需求。其中云計算平臺可提供彈性計算資源以及人工智能技術相關工具和服務,云數據中心可以提供海量數據的存儲與共享,5G/5.5G/6G信息通信網絡可提供高速的信息傳輸。人工智能在電影行業的應用涉及文本、圖像、音頻、視頻等四種模態的數據,相比于單模態數據需要更大的數據資源、存儲資源和算力資源。當下的AI大模型已經對數據和算力提出了更高要求,因此,電影行業要積極推進云計算平臺、云數據中心、AI系統設施、5G/5.5G/6G等新型基礎設施建設,以支撐未來智能科技在電影行業的推廣應用。一方面,云計算中心要注重技術創新,滿足人工智能等新興技術的需求;另一方面,加強安全防護,以保障數據和信息安全。
第三,AI作為一種全新技術手段,是一把雙刃劍,兼具技術性和社會性雙重屬性,必須統籌考慮和有序推進。一方面,AI將有望顛覆并重塑電影創制流程,對于現有工藝環節,AI技術也將持續深化,未來通用模型和專用模型、大模型和中小模型、消費端應用和專業場景應用會協同發展,多元化的AI工具產品會應用到電影行業;另一方面,由此生成的部分高品質圖像、音頻、視頻能達到以假亂真的程度,在信息安全、版權保護等方面引起廣泛擔憂,各國政府主管部門、設備商、軟件商、AI生成工具將相繼推出技術方案,既可以幫助識別和防范虛假內容,同時也為維護信息安全和實施版權保護提供有效手段。
結語
智能化是大勢所趨,在中國由電影大國向電影強國轉型的關鍵時期,推進電影全產業鏈的智能化升級,是電影產業高質量可持續發展的必然要求。當前以AI大模型技術為代表的智能科技正處于快速發展期,新的模型和應用層出不窮,需正確看待其在電影行業的發展與應用,妥善應對風險與挑戰,強化頂層設計、立足自主創新和注重有序推進。以AI系統為核心關鍵基礎設施的全新時代已經到來,AI技術將更全面、更有力地支撐電影產業發展,影視行業要抓住智能時代的創新變革機遇,大力推進人工智能在電影行業的發展與應用,以AI賦能實現電影產業提質升級。
參考文獻:
[1][3]李航.機器學習方法[M].北京:清華大學出版社,2022:516,519.
[2]王曉華.從零開始大模型開發與微調:基于PyTorch與ChatGLM[M].北京:清華大學出版社,2023:523.
[4]周志華.機器學習[M].北京:清華大學出版社,2016:373.
[5]彭勇,彭旋,鄭志軍,等.多模態大模型:技術原理與實戰[M].北京:電子工業出版社,2023:76.
[6]楊雨然.2024中國“百模大戰”競爭格局分析報告|報告解讀[EB/OL].(2024-03-27)[2024-03-25].https://www.iyiou.com/analysis/202403251062790.
[7]祁勇,劉傳.“智能+”電影產業:人工智能介入電影產業問題前瞻[ J ].文藝爭鳴,2022(09):200-204.
[8]季向陽.本期導讀[ J ].現代電影技術,2023(06):3.
[9]沈浩,盧偉.影視行業中的生成式人工智能:機遇與挑戰[ J ].現代電影技術,2023(06):10-16.
[10]張陸園.人工智能影像生產模式的技術賦能、媒介特征與文化危機[ J ].當代電影,2023(09):77-84.
[11]譚劍.人機交互視域下人工智能對當代電影的重塑[ J ].北京電影學院學報,2023(07):84-91.
[12]趙宜.人機共創、數據融合與多模態模型:生成式AI的電影藝術與文化工業批判[ J ].當代電影,2023(08):15-21.
[13]王晉寧,黃心淵,趙偉然.人工智能數字影像的電影化之路——未來影像奇觀構建[ J ].北京電影學院學報,2023(11):71-79.
[14]劉達.電影產業云化與智能化升級的時代思考[ J ].現代電影技術,2022(04):4-9.
[15]陳軍,趙建軍,魯夢河.AI與電影智能制作研究與展望[ J ].現代電影技術,2023(10):16-26.
[16]趙鋆凡,蘇明揚,李秀.AIGC賦能高效電影制作——以3D人體動畫生成工具為例[ J ].現代電影技術,2023(07):4-9.
[17]于冰,陳佳輝,范正輝,等.基于深度學習的電影數字修復系統研究[ J ].現代電影技術,2023(08):12-20,26.
[18]李思佳,劉世光.基于視覺畫面的空間音頻合成及電影行業應用研究[ J ].現代電影技術,2023(09):4-10,45.
[19]網易.AI制作的電影正式首映了!好萊塢大危機時代來了?[EB/OL].(2024-03-06)[2024-04-27].https://www.163.com/dy/article/ISJVEV8I0537ANQB.html.
[20]本刊.國產LED電影放映系統首次出口海外實現質的突破[ J ].現代電影技術,2023(03):11.
[21]本刊.中國電影標準國際化取得重大突破——中國首個電影國際標準正式發布[ J ].現代電影技術,2023(06):5-6.
[22]本刊.全國電影標準化技術委員會在京成立[ J ].現代電影技術,2023(11):4-5.
[23]新民晚報.全國最大!電影級LED巨幕拍攝屏亮相無錫[EB/OL].(2023-06-21)[2024-04-27].https://baijiahao.baidu.com/s?id=1769291332835365192&wfr=spider&for=pc.
[24]人民網.中國電影年度票房突破500億元 國產影片包攬前十[EB/OL].(2023-11-14)[2024-04-03].https://www.chinafilm.gov.cn/xwzx/gzdt/202311/t20231114_778828.html.
[25]光明網.首次被寫入政府工作報告“人工智能+”蓬勃發展賦能各行各業[EB/OL].(2024-03-11)[2023-04-03].https://baijiahao.baidu.com/s?id=1793195810243835497&wfr=spider&for=pc.
[26]高銳.從動畫影片《犬與少年》到元宇宙:AIGC的潛力、應用及挑戰[ J ].現代電影技術,2023(05):24-28,17.