基于人工智能技術的影片內容分析方法研究

劉開南++張步城

從谷歌人工智能AlphaGo擊敗圍棋大師，到無人機、無人車、智能語音識別等技術取得突破性進展，人們發現人工智能已經成為日常生活的一部分，即使是文化藝術領域也受到沖擊，帶來新的方法和手段變革。人工智能創作影視作品、音樂作品、美術作品的新聞層出不窮。2017年11月CCTV2《機智過人》機器人PK人類作詞作曲節目中，機器人與著名音樂制作人僅差兩票；谷歌辦人工智能畫展，畫作拍出8000美元。然而，人工智能的這些成果，其技術實現的前身是計算機大數據和人工智能算法對人類自然語言與語義，從識別圖像中目標物體開始，模擬人類智慧進行逆向創作（逆向工程）的成果，是以深度學習為代表的計算機視覺計算、自然語言語義分析、語音識別與翻譯等技術的成熟表現。視頻計算成為當今人工智能最熱門的應用，其對視頻圖像信息的語義識別、分類檢索、自動跟蹤等技術實現，為電影內容分析提供了新的技術和方法。

一、 電影數據技術煥發新的生機

電影產業研究在美學、傳播學研究的同時，離不開大數據支撐，電影本體的研究亦如此。一些西方學者，如澳洲學者巴里·索特（Barry Salt），早在電影研究中引入了大數據，他將電影形式細化為各種鏡頭參數，并統計和鏡頭相關的數據，繼而根據數據來評判某個導演甚或某個時代的視聽風格，該電影的數據分析方法主要是以人工方式完成數據表示與計算。

在信息時代的今天，美劇《紙牌屋》和中國電影《小時代》是當今影視大數據運用最成功典型案例，兩部作品應用大數據統計計算方法，在品牌、口碑、藝術和經濟價值等方面取得了可喜的業績，開創了大數據在影視行業應用的新時代。目前，大數據技術已經成為影視投資與營銷的主要技術手段，并且在業界也形成了成熟的技術工具產品，如谷歌的“電影票房預測模型”，該模型能夠提前一個月預測電影上映首周的票房收入，準確度高達94%。

這些電影大數據應用，大都是關注觀眾層面的行為數據、消費數據以及市場環境方面的數據，對于電影內容分析的研究，由于受技術條件、語義分析難度、藝術與美學量化表示等因素制約，還處在探索階段。然而，不容忽視的是，電影內容的分析對于電影創意、內容管理、結構規律以及各元素關系規律、電影多樣化發展有著更加積極的意義。從電影內容要素分析與人工智能成熟技術入手，探索電影內容分析方法和實現的技術手段，形成電影評估、內容創作、電影營銷的閉環系統，從而推動電影創作與營銷水平的提升，是值得業界內外潛心研究的新課題。

二、 電影大數據應用的主要原理

大數據4V特征的核心是價值（Value），如圖1 “影視大數據應用系統圖”所示，應用人工智能與機器學習算法，對獲得的社交媒體及小說、劇本、影視作品數據源信息進行特征屬性識別，對離散的信息采用分類模式，對線性信息應用回歸模式，根據先驗經驗或標準實現對屬性特征的分類與回歸預測，從而實現市場預測、內容評估、營銷分析，并指導創意、創作、影視作品內容制作和對影視作品進行線上線下、智能推薦等營銷活動，最終實現影視作品更高質量生產和最大化推廣。

大數據研究的前提條件，是有全樣本或足夠量的大樣本數據，而一部影視作品、小說劇本本身或影視作品所產生的社交媒體信息，都是影視大數據應用的數據源，隨著大數據在影視行業的成功應用，電影行業對電影從創意到營銷各過程數據采集與存儲越來越重視，大數據數據源已不是主要應用障礙，應用的核心與關鍵技術已從基于統計的數據處理方法，向人工智能技術和機器學習方法飛速躍變，更加注重對電影元素特征屬性的精準識別、分類回歸及特征屬性間關系發現與預測的研究。

美劇《紙牌屋》是Netflix通過對電視劇消費行為習慣和消費者特征屬性分析，識別并抽取消費者的行為和特征屬性，應用關聯方法進行特征匹配。其成功的關鍵技術是大數據背后的人工智能算法對特征的識別與抽取和關系匹配，形成對受眾群體的精準定位決策分析。

《小時代》是《紙牌屋》案例的中國復制，其核心是對上映前后社交媒體用戶對小說和觀影用戶群特征的識別，為影片發行營銷策略提供了決策依據，并針對性地開展系列線上線下活動，引發了這個群體的觀影熱情，成功實施營銷策略。《小時代》和《紙牌屋》代表了當今電影業大數據主要應用領域，即電影市場營銷和電影市場評估與預測。

這些電影大數據應用，大都是關注觀眾層面的行為數據、消費數據以及市場環境方面的數據，主要應用在票房營銷預測、影視消費者行為及影視延伸產品消費習慣分析。

隨著人工智能技術高速發展，尤其是深度學習算法在視覺計算、語音識別和自然語言處理技術的成功應用，對于電影內容要素的分析研究，也提升到一個新的高度，基于圖像語義分析技術，可以對電影結構、場景、鏡頭、人物、對話旁白等進行視覺和自然語言識別，得到電影各要素的特征屬性標簽，實現對電影作品的特征元素電子標簽畫像。從而實現創意、創作、制作全過程輔助決策，提升電影作品質量。

三、 人工智能在電影內容分析中的應用

近年來，國內外的很多研究機構都開展了基于深度學習算法的圖像目標識別、圖像語義、自然語言和語音識別的研究，并卓有成效，在識別的準確性、精度和速度，在圖像內容分類、通用目標檢測、語義分割等視覺領域取得了突破性的進展被廣泛應用。

（一）人工智能視覺計算技術原理

目前，人工智能技術主要以基于卷積神經網絡（CNN）為主，隨著不同場景應用也衍生了很多優秀的算法模型，如著名的SIFT特征、AlexNet、RCNN、GoogLeNet、Faster RCNN、SOLO、SSD等。不管卷積神經網絡的結構如何變化，其基本過程主要包括圖像輸入、區域特征抽取、神經卷積特征計算、區域對象分類四部分，如圖2以電影《悲慘世界》為例，其核心是把特征提取和分類器進行有機的整合，通過隨機梯度下降的方式進行反向傳播，不斷的對卷積模板參數和全連接層的參數進行優化，使得最終學習到的特征和分類器接近最優，獲得分類特征。

本文采用深度遞歸卷積神經網絡算法實現平臺搭建、檢測與驗證工作，如圖3所示：

①部分是機器學習的特征抽取，即模擬人類識別類別特征（所謂“見多識廣”），采用的數據集關系到類別特征準確性，應用公開的MNIST、ImageNet數據集、PASCAL VOC訓練集、COCO等圖像訓練數據集，獲取各大類別特征，如人、各類動物、各類車等；②部分是對具體的分析電影中特定目標（可多目標對象，本案例以冉·阿讓為例）進行特征向量識別；③應用深度遞歸卷積神經網絡CAFFE對電影影片（或者場景、鏡頭片段）中的類別、場景、對話進行特征劃分與識別，并將類別特征等輸入到分類器中，與②部分電影特定需求目標對象匹配分類；④對電影視頻中場景、景別、人物等進行識別、標定，合成電影場景、鏡頭內容語義。

由于電影視頻本身包含數據量大，每秒由多幀靜態圖像組成，而每幀圖像包含豐富的信息，為實現對電影內容高效、準確、高精度識別和檢索目標，在電影深度遞歸卷積神經網絡網絡算法上，通過調節LOSS函數來提升對象識別精度的方法和策略，實現快速準確目標檢測與定位。

（二）電影要素人工智能識別方法

由于電影是門綜合性藝術，人工智能應用也不是萬能的，它必須依賴數據輸入才可以達成目標，所以，電影內容的人工智能分析方法的難點在于，電影內容各要素的數據化表示方法和表示方式。如電影沖突中刺激反應模式的沖突類型，以《集結號》為例，谷子地看見了劉團長的墓，鏡頭給到谷子地形成一次沖突；《辛德勒的名單》辛德勒看見了全程屠殺的場面，鏡頭只要給了主人公的面部表情，完成一次沖突；《唐山大地震》中李元妮背對觀眾，看見離散多年的女兒走進院子，沒有動，這又是一次沖突等等，這些很難用數據化方式表示，人工智能也無從發揮作用。

為了使電影視覺計算分析高效、準確，電影內容人工智能分析可采用電影分類、場景、鏡頭、人物、沖突等由大到小，逐步細分的分析方法，減少計算機視頻計算的強度。在數據預處理階段，降低電影信息維度，減少電影深度遞歸卷積神經網絡計算強度，如應用工具軟件Color Director，對電影鏡頭進行自動切分。以《悲慘世界》為例，共自動分割成1362個鏡頭場景，再應用計算機視頻計算程序對每個鏡頭進行減幀和降低分辨率處理，以此降低計算量，提高計算速度。

由于電影是一門集視覺、聽覺為主的綜合藝術，人工智能電影內容分析方法也是采用電影深度遞歸卷積神經網絡分別對視覺計算、聲音識別、自然語言處理等多模態的綜合應用，實現對電影各場景、鏡頭、人物等圖像語義、對話語義、情感分析特征抽取與識別，并以時間點為基準實現綜合應用。如對動作片和愛情片電影分類時，可以采用視覺計算打斗（人距離、槍支、器械等）和接吻（2人嘴之間的距離等）鏡頭數，以及語音對話識別傷亡、愛情關鍵詞等來實現類別特征表示與分類。

電影的敘事結構是電影內容的有效組織形式，結構判別主要以劇情場景轉折來識別顯性的沖突，識別突發事件等。目前主要轉折沖突識別從對白、動作、看見、聽見等方面，進行人工智能的深度學習技術完成場景與鏡頭、人物與語言、景別與色彩光線等語義識別與分析。如對場景識別中強烈對比的環境變化（晴天VS暴雨、雪）、劇烈的突發事件（爆炸、車禍）、人物的語音識別（哭泣、叫喊）、悲觀話語語義識別分析等，體現不同程度的情節轉折與沖突。這些是計算機技術能夠有效地理解含義，且可以替代人類完成約60%的工作，隨著人工智能技術的不斷發展，這個比例也會逐漸增大。

（三）電影內容人工智能分析應用

以《悲慘世界》（Les Misérables）為例，應用人工智能技術對電影的人物關系進行分析，具體分析流程如圖4所示。

經過上述六步流程，將一部《悲慘世界》電影通過計算機自動分割為1362個鏡頭，并實現對有人物鏡頭進行篩選、保存為單獨的靜態圖像，同時將電影角色人物特征進行人工智能識別，與鏡頭中保存的人物靜態圖像進行匹配檢索，識別并記錄出圖像中角色名字，同時選擇2個人物角色的圖片進行關系from-to記錄，形成電影人物關系表，再應用計算機數據可視化技術實現電影內容中人物關系的構建，用于分析電影場景、鏡頭、人物角色等關系。

結語

在研究大數據電影行業應用基礎上，厘清大數據技術的本質，應用人工智能技術對電影內容分析及其特征識別，并通過對電影內容要素分析、內容要素語義識別與抽取，語義關系的構建方法研究，深入研究電影內容創意、結構規律以及內容各要素關系規律，進而分析大量同類電影，發現規律，形成特征標準，形成指導電影評估、內容創作、內容管理、電影營銷的閉環系統，推動電影創作與營銷水平的提升。人工智能技術對電影內容的分析方法還在研究探索，隨著人工智能技術的不斷創新，人工智能技術的電影分析方法和手段也將在電影創作、制作、評論、欣賞、營銷推薦等各環節中得到更為廣泛的應用。