KDD系統在制片人決策過程中的應用

付曉朦

〔摘 要〕今全球已進入數字化、信息化、網絡化時代，數據影響著各個行業的發展。互聯網時代下的制片公司，他們并不缺乏產品思維，而是缺乏作品思維。他們過于的看重數據的力量，一味地去迎合觀眾口味，而忽視了電影內容本身。同樣是利用大數據國外打造的影視作品卻能可觀的成績，他們的共同點就是對數據的深入挖掘與解讀。也就是我所要探討的KDD系統。

電影既是商品也是藝術，一味地去迎合觀眾的口味，難免會制造出媚俗質量低的電影。作為制片人，我們需要重視的不是數據本身，而是根據自身的需求，通過KDD系統，對數據進行深入的挖掘，得到數據背后的有利用價值和意義的知識。

〔關鍵詞〕大數據；數據額挖掘；KDD系統

一.KDD系統特點

1.KDD系統定義

KDD既Knowledge Discovery in Database，人們給KDD下過很多定義，但目前公認的是由美國Microsoft Research labs的Fayyad等人所提出的定義，即KDD系統的目的是為了從海量大數據集中，識別出是對目標項目有效且可行，新穎并且有趣，不易被發現的，最后生成可以被理解的模式，KDD系統區別于普通數據軟件的一點就是它的運作過程是一個非平凡而更高級的。

KDD系統的優點是幫助使用者，屏蔽掉原始未經處理的數據，那些煩瑣的細節，將數據庫中提煉出有簡潔，有利用價值的數據報告，提供給使用者。這些知識是含蓄并且不易被發現的，也是事先未知的并且有趣，數據挖掘是KDD系統中重要的一個步驟。

2.KDD系統特點

通過數據挖掘所發現得到的模式，需要保證是可以被用戶所理解的，它主要是體現在發現的模式要簡單有效、新穎并且有趣、并且符合用戶需求。但KDD挖掘出來的數據是通過算法挖掘出來的，深入而不是表象，是有趣并有價值意義的。這也是KDD系統與普通大數據分析的最大區別。在影視行業中，指的就是制片人在為該項目向投資方進行闡述的過程，要簡單易懂，使投資方產生投資興趣。

①有效性

“有效性”的意思是指通過數據分析這一過程，從而挖掘與發現出來的模式必須保持有一定的可信性。所謂的“模式”一詞的意思是將得出的規律作為依據指導人們進行實踐的方式，是理論和實踐之間的中介。

對影視行業來說，有效性就是指影視項目必須順應時代發展，滿足市場需求，合理合法，有說服力。

②新穎性

“新穎性”的意思是指要求KDD系統所發現的模式必須是新穎的，區別于以往的。模式是否新穎可以通過將KDD系統所得到的數據結果和普通數據分析所得出的結果之間進行對比，通過比較結果來判斷模式的新穎程度。所謂的普通數據分析，就是指通過計算平均值等利用數據本身進行計算所得到的趨勢等等的研究過程。對影視行業來說，新穎性就是指影視項目內容的新穎程度。

③潛在有用性

“潛在有用性”是指KDD系統所總結出來的模式將來有實際效用，對于影視行業來說，就是最終的項目必須是有技術支持，可以完成并上映的，并且是可以提高市場回報率的高質量項目。

3.KDD系統使用流程

①數據篩選

數據篩選：數據篩選的目的是確定目標數據。 在第一個步驟中制片人要根據所開發的項目需求，從網絡放映平臺或者影院消息中獲取終相關的觀眾行為，興趣愛好等。

②數據預處理

數據預處理： 由于大數據存在著水分大，不夠真實，不完整和不一致的弊端，所以制片人的在做項目決策之前，需要做的事情是將所有收集到的數據進行預處理與分類。將數據中原有的不正確的，以及對項目決策利用價值的信息。在這一過程中，填補空缺數據，糾正不一致的數據，從而改善數據質量，提高數據挖掘的精準度。可以利用權威軟件進行數據篩選例如貓眼專業版，觀影人影評等。

③知識發現---關聯規則模式

知識發現：也就是數據挖掘的過程。制片人定時或隨時對上述的目標數據集進行知識發現操作，挖掘用戶感興趣的模式，即知識。本篇論文討論的是觀眾觀影行為背后有什么有趣的共同行為，即觀影共性。然后通過關聯原則模型算法進行數據挖掘。

④決策模式

制片人將最終所決定項目，以投資方能理解的方式呈現給投資方，通過KDD技術分析過程的體現，加強項目說服力。

4.KDD系統技術核心

在上述步驟中，知識的發現也就是所謂的數據挖掘，占據極其重要的地位，它是根據使用者需求，通過合適的，知識發現算法，從數據中通過挖掘工作，從而發現有關的知識訊息，這也決定了整個KDD過程的使用效果與處事效率。本論文中，所要進行探討的是關聯規則模型，即制片人通過關聯規則中的算法，找到觀眾觀影行為所存在的潛在習慣。

①關聯規則定義

關聯規則就是從海量數據中，發現到的不同數據在同一事件中出現的相關性，也就是從大量數據中挖掘出不同類型數據，這些頻繁的項目，在一個事件中，集中存在的有趣的關聯或相關關系。

這種關聯關系有可能是自身的，例如電影和爆米花；也有可能是本身毫無關聯，而是通過外界因素所形成的關系，經典的案例就是啤酒喝尿布。前一種關系我們有時候可以直觀的獲取，但后一種關系通過表面現象就不易獲得，而我們的關聯規則算法解決的就是這部分問題。

②關聯規則應用

為了更直觀的理解關聯規則，我利用上述所提到的經典案例來進行解釋。在美國超市中，一個很奇怪的現象就是，如果將尿布與啤酒擺在一個貨架上賣，啤酒和尿布的銷售量會雙雙翻倍增加。這最早是由Wal-Mart數據分析人員發現的。Wal-Mart，作為美國曾經的，零售行業巨頭，旗下擁有世界上最海量的數據，并且有屬于自己的數據倉庫。數據分析人員的工作是為了提高超市收益，他們想通過KDD系統，更精準地了解顧客的需求，平時逛超市的購買習慣，Wal-Mart將顧客的購物行為最為目標數據，他們從數據倉庫里，集中收集了所有門店中，顧客們詳細的，交易行為數據。在這些購買記錄的基礎上，WalMart選擇采用關聯規則模式，對這些交易行為數據進行分析和挖掘。讓人大吃一驚的是，尿布一直保持超高的銷售量的，但相較于其他嬰幼兒產品，這些顧客同尿布一起，購買最多的，卻是啤酒，這是多么奇怪但是有趣的組合。

經過大量實際調查與跟蹤分析，數據分析人員了解到這些顧客，往往都是一些年輕的父親。他們下班后，經常要到Wal-Mart買嬰兒尿布，而他們中有近50%的人，同時也會順手為自己買一些啤酒。其原因源于美國人的生活模式，大多數美國年輕媽媽，都會選擇在家里照顧孩子。所以，買尿布的工作就理所應當地交給了她們的丈夫。在他們下班后，路過超市，他們會習慣性的給小孩買回尿布，但也不會忘記買幾聽啤酒來犒勞自己。

這個案例同時印證了維克托·邁爾-舍恩伯格提過的一個很有指導意義的觀點：通過找出一個關聯物并監控它，利用KDD系統，去發現你本不可能認為他們會發生關聯的因素上，并以此為新的契機，來開發目標消費群體。這也是我認為作為制片人對大數據利用的正確方式，即通過KDD系統深入解讀大數據，找到隱性關聯，幫助制片人在策劃階段創新求變。

二.以《紙牌屋》為例淺析KDD在制片過程中的應用

1.終端數據收集

對于制片人來說，首先要做到的是通過制作公司與權威網絡放映平臺以及影院合作，利用互聯網直接收集觀眾信息，掌握終端信息，建立直接聯系，作為數據收集來源。這是前提也是基礎。

Netflix花了一年的時間來調查觀眾的喜好，制作《紙牌屋》時，充分地利用了自有播放平臺所記錄下來的數據，其數據庫包含了千萬的萬用戶的收視選擇、百萬條評論、以及所有用戶的次主題搜索。Netflix將用戶觀看記錄作為目標數據，發現點播老版BBC《紙牌屋》的人數最多，并以此為出發點，研究其背后現象。

2.數據預處理

Netflix 確定了目標觀眾，過濾掉其他干擾信息，收集目標觀眾觀看BBC《紙牌屋》的過程以及他們的后續行為。在這一過程中，Netflix會通過觀眾觀看行為來作為篩選條件，用以排除一些沒有意義而又煩瑣的數據，例如我們所說的水軍刷播放量等等，從而確保數據的真實性。

數據的預處理，是對數據挖掘工作影響程度最大的一個步驟，是后面程序得以進行的基礎。數據越細致與精準，在挖掘過程中才能找到那些有趣的聯系。制片人可以與權威網絡平臺與流媒體簽訂協議，共享資源，建立品牌效應，投入資金封路用戶信息，保證數據真實性，從而利于數據預處理。

3.關聯規則模型建立

①關聯規則基本模型

使用關聯規則模型，確定目標觀眾潛在行為共性。Netflix追蹤觀看BBC《紙牌屋》的觀眾觀影記錄，發現其主力受眾群為“美國中年男性專業人士”。發現這些觀眾共頻繁點播政治劇，再追蹤下去，發現其中的一大部分人給驚悚懸疑大師大衛芬奇拍攝的作品打分高，并且經常看史派西主演的作品。這樣一來，Netflix通過關聯規則模型，得到了隱性并且有趣的關聯，政治元素與驚悚元素。

數據挖掘的算法有很多，本論文討論的是Apriori 算法，是最被人們認可，切使用時間最長的一種算法。現在，Apriori算法適合任何領域，我們需要大致了解一下Apriori算法。

②Apriori算法

Apriori算法，是用來挖掘目標數據中出現頻繁的現象一種，在專業學術語言來講，我們將Apriori稱為頻繁項集算法，其核心思想，就是通過候選數據組成集的生成，以及目標數據的深入挖掘，這兩個階段來挖掘有聯系的項與項，之間的共同的并且有趣的關系。

在關聯模型規則中，我們需要了解三個指標，分別是支持度，可信度，提升度。為了方便了解，我們設定A代表在Netflix中點播BBC《紙牌屋》的觀眾同時愛看政治劇的人，B代表在Netflix中點播BBC《紙牌屋》的觀眾中愛看大衛芬奇驚悚憂郁的人，C代表Netflix的所有觀眾。

所謂支持度，就是同時滿足A和B的人占C的比例。

所謂置信度，就是同時滿足A和B的人占符合A的比例。

所謂提升度，就是同時滿足A和B的人與符合B的比例。

關聯規則模型與其他模型的最大區別就在于提升度，提升度反映了關聯規則中A與B的關聯是否有趣，提升度值小于1則意味著是起反作用的，大于1則認為是有聯系的且值越高越有意義，才能說明挖掘的關聯規則是有價值的。

我們用Netflix在制作《紙牌屋》的例子來作為說明。

上表是不完整的Netflix用戶的觀看記錄的數據庫，用來更為直觀的解釋關聯規則的運用，

表中展現其中幾個觀眾的行為代號為1-6。項集I={點播BBC《紙牌屋》，常看的導演，常看的演員，常看的類型}。考慮關聯規則：A（點播過BBC《紙牌屋》又經常點播政治劇的觀眾），1，2，4，5，6符合條件，B（點播過BBC《紙牌屋》又喜歡大衛芬奇的觀眾），1，6符合條件，同時符合A和B的是1，6，因此支持度約為0.3，置信度約為0.7，提升度為1.4。提升度大于1，大衛芬奇與政治局存在著聯系。這樣一來，Netflix發現點播BBC《紙牌屋》的用戶大多都是美國觀眾，于是Netflix將點播BBC《紙牌屋》的美國觀眾作為條件，將不一致數據清除掉，僅對這些美國觀眾的行為進行追蹤，研究他們共同特點。

一開始，Netflix的制片人只是了解下用戶的觀影行為，不是抽樣調查，而是對所有用戶進行調查，然后根據觀看量的排名進行排列，發現美國觀眾喜歡看政治劇，發現貢獻這些數據的用戶觀影的其他關聯性，這些共同點是根據關聯規則算法得出來的，他們是有關聯而不是因果關系，不是說喜歡看政治局的人就一定會喜歡大衛芬奇的作品，但是通過計算發現對大衛芬奇的支持度不低，因為是這兩個因素鏈接到了一起。

③決策模式形成與評價

形成項目決策模式。Netflix將KDD系統所提供的關聯信息，綜合主要用戶的潛在共同點，邀請了大衛芬奇作為導演，史派西作為主演，決定制作美版《紙牌屋》。在播放形式上，Netflix制作的《紙牌屋》不同于其他的周播劇，而是一次性播完一季。因為根據KDD系統發現這些目標人群大多不喜歡在固定時刻收看電視劇，而是直到全集播放完畢，再一次性看完。

4.通過KDD系統產生決策效果

2013年2月《紙牌屋》上線后，用戶數僅一天就增加了300萬。Netflix的成功，不是將數據分析結果直接搬用，而是通過KDD系統中的關聯規則模式，發現一些之前沒有考慮到的新的領域，Netflix最開始只是發現了用戶們對英版《紙牌屋》的關注，再將美國觀眾愛看政治劇與驚悚元素這倆之間的關聯性結合起來，在此基礎上再把大衛芬奇和史派西的崇拜者拉入進美版《紙牌屋》的這個項目中，同時改變播放形式，這一系列因素的關聯下，完美結合，實現了利益的最大化。簡而言之，《紙牌屋》的成功，歸結于對制作人通過KDD系統對數據進行深度挖掘從而成就價值最大化。

三.國內市場使用環境分析

1.國內電影市場數據應用

大數據這個詞，整個電影市場都在談論它，想通過大數據來提高項目收益。但就目前而言，國內電影市場對數據的利用往往局限于表面現象，例如單純指看重瀏覽量，關注度等，單純的通過一個明星的影響力以及一個IP的好評度來武斷的進行購買，對IP的開發只限于表面而非深層次地挖掘。

數據，信息，變現和知識是有區別的。拿一個簡單的例子來做解釋，數據就仿佛是雞蛋和面粉，信息就是一個蛋糕坯子，表現就是在坯子上涂上奶油，而知識，則是我們將這塊蛋糕吃掉。蛋糕的真正價值不在于你是用什么做的，你做成了什么樣，而是最終被我們吃掉。這也是數據的真正價值。

KDD系統與現在國內電影市場對數據利用的最根本的區別是，KDD系統通過關聯原則對數據的加工處理，深入挖掘，得到了那些表面上也許并沒有關聯的行為，但實際上人們在不自覺中會經常下意識地去搭配觀看的現象展現出來，給制片人提供一片嶄新的領域，在這個新的領域中，制片人尋找新的消費點，來創造出既新穎又可靠的項目，而不是現在國內電影市場普遍存在的直接搬用數據，僅僅是通過統計，得到一個排序，然后按照熱度，來進行項目更改，這種對數據淺層次的利用，不僅造成現在天價明星片酬，電影成本提高的現象，也埋沒了很多有內容，有質量，踏踏實實的作品。當然，比制片人更看重這些數據的是投資方，在電影立項過程中，通過KDD系統對數據處理的展示，加強項目的說服力，提供一個好的開始，最終形成一個口碑與票房雙贏的結果。

2.國內市場引入KDD系統的雛形

我仔細查閱了《捉妖記》的項目策劃過程，發現《捉妖記》的策劃過程中已經有了KDD系統的流程雛形，提供了給KDD系統滋生的土壤，只是還沒有成熟的應用方法。

許誠毅與江志強的探討中，早就有過《捉妖記》的想法，但直到開始實際拍攝，中間足足經過了5年。這5年的時間里，他們一直在聊故事，兩個人都想創作一部講中國妖怪的電影。隨后的決策過程與KDD系統流程十分相似：

數據篩選：項目類型確定后，江志強將目標調查對象確定為喜歡看奇幻妖魔電影的觀眾，并對其行為進行全面的信息收集。

數據預處理：通過權威的網絡播放平臺作為來源，確保數據的真實性。并去除不愛觀看奇幻妖魔電影的這些不一致的觀眾數據。

知識發現：江志強曾在采訪中說，他們發現到喜歡看奇幻題材的用戶對《山海經》和《聊齋》的搜索量最高。并找到了一個叫作《宅妖》的小故事頗受歡迎，而這些觀眾對《史瑞克》等動畫類型的電影點播量很高。這意味著雖然是講妖怪，但他們以“萬物有靈且美”的主旨，證明善與美是觀眾們都愿意接受的價值。這一過程其實就是我們所說的采用關聯規則模式，尋找目標觀眾之間所存在的潛在關聯。

形成知識：最終江志強與許誠毅的《捉妖記》是一個適合一家人去觀看的全家歡電影，而不是恐怖片。影片中所創造出來的妖怪胡巴，也廣被觀眾所接受喜愛，最終獲得了可觀的票房成績，并成功。

四.KDD系統的優勢與規避風險方法

1. 使用KDD系統優勢

KDD系統本身具有對數據處理迅速的優勢，高效的反饋觀眾信息，定位受眾群，確定數據中潛在新穎的關聯形成決策模式。

KDD系統的使用目的是避免“行外人”盲目利用數據，幫助制片人創新求變。它不是單純地進行數據分析及搬運，而是通過對數據的分析幫助制片人進行創作，在對數據深入挖掘的基礎上尋找新的視角，完成立項，既符合觀眾的習慣性思維方式，又進行了創新，滿足了觀眾對新事物的期待，以及對創作者的交代。

KDD系統挖掘結果是關注的相關性而不是因果關系，并不是完全符合數據的作品就可以成功，它僅能反映出觀眾的態度，但不能告訴制片人你要拍什么。最終決定電影質量好壞的是電影自身內容，因此，通過KDD系統提供的結果是需要制片人潛在的，深入的，制片人對所提供的數據進行進一步思考，來確保電影的高質量以及低風險。

2.使用KDD系統面對的難題

①數據全面真實

與其他數據分析系統一樣，都必須要面對的一個最關鍵，最棘手的問題，就是你收集來的分析對象，是否真的仔細看過影片，不帶個人思想偏見，可以代表影片真正的目標觀眾。熱衷在社交網絡上發言的網民，有哪些是真的認真觀看過影片的，又有多少是宣傳方雇來炒作的水軍，又是否能否代表那些常年不發言，就默默地看電影的人。

現在，那些精確海量的數據，都被掌控在電商，社交平臺，視頻網的后臺中，為了市場競爭優勢，他們手中的數據相對機密，不容易直接獲取。

②數據是否隱私

用戶隱私問題一直是數據挖掘應用難以繞開的一個問題，如被央視曝光過的網易郵箱，蘋果電腦都涉及侵犯用戶隱私。目前，中國并沒有專門的法律法規來界定用戶隱私，處理相關問題時多采用其他相關法規條例來解釋。但隨著民眾隱私意識的日益增強，合法合規地獲取數據、分析數據和應用數據，是進行數據挖掘必須要遵守的原則。

3.規避風險措施

據咨詢，貓眼和豆瓣的后臺都具有放水軍的軟件。豆瓣上的口碑相對準確，但人群偏文藝。貓眼的數據相對真實些。如何判斷數據是否真實，目前有幾種方法。

①真實口碑和走勢曲線是否相符合

例如在沒有任何營銷事件的情況下，某部影片增長了大量的想看人數，這基本斷定是水軍。貓眼上的電影數據曲線是真實反映的。

②購票用戶的評價要比一般用戶的評價權重高，這是目前放水軍刷口碑的一種方法。

③大多制片人對影片的分析，及類型的分析，一般會把前三天的數據拋去，因為一般買票房會集中在首日或者周末，前三天的客觀因素太多，例如票補和自購等。拋去前三日的數據，相對真實。

④國家政策的支持，嚴重懲戒票房作假的政策出臺，勢必會在一定程度上打壓造假行為，使數據變得相對真實些。

4.避免制作公司壟斷上下游

據了解，目前公司壟斷是造成數據水分大的原因之一。以《捉妖記》為例，安樂（北京）電影發行有限公司，其播放期長達64天，安樂這樣制發放，包括院線全部都參與公司，因為經濟利益的問題，肯定會在自己的影城百老匯里注水。當然還有一個原因是為了超越同檔期的速7，拿到中影冠軍。

在舊好萊塢的制片廠制的壟斷下，包括明星，影片題材等都出現來問題。因為出來了反壟斷法，然后便進入了新好萊塢時代。

那如果將電影制作工業線上的每個部門都拆開了，避免出現一個公司壟斷全過程的現象，這樣每個部門之間沒有利益關系，會不會在一定程度上減少注水現象。

5.制片人通過社交平臺直接與觀眾建立互動關系

麻省理工學院出版的《流媒體，分享，竊取》一書中提到，制片人對電影市場的敏感度是十分重要的，通過與觀眾的溝通，建立與消費者的直接聯系，而不僅是依賴于發行商進行內容宣傳與推廣。應用數據分析有諸多阻礙，也并不能保證制作出來的影片可以成功個，但KDD系統的最大優勢是幫助制片人尋找新的巨大機遇，這就需要制片精英人士來進行操作。

因此，為了保證互動性，制片人應充分利用社交網絡和粉絲社群或建立網站，以成為直接數據來源，例如傳奇影業在數據分析部門投入大量人力和財力，從微博，百度，豆瓣，天貓等票務軟件等多渠道獲取數據，從而方便制片人與觀眾更好地進行交流。

6.制片人與流媒體建立合作關系

Netflix僅將“好萊塢電影”就分出了近8萬種“微類型”。通過拓寬數據的來源，數據收集會全面很多，近年來制片人也在嘗試首輪放映與流媒體同步發行，隨后，制片人，放映商，流媒體平臺可以通過共享數據，了解觀眾對各種類型電影的喜好，最終實現共贏。

總 結

數據永遠只能作為輔助，靈魂永遠是主創團隊。夢工廠CEO卡森伯格就曾表示：“電影靠創造力，不靠數據分析。當年卡梅隆創作《阿凡達》的時候，假如當初對觀眾進行調查，問他們是否想看《阿凡達》，觀眾可能根本不知道他在說什么，如果隨了這種對數據的淺層分析，也許就不會有《阿凡達》的誕生了。

對數據的判斷，以及對數據的運用，才是影視數據挖掘最關鍵的一步。深厚的影視經驗，專業知識素質，以及對市場的敏感度都是必不可少的。這也是中國影視數據界的最大的矛盾，懂技術的不懂電影，懂電影的不懂技術。正是因此，我才會想要嘗試引入KDD系統，因為KDD系統并不是單純的數據分析，數據分析得到是將數據整合，得到一種統計結果，這些結果是誰都可以得到的，并不新鮮。但KDD技術是在這些基礎處理上，根據當前市場條件以及業務結合進行解讀，通過算法進行知識發現，給予制片人靈感，才能發揮出數據的價值與作用。

KDD系統重點在于幫助制片人尋找未知的模式與規律，尋找新的可以開發的領域，是幫助制片人打開創作思路，在制片人進行決策過程中，引入KDD系統，是為了在彌補過于重視大數據統計，一味地去迎合觀眾的口味，來開發影視作品這一現象。對于影視來說，作品本身的質量才是最重要的。

KDD系統會與普通的數據分析軟件一樣成列出制片人所制定觀眾們都喜歡看的題材，并且將他們之間的有趣的關系展現在制片人面前，而制片人需要做的是下功夫想出一個與眾不同的講故事的方式，用專業、有深度的劇情留住目標觀眾。否則，就會出現全明星高顏值陣容，大熱IP，投資巨大然后票房成績卻差強人意的現象。

觀眾的審美在不斷地提高與變化，他們在網絡上上傳的評論與意見、網頁的瀏覽痕跡，這些展示的是觀眾的喜好，但這里的陳列出來的觀眾的喜好，只是暫時的，靜態的。在這些表象之下，只有看到那些可開發的未經觸碰的新的領域，才能充分地利用數據所提供的真正價值，創新是永恒的目標。而這些新的領域，是可以通過KDD系統產出的，因此，我認為將KDD系統引入到制片人進行項目決策過程中，幫助制片人開拓領域這一作用是不可缺少的。

當然，引入KDD系統的另一大目的是為了提高制片人所開發項目的說服力，如今，各個領域的公司都將手伸入到影視制作行業當中，其中很多人并不了解電影藝術，所以在他們看來，數據能說明一切。制片人通過KDD系統得到的數據知識，呈現在投資方面前，讓他們通過數據直觀的了解該項目的市場環境，受眾面等等，也許會比制片人苦口婆心的去解釋項目的新意要直接得多。

（責任編輯：牧鑫）