基于觀看時長的自動評分及個性推薦系統

陳旋

一、引言

一個普通視頻網站經過數年的運營，會保存有十幾萬個視頻，但網站的首頁一般顯示的是最新的視頻，對一些存放時間久的節目，往往不能呈現在首頁上，但對于某些用戶來說，這樣的視頻也許有些是他們很感興趣的。一些網站使用網友評分的方法，這樣可以改善視頻資源浪費的缺點。通過提供網友評分平均值，讓用戶根據分值的高低判斷一個節目的受歡迎程度，從而考慮是否觀看。但是用戶興趣愛好是千差萬別的，平均分值僅僅反映的是大眾對節目的受歡迎程度，不能滿足不同背景下興趣不同用戶的信息需要。而且用戶觀看完視頻后，往往由于忘記或不積極評分等原因沒有對其評分，所以需要一種自動獲取評分的機制。

二、數據挖掘技術

數據挖掘（Data Mining，DM）又稱數據庫中的知識 發 現（Knowledge Discover in Database，KDD），是目前人工智能和數據庫相結合，從大量的、不完全的、有噪聲的、模糊的、隨機的真實數據中發現用戶感興趣知識的一種技術。個性推薦系統屬于數據挖掘領域的一種。推薦系統引擎會仔細審查一個用戶以前所做出的選擇，然后識別出用戶對某個還沒接觸過的條目的喜好程度。推薦系統依據的是用戶對節目評分產生的大量歷史數據，計算出用戶間相似度，相似程度高的另一個用戶所觀看的視頻，可能也是這個用戶比較感興趣的，進而向用戶推薦系統，達到充分利用網站資源的目的。

三、系統結構

系統主要包含視頻網站、節目評分、推薦引擎三大模塊。

1.視頻網站實現一般視頻網站功能，提供視頻播放的基本功能，并具有用戶管理功能，完成用戶身份識別。

2.節目評分模塊是采集用戶對節目的評分并檢驗數據是否有效的模塊。包含有自動和手動兩種。手動是用戶在界面上點擊分值圖標完成評分，這種方式能夠比較真實獲得用戶的評價。對不是很活躍的用戶，觀看節目后沒有對視頻做評分，需要一種自動評分的方法。自動評分方法根據用戶對一個視頻節目的觀看時長占節目總時長的比值，自動完成節目的評分。本文用0到5的整數表示喜歡的程度，5表示很喜歡，0表示一點都不喜歡。觀看時長與節目總時長的比為1時評分是5，比值為0時評分是0，其他分值可以通過等比計算獲得。為了比較準確地獲取觀看時長，還需要提供校正機制，防止重復觀看的時長被重復計算。

3.推薦引擎是推薦系統的主體，引擎通過對采集到的用戶、節目、評分數據計算出用戶的相似度，并通過視頻網站呈現推薦信息。

四、節目評分模塊設計

播放器采用Flash 開發，Flash 的AS（ActionScript，動作腳本）腳本語言能夠對JS（JavaScript，語言腳本）很好地支持，通過ExternalInterface.call函數調用網頁上的JS基本語法是 ExternalInterface.call(function Name:String, ... arguments)。在使用前，需要添加引用flash.external.*。

使用js開發一個名為Collection類，用于采集數據。其屬性和方法以及相應的作用如表1、表2。

播放器開始播放的時向Collection類ReceiveMSG方法發送消息，通知Collection對象播放器開始播放視頻，把視頻的總時長賦值給curVideoDuration，并初始化其他參數。

表1

表2

播放器已經開始播放視頻后，播放器每播放一秒的視頻，需要調用一次Collection類的Watch方法對CountSencond屬性的計數。為避免回放、跳播等原因導致重復計數，需要一種檢驗機制。Fragment以30秒作為一個小區間，記錄已經觀看的片段。以150分鐘的電影為例子，視頻總時長就是9000秒，將劃分成（9000/30）=300個區間。如果用戶從頭一直觀看到16.2分鐘，也就是972秒，972整除30得32，那么Fragment[0]到Fragment[31]都將標記為1（表示已觀看），其他(300-32=268)的區間都標記為0（表示未觀看）。注意到，第32個區間表示的是32×30=960秒，也就是說雖然用戶已經觀看到了第33個區間，但是還沒有看完這個區間，這個未看完的區間也標記為0。雖然這會帶來一些誤差，但是對節目的評分影響不大。在對CountSencond屬性的計數時，用Flash播放器的NetStream對象的time屬性獲得正在播放的時間點，并檢查Fragment所記錄的片段標記，如果用戶已經觀看過（也就是被標記為1），就不給予計數。

當用戶暫停時候，播放器也停止調用Collection類的Watch方法。不繼續計數。

當用戶播放下一個節目，或觸發關閉、刷新播放頁面事件時，Collection類通過SendCollection方法，采用Ajax（Asynchronous JavaScript and XML，異步JavaScript和XML）異步調用的方式，把計算出來的Score值以及相關的節目、用戶信息發送給服務器。

節目評分除采用自動方式外，還提供手動方式，用戶可以直接對節目評分，評分之后Collection類停止工作。

五、推薦引擎設計

推薦系統目前有協同過濾（collaborative filter）與基于內容（content-based）兩種類型。基于內容能夠根據數據的內容之間的相似度來產生推薦，這種推薦引擎比較適合文檔類型的推薦。視頻文件在沒有經過處理的情況下，是不能夠像文檔那樣通過分詞的方式來分析相似度的，而協同過濾方法是用戶給對象（如視頻、文檔、商品等）相當程度的反饋（如評分），這些反饋被記錄下來，通過合作的機制分析數據，幫助用戶篩選感興趣的對象。協同過濾推薦引擎在視頻網站中通過對節目、用戶與評分的歷史數據做整理，計算出相似度來完成針對不同的用戶提供不同的節目推薦。

1.距離與相似度算法

相似度是一個用于比較兩個事物的近似度的度量，類似于生活中描述兩個城市相近程度的地理距離。在度量兩個城市之間的距離時候，一般會使用經緯度坐標，而在節目或用戶虛擬的空間里，則使用“評分”作為這個空間的坐標來度量任意兩個節點的距離。假設有兩名用戶給他們打4或5分（喜歡這些視頻節目），同時有第三名用戶給它們的評分為0～3分。這樣一來，會認為前兩個用戶彼此是相似的，而與第三個是不相似的。

由此可以看出，相似度是基于距離進行計算的，但與距離卻有所不同。距離是大于等于0的數，而相似度具有取值區間，一般的取值范圍在[0,1]。距離等于0的時候，說明兩點重合。但這時候相似度取最大值。距離具有對稱性，A與B的距離等于B與A的距離，相似度也是如此。距離具有三角不等式性質，也就是“兩點之間直線最短”。對相似度而言，這個性質是得不到保持的。通過相似度與距離的性質比較，可以看出相似度與距離有著天然的互反性。

2.用戶相似度計算

假設有用戶User1與User2，節目集合P，User1評分過的節目集合為 P1,P1?P。User2評分過的節目為P2, P2?P。而且P1,P2≠ Φ （Φ 表示空集） P ′= P1∩P2。 p'∈ P′，User1對節目 p'的評分值是，User2對節目 p'的評分值是。根據歐氏距離的定義，遍歷每個元素可以得到由于相似度與距離從某種程度上說是互反的，可對L做些簡單的計算，滿足這樣的特性，比如歐式距離加1再取其倒數，即加常數1是為了避免分母為0。但這樣做法是存在缺陷的。如果兩個用戶對同一個視頻打過分，其中一個打1分，另外一個打4分，他們評分的差值的平方為9，按以上公式得到的相似度為0.25。當有另一種情況，兩個用戶共同對三首歌曲評分，一個用戶評分為2、3、4，另一個用戶評分是3、4、5。計算出來的相似度也是0.25。第二種情況兩個用戶有3個節目而第一種情況只有一首，直觀地，第二種情況兩個用戶應更相似。因此可以把定義為樸素相似度公式。在此基礎做一些改進，把'p里的個數考慮進來。設，利用雙曲正切函數性質，可定義相似度為 sim =1- tanh(L)。

3.向用戶推薦節目

遍歷網站的視頻節目，計算出用戶未評論的節目估計評分值，并按預測評分值高到低向用戶推薦。

4.用戶視頻推薦模塊設計

設計所需的類，功能如表3。

推薦模塊啟動時，先初始化BaseDataset，建立User、VideoItem、VideoRating實 例。RecommendSys實例在初始化過程中要完成相似矩陣的計算，保存的是兩兩用戶之間的相似度。當用戶登錄時候，啟動一個線程調用RecommendSys的recommend方法。把用戶沒有看過，但可能感興趣的視頻推薦出來。圖1是用1萬個視頻節目和300個用戶來計算，向一個名為“Bob”的用戶推薦視頻的結果。

初次運行后，把預測的評分記錄下來，下次運行就不需要重復計算，可以節省很多時間。

圖1

結語

當用戶由于某種原因離開屏幕，但視頻還在播放時，這樣獲得的觀看時長并不是用戶真實的觀看時長，得到用戶喜歡數據也不是真實的，因此在播放頁面時，提示用戶處于自動獲取評分狀態，并提供手動評分功能，補充自動獲取方式的缺點。

表3

如果用戶數量很龐大，相似矩陣的計算將是一個很耗時的工作，需分階段計算。每個階段的計算結果保存在數據庫中下次可直接讀取。遍歷用戶沒看過的視頻節目，當節目數龐大的時候，也是耗時的工作，同樣也采用分批的策略。

基于歐式距離的相似度算法能夠獲得很好的結果，但計算步驟比較多，可以考慮其他一些計算簡單的相似度算法，如狹義Jacquard相似度。

1.（美）瑪若曼尼斯等著， 阿穩、陳鋼譯：《智能Web算法 》，電子工業出版社，2011年版。

2.（美）西格蘭著，莫映、王開福譯：《集體智慧編程》，電子工業出版社，2009年版。